TWI734262B - 用於視訊編碼之運動向量差值改良式合併方法和裝置 - Google Patents

用於視訊編碼之運動向量差值改良式合併方法和裝置 Download PDF

Info

Publication number
TWI734262B
TWI734262B TW108141601A TW108141601A TWI734262B TW I734262 B TWI734262 B TW I734262B TW 108141601 A TW108141601 A TW 108141601A TW 108141601 A TW108141601 A TW 108141601A TW I734262 B TWI734262 B TW I734262B
Authority
TW
Taiwan
Prior art keywords
candidate
prediction
current
image
mode
Prior art date
Application number
TW108141601A
Other languages
English (en)
Other versions
TW202021353A (zh
Inventor
賴貞延
蕭裕霖
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202021353A publication Critical patent/TW202021353A/zh
Application granted granted Critical
Publication of TWI734262B publication Critical patent/TWI734262B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種用於視訊編解碼的方法以及裝置。根據這一方法，包括一MMVD(具有運動向量差值(MVD)的合併模式)候選的一組合並候選被生成。當該當前塊具有屬於至少一個默認塊尺寸的一塊尺寸時，在生成該組合並候選後決定該組合並候選中一目標候選是否是雙向預測。如果該目標候選是雙向預測：該目標候選由一單向預測候選來替代；該單向預測候選被包括於該組合並候選中來生成一修正組合並候選；以及在該視訊編碼器側使用該修正組合並候選編碼與該當前塊相關的當前運動資訊或者在該視訊解碼器側使用該修正組合並候選解碼與該當前塊相關的該當前運動資訊。

Description

用於視訊編碼之運動向量差值改良式合併方法和裝置
本發明涉及用於使用MMVD(Merge with Motion Vector Difference，運動向量差值合併)的視訊編解碼的幀間或幀間/幀內預測。特別地，本發明公開了各種方法來減少MMVD的複雜性與/或來改善性能。
高效視訊編解碼(High-Efficiency Video Coding，HEVC)是由視訊編解碼聯合合作小組(JCT-VC)開發的新的國際視訊編解碼標準。HEVC是基於混合的基於塊的運動補償的DCT類轉換編解碼架構。用於壓縮的基礎單元是2Nx2N正方形塊，稱為編碼單元(coding unit，CU)，以及每一CU可以被遞迴地拆分成四個較小的CU直到達到預定的最小尺寸。每一CU包括一或複數個預測單元(prediction unit，PU)。
為了實現HEVC中混合編解碼架構的最佳編解碼效率，對於每一PU有兩種預測模式(即，幀內預測以及幀間預測)。對於幀內預測模式，空間相鄰重構像素可以用於生成定向預測。對於幀間預測模式，時間重構參考幀(frame)可以用於生成運動補償預測。有用於編解碼運動資訊的各種編解碼工具，包括跳過、合併以及幀間高級運動向量預測(Advanced Motion Vector Prediction，AMVP)模式。當前圖像參考
運動估計/補償是混合視訊編解碼中公知的關鍵技術，其探索相鄰圖像之間的像素相關性。在一視訊序列中，相鄰幀之間的目標移動小以及該目標移動可以由二維平移運動來建模。因此，對應於幀中目標或背景的形樣(pattern)被替代來形成後續幀中的對應的目標或與當前幀內其他形樣相關。隨著估計的替代(如，使用塊匹配技術)，形樣可以被主要地重現而不需要再編解碼形樣。類似地，塊匹配以及複製已經被嘗試來允許從相同的圖像內選擇參考塊。觀察到當應用這一概念到由攝像機捕獲的視訊時效率不高。部分原因是空間相鄰區域中的紋理形樣可能類似於當前編碼塊，但在空間上通常有一些逐漸的改變。因此，塊很難在由攝像機捕獲的視訊的相同圖像內找到完全匹配。因此，編解碼性能的改善被限制。
然而，相同圖像內複數個像素間的空間相關性的對於圖像內容是不同的。對於具有文本以及圖像的典型視訊，相同的圖像內通常有重複的形樣。因此，幀內(圖像)塊補償已經被觀察到將是非常有效的。一種新的預測模式已經被引入用於螢幕內容編解碼來利用這一特性，即幀內塊複製(Intra block copy，IBC)模式或者被稱為當前圖像參考(current picture reference，CPR)。在CPR模式中，預測單元(PU)從相同圖像內的一先前重構塊來預測。此外，位移向量(稱為塊向量或BV)用於發信從當前塊的位置到參考塊的位置的相關位移。預測誤差然後使用轉換、量化以及熵編解碼進行編解碼。CPR補償的示例在第1圖中示出，其中區域110對應於將被編解碼的圖像、條帶(slice)或圖像區域。塊120以及130對應於將被編解碼的兩個塊。在這一示例中，每一塊可以在當前圖像中的先前已編解碼區域中找到對應的塊(即，分別為122與132)。根據這一技術，參考樣本對應於在環路濾波操作之前的當前已解碼圖像的重構樣本，該環路濾波操作包括HEVC中的去塊(deblocking)以及樣本自適應偏移(sample adaptive offset，SAO)濾波兩者。
在JCTVC-M0350中公開了CPR的早期版本(2013年4月18-26日，韓國仁川舉行的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的視訊編解碼聯合合作小組(JCT-VC)的第13次會議，Madhukar Budagavi等人，“AHG8: Video coding using Intra motion compensation”，文獻：JCTVC-M0350)，其被提交作為HEVC範圍(RExt)擴展開發的候選技術。在JCTVC-M0350，CPR補償被限制於小局部區域內以及搜索僅被限制為1-D塊向量用於2Nx2N的塊尺寸。隨後，在HEVC SCC(screen content coding，螢幕內容編解碼)的標準化過程中開發了更高級的CPR方法。
為了有效地發信塊向量(block vector，BV)，以與MV編解碼類似的方式使用BV預測子(BVP)來預測地發信BV。因此，BV差異(BVD)被發信以及BV可以根據如第2圖示出的BV = BVP + BVD來重構，其中參考塊220被選擇為當前塊210(即，CU)的IntraBC預測。BVP被決定用於當前CU。導出運動向量預測子(MVP)的方法在本領域是已知的。類似的導出可以被應用於BVP導出。
在JCTVC-M0350中，幀內MC至少在以下領域不同於用於幀間預測的運動補償： 1.  幀內MC的MV被限制為1-D(即，水平或垂直)而幀間預測使用2-D運動估計。 2.  幀內MC的二值化是固定長度的而幀間預測使用指數-哥倫布。 3.  幀內MC引入了新的語法元素來發信MV是否是水平或垂直的。
基於JCTVC-M0350，由Pang等人在2013年7月25日-8月2日，在奧地利維也納舉行的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的視訊編解碼聯合小組(JCT-VC)第14次會議，Non-RCE3: Intra Motion Compensation with 2-D MVs，文獻：JCTVC-N0256(後文JCTVC-N0256)公開了一些修正。首先，幀內MC被擴展到支援2-D MV，以致兩個MV分量可以同時為0向量。相比於原始方案，這給幀內MC提供了更多的靈活性，原始方案中MV被嚴格地限制為水平或垂直。
幾個MV編解碼方法被測試了：
方法1：左邊或上方MV被選擇為MV預測子以及所生成的MVD被編解碼。首先，一個旗標(flag)指示MVD是否為0。當MVD不為0時，第3順序的指數哥倫布對MVD的剩餘絕對數值進行編解碼以及旗標對其符號進行編解碼。
方法2：沒有預測子被使用以及使用指數哥倫布編解碼的MV被用於HEVC中的MVD編解碼。
方法3：來自最後編解碼IntraBC PU的MV被用作當前IntraBC PU的MV的預測子。注意到，這一方法在當前RExt文本草案中被採用。
第三，在JCT-VC N0256中提出了2-D幀內MC與管線友好方法組合：
1.沒有插值濾波器被使用。
2.MV搜索區域是受限制的。分析兩種情況：a.搜索區域是當前CTU或左邊CTU或b.搜索區域是當前CTU以及左邊CTU的最右4行(column)。
在JCTVC-N0256提出的方法中，2-D幀內MC被採用，移除插值濾波器被採用，以及搜索區域被約束到當前CTU以及左邊CTU被採用。其他方面被關閉或者被建議進一步研究。
此處是JCTVC-O0218(2013年10月，瑞士加內瓦，L.Guo，M.Karczewicz，J.Sole以及R.Joshi，“Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1”，JCTVC-O0218)中提出的空間AMVP預測的小結。
在第3圖中，在先前已編解碼相鄰塊位置中示出了若干可能的塊向量候選(編號為從0到6)。在表1中，這些位置被詳細描述： 表1
Figure 108141601-A0304-0001
當CPR被使用時，僅部分當前圖可以被用作參考圖像。一些位元流一致性約束被強加來控制參考當前圖像的有效MV值。
首先，以下兩個等式之一必須為真： BV_x + offsetX + nPbSw + xPbs – xCbs >= 0, 以及 (1) BV_y + offsetY + nPbSh + yPbs – yCbs >= 0.            (2)
其次，以下WPP(波前並行處理)條件必須為真： (xPbs + BV_x + offsetX + nPbSw − 1) / CtbSizeY – xCbs / CtbSizeY >= yCbs / CtbSizeY − (yPbs + BV_y + offsetY + nPbSh − 1) / CtbSizeY  (3)
在等式(1)到(3)中，(BV_x,BV_y)是當前PU的亮度塊向量(即，CPR的運動向量)；nPbSw以及bPbSh是當前PU的寬度以及高度；(xPbS,yPbs)是相對於當前圖像的當前PU的左上像素的位置；(xCbs,yCbs)是與相對於當前圖像的當前PU的左上像素的位置；以及CtbSizeY是CTU的尺寸。OffsetX以及offsetY是用於CPR模式的考慮色度樣本插值的兩個維度中的兩個調整的偏移。
offsetX=BVC_x & 0x7 ？ 2：0, (4)
offsetY=BVC_y & 0x7 ？ 2：0. (5)
(BVC_x,BVC_y)是色度塊向量，以HEVC中的1/8像素解析度表示。
第三，CPR的參考塊必須在相同的圖塊(tile)/條帶邊界內。
當PU以幀間AMVP模式編解碼時，運動補償預測用所傳達的運動向量差值(MVD)來執行，其可以與運動向量預測子(MVP)一起使用用於導出運動向量(MV)。為了在幀間AMVP模式中決定MVP，高級運動向量預測(AMVP)方案用於在包括兩個空間MVP以及一個時間MVP的AMVP候選集合中選擇一運動向量預測子。因此，在AMVP模式中，MVP的MVP索引以及對應的MVD需要被編碼並且傳送。此外，指定雙向預測以及單向預測的幀間預測方向以及每一列表的參考幀索引也被編碼與傳送，其是列表0(即，L0)以及列表1(即，L1)。
在HEVC中，除了空間AMVP預測，時間MV預測子也用於幀間條帶運動補償。如第4圖所示，時間預測子從位於並位圖像的塊(TBR或TCTR)來導出，其中並位圖像是參考列表0或者參考列表1中的第一參考圖像。因為時間MVP所位於的塊可能具有兩個MV，一個MV來自參考列表0以及一個MV來自參考列表1，時間MVP根據以下規則從來自參考列表0或者參考列表1的MV導出。
1.穿過當前圖像的MV被首先選擇。
2.如果兩個MV穿過當前圖像或者都沒有穿過，與當前列表相同的一個。
MVD合併模式(MMVD)技術
在JVCT-K0115中(2018年7月10-18日，斯洛維尼亞的盧布亞納舉行的，ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第11次會議，S. Jeong等人，“CE4 Ultimate motion vector expression in J0024 (Test 4.2.9)”，文獻：JVET-K0115)提出了最終運動向量表達(UMVE)，呈現於JVET-J0024(2018年4月10-20日，美國聖地牙哥舉行的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第10次會議，S. Akula等人“Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon”，文獻：JVET- J0024)中。第5A圖示出了用於當前幀510中當前塊512的UMVE搜索進程的示例。參考列表L0中的幀520以及參考列表L1中的幀530對應於雙向預測的兩個參考。線540對應於穿過當前塊512的中心以及幀520與530中兩個對應像素的線。搜索在與線540(如，線542與544)相關的中心點附近執行。為了簡化搜索進程，如第5B圖所示，僅垂直地與水平地搜索中心點周圍的特定位置用於L0參考(550)以及L1參考(552)。UMVE用於具有提出的運動向量表達方法的跳過或合併模式。UMVE再用與正被開發的VVC(Versatile Video Coding，通用視訊編解碼)標準相同的合併候選。在合併候選中，一候選可以被選擇，以及進一步由提出的運動向量表達方法擴展。UMVE提供了具有簡化信令的新的運動向量表達。該表達方法包括預測方向資訊、起始點、運動幅度以及運動方向。
這一技術使用合併候選列表。然而，僅是默認合併類型(MRG_TYPE_DEFAULT_N)的候選被考慮用於UMVE的擴展。預測方向資訊指示L0、L1以及L0與L1預測中的預測方向。在B條帶中，提出的方向可以藉由使用鏡像技術從具有單向預測的合併候選生成雙向預測候選。例如，如果合併候選是具有L1的單向預測，L0的參考索引藉由搜索列表0中的參考圖像來決定，其與列表1的參考圖像是鏡像的。如果沒有對應的參考圖像，使用與當前圖像最近的參考圖像。L0的MV藉由縮放L1的MV來導出。縮放因數藉由POC(圖像次序計數)距離來計算。
如果UMVE候選的預測方向與複數個原始合併候選之一相同，具有值0的索引被發信為UMVE預測方向。然而，如果UMVE候選的預測方向不與該原始合併候選之一的相同，具有值1的索引被發信。在發信第一比特後，剩餘的預測方向基於UMVE預測方向的預定優先次序來發信。優先次序是L0/L1預測、L0預測以及L1預測。如果合併候選的預測方向是L1，代碼“0”被發信用於UMVE的預測方向L1。代碼“10”被發信用於UMVE的預測方向L0與L1。代碼“11”被發信用於UMVE的預測方向L0。如果L0與L1預測列表是相同的，UMVE的預測方向資訊不被發信。
基礎候選索引定義起始點。基礎候選索引指示如表2所述的列表中複數個候選中的最佳候選。 表2
Figure 108141601-A0304-0002
各種距離的距離索引如表3所示。 表3
Figure 108141601-A0304-0003
方向索引表示與起始點相關的MVD的方向。方向索引可以表示如表4所示的四個方向。 表4
Figure 108141601-A0304-0004
為了減少編碼器複雜度，應用了塊限制。如果CU的寬度或高度小於4，UMVE不被執行。多假設預測 (MH) 技術
多假設預測被提出來改善幀間圖像中現有的預測模式，包括高級運動向量預測(AMVP)模式、跳過與合併模式以及幀內模式的單向預測。通常的概念是將現有的預測模式與額外的合併索引預測組合。如在合併模式中那樣執行合併索引預測，其中合併索引被發信來獲取運動補償預測的運動資訊。最終預測是合併索引預測與由現有預測模式生成的預測的加權平均，其中根據該組合應用不同的權重。詳細資訊可以在JVET-K1030(2018年7月10-18日，斯洛維尼亞的盧布亞納舉辦的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第11次會議，C. Hsu等人“Description of Core Experiment 10: Combined and multi-hypothesis prediction”，文獻：JVET-K01030)或JVET-L0100(2018年10月1-12日，中國澳門舉辦的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第12次會議，M. Chiang等人“CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and intra mode”，文獻：JVET-L0100)中找到。三角形預測單元模式技術
三角形預測單元模式的概念是為了引入用於運動補償預測的三角形分割。如第6圖所示，其在對角線610或反對角線620將CU拆分成兩個三角形預測單元。CU中每一三角形預測單元使用其自身單向預測運動向量以及參考幀索引來幀間預測，該參考幀索引從單向預測候選列表來導出。在預測三角形預測單元後，對對角線邊緣執行適應性加權進程。然後，轉換以及量化進程被應用於整個CU。注意到，這一模式僅被應用於跳過以及合併模式。單向預測候選列表
單向預測候選列表由五個單向預測運動向量候選組成。如第7圖所示，其從包括五個空間相鄰塊(1至5)以及兩個時間並位塊(6至7)的七個相鄰塊來導出。根據單向預測運動向量、雙向預測運動向量的L0運動向量、雙向預測運動向量的L1運動向量以及雙向預測運動向量的L0與L1運動向量的平均運動向量中的次序，七個相鄰塊的運動向量被收集並被放入單向預測候選列表中。如果候選的數目小於5，0運動向量被添加到該列表。適應性加權進程
在預測每一三角形預測單元後，適應性加權進程被應用於兩個三角形預測單元之間的對角線邊緣來導出整個CU的最終預測。兩個加權因數組被列出如下： 1.  第1加權因數組：{7/8,6/8,4/8,2/8,1/8}以及{7/8,4/8,1/8}被分別用於亮度以及色度樣本。 2.  第2加權因數組：{7/8,6/8,5/8,4/8,3/8,2/8,1/8}以及{6/8,4/8,2/8}分別用於亮度以及色度樣本。
基於兩個三角形預測單元的運動向量的比較選擇一個加權因數組。當兩個三角形預測單元的參考圖像彼此不同或者它們的運動向量差值大於16像素時，第2加權因數組被使用。否則，第1加權因數組被使用。示例被示出於第8圖，其中權重810被示出用於亮度塊以及權重820被示出用於色度塊。運動向量儲存
三角形預測單元的運動向量(第9圖中的Mv1以及Mv2)被儲存於4x4網格中用於對角線分割910以及反對角線分割920。對於每一4x4網格，根據CU中4x4網格的位置，每一單向預測或雙向預測運動向量被儲存。如第9圖所示，單向預測運動向量(Mv1或Mv2)被儲存用於位於非加權區域中的4x4網格。另一方面，雙向預測運動向量被儲存用於位於加權區域中的4x4網格。雙向預測運動向量根據以下規則從Mv1以及Mv2來導出：
1.在Mv1以及Mv2來自不同方向(L0或L1)的運動向量情況下，Mv1以及Mv2被簡單組合來形成雙向預測運動向量。
2.在Mv1與Mv2都來自相同預測L0(或L1)方向的情況下，
a.如果Mv2的參考圖像與L1(或L0)參考圖像列表中的圖像相同，Mv2被縮放到該圖像，Mv1以及縮放的Mv2被組合來形成雙向預測運動向量。
b.如果Mv1的參考圖像與L1(或L0)參考圖像列表中的圖像相同，Mv1被縮放到該圖像。縮放的Mv1與Mv2被組合來形成雙向預測運動向量。
c.否則，僅Mv1被儲存用於該加權區域。
如根據JVET-L1024(2018年10月3-12日，中國澳門舉辦的ITU-T SG 16 WP 3以及ISO/IEC JTC 1/SC 29/WG 11的聯合視訊勘探小組(JVET)第12次會議，H Yang等人“Description of Core Experiment 4(CE4)：Inter prediction and motion vector coding”，文獻：JVET-L1024)在第10A-第10D圖示出的雙向預測運動向量的導出的說明。在第10A-第10D圖中，當前圖像對應於POC 4，參考圖像列表0(L0)包括POC 0以及POC 8，以及參考圖像列表1(L1)包括POC 8以及POC 16。在第10A圖中，雙向預測MV對應於((L0 refIdx=0，MV1),(L1 refIdx=0,Mv2))。在第10B圖中，雙向預測MV對應於((L0 refIdx=0，MV1),(L0 refIdx=1,Mv2))。在第10C圖中，雙向預測MV對應於((L1 refIdx=0，MV1),(L1 refIdx=1,Mv2))。在第10D圖中，僅Mv1被儲存用於加權區域。
語法
三角形預測單元模式僅被應用於跳過或合併模式中的複數個CU。此外，CU的塊尺寸不能小於8x8。對於在跳過或合併模式中編解碼的CU，CU級旗標被發信來指示該三角形預測單元模式是否被應用或不用於該當前CU。當該三角形預測單元模式被應用於該CU時，指示用於將該CU拆分成兩個三角形預測單元的索引以及該兩個三角形預測單元的運動向量被發信。索引範圍從0到39。查閱資料表(look-up table)被用於從該索引導出拆分方向以及的運動向量。
公開了一種用於視訊編解碼預測的方法以及裝置。根據這一方法，在一視訊編碼器側接收與一當前圖像中一當前塊相關的輸入資料，或者在一視訊解碼器側接收對應於包括該當前圖像中該當前塊的壓縮資料的一視訊位元流。生成包括一MMVD(運動向量差異(MVD)合併模式)候選的一組合並候選，其中藉由決定一基礎候選以及修正該基礎候選的MV(運動向量)表達的一或複數個部分來生成該MMVD候選來導出該MMVD候選。當該當前塊具有屬於至少一默認塊尺寸的一塊尺寸時，在生成該組合並候選時，決定該組合並候選的一目標候選是否是雙向預測。該至少一默認塊尺寸可以包括4x4。如果該目標候選是雙向預測：該目標候選由一單向預測候選替換；該單向預測候選被包括於該組合並候選中來生成一修正組合並候選；以及在該視訊編碼器側使用該修正組合並候選對於該當前塊相關的當前運動資訊進行編碼，或者在該視訊解碼器側使用該修正組合並候選對該當前塊相關的當前運動資訊進行解碼。
該組合並候選進一步包括一普通合併候選或一成對平均合併候選。在一些其他實施例中，該組合並候選可以進一步包括一基於歷史的合併候選。
在一個實施例中，該基礎候選僅從具有一預設合併類型的該組合並候選中的第一合併候選來選擇。如果該組合並候選都不具有該默認合併類型，一默認MV被包括在該修正組合並候選中。在一個實施例中，該預設MV是從參考圖像列表0中的一參考圖像來參考。
在一個實施例中，該MV表達的一或複數個部分包括與該MV表達相關的預測方向資訊、起始點、運動幅度、運動方向或其組合。
本發明藉由簡化將雙向預測候選轉換成單向預測候選，以及改善生成MMVD候選的進程，能夠提高編解碼效率。
110:區域
120、122、130、132:塊
220:參考塊
210、510、512:當前塊
520:參考列表L0中的幀
530:參考列表L1中的幀
540、542、544:線
550:L0參考
552:L1參考
610:對角線
620:反對角線
810、820:權重
910:對角線分割
920:反對角線分割
1110~1160:步驟
第1圖示出了CPR(當前圖像參考)補償的示例，其中兩個塊由相同圖像中另外兩個塊來預測。
第2圖示出了以與MV編解碼類似的方式預測地使用BV預測子(BVP)發信塊向量(BV)的示例。
第3圖示出了先前編解碼相鄰塊位置中可能塊向量候選(編號為從0到6)的示例。
第4圖示出了用於幀間條帶運動補償的空間與時間MV預測子。
第5A圖示出了當前塊的UMVE(最終運動向量表達)搜索進程的示例，其中兩個參考圖像用於雙向預測。
第5B圖示出了簡化的UMVE的示例，其中僅中心點垂直以及水平附近的特定位置將被搜索以簡化該搜索進程。
第6圖示出了三角形分割模式的示例，其中CU在對角線或反對角線被分割成兩個三角形預測單元。
第7圖示出了由來自5空間相鄰塊(1到5)以及兩個時間並位塊(6到7)的五個單 向預測運動向量候選組成的單向預測候選列表的示例。
第8圖示出了用於亮度塊的權重以及用於色度塊的權重的示例。
第9圖示出了運動向量儲存的示例，其中三角形預測單元的運動向量(Mv1以及Mv2)被儲存於用於對角線分割以及反對角線分割的4x4網格中。
第10A-第10D圖示出了根據JVET-L0124的雙向運動向量導出的示例。
第11圖示出了根據本發明一實施例的視訊編解碼的示例性預測的流程圖。
下文描述是實施本發明的最佳實施方式。描述被做出用於說明本發明的一般原則並不應做限制性理解。本發明的範圍由參考所附申請專利範圍最佳決定。
條件地發信具有CPR的新合併工具
在HEVC SCC擴展中，如果CPR模式被啟用用於I條帶，這一I條帶將被編解碼為幀間條帶。為了更好的整合CPR與合併模式，本發明提出了各種方法。
在一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像，例如所有參考圖像是當前圖像或者僅一個參考是當前圖像，子塊幀間模式被禁用。在語法設計中，該子塊幀間模式語法不被發信。例如，子塊幀間模式旗標被推斷為假。在另一個實施例中，子塊幀間模式語法被約束為禁用該子塊幀間模式(如，子塊幀間模式旗標被約束為假，其是子塊模式旗標將為假的位元流一致性需求)。子塊幀間模式約束被應用於跳過模式以及合併模式。在另一個實施例中，當子塊幀間模式可以在CPR中被支援時(如，如果CPR模式被使用以及沒有其他幀間參考圖像，或者所選擇的參考圖像是當前圖像)，每一子塊的所導出的運動向量也被湊整成整數MV。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有參考圖像是當前圖像或者僅有一個參考圖像為當前圖像)，多假設預測模式(MH)被禁用。在語法設計中，MH模式語法不被發信(如，MH模式旗標被推斷為假)，或者MH模式語法被約束為禁用該MH模式(如，MH模式旗標被約束為假，其是MH模式旗標將為假的位元流一致性需求)。在另一個實施例中，MH可以使用具有IBC合併類型(如MRG_TYPE_IBC)的合併候選作為複數個組合預測子之一。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有參考圖像是當前圖像或者僅有一個參考圖像為當前圖像)，三角形預測單元模式被禁用。在語法設計中，三角形預測單元模式語法不被發信(如，三角形預測單元模式旗標被推斷為假)，或者三角形預測單元模式語法被約束為禁用該三角形預測單元模式(如，三角形預測單元模式旗標被約束為假，其是三角形預測單元模式旗標將為假的位元流一致性需求)。在另一個實施例中，三角形預測單元模式可以與CPR模式組合。例如，僅一個三角形預測單元可以被編解碼為CPR模式，或者兩個三角形預測單元被編解碼為CPR模式是有效的。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有幀間參考圖像是當前圖像或者僅有一個參考圖像為當前圖像)，MVD合併模式(MMVD)被禁用。在語法設計中，MMVD模式語法不被發信(如，MMVD模式旗標被推斷為假)，或者MMVD模式語法被約束為禁用MMVD模式(如，MMVD模式旗標被約束為假，其是MMVD模式旗標將為假的位元流一致性需求)。
應用具有CPR的MMVD
當前設計中，MMVD被考慮在跳過模式編解碼或合併模式編解碼中。其將僅當合併旗標或跳過旗標被啟用時被發信。MMVD的概念是擴展到 現有MV來增加合併候選列表中MV的多樣性。首先，合併候選列表中的K個MV被選擇為MMVD擴展。K的值是大於0的整數。僅具有默認合併類型(MRG_TYPE_DEFAULT_N)的合併候選可以被選擇為MMVD的擴展。根據本發明的實施例，當CPR與MMVD都被啟用時，具有IBC合併類型(如，MRG_TYPE_IBC)或默認合併類型(MRG_TYPE_DEFAULT_N)的合併候選被用作有效MMVD的擴展。
在一個實施例中，如果具有IBC合併類型(如，MRG_TYPE_IBC)的合併候選被選擇，IBC合併類型意味著合併候選由CPR編解碼，最終MV(MMVD的擴展+MVD)將被湊整成整數MV，即使MMVD進程後的MV是一個分數像素MV。在另一個實施例中，在選擇合併候選作為MMVD的擴展後，僅整數像素MVD可以被用於生成MMVD候選。這樣，分數像素MVD不需要被發信。因此，少於一個碼字將用於MV步長編解碼。在另一個實施例中，如果具有IBC合併類型(如，MRG_TYPE_IBC)的合併候選被選擇，那麼MVD步長增加一個比率來使MVD為整數值。在另一個實施例中，如果具有IBC合併類型(如，MRG_TYPE_IBC)的合併候選被選擇，檢查CPR模式中複數個MV的合法性的一個條件被執行用於每一候選。在一個示例中，僅合法候選可以被***MMVD候選列表以及對應的碼字被改變。在另一個示例中，所有候選被***MMVD候選列表，但僅這些合法候選可以在編碼器被選擇。合法性意味著CPR模式中的MV約束應當被滿足。該MV約束是由MV指向的參考塊需要在當前CTU、或當前CTU列(row)中，或者由塊向量指向的參考塊不能與當前塊重疊或者在圖像邊界外、或者在波前並行進程(wavefront parallel process，WPP)外。
為了更好的整合CPR以及其他工具(如，MMVD、成對平均合併模式以及AMVR)，本發明中提出了幾個方法。此外，我們還考慮在本發明中整合的雙樹編解碼。
具有成對平均合併候選的CPR
在一個實施例中，如果所有的源候選是CPR MVP或一個源候選是CPR MVP以及另一個是普通MVP，該平均候選也是有效CPR候選或者有效普通候選。
例如，用於參考圖像列表的兩個候選的源MVP可以是兩個CPR MVP、CPR MVP與普通MVP、CPR MVP與無效MVP，以及兩個無效MVP。如果兩個MVP都是CPR MVP，平均MVP也是CPR MVP以及該平均MV由平均兩個CPR MV來計算，如果一個MVP是CPR MVP以及另一個是普通MVP，在沒有求平均用於該平均MVP的情況下直接使用該參考索引與MV之一，以及具有最小(或最大)合併(或參考)索引的複數個候選的參考索引與MV被選擇。或者具有最小(或最大)合併(或參考)索引的複數個候選的參考索引之一可以被直接選擇，以及藉由直接平均兩個MV來計算該平均MV，如果一個MVP是CPR MVP以及另一個是無效MVP，該平均MVP也是CPR MVP以及該平均MV是來自兩個MVP的唯一有效CPR MVP，如果兩個MVP都是無效MVP，該平均MVP也是無效MVP。對於成對平均的合併候選，如果兩個MVP之一是CPR MVP，那麼該平均合併候選被考慮為CPR合併候選。如果該成對平均合併候選是CPR MVP/候選，該MV需要是整數MV。該平均MV也被湊整成整數MV。
條件地發信具有CPR的新合併工具
在一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有參考圖像都是當前圖像或者僅有為當前圖像的一個參考圖像或其是IRAP)，子塊幀間模式是禁用的。在語法設計中，子塊幀間模式語法不被發信(如，子塊幀間模式旗標被推斷為假)。在另一個實施例中，子塊幀間模式語法被約束為禁用該子塊幀間模式(如，子塊幀間模式旗標被約束為假，其是子塊模式旗標將為假的位元流一致性需求)。子塊幀間模式約束被應用於跳過模式以及合 併模式。在另一個實施例中，當子塊幀間模式可以在CPR中被支援時(如，如果CPR模式被使用以及沒有其他幀間參考圖像，或者所選擇的參考圖像是當前圖像或其是IRAP)，每一子塊的所導出的運動向量也被湊整成整數MV。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有參考圖像都是當前圖像或者僅由一個為當前圖像的參考圖像或其是一IRAP)，多假設預測模式(MH)被禁用。在語法設計中，MH模式語法不被發信(如，MH模式旗標被推斷為假)，或者MH模式語法被約束為禁用該MH模式(如，MH模式旗標被約束為假，其是MH模式旗標將為假的位元流一致性需求)。在另一個實施例中，MH可以使用具有IBC合併類型(如，MRG_TYPE_IBC)的合併候選作為複數個組合預測子之一。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(即，所有幀間參考圖像都是當前圖像或者僅有一個為當前圖像的參考圖像或其是一IRAP)，三角形預測單元模式被禁用。在語法設計中，三角形預測單元模式語法不被發信(如，三角形預測單元模式旗標被推斷為假)，或者該三角形預測單元模式語法被約束為禁用該三角形預測單元模式(如，三角形預測單元模式旗標被約束為假，其是三角形預測單元模式旗標將為假的位元流一致性需求)。在另一個實施例中，三角形預測單元模式可以與CPR模式組合。例如，僅一個三角形預測單元模式可以被編解碼為CPR模式，或者被編解碼為CPR的兩個三角形預測單元都是有效的。
在另一個實施例中，如果CPR模式被使用以及沒有其他幀間參考圖像(如，所有幀間參考圖像是當前圖像或者僅有一個為當前圖像的參考圖像或其是一IRAP)，MVD合併模式(MMVD)被禁用。在語法設計中，MMVD模式語法不被發信(如，MMVD模式旗標被推斷為假)，或者MMVD模式語法被約束為禁用該MMVD模式(如，MMVD模式旗標被約束為假，其是MMVD模式旗 標將為假的位元流一致性需求)。
用於頻寬減少約束的修正MMVD
在本發明中MMVD被考慮在跳過模式編解碼或合併模式編解碼中。其僅當合併旗標或跳過旗標是啟用的時候被發信。MMVD的概念是擴展現有的MV來增加合併候選列表中MV的多樣性。首先，合併候選列表中K個MV被選擇為MMVD的擴展。K的值是正整數。各級本發明的一個實施例，僅具有默認合併類型(MRG_TYPE_DEFAULT_N)的合併候選可以被選擇為MMVD的擴展。然而，如果沒有具有有效合併類型的合併候選或者沒有足夠的具有有效合併類型的合併候選存在於合併候選列表中，默認MV將被***MMVD擴展列表以及具有雙向預測的一MV(如(0,0))總是被用作默認MV。我們提出考慮當前CU的預測方向或者條帶/圖塊類型來***默認MV。例如，如果雙向預測被允許用於當前CU或者當前條帶是B條帶或者當前圖塊類型是B類型圖塊，從列表0或列表1、列表0與列表1參考的默認MV將被***MMVD的擴展列表。在另一個示例中，如果雙向預測不被允許用於當前條帶(如，當前條帶是P條帶或者當前圖塊是P類型圖塊)，從列表0或列表1參考的默認MV將被***MMVD的擴展列表。例如，如果當前條帶是P條帶，如果有效候選數目小於最大候選數目，從列表0(如，具有參考索引等於0)推斷的默認MV(如(0,0))將被***MMVD的擴展列表。又例如，如果當前CU是4x4塊，如果有效候選的數目小於最大候選數目，從列表0參考的默認MV(如(0,0))將被***MMVD的擴展列表。
用於一些較小塊尺寸(如，4x4塊或任何其他較小塊尺寸)的雙向預測可能導致最壞記憶體頻寬增加的問題。為了減少頻寬開銷，我們可以以當前代碼庫中至少一默認塊尺寸(例如，像4x4塊一些較小塊尺寸)將雙向預測合併候選轉換成單向預測合併候選。在當前設計中，普通合併候選列表將首先被生 成，以及然後如果當前塊是4x4塊，雙向預測檢查將被應用。在這一條件下，所有雙向合併候選將被轉換成具有來自列表0的參考幀的單向合併候選。所轉換的單向預測合併候選用於生成MMVD候選。然而，如果可用候選數目不夠，雙向預測0相鄰將被***作為MMVD基礎候選。其將導致用於4x4塊的雙向運動補償。在一個實施例中，我們提出應用在生成所有合併候選(包括普通合併候選、MMVD以及HM合併候選)後將雙向預測檢查應用於4x4塊。這樣，如果當前塊是4x4塊，所有合併候選(如，普通合併候選、MMVD、HM、基於歷史的合併候選)將被保證是單向預測合併候選。在一些其他實施例中，當前發明也可以被應用於一些其他合併候選(例如，成對平均合併候選或者任何其他合併候選)，其在本公開中將不被限制。
具有適應性運動解析度的CPR
如果用於列表0或列表1或者列表0與列表1的適應性運動解析度被啟用，以及在參考圖像索引之前被發信，該參考圖像索引需要被發信或者被解析用於列表0或列表1、或者列表0與列表1兩者。
如果用於列表0或列表1或者列表0與列表1兩者的參考圖像索引在整數MV旗標前被發信，以及用於列表1或列表1或者列表0與列表1兩者的參考圖像等於當前圖像，整數MV旗標被推斷為真。因此，整數MV旗標不需要被發信或者被解析用於列表0或列表1或者列表0與列表1兩者。在另一個示例中，如果用於列表0或列表1或者列表0與列表1兩者的參考圖像索引在整數MV旗標之前被發信，用於列表0或列表1或者列表0與列表1兩者的參考圖像等於當前圖像，以及不是所有的MVD都等於0，該整數MV旗標被推斷為真。在一個實施例中，4像素整數MV模式被採用作為一個整數MV模式。整數MV索引(imv_idx)被發信。當前imv_idx是0時，使用分數MV(如，四分之一MV)，當imv_idx是1時，整數MV被使用；當imv_idx時2時，4像 素MV被使用。如果用於列表0或列表1或者列表0與列表1兩者的參考圖像索引在整數MV旗標之前被發信，以及用於列表0或列表1或者列表0與列表1兩者的參考圖像等於當前圖像，imv_idx可以僅大於0(如，imv_idx等於1或2)。在一個示例中，一個箱(bin)被發信來指示imv_idx是否應當等於1或2。在另一個實施例中，如果用於列表0或列表1或者列表0與列表1兩者的參考圖像索引在整數MV旗標前被發信，用於列表0或列表1或者列表0與列表1兩者的參考圖像等於當前圖像，以及不是所有的MVD都等於0，imv_idx可以僅大於0。
然而，在一些實施例中，如果參考圖像索引在整數MV旗標之前被發信，該參考圖像等於當前圖像，以及列表0或列表1或者列表0與列表1兩者中MVD等於0，那麼列表0或列表1或者列表0與列表1兩者中整數MV旗標被推斷為假(或imv_idx被推斷為0)，以及該整數MV旗標不需要被發信或解析。
換言之，如果整數MV旗標在列表0或列表1或者列表0與列表1兩者中為假，以及列表0或列表1或者列表0與列表1兩者中的參考圖像等於當前圖像，其暗示用於目標參考圖像的MVD等於0。在另一個實施例中，僅當MVD在列表0、列表1或列表0與列表1兩者中為0以及所選擇的參考圖像不等於當前圖像時，整數MV旗標被推斷為假(或imv_idx被推斷為0)，當所選擇參考圖像等於當前圖像時，不管MVD，整數MV旗標被推斷為真(或imv_idx可以僅大於0)。
雙向預測也可啟用CPR。在這種情況中，列表0與列表1兩者可以具有當前圖像作為參考圖像。在一個實施例中，如果參考圖像索引在整數MV旗標或整數MV索引之前被發信，以及參考圖像的兩側都等於當前圖像(如，MVD不需要都是0)，那麼整數MV旗標被推斷為真或者整數MV索引將大於0。否則，如果參考圖像索引在整數MV旗標或整數MV索引之前被發信， 以及僅參考圖像的一側等於當前圖像(如，MVD不需要都是0)，那麼整數MV旗標需要被發信或解析。在一個實施例中，如果參考圖像索引在整數MV旗標或者整數MV索引之前被發信，以及來自列表0或列表1的參考圖像的一側等於當前圖像(如，MVD不需要都是0)，那麼整數MV旗標或整數MV索引被推斷為幀或者整數MV索引將大於0；從參考圖像而不是當前圖像參考的MV將被湊整成整數精度。在另一個實施例中，如果參考圖像索引在整數MV旗標或者整數MV索引之前被發信，參考圖像的兩側不等於當前圖像，以及列表0或列表1或者列表0與列表1兩者中的MVD等於0，那麼列表0或列表1或者列表0與列表1兩者中的整數MV旗標被推斷為假或者整數MV索引被推斷為0，以及整數MV旗標不需要被發信或解析。在一個實施例中，為了確保參考圖像等於當前圖像的MV將由整數解析度進行編解碼，MVD將由整數解析度進行解碼而不管整數MV旗標或者如果參考圖像等於當前圖像，整數MV索引等於0時。在另一個實施例中，MVD解析度取決於整數MV旗標(或整數MV索引)以及參考圖像是否是當前圖像。如果參考圖像不是當前圖像，MVD解析度取決於整數MV旗標(或者整數MV索引)。如果參考圖像是當前圖像，根據整數MV索引，MVD解析度是整數MV解析度或者不是分數解析度的其他MV解析度(如4相似解析度)。例如，如果參考圖像是當前圖像以及imv_idx是0或1，MVD解析度是整數MV解析度。如果imv_idx是2，MVD解析度是4像素整數解析度。在另一個實施例中，如果參考圖像等於當前圖像，其MV將不總是由分數亮度樣本儲存，合適的解析度(如，整數亮度樣本)將被用於編解碼這一MV。這樣，其將被解碼為整數MV，具有整數解析度或4像素解析度而不管整數MV旗標。
具有來自複數個並位圖像的複數個時間MV的CPR
根據本發明的實施例，存在MV不可以是有效時間MV用於合 併模式或幀間模式MVP生成的一些條件。此外，如果CPR被啟用，當前圖像將被用為參考圖像，以及當前圖像通常放置於列表0的最後位置。參考圖像被標記為長期參考圖像。在一個示例中，如果當前圖像指等於其自身的圖像(即，當前圖像)，MV不可以被用作並位MV用於時間合併候選或幀間模式MVP生成。在另一個示例中，如果當前圖像指長期圖像，但並位圖像不參考長期圖像，並位圖像的MV不可以被用作用於當前圖像的時間MV。在另一個情況下，如果當前圖像參考短期圖像，但並位圖像參考長期圖像，並位圖像的MV也不可以用作當前圖像的時間MV。我們提出釋放時間MV的約束。
在一個實施例中，如果當前圖像指等於其自身的圖像(即，refPOC等於curPOC)，以及並位圖也指等於該並位圖像的一圖像(即，refPOC等於curPOC)，來自並位圖像的這一時間MV對當前圖像的合併模式以及MVP生成是有效的。該MV可以用或不用縮放被使用以及該參考圖像被設置為等於當前圖像。在另一個實施例中，如果當前圖像指等於其自身的圖像(即，refPOC等於curPOC)，以及並位圖像指長期圖像而不是當前圖像，來自該並位圖像的時間MV也可以用於當前圖像的合併模式以及MVP生成。但精度檢查需要在參考後被應用。如果來自並位圖像的時間MV用分數亮度樣本進行編解碼，其需要被湊整成一整數亮度樣本。在另一個實施例中，如果當前圖像指等於其自身的圖像(即，refPOC等於curPOC)，以及並位圖像指長期圖像而不是當前圖像，僅當來自並位圖像的時間MV用整數亮度樣本編解碼時，來自並位圖像的時間MV可以用於合併模式與MVP生成任一者中的當前圖像。在另一個實施例中，如果當前圖像指等於其自身的圖像(即，refPOC等於curPOC)，以及並位圖像指長期圖像而不是當前圖像，來自並位圖像的時間MV不可以用於合併模式與MVP生成任一者中的當前圖像。
在另一個實施例中，如果當前圖像指等於其自身的圖像(即， refPOC等於curPOC)，以及並位圖像也指等於其自身的圖像(即，refPOC等於curPOC)，來自並位圖像的MV可以用作為當前圖像的時間MV，該當前圖像的參考圖像索引等於當前圖像。在另一個實施例中，如果當前圖像指等於其自身的圖像(即，refPOC等於curPOC)，以及並位圖像也指等於其自身的圖像(即，refPOC等於curPOC)，不被標記為CPR類型合併候選的時間MV可以根據來自並位圖像的時間MV來導出。所導出的時間MV指向參考索引等於並位圖像的參考圖像中的一參考塊。
在另一個實施例中，當當前圖像的參考圖像與並位圖像的參考圖像都是長期圖像時，並位MV是否可以被使用取決於參考圖像是否是當前圖像(或者並位圖像的當前圖像)。例如，如果兩個參考圖像都是長期圖像而不是當前圖像，並位MV是有效的。如果一個參考圖像是當前圖像(或者並位圖像的當前圖像)，以及另一個參考圖像是長期圖像而不是當前圖像，該並位MV不是有效的。如果兩個參考是長期圖像以及都是當前圖像以及並位圖像的當前圖像，該並位MV也是有效的。所導出的時間MV指向當前圖像。
具有子塊合併模式以及仿射AMVP的CPR
在先前發明中，子塊合併模式包括仿射合併與ATMVP模式以及仿射AVMP模式被提出。然而，在應用CPR設計後，幾個方法被提出來改善整合。在一個實施例中，如果子塊合併模式或仿射AMVP模式是啟用的，以及當前圖像的參考圖像等於該當前圖像，以及在MV導出後需要MV檢查進程。所有子塊MV需要是整數MV。在另一個實施例中，如果當前圖像被允許被推斷為當前CU，無論哪一預測模式被選擇(如，普通合併模式、MH模式、三角形合併模式、MMVD合併模式、幀間模式、AMVP模式、子塊合併模式、仿射AMVP模式等等)，用於當前塊或當前子塊的MV需要用整數解析度進行編解碼。在不同模式的MV導出進程後需要MV檢查進程。如果當前CU的參考圖像等於當 前圖像，用於當前塊或當前子塊的分數MV需要被轉換成整數解析度。
編解碼工具管理的控制語法
在VTM-4.0 MMVD中，sps_fpel_mmvd_enabled_flag被用於禁用MMVD的分數偏移。當sps_fpel_mmvd_enabled_flag被啟用時，分數偏移將不被允許被添加為一MVD。
在本公開中，其提出使用在圖塊/圖塊組/圖像/條帶/序列/APS級中發信的控制旗標或語法。當這一旗標或語法為真時，一或複數個編解碼工具在一目標模式中被修正，當這一旗標/語法為假時，該目標模式不同於其他模式。編解碼工具可以是MMVD、AMVR、DMVR、幀內預測或者上述任何組合。在一個示例中，當旗標或語法為真時，分數偏移不被允許添加為MVD。在另一個示例中，當這一旗標或語法被啟用時，amvr_flag將不需要被發信以及將被推斷為真。僅amvr_idx需要被發信來指示4像素MV解析度是否被使用。在另一個示例中，當前這一旗標或語法被啟用時，MVD僅以整數像素或4像素進度進行編解碼。四分之一或二分之一樣本精度被禁用。在另一個實施例中，當這一旗標或語法被啟用時，幀內插值將被禁用。整數樣本幀內像素複製被使用。在另一個實施例中，當這一旗標或語法被啟用時，分數DMVR細化將被禁用。在另一個實施例中，當這一旗標或語法被啟用時，超過一個編解碼工具將被禁用。例如，amvr_flag與/或幀內插值可以都被禁用。
任何前述提出的方法可以在編碼器與/或解碼器中實施。例如，任何提出的方法可以在編碼器與/或解碼器的幀間編解碼模組/處理器/程式碼中實施。或者，任何提出的方法可以被實施為與編碼器與/或解碼器的幀間編解碼耦合的電路，以提供由幀間編解碼所需要的資訊。
第11圖示出了根據本發明實施例的視訊編解碼的示例性預測的流程圖。本公開中流程圖以及其他後續流程圖中示出的步驟可以被實施為在編 碼器側與/或解碼器側的一或複數個處理器(如，一或複數個CPU)上可執行的程式碼。流程圖中示出的步驟可以基於如一或複數個電子裝置或處理器來實施，其用於執行流程圖中的複數個步驟。根據這一方法，在步驟1110，在一視訊編碼器側接收與一當前圖像中一當前塊相關的輸入資料，或者在一視訊解碼器側接收對應於包括該當前圖像中該當前塊的壓縮資料的一視訊位元流。在步驟S1120，生成包括一MMVD(運動向量差值(MVD)合併模式)候選的一組合並候選，其中該MMVD候選藉由決定一基礎候選以及修正該基礎候選的MV(運動向量)表達的一或複數個部分來生成該MMVD候選來導出該MMVD候選。在步驟1130中，其決定當前塊是否具有屬於至少一默認塊尺寸的一塊尺寸以及在生成該組合並候選後，決定該組合並候選中的一目標候選是否是的雙向預測。如果該當前塊具有屬於至少一默認塊尺寸的一塊尺寸以及該目標候選是雙向預測(即，從步驟1130的“是”路徑)，步驟1140到1160被執行。否則(即，“否”路徑)，步驟1140到1160被跳過。在步驟1140，該目標候選由一單向預測候選替換。在步驟1150，將該單向預測候選包括於該組合並候選中來生成一修正組合並候選。在步驟1160，在該視訊編碼器側使用該修正組合並候選對與該當前塊相關的當前運動資訊進行編碼或者在該視訊解碼器側使用該修正組合並候選對於該當前塊的該當前運動資訊進行解碼。
所示出的流程圖旨在說明根據本發明的視訊編解碼的示例。在不背離本發明精神的情況下，本領域習知技術者可以修正每一步驟、重新排列步驟、拆分步驟或者組合複數個步驟來實施本發明。在本公開中，特定的語法以及語義已經用於說明示例來實施本發明的實施例。在不背離本發明精神的情況下，本領域習知技術者可以藉由用等同的語法與語法替換該語法與語義來實施本發明。
以上描述被呈現來使本領域習知技術者以特定應用的上下文中 所提供的及其需求來實施本發明。對所描述實施例的各種修正對本領域習知技術者將是顯而易見的，以及本文定義的基本原理可以被應用於其他實施例。因此，本發明不旨在限制於所示以及所描述的特定實施例，而是與符合本文所公開的原理以及新穎特徵最寬範圍一致。在以上細節描述中，各種具體的細節被示出以提供本發明的透徹理解。然而，本領域習知技術者將能理解，可以實施本發明。
如以上所描述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實施。例如，本發明的實施例可以是整合到視訊壓縮晶片的一或複數個電子電路或者整合到視訊壓縮軟體的程式碼來執行本文所描述的處理。本發明的實施例還可以是將在數位訊號處理器(DSP)上執行的程式碼來執行本文所描述的處理。本發明還涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式閘陣列(FPGA)執行的若干功能。處理器可以用於執行根據本發明的特定任務，藉由執行由本發明呈現的定義特定方法的機器可讀軟體代碼或固件代碼。軟體代碼或韌體代碼可以以不同的編碼語言以及不同的格式或風格開發。軟體代碼還可以被編譯用於不同的目標平臺。然而，軟體代碼的不同的代碼格式、風格以及語言或者配置代碼來執行根據本發明的任務的其他方法將不背離本發明的精神以及範圍。
在不背離其精神或基礎特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅被考慮是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。在所附申請專利範圍的含義以及等同範圍內的所有變化都在其範圍內。
1110~1160:步驟

Claims (9)

  1. 一種用於視訊編解碼的預測方法，該方法包括：在一視訊編碼器側接收與一當前圖像中一當前塊相關的輸入資料，或者在一視訊解碼器側接收對應於包括該當前塊的壓縮資料的一視訊位元流；生成包括一MMVD候選的一組合並候選，其中藉由決定一基礎候選以及修正該基礎候選的MV表達的一或複數個部分來生成該MMVD候選來導出該MMVD候選；如果該當前塊具有屬於至少一默認塊尺寸的一塊尺寸以及在生成該組合並候選後，該組合並候選中一目標候選是雙向預測：由一單向預測候選替換該目標候選；將該單向預測候選包括於該組合並候選中來生成一修正組合並候選；以及在該視訊編碼器側使用該修正組合並候選編碼與該當前塊相關的當前運動資訊，或者在該視訊解碼器側使用該修正組合並候選解碼與該當前塊相關的該當前運動資訊。
  2. 如申請專利範圍第1項所述之用於視訊編解碼的預測方法，其中該至少一默認塊尺寸包括4x4。
  3. 如申請專利範圍第1項所述之用於視訊編解碼的預測方法，其中該組合並候選進一步包括一普通合併候選或者一成對平均合併候選。
  4. 如申請專利範圍第1項所述之用於視訊編解碼的預測方法，其中該組合並候選進一步包括一基於歷史的合併候選。
  5. 如申請專利範圍第1項所述之用於視訊編解碼的預測方法，其中該基礎候選僅從具有一預設合併類型的該組合並候選中第一合併候選來選擇。
  6. 如申請專利範圍第5項所述之用於視訊編解碼的預測方法，其中 如果該組合並候選都不具有該默認合併類型，一默認MV被包括於該修正組合並候選中。
  7. 如申請專利範圍第6項所述之用於視訊編解碼的預測方法，其中該預設MV從參考圖像列表0中的一參考圖像來參考。
  8. 如申請專利範圍第1項所述之用於視訊編解碼的預測方法，其中該MV表達的一或複數個部分包括與該MV表達相關的預測方向資訊、起始點、運動幅度、運動方向或其組合。
  9. 一種用於視頻編解碼的幀間預測裝置，該用於視頻編解碼的幀間預測裝置包括一個或多個電子電路或處理器用於：在一視訊編碼器側接收與一當前圖像中一當前塊相關的輸入資料，或者在一視訊解碼器側接收對應於包括該當前塊的壓縮資料的一視訊位元流；生成包括一MMVD候選的一組合並候選，其中藉由決定一基礎候選以及修正該基礎候選的MV表達的一或複數個部分來生成該MMVD候選來導出該MMVD候選；如果該當前塊具有屬於至少一默認塊尺寸的一塊尺寸以及在生成該組合並候選後，該組合並候選中一目標候選是雙向預測：由一單向預測候選替換該目標候選；將該單向預測候選包括於該組合並候選中來生成一修正組合並候選；以及在該視訊編碼器側使用該修正組合並候選編碼與該當前塊相關的當前運動資訊，或者在該視訊解碼器側使用該修正組合並候選解碼與該當前塊相關的該當前運動資訊。
TW108141601A 2018-11-16 2019-11-15 用於視訊編碼之運動向量差值改良式合併方法和裝置 TWI734262B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862768207P 2018-11-16 2018-11-16
US62/768,207 2018-11-16
US201862772115P 2018-11-28 2018-11-28
US62/772,115 2018-11-28
US201962822869P 2019-03-23 2019-03-23
US62/822,869 2019-03-23
PCT/CN2019/118840 WO2020098790A1 (en) 2018-11-16 2019-11-15 Method and apparatus of improved merge with motion vector difference for video coding
WOPCT/CN2019/118840 2019-11-15

Publications (2)

Publication Number Publication Date
TW202021353A TW202021353A (zh) 2020-06-01
TWI734262B true TWI734262B (zh) 2021-07-21

Family

ID=70730194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141601A TWI734262B (zh) 2018-11-16 2019-11-15 用於視訊編碼之運動向量差值改良式合併方法和裝置

Country Status (6)

Country Link
US (1) US11381838B2 (zh)
KR (1) KR102607852B1 (zh)
CN (1) CN113170191B (zh)
RU (1) RU2768377C1 (zh)
TW (1) TWI734262B (zh)
WO (1) WO2020098790A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021004738A (es) * 2018-10-27 2021-06-04 Huawei Tech Co Ltd Lista de fusion separada para candidatos de fusion de subbloque y armonizacion de tecnicas intra-inter para codificacion de video.
US11659166B2 (en) * 2019-01-02 2023-05-23 Lg Electronics Inc. Method and apparatus for coding image by using MMVD based on CPR
WO2020177684A1 (en) * 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling dmvr based on the information in the picture header
WO2023132510A1 (ko) * 2022-01-04 2023-07-13 현대자동차주식회사 개선된 차분 움직임벡터 머지를 이용하는 비디오 코딩을 위한 방법 및 장치
WO2023143325A1 (en) * 2022-01-28 2023-08-03 Mediatek Inc. Method and apparatus for video coding using merge with mvd mode
US20230336772A1 (en) * 2022-04-18 2023-10-19 Tencent America LLC Mmvd candidate refinement methods
TW202349962A (zh) * 2022-04-29 2023-12-16 聯發科技股份有限公司 使用具有運動向量差的合併模式的視訊編解碼方法和裝置
TW202349959A (zh) * 2022-04-29 2023-12-16 聯發科技股份有限公司 使用ｍｖｄ合併模式來降低視頻編解碼複雜度的方法和裝置
JP2024008745A (ja) * 2022-07-09 2024-01-19 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426463B2 (en) 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
SG11201703454XA (en) * 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
KR20180048736A (ko) 2015-09-24 2018-05-10 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
CN118075454A (zh) * 2017-09-29 2024-05-24 Lx 半导体科技有限公司 图像编码/解码方法、存储介质及图像数据的发送方法
WO2019190199A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20230146108A (ko) * 2018-08-28 2023-10-18 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법
WO2020094049A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shigeru Fukushima et.al, Merge based mvd transmission, JCTVC-F373, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 *

Also Published As

Publication number Publication date
KR20210070386A (ko) 2021-06-14
CN113170191A (zh) 2021-07-23
KR102607852B1 (ko) 2023-11-29
TW202021353A (zh) 2020-06-01
US20210360284A1 (en) 2021-11-18
WO2020098790A1 (en) 2020-05-22
RU2768377C1 (ru) 2022-03-24
US11381838B2 (en) 2022-07-05
CN113170191B (zh) 2022-05-27
RU2022106013A (ru) 2022-05-05

Similar Documents

Publication Publication Date Title
TWI734262B (zh) 用於視訊編碼之運動向量差值改良式合併方法和裝置
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
CN110463201B (zh) 使用参考块的预测方法和装置
US11589049B2 (en) Method and apparatus of syntax interleaving for separate coding tree in video coding
TWI741589B (zh) 視頻編解碼之亮度mpm列表導出的方法及裝置
TW202013966A (zh) 色度解碼器側運動向量細化
CN112740697B (zh) 图像编码/解码方法和装置及存储比特流的记录介质
KR102094436B1 (ko) 인터 예측 방법 및 그 장치
US11539977B2 (en) Method and apparatus of merge with motion vector difference for video coding
WO2013009104A2 (ko) 인터 예측 방법 및 그 장치
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
TW202044841A (zh) 在視頻編解碼中約束合併標誌信令的方法和裝置
CN108696754B (zh) 运动向量预测的方法和装置
TWI729458B (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
JP2021517797A (ja) アフィン動き予測に基づく映像コーディング方法及び装置
TWI752488B (zh) 視訊編解碼之方法和裝置
RU2795830C2 (ru) Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения
WO2023208224A1 (en) Method and apparatus for complexity reduction of video coding using merge with mvd mode
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化
TW202410696A (zh) 使用合併ｍｖｄ模式降低視頻編碼複雜性的方法和裝置