TWI731363B - 高效的仿射Ｍｅｒｇｅ運動向量推導 - Google Patents

高效的仿射Ｍｅｒｇｅ運動向量推導 Download PDF

Info

Publication number
TWI731363B
TWI731363B TW108123187A TW108123187A TWI731363B TW I731363 B TWI731363 B TW I731363B TW 108123187 A TW108123187 A TW 108123187A TW 108123187 A TW108123187 A TW 108123187A TW I731363 B TWI731363 B TW I731363B
Authority
TW
Taiwan
Prior art keywords
block
sub
current
blocks
motion vector
Prior art date
Application number
TW108123187A
Other languages
English (en)
Other versions
TW202021356A (zh
Inventor
張凱
張莉
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202021356A publication Critical patent/TW202021356A/zh
Application granted granted Critical
Publication of TWI731363B publication Critical patent/TWI731363B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種用於高效仿射Merge運動向量推導的視訊處理方法。在一個方面，提供了一種視訊處理方法，包含將當前視訊塊劃分為子塊；針對每個子塊推導出運動向量，其中每個子塊的運動向量根據位置規則與該子塊的位置相關聯；並使用子塊的運動向量來處理當前視訊塊的位元流表示。

Description

高效的仿射Merge運動向量推導
根據適用的專利法和/或巴黎公約的規定，本申請及時要求於2018年7月1日提交的國際專利申請號PCT/CN2018/093943、以及2018年7月13日提交的國際專利申請號PCT/CN2018/095568的優先權和權益。根據美國法律，國際專利申請號PCT/CN2018/093943和國際專利申請號PCT/CN2018/095568的全部公開以引用方式併入本文，作為本申請公開的一部分。
本專利文件涉及視訊編碼和解碼技術、設備以及系統。
儘管視訊壓縮有所進步，但數位視訊仍佔網際網路和其他數位通信網絡上最大的頻寬使用。隨著能夠接收和顯示視訊的所連接的用戶設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。
該文件公開了可以在視訊編碼和解碼實施例中使用的技術，以改善特別是在使用仿射運動編碼模式時基於子塊的編碼的性能。
在一個示例方面，提供了一種視訊處理方法，包含將當前塊劃分為子塊；針對每個子塊推導出運動向量，其中每個子塊的運動向量根據位置規則 與該子塊的位置相關聯；並使用子塊的運動向量來處理當前塊的位元流表示。
在另一個方面，提供了一種視訊處理方法，包含：針對使用仿射模式的當前塊與當前塊的位元流表示之間的轉換，基於位置規則推導出在當前塊的控制點處的運動向量；並且使用運動向量來執行在當前塊與位元流表示之間的轉換，並且其中位置規則指定對於推導排除使用非相鄰的鄰近塊。
在另一個方面，提供了一種視訊處理方法，包含：針對在當前塊與所述當前塊的位元流表示之間的轉換，通過包含來自一個或多個鄰近塊的、基於所述一個或多個鄰近塊的位置滿足有效性標準的Merge候選來確定用於所述轉換的仿射Merge候選列表；並且使用運動向量來執行當前塊與位元流表示之間的轉換。
在又一個示例方面，公開了一種實現本文描述的視訊編碼方法的視訊編碼器設備。
在又一個代表性方面，本文描述的各種技術可以實施為儲存在非暫時性電腦可讀媒介上的電腦程式產品。該電腦程式產品包含用於實施本文描述的方法的程式代碼。
在又一個代表性方面，視訊解碼器裝置可以實現如本文所述的方法。
在隨附的附件、圖式和以下描述中闡述了一個或多個實現方式的細節。根據說明書和圖式以及請求項，其他特徵將是顯而易見的。
1300:當前塊
1301:模式0
1302:模式1
1303:預測塊P0
1304:預測塊P1
1305:最終預測塊P
2000:視訊處理裝置
2002:處理器
2004:記憶體
2006:視訊處理硬體、電路
2100、2200、2300:方法
2102至2106、2202、2204、2302、2304:步驟
A、B、C、D、E、a、b、c、d:塊
L0、L1:左相鄰塊
MVx0、MVy0、MVx1、MVy1:非零運動
MV0、MV1、mv0、mv1、(mvL 0 x ,mvL 0 y )、(mvL 1 x ,mvL 1 y )、(mvT 0 x ,mvT 0 y )、(mvT 1 x ,mvT 1 y )、(mv 0 x ,mv 0 y ):運動向量
P0、P1:預測塊
w0、w1:加權值
R、S、T:鄰近塊
Ref0、Ref1:參考幀
T0、T1:頂相鄰塊
TD0、TD1:時間距離
τ0、τ1:到參考幀的距離
Φ:距離
△:差
圖1繪示了基於子塊的預測的示例。
圖2繪示了簡化的仿射運動模型的示例。
圖3繪示了每個子塊的仿射運動向量場(MVF)的示例。
圖4繪示了AF_INTER模式的運動向量預測(MVP)的示例。
圖5A和圖5B描繪了AF_MERGE編碼模式的候選的示例。
圖6繪示了用於編碼單元(CU)的高級時間運動向量預測器(ATMVP)運動預測的示例過程。
圖7繪示了具有四個子塊(A-D)及其鄰近塊(a-d)的一個CU的示例。
圖8繪示了視訊編碼中的光流軌跡的示例。
圖9A和9B繪示了在沒有塊擴展的情況下的雙向光流(BIO)編碼技術的示例。圖9A繪示了塊外的訪問位置的示例，並且圖9B繪示了用於避免額外的記憶體訪問和計算的填充的示例。
圖10繪示了雙邊匹配的示例。
圖11繪示了模板匹配的示例。
圖12繪示了在幀速率上轉換(FRUC)中的單向運動估計(ME)的示例。
圖13繪示了交織預測的示例實現方式。
圖14繪示了對於不同子塊推導出MV的不同位置的示例，其中星形表示不同位置。
圖15繪示了用於推導出v0x和v0y的鄰近塊的示例。
圖16A和圖16B繪示了從用仿射模式(a)編碼的左側相鄰塊或從用仿射模式編碼的頂部相鄰塊推導出仿射Merge模式的MV的示例。
圖17繪示了屬不同編碼樹單元(CTU)行的鄰近塊和當前塊的示例，其中來自這樣的鄰近塊的仿射Merge候選被視為無效。
圖18繪示了根據所公開的技術的兩種劃分模式的交織預測的示例。
圖19A繪示了根據所公開的技術將塊劃分為4×4子塊的示例劃分模式。
圖19B繪示了根據所公開的技術將塊劃分為8×8子塊的示例劃分模式。
圖19C繪示了根據所公開的技術將塊劃分為4×8子塊的示例劃分模式。
圖19D繪示了根據所公開的技術將塊劃分為8×4子塊的示例劃分模式。
圖19E繪示了根據所公開的技術將塊劃分為非均勻子塊的示例劃分模式。
圖19F繪示了根據所公開的技術將塊劃分為非均勻子塊的另一種示例劃分模式。
圖19G繪示了根據所公開的技術將塊劃分為非均勻子塊的又一種示例劃分模式。
圖20是用於實現本文件中描述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的框圖。
圖21是用於視訊處理的示例方法的流程圖。
圖22是用於視訊處理的另一個示例方法的流程圖。
圖23是用於視訊處理的另一個示例方法的流程圖。
在本文件中使用節標題以改善可讀性，但是並非將節中描述的技術和實施例僅限制於該節。
為了改善視訊的壓縮率，研究人員不斷尋找用於編碼視訊的新技術。
1．簡介
該專利文件與視訊/圖像編碼技術有關。具體地，它涉及視訊/圖像編碼中基於子塊的預測。它可以應用於現有的視訊編碼標準(如HEVC)，或將最終確定的標準(多功能視訊編碼)。它也可以適用於未來的視訊/圖像編碼標準或視訊/圖像編解碼器。
簡要討論
基於子塊的預測首先由HEVC Annex I(3D-HEVC)引入到視訊編碼 標準中。使用基於子塊的預測，諸如編碼單元(CU)或預測單元(PU)的塊被劃分為數個非重疊子塊。可以為不同的子塊分配不同的運動信息，諸如參考索引或運動向量(MV)，並且對每個子塊單獨執行運動補償(MC)。圖1繪示了基於子塊的預測的概念。
為了探索HEVC之外的未來視訊編碼技術，由VCEG和MPEG於2015年聯合成立聯合視訊探索團隊(JVET)。從那時起，JVET採用了許多新方法並將其納入名為聯合勘探模型(JEM)的參考軟體。
在JEM中，基於子塊的預測被用於數種編碼工具，諸如仿射預測、可選時間運動向量預測(ATMVP)、空時運動向量預測(STMVP)、雙向光流(BIO)和幀速率上轉換(FRUC)。
2.1．仿射預測
在HEVC中，僅將平移運動模型應用於運動補償預測(MCP)。而在現實世界中，存在許多種運動，例如放大/縮小、旋轉、透視運動和其他不規則的運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖2所示，塊的仿射運動場由兩個控制點運動向量描述。
塊的運動向量場(MVF)由以下等式描述：
Figure 108123187-A0305-02-0007-1
其中(v 0x ,v 0y )是左頂角控制點的運動向量，(v 1x ,v 1y )是右頂角控制點的運動向量。
為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸M×N如等式(2)中推導出，其中MvPre是運動向量分數精度(在JEM中為1/16)，(v 2x ,v 2y )是左下控制點的運動向量，根據等式(1)計算。
Figure 108123187-A0305-02-0008-2
在由等式(2)推導出之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。
如圖3所示，為了推導出每個M×N子塊的運動向量，根據等式(1)計算每個子塊的中心樣點的運動向量並將其取整至1/16分數精度。然後，應用運動補償插值濾波器，以利用推導出的運動向量產生每個子塊的預測。
在MCP之後，每個子塊的高精度運動向量以與正常運動向量相同的精度被取整並保存。
在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級別的仿射標誌，以指示是否使用AF_INTER模式。在此模式下，使用鄰近塊構建具有運動向量對{(v0 ,v1)|v0={vA ,vB ,vc},v1={vD ,vE}}的候選列表。如圖4所示，從塊A、B或C的運動向量中選擇v0。來自鄰近塊的運動向量根據參考列表以及根據鄰近塊的參考的POC、當前CU的參考的POC和當前CU的POC之間的關係來縮放。並且從鄰近塊D和E中選擇v1的方法是類似的。如果候選列表的數量小於2，則由通過重複每個AMVP候選而構建的運動向量對來填充該列表。當候選列表大於2時，首先根據鄰居運動向量的一致性(候選對中的兩個運動向量的相似性)對候選進行分類，並且僅保留前兩個候選。RD成本檢查用於確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測(CPMVP)。並且，在位元流中信令通知指示候選列表中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計，並找到控制點運動向量(CPMV)。然後在位元流中信令通知CPMV與CPMVP的差異。
當在AF_MERGE模式中應用CU時，它從有效的鄰居重建塊獲得使用仿射模式編碼的第一塊。如圖5A所示，並且對於候選塊的選擇順序是從左方、上方、右上方、左下方到左上方。如圖5B所示，如果鄰居左下塊A以仿射模式編碼，則推導出包含塊A的CU的左頂角、右上角和左底角的運動向量v2、v3和v4。並且根據v2、v3和v4來計算當前CU的左頂角的運動向量v0。其次，計算當前CU的右上方的運動向量v1。
在推導出當前CU的CPMVv0和v1之後，根據簡化的仿射運動模型等式(1)，產生該當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當存在至少一個鄰近塊以仿射模式編碼時，在位元流中信令通知仿射標誌。
2.2．ATMVP
在可選時間運動向量預測(ATMVP)方法中，通過從小於當前CU的塊中提取多組運動信息(包含運動向量和參考索引)來修改運動向量時間運動向量預測(TMVP)。如圖6所示，子CU是方形N×N塊(默認地將N設置為4)。
ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步是利用所謂的時間向量識別參考圖片中的對應塊。參考圖片被稱為運動源圖片。第二步是將當前CU劃分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖6所示。
在第一步驟中，由當前CU的空間鄰近塊的運動信息確定參考圖片和對應塊。為了避免鄰近塊的重複掃描過程，使用當前CU的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應塊，其中對應塊(有時稱為共位(collocated)塊)總是相對於當前CU位於右下或中心位置。
在第二步驟中，通過向當前CU的坐標添加時間向量，通過運動源圖 片中的時間向量來識別子CU的對應塊。對於每個子CU，其對應塊(覆蓋中心樣本的最小運動網格)的運動信息用於推導子CU的運動信息。在識別出對應的N×N塊的運動信息之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器檢查是否滿足低延遲條件(即，當前圖片的所有參考圖片的POC小於當前圖片的POC)並且可能使用運動向量MVx(對應於參考圖片列表X的運動向量)來預測每個子CU的運動向量MVy(其中X等於0或1並且Y等於1-X)。
3.STMVP
在該方法中，按照光柵掃描順序遞歸地推導子CU的運動向量。圖7繪示了這個概念。讓我們考慮包含四個4×4子CU A，B，C和D的8×8 CU。當前幀中的鄰居4×4塊被標記為a，b，c和d。
子CU A的運動推導通過識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊(塊c)。如果該塊c不可用或者是幀內編碼，則(從塊c開始，從左到右)檢查子CU A上方的其他N×N個塊。第二鄰居是子CU A左側的塊(塊b)。如果塊b不可用或者是幀內編碼，則(從塊b開始，從上到下)檢查子CU A左側的其他塊。從每個列表的鄰近塊獲得的運動信息被縮放到給定列表的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時間運動向量預測值(Temporal Motion Vector Predictor，TMVP)。提取位置D處的共位塊的運動信息並對應地縮放。最後，在檢索和縮放運動信息之後，對於每個參考列表，所有可用的運動向量(最多3個)被分別平均。平均運動向量被指定為當前子CU的運動向量。
4.BIO
雙向光流(BIO)是在用於雙向預測的逐塊運動補償之上執行的逐樣本運動細化。樣本級別運動細化不使用信令通知。
設I (k) 為塊運動補償之後參考k(k=0,1)的亮度值，並且
Figure 108123187-A0305-02-0011-66
/
Figure 108123187-A0305-02-0011-67
,
Figure 108123187-A0305-02-0011-68
/
Figure 108123187-A0305-02-0011-69
分別為I (k) 梯度的水平分量和垂直分量。假設光流是有效的，則運動向量場(v x ,v y )由下式給出：
Figure 108123187-A0305-02-0011-4
將此光流等式與每個樣本運動軌跡的埃爾米特插值相結合，得到唯一的三階多項式，該三階多項式最後匹配函數值I (k)和其導數
Figure 108123187-A0305-02-0011-70
/
Figure 108123187-A0305-02-0011-71
，
Figure 108123187-A0305-02-0011-72
/
Figure 108123187-A0305-02-0011-73
兩者。該三階多項式在t=0時的值是BIO預測：
Figure 108123187-A0305-02-0011-5
這裡，τ0和τ1表示到參考幀的距離，如圖8所示。基於Ref0和Ref1的POC計算距離τ0和τ1：τ0=POC(當前)-POC(Ref0)，τ1=POC(Ref1)-POC(當前)。如果兩個預測都來自相同的時間方向(兩者都來自過去或都來自未來)，則sign是不同的(即，τO τ1<O)。在這種情況下，僅當預測不是來自相同的時刻(即，τO≠τ1)時才應用BIO，兩個參考區域都具有非零運動(MVx 0,MVy 0,MVx 1,MVy 1≠O)並且塊運動向量與時間距離成比例(MVx 0/MVx 1=MVy 0/MVy 1=τ0/τ1)。
通過最小化點A和B(圖9A和9B中的運動軌跡和參考幀平面的交叉)中的值之間的差△來確定運動向量場(v x ,v y )。模型僅使用△的局部泰勒展開的第一線性項：
Figure 108123187-A0305-02-0011-6
上面的等式中的所有值都取決於樣本位置(i',j')，到目前為止，符號表示中省略了該樣本位置。假設運動在局部周圍區域是一致的，我們在以當前預測點為中心的(2M+1)×(2M+1)的方形窗口Ω內最小化△，其中M等於2：
Figure 108123187-A0305-02-0011-3
對於該優化問題，JEM使用簡化方法，首先在垂直方向上進行最小 化，然後在水平方向上進行最小化。由此產生：
Figure 108123187-A0305-02-0012-7
Figure 108123187-A0305-02-0012-8
其中，
Figure 108123187-A0305-02-0012-9
為了避免除以零或非常小的值，在等式(7)和等式(8)中引入正則化參數r和m。
r=500．4 d-8 (10)
m=700．4 d-8 (11)
這裡d是視訊樣本的位元深度。
為了使BIO的記憶體訪問與常規雙向預測運動補償保持相同，僅針對當前塊內的位置計算所有預測和梯度值I (k) ,
Figure 108123187-A0305-02-0012-74
/
Figure 108123187-A0305-02-0012-75
,
Figure 108123187-A0305-02-0012-76
/
Figure 108123187-A0305-02-0012-77
。在等式(9)中，以在預測塊的邊界上的當前預測點為中心的(2M+1)×(2M+1)方形窗口Ω需要訪問塊外部的位置(如圖9A所示)。在JEM中，將塊外部的I (k) ,
Figure 108123187-A0305-02-0012-78
/
Figure 108123187-A0305-02-0012-79
,
Figure 108123187-A0305-02-0012-80
/
Figure 108123187-A0305-02-0012-81
的值設置為等於塊內最近的可用值。例如，這可以實施為填充，如圖9B所示。
利用BIO，可以針對每個樣本細化運動場。為了降低計算複雜度，在JEM中使用基於塊的BIO設計。基於4×4的塊計算運動細化。在基於塊的BIO中，聚合4×4的塊中的所有樣本的等式(9)中的s n 的值，然後將s n 的聚合值用於推導4×4塊的BIO運動向量偏移。更具體地，以下公式用於基於塊的BIO推導：
Figure 108123187-A0305-02-0013-10
其中bk表示屬預測塊的第k個4×4塊的樣本集。將等式(7)和(8)中的s n 替換為((s n,bk )>>4)，以推導相關聯的運動向量偏移。
在一些情況下，由於噪音或不規則運動，BIO的MV團(MV regiment)可能不可靠。因此，在BIO中，MV團的尺寸被閾值thBIO截頂。基於當前圖片的參考圖片是否都來自一個方向來確定閾值。如果當前圖片的所有參考圖片都來自一個方向，則將閾值的值設置為12×214-d ；否則，將其設置為12×213-d 。
利用使用與HEVC運動補償過程(2D可分離FIR)一致的操作的運動補償插值來同時計算BIO的梯度。根據塊運動向量的分數部分，該2D可分離FIR的輸入是與運動補償過程和分數位置(fracX，fracY)相同的參考幀樣本。在水平梯度
Figure 108123187-A0305-02-0013-82
/
Figure 108123187-A0305-02-0013-83
的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY相對應的BIOfilterS垂直插值訊號，然後在水平方向上應用梯度濾波器BIOfilterG，該BIOfilterG與具有去縮放偏移18-d的分數位置fracX相對應。在垂直梯度
Figure 108123187-A0305-02-0013-85
/
Figure 108123187-A0305-02-0013-86
的情況下，首先使用與具有去縮放偏移d-8的分數位置fracY相對應的BIOfilterG垂直應用梯度濾波器，然後在水平方向上使用BIOfilterS執行訊號位移，該BIOfilterS與具有去縮放偏移18-d的分數位置fracX相對應。用於梯度計算的插值濾波器BIOfilterG和用於訊號位移的插值濾波器BIOfilterS的長度較短(6抽頭)，以保持合理的複雜度。表1繪示了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表2繪示了用於BIO中預測訊號產生的插值濾波器。
Figure 108123187-A0305-02-0013-11
Figure 108123187-A0305-02-0014-12
Figure 108123187-A0305-02-0014-13
在JEM中，當兩個預測來自不同的參考圖片時，BIO應用於所有雙向預測塊。當為CU啟用LIC時，禁用BIO。
在JEM中，OBMC在正常MC過程之後應用於塊。為了降低計算複雜性，在OBMC過程中不應用BIO。這意味著BIO僅在使用其自身的MV時才應用於塊的MC過程，並且在OBMC過程中使用鄰近塊的MV時不應用於MC過程。
2.5.FRUC
當CU的Merge標誌為真時，向該CU信令通知FRUC標誌。當FRUC標誌為假時，信令通知Merge索引，並使用常規Merge模式。當FRUC標誌為真時，信令通知附加的FRUC模式標誌以指示將使用哪種方法(雙邊匹配或模板匹配)來導出該塊的運動信息。
在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於如對正常Merge候選那樣所做的RD成本選擇。換言之，通過使用RD成本選擇來校驗CU的兩種匹配模式(雙邊匹配和模板匹配)。導致最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用有關匹配模式。
FRUC Merge模式中的運動推導過程有兩個步驟。首先執行CU級別運動搜索，接下來執行子CU級別運動細化。在CU級別，基於雙邊匹配或模板匹配為整個CU導出初始運動向量。首先，產生MV候選列表，並且選擇導致最小匹配成本的候選作為進一步CU級別細化的起點。然後，圍繞起始點執行基於雙邊匹配或模板匹配的局部搜索，並且將導致最小匹配成本的MV作為整個CU的MV。隨後，運動信息在子CU級別進一步細化，其中導出的CU運動向量作為起點。
例如，針對W×HCU運動信息推導執行以下推導處理。在第一階段，導出整體W×H CU的MV。在第二階段，CU進一步劃分為M×M子CU。如(13)中計算M的值，D是預定義的劃分深度，其在JEM中默認設置為3。然後導出每個子CU的MV。
Figure 108123187-A0305-02-0016-14
如圖10所示，雙邊匹配用於通過在兩個不同參考圖像中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，來導出當前CU的運動信息。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與在當前圖像和兩個參考圖像之間的時間距離--即TD0和TD1--成比例。作為特殊情況，當當前圖像在時間上在兩個參考圖像之間並且從當前圖像到兩個參考圖像的時間距離相同時，雙邊匹配變為基於鏡像的雙向MV。
如圖11所示，模板匹配用於通過找到在當前圖像中的模板(當前CU的頂部鄰近塊和/或左方鄰近塊)與參考圖像中的塊(具有與模板相同的尺寸)之間的最接近匹配，來導出當前CU的運動信息。除了上述FRUC Merge模式之外，模板匹配也適用於AMVP模式。在JEM中，如在HEVC中一樣，AMVP有兩個候選。使用模板匹配方法，導出新的候選。如果由模板匹配的新導出的候選與第一現有AMVP候選不同，則將其***AMVP候選列表的最開始，並且然後將列表尺寸設置為2(這意味著移除第二現有AMVP候選)。當應用於AMVP模式時，僅應用CU級別搜索。
CU級別MV候選集合
CU級別的MV候選集合由以下組成：(i)如果當前CU處於AMVP模式，則為原始AMVP候選，(ii)所有Merge候選，(iii)插值MV域中的數個MV(稍後描述)，(iv)頂部和左方鄰近的運動向量。
當使用雙邊匹配時，Merge候選的每個有效MV被用作輸入，以在假設雙邊匹配的情況下產生MV對。例如，Merge候選的一個有效MV是在參考列表 A中的(MVa，refa)。然後，在其他參考列表B中找到其配對雙邊MV的參考圖像refb，使得refa和refb在時間上位於當前圖片的不同側。如果參考列表B中這樣的refb不可用，則refb被確定為與refa不同的參考，並且refb到當前圖像的時間距離是列表B中的最小值。在確定refb之後，基於當前圖像與refa、refb之間的時間距離通過縮放MVa來導出MVb。
來自插值MV域的四個MV也被添加到CU級別候選列表。更具體地，添加當前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)處的插值MV。
當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級別MV候選集合。
在CU級別，用於AMVP CU的最多15個MV、用於Merge CU的最多13個MV被添加到候選列表。
子CU級別MV候選集合
子CU級別的MV候選集合由以下組成：(i)從CU級別搜索確定的MV，(ii)頂部、左方、左頂和右頂的鄰近MV，(iii)來自參考圖像的並列MV的縮放版本，(iv)最多4個ATMVP候選，(v)最多4個STMVP候選。
來自參考圖像的縮放MV如下導出。遍歷兩個列表中的所有參考圖像。參考圖像中的子CU的並列位置處的MV被縮放到起始CU級別MV的參考。
ATMVP和STMVP候選僅限於前四個。
在子CU級別，最多17個MV被添加到候選列表中。
插值MV域的產生
在對幀進行編碼之前，基於單邊ME為整個圖像產生插值運動域。然 後，運動域可以稍後用作CU級別或子CU級別MV候選。
首先，兩個參考列表中的每個參考圖像的運動域以4×4塊級別遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖像中的4×4塊(如圖12所示)並且該塊尚未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1(與HEVC中的TMVP的MV縮放的方式相同的方式)縮放到當前圖像，並且將縮放的運動分配給當前幀中的塊。如果無縮放的MV被分配到4×4塊，則在插值的運動域中將塊的運動標記為不可用。
插值和匹配成本
當運動向量指向分數樣點位置時，需要運動補償插值。為了降低複雜性，雙邊匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟有點不同。當從CU級別的候選集合中選擇候選時，匹配成本是雙邊匹配或模板匹配的絕對差之和(SAD)。在確定起始MV之後，如下計算子CU級別搜索的雙邊匹配的匹配成本C：
Figure 108123187-A0305-02-0018-59
其中w是一個加權因子，且根據經驗設置為4，MV和MV s 分別指示當前MV和起始MV。SAD仍用作子CU級別搜索的模板匹配的匹配成本。
在FRUC模式中，MV通過僅使用亮度樣點導出。導出的運動將用於MC幀間預測的亮度和色度。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。
MV細化
MV細化是以雙邊匹配成本或模板匹配成本為準則的基於模式的MV搜索。在JEM中，支持兩種搜索模式——分別用於CU級別和子CU級別的MV細化的無限制的中心偏置菱形搜索(unrestricted center-biased diamond search，UCBDS)和自適應交叉搜索(adaptive cross search)。對於CU級別和子CU級別 MV細化，以四分之一亮度樣點MV精度直接搜索MV，並且接下來以八分之一亮度樣點MV細化。對於CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣點。
模板匹配FRUC Merge模式中預測方向的選擇
在雙邊匹配Merge模式中，始終應用雙向預測，因為基於在兩個不同參考圖像中沿當前CU的運動軌跡的兩個塊之間的最接近匹配來導出CU的運動信息。模板匹配Merge模式不存在這樣的限制。在模板匹配Merge模式中，編碼器可以在針對CU的來自列表0的單向預測、來自列表1的單向預測或者雙向預測之中進行選擇。選擇基於模板匹配成本，如下：如果costBi<=factor * min(cost0,cost1)
使用雙向預測；否則，如果cost0<=cost1
使用來自列表0的單向預測；否則，使用來自列表1的單向預測；其中cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，costBi是雙向預測模板匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。
幀間預測方向選擇僅應用於CU級別模板匹配過程。
交織預測示例
對於交織預測，用多於一個劃分模式來將塊劃分為子塊。劃分模式被定義為將塊劃分為子塊的方式，包含子塊的尺寸和子塊的位置。對於每個劃分模式，可以通過基於劃分模式推導出每個子塊的運動信息來產生對應的預測塊。因此，即使對於一個預測方向，也可以通過多個劃分模式來產生多個預測 塊。可選，對於每個預測方向，可以僅應用一個劃分模式。
假設存在X個劃分模式，並且使用該X個劃分模式通過基於子塊的預測來產生當前塊的X個預測塊，表示為P 0,P 1,...,P X-1。可以如下式來產生當前塊的最終預測，表示為P
Figure 108123187-A0305-02-0020-15
其中(x,y)是塊中的像素的坐標，w i (x,y)是P i 的加權值。在不失一般化的情況下，假設
Figure 108123187-A0305-02-0020-16
，其中N是非負值。圖13繪示了兩個劃分模式的交織預測的示例。
3.由描述的實施例解決的示例問題
如圖5A和圖5B所示的仿射Merge MV推導過程存在兩個潛在的缺點。
首先，CU的左頂點的坐標和該CU的尺寸必須由屬該CU的每個4×4塊儲存。在HEVC中該信息不需要儲存。
其次，解碼器必須訪問與當前CU不相鄰的4×4塊的MV。在HEVC中，解碼器僅需要訪問與當前CU相鄰的4×4塊的MV。
4.示例實施例
我們提出了數種方法來進一步改善基於子塊的預測，包含交織預測和仿射Merge MV推導過程。
以下列出的技術和實施例應被視為用於解釋一般概念的示例。此外，這些技術可以組合以在視訊編碼過程或對應的解碼過程期間一起操作。注意，在本文中術語“編碼”包含“代碼轉換”，其中非壓縮格式的源視訊被編碼成另一種編碼格式。
子塊的MV推導
1.在一個實施例中，針對子塊的中心推導出子塊的MV。
a.可選的，針對子塊內的任何位置推導出子塊的MV，該位置可以不在子塊的中心。
b.可選的，對於每個子塊，推導出MV的位置可以是不同的。(該位置與每個子塊有關)。
c.推導出MV的位置可以取決於子塊的位置。圖14繪示了一個示例。
d.由MxN表示子塊尺寸，其中中心位置可以定義為((M>>1)+a)x((N>>1)+b)，其中a、b可以是0或-1。
圖14繪示了對於不同子塊推導出MV的不同位置的示例。星形表示位置。可以看出，MV推導可以使用各種不同的位置。
高效仿射Merge MV推導
2.在一個實施例中，在仿射Merge MV推導過程中，控制點處的MV(諸如左頂點處的mv0和右頂點處的mv1)僅利用相鄰的鄰近塊的信息來推導。在一個示例中，使用仿射Merge模式，推導出當前CU的MV不需要左頂點的坐標和鄰近CU的尺寸以及與當前CU不相鄰的4×4塊的MV。
a.在一個實施例中，仿射參數(諸如，等式(1)中的四參數仿射模式a、b、c和d)儲存在使用仿射模式(包含仿射幀間模式和仿射Merge模式)編碼的每個塊中。
i.如果塊使用仿射Merge模式編碼，則它從使用仿射模式編碼的鄰近塊繼承四個參數。
ii.在一個示例中，列表0和列表1的四個參數是不同的。
iii.在一個示例中，可以儲存兩個參考圖像列表的參數。可選的，即使對於雙向預測，也可以僅儲存仿射參數的一個集合。可 選地，對於多假設，可以儲存仿射參數的兩個集合，並且每個集合對應於用於雙向預測的一個參考圖像列表。
b.在一個實施例中，僅仿射參數的集合的一部分(例如，等式(1)的四參數仿射模式中的兩個參數(a和b))儲存在使用仿射模式(包含仿射幀間模式和仿射Merge模式)編碼的每個塊中。如果塊使用仿射Merge模式編碼，則它從使用仿射模式編碼的鄰近塊繼承儲存的部分參數。
i.在一個示例中，不同的參考圖片或不同的參考圖片列表可以儲存所有有關的部分仿射參數。
ii.列表0和列表1的兩個參數是不同的。
c.在一個實施例中，等式(1)中的v 0x 和v 0y (也表示為c和d)從與當前塊的左頂角相鄰的塊推導出。在以下示例中，假設當前塊被合併到用仿射模式編碼的鄰近塊G。
i.在一個示例中，如圖15所示的三個鄰近塊R、S和T用於推導(v 0x ,v 0y )。三個塊中的MV被標記為MV(R)、MV(S)和MV(T)。
(a)在一個示例中，如果X是幀間編碼的，則將(v 0x ,v 0y )設置為等於MV(X)(X可以是R、S或T)。
(b)在一個示例中，如果R、S和T是幀間編碼的，則將(v 0x ,v 0y )設置為等於MV(R)、MV(S)和MV(T)的平均值。
(c)在一個示例中，如果X和Y是幀間編碼的，則將(v 0x ,v 0y )設置為等於MV(X)和MV(Y)的平均值(X和Y可以是R、S或T)。
(d)在一個示例中，將(v 0x ,v 0y )設置為等於MV(X)並且MV(X)應該指代塊G的相同參考。
ii.在一個示例中，(v 0x ,v 0y )從時間鄰近塊的MV推導出。
iii.在一個示例中，(v 0x ,v 0y )被縮放到塊G的參考。
d.在一個實施例中，使用仿射Merge模式編碼的塊的MV從使用仿射模式編碼的S個(對於四參數仿射模式S=2，對於六參數仿射模式S=3)左相鄰塊推導出。圖16A繪示了一個示例。L0和L1是使用仿射模式編碼的兩個左相鄰塊。△是兩個左相鄰塊之間的距離。兩個塊的運動向量分別是(mvL 0 x ,mvL 0 y )和(mvL 1 x ,mvL 1 y )。(mv 0 x ,mv 0 y )是當前塊左頂控制點處的MV(在等式(1)中亦稱(v 0x ,v 0y ))。兩個塊中的一個塊(例如L0)與左頂控制點之間的y距離記為Φ。應該注意，距離可從塊的頂部、塊的中間或塊的底部測量。在圖16A中，該距離從底部測量。
i.在一個示例中，等式(1)中的a和b可以推導為a=(mvL 1 y -mvL 0 y )/△,b=-(mvL 1 x -mvL 0 x )/△。
ii.△可以是固定數。
(a)△可以是2N的形式，諸如1、4、8、16等。在這種情況下，用於計算上述a和b的除法操作可以實現為移位操作。
iii.△可以是取決於塊的高度的數字。
iv.△可以被推導為滿足以下的最大長度：L0和L1之間(包含L0和L1)的所有左相鄰塊使用仿射模式編碼並共享相同的參考圖片。
v.(mv0 x,mv0 y)可以推導為mv 0 x =mvL 0 x +bΦ,mv 0 y =mvL 0 y -aΦ。
vi.如果Φ是L1與左頂控制點之間的y距離，那麼(mv 0 x ,mv 0 y )可以推導為 mv 0 x =mvL 1 x +bΦ,mv 0 y =mvL 1 y -aΦ。
e.在一個實施例中，使用仿射Merge模式編碼的塊的MV從使用仿射模式編碼的S個(對於四參數仿射模式S=2，對於六參數仿射模式S=3)頂相鄰塊推導出。圖16B繪示了一個示例。T0和T1使用仿射模式編碼的兩個頂相鄰塊。△是兩個頂相鄰塊之間的距離。兩個塊的運動向量分別是(mvT 0 x ,mvT 0 y )和(mvT 1 x ,mvT 1 y )。(mv 0 x ,mv 0 y )是當前塊左頂控制點處的MV(在等式(1)中亦稱(v 0x ,v 0y ))。兩個塊中的一個塊(例如T0)與左頂控制點之間的x距離記為Φ。應該注意，距離可從塊的左方、塊的中間或塊的右方測量。在圖16B中，該距離從右方測量。
i.在一個示例中，等式(1)中的a和b可以推導出為a=(mvT 1 x -mvT 0 x )/△,b=(mvT 1 y -mv T 0 y )/△。
ii.△可以是固定數。
(a)△可以是2N的形式，諸如1、4、8、16等。在這種情況下，用於計算上述a和b的除法操作可以實現為移位操作。
iii.△可以是取決於塊的高度的數。
iv.△可以被推導出為滿足以下的最大長度：T0和T1之間(包含T0和T1)的所有頂相鄰塊使用仿射模式編碼並共享相同的參考圖片
v.(mv 0 x ,mv 0 y )可以推導出為mv 0 x =mvT 0 x -aΦ,mv 0 y =mvT 0 y -bΦ。
vi.如果Φ是T1與左頂控制點之間的x距離，那麼(mv 0 x ,mv 0 y )可以推導出為mv 0 x =mvT 1 x -aΦ,mv 0 y =mvT 1 y -bΦ。
圖16A和圖16B繪示了從使用仿射模式編碼的左相鄰塊(圖16A)或從使用仿射模式編碼的頂相鄰塊(圖16 B)推導出仿射Merge模式的MV的示例。
f.使用仿射Merge模式編碼的塊的MV可以從使用仿射模式編碼的非相鄰塊推導出。
g.使用哪些相鄰塊來推導出使用仿射Merge模式編碼的塊的MV可以取決於塊形狀。
i.對於具有尺寸MxN且M>N的塊，使用仿射Merge模式編碼的塊的MV從使用仿射模式編碼的頂相鄰塊推導出。
ii.對於具有尺寸MxN且M<N的塊，使用仿射Merge模式編碼的塊的MV從使用仿射模式編碼的左相鄰塊推導出。
iii.對於具有尺寸MxN且M=N的塊，使用仿射Merge模式編碼的塊的MV從與當前塊的左頂角相鄰的塊推導出。
3.在一個實施例中，來自鄰近塊的仿射Merge候選是否是有效的仿射Merge候選取決於鄰近塊的位置。
a.在一個示例中，如果鄰近塊屬與當前的編碼樹單元(Coding Tree Unit,CTU)不同的CTU(例如，最大CU(LCU))，則來自鄰近塊的仿射Merge候選被視為無效(不放入Merge候選列表)。
b.可選的，如果鄰近塊屬與當前的CTU行不同的CTU行，則來自鄰近塊的仿射Merge候選被視為無效(不放入Merge候選列表)，如圖17所示。
c.可選的，如果鄰近塊屬與該條帶不同的條帶，則來自鄰近塊的仿射Merge候選被視為無效(不放入Merge候選列表)。
d.可選的，如果鄰近塊屬與該片(tile)不同的片，則來自鄰近塊的仿射Merge候選被視為無效(不放入Merge候選列表)。
圖17繪示了鄰近塊與當前塊屬不同CTU行的示例。在該示例中，如果鄰近塊屬與當前CTU行不同的CTU行，則來自鄰近塊的仿射Merge候選被視為無效(不放入Merge候選列表)。
交織預測的示例
圖18繪示了根據所公開的技術的具有兩個劃分模式的交織預測的示例。當前塊1300可以劃分成多個模式。例如，如圖18所示，當前塊被劃分成模式0(1301)和模式1(1302)。產生兩個預測塊P0(1303)和P1(1304)。通過計算P0(1303)和P1(1304)的加權和，可以產生當前塊1300的最終預測塊P(1305)。
更一般的，給定X個劃分模式，當前塊的X個預測塊(表示為P 0，P 1,，...,P X-1)可以使用X個劃分模式由基於子塊的預測產生。當前塊的最終預測(表示為P)可產生為：
Figure 108123187-A0305-02-0026-17
這裡，(x,y)是塊中像素的坐標，並且w i (x,y)是P i 的權重係數。通過示例而不是限制，權重可以表示為：
Figure 108123187-A0305-02-0026-18
N是非負的值。可選地，等式(16)中的位移位操作也可表示為：
Figure 108123187-A0305-02-0026-19
權重之和是2的冪，通過執行移位操作而不是浮點除法，可以更有效地計算加權和P。
劃分模式可以具有不同的子塊形狀、尺寸或位置。在一些實施例中，劃分模式可以包含不規則的子塊大小。圖19A-圖19G顯示了16×16塊的幾個劃分模式的示例。在圖19A中，根據所公開的技術將塊劃分為4×4的子塊。這種模式也用於JEM。圖19B繪示根據所公開的技術將塊劃分為8×8的子塊的劃分模式的示例。圖19C繪示根據所公開的技術將塊劃分為8×4的子塊的劃分模式的示例。 圖19D繪示根據所公開的技術將塊劃分為4×8的子塊的劃分模式的示例。在圖19E中，根據所公開的技術將塊的一部分劃分為4×4的子塊。塊邊界上的像素被劃分成更小的子塊，其大小如2×4,4×2或2×2。一些子塊可以合併以形成更大的子塊。圖19F繪示了相鄰子塊(如4×4子塊和2×4子塊)的示例，這些子塊合併後形成尺寸為6×4、4×6或6×6的較大子塊。在圖19G中，塊的一部分被劃分為8×8子塊。而塊邊界處的像素被劃分為較小的子塊如8×4、4×8或4×4。
基於子塊的預測中子塊的形狀和大小可以基於編碼塊的形狀和/或大小和/或編碼塊信息來確定。例如，在一些實施例中，當當前塊的大小為M×N時，子塊的大小為4×N(或8×N等)，即子塊與當前塊具有相同的高度。在一些實施例中，當當前塊的大小為M×N時，子塊的大小為M×4(或M×8等)，即子塊與當前塊具有相同的寬度。在一些實施例中，當當前塊的大小為M×N(其中M>N)時，子塊的大小為A×B，其中A>B(例如，8×4)。或者，子塊的大小為B×A(例如，4×8)。
在一些實施例中，當前塊的大小為M×N。當M×N<=T(或min(M，N)<=T，或max(M，N)<=T等)時，子塊的大小為A×B；當M×N>T(或min(M，N)>T，或max(M，N)>T等)時，子塊的大小為C×D，其中A<=C，B<=D。例如，如果M×N<=256，子塊的大小可以是4×4。在一些實現中，子塊的大小為8×8。
在一些實施例中，可以基於幀間預測的方向確定是否應用交織預測。例如，在一些實施例中，交織預測可以適用於雙向預測，但不適用於單向預測。作為另一個示例，當應用多假設時，當存在多於一個參考塊時，交織預測可以應用於一個預測方向。
在一些實施例中，還可以基於幀間預測方向來確定如何應用交織預測。在一些實施例中，對於兩個不同的參考列表，具有基於子塊預測的雙向預 測塊被劃分為具有兩種不同劃分模式的子塊。例如，當從參考列表0(L0)預測時，雙向預測塊被劃分為4×8子塊，如圖19D所示。從參考列表1(L1)預測時，同一塊劃分為8×4子塊，如圖19C所示。最終預測P計算為：
Figure 108123187-A0305-02-0028-20
這裡，P 0和P 1分別是來自L0和L1的預測值。w 0和w 1分別是來自L0和L1的加權值。如等式(16)所示，加權值可以確定為：w 0(x,y)+w 1(x,y)=1<<N(其中N為非負整數值)。因為在每個方向上使用較少的子塊進行預測(例如4×8子塊，而不是8×8子塊)，因此與現有的基於子塊的方法相比，計算需要較小的頻寬。通過使用較大的子塊，預測結果也更不易受噪聲干擾的影響。
在一些實施例中，對於相同的參考列表，具有基於子塊的預測的單向預測塊被劃分為具有兩種或多種不同劃分模式的子塊。例如，對於列表L(L=0或1)的預測，P L 計算如下：
Figure 108123187-A0305-02-0028-21
這裡，XL是列表L的劃分模式數。
Figure 108123187-A0305-02-0028-25
(x,y)是用第i個劃分模式產生的預測，並且
Figure 108123187-A0305-02-0028-24
(x,y)是
Figure 108123187-A0305-02-0028-23
(x,y)的加權值。例如，當XL為2時，列表L應用兩種劃分模式。在第一種劃分模式中，塊劃分為如圖19D所示的4×8子塊，在第二種劃分模式中，塊劃分為如圖19C所示的8×4子塊。
在一些實施例中，基於子塊預測的雙向預測塊被視為分別來自L0和L1的兩個單向預測塊的組合。來自每個列表的預測可以按照如上面的示例中的描述來推導。最終預測P可計算為：
Figure 108123187-A0305-02-0028-22
這裡參數a和b是應用於兩個內部預測塊的兩個附加權重。在這個特定的示例中，a和b都可以設置為1。與上面的示例類似，由於每個方向的預測使 用較少子塊(例如，4×8子塊，而不是8×8子塊)，因此頻寬使用優於現有的基於子塊的方法或與現有的基於子塊的方法相同。同時，通過採用較大的子塊可以改善預測結果。
在一些實施例中，可以在每個單向預測塊中使用單獨的不均勻模式。例如，對於每個列表L(例如，L0或L1)，塊被劃分為不同的模式(例如，如圖19E或圖19F所示)。使用較少數量的子塊減少了對頻寬的需求。子塊的不均勻性也增加了預測結果的魯棒性。
在一些實施例中，對於多假設編碼塊，對於每個預測方向(或參考圖片列表)可以有多個由不同的劃分模式產生的預測塊。可以使用多個預測塊並應用附加權重產生最終預測。例如，附加權重可以設置為1/M，其中M是產生的預測塊的總數。
在一些實施例中，編碼器可以確定是否以及如何應用交織預測。然後，編碼器可以在序列級、圖片級、視圖級、條帶級、編碼樹單元(CTU)(也稱為最大編碼單元(LCU))級、CU級、PU級、樹單元(TU)級或區域級(其可能包含多個CU/PU/TU/LCU)向解碼器發送與確定相對應的信息。這些信息可以在序列參數集(SPS)、視圖參數集(VPS)、圖片參數集(PPS)、條帶報頭(SH)、CTU/LCU、CU、PU、TU或區域的第一個塊中用信令通知。
在某些實現中，交織預測適用於現有的子塊方法，諸如仿射預測、ATMVP、STMVP、FRUC、或BIO。在這種情況下，不需要額外的信令成本。在一些實現中，可以將交織預測產生的新子塊Merge候選***到Merge列表中，例如交織預測+ATMVP、交織預測+STMVP、交織預測+FRUC等。
在一些實施例中，當前塊要使用的劃分模式可以基於來自空間和/或時間鄰近塊的信息來推導。例如，編碼器和解碼器都可以採用一組預先確定的規則來獲得基於時間相鄰(例如，同一塊的先前使用的劃分模式)或空間相鄰 (例如，鄰近塊使用的劃分模式)的劃分模式，而不是依賴於編碼器來發送相關信息。
在一些實施例中，加權值w可以被固定。例如，所有的劃分模式都可以平均地加權：w i (x,y)=1。在一些實施例中，加權值可以基於塊的位置以及使用的劃分模式來確定。例如，對於不同的(x,y)，w i (x,y)可能不同。在一些實施例中，加權值可以進一步取決於基於子塊預測的編碼技術(例如，仿射或ATMVP)和/或其他編碼信息(例如，跳過或非跳過模式和/或MV信息)。
在一些實施例中，編碼器可以確定加權值，並在序列級、圖片級、條帶級、CTU/LCU級、CU級、PU級或區域級(其可能包含多個CU/PU/TU/LCU)將這些值發送給解碼器。加權值可以在序列參數集(SPS)、圖片參數集(PPS)、條帶報頭(SH)、CTU/LCU、CU、PU或區域的第一個塊中用信令通知。在一些實施例中，加權值可以從空間和/或時間鄰近塊的加權值推導出。
應當注意的是，本文公開的交織預測技術可以應用於基於子塊預測的一種、部分或全部編碼技術。例如，交織預測技術可以應用於仿射預測，而其他基於子塊預測的編碼技術(例如，ATMVP、STMVP、FRUC或BIO)不使用交織預測。作為另一個示例，所有仿射、ATMVP和STMVP應用本文公開的交織預測技術。
圖20是示例視訊位元流處理裝置2000的框圖。裝置2000可以用於實現本文描述的一種或多種方法。裝置2000可用於實施本文所述的一種或多種方法。裝置2000可以在智能手機、平板電腦、電腦、物聯網(IoT)接收器等中實施。裝置2000可包含一個或多個處理器2002、一個或多個記憶體2004和視訊處理硬體2006。處理器2002可以配置為實現本文中描述的一個或多個方法。一個或多個記憶體2004可用於儲存用於實現本文所述方法和技術的資料和代碼。視訊處理硬體2006可用於在硬體電路中實現本文中描述的一些技術。注意，記憶 體2004和電路2006的部分或全部外部於處理器2002電子器件是可選的，並且是一種實現方式選擇。
圖21繪示了用於視訊處理的示例方法2100的流程圖。方法2100包含將當前塊劃分(2102)為子塊。方法2100進一步包含針對每個子塊推導出(2104)運動向量，其中每個子塊的運動向量根據位置規則與該子塊的位置相關聯。方法2100進一步包含使用子塊的運動向量來處理當前塊的位元流表示(2106)。
圖22是用於視訊處理的示例方法2200的流程圖。方法2200包含針對使用仿射模式的當前塊與當前塊的位元流表示之間的轉換，基於位置規則來推導出(2202)在當前塊的控制點處的運動向量。方法2200進一步包含使用該運動向量來執行(2204)在當前塊與位元流表示之間的轉換。在一些實現方式中，位置規則指定對於推導排除使用非相鄰的鄰近塊。在一些實現方式中，可以在不使用包含當前塊的至少一個非相鄰4×4塊的相鄰編碼單元的信息的情況下推導出運動向量。在一些實現方式中，該方法進一步包含儲存和重用先前轉換的鄰近塊的至少一些仿射參數。在一些實現方式中，至少一些仿射參數的儲存和重用可以在彼此分開的兩個步驟中執行。
圖23是用於視訊處理的示例方法2300的流程圖。方法2300包含針對在當前塊與當前塊的位元流表示之間的轉換，通過包含來自一個或多個鄰近塊的、基於所述一個或多個鄰近塊的位置滿足有效性標準的Merge候選來確定用於所述轉換的仿射Merge候選列表。方法2300進一步包含使用運動向量來執行(2304)在當前塊與位元流表示之間的轉換。
以下使用基於項目的描述格式來描述上述方法/技術的附加特徵和實施例。
1、一種視訊處理方法(例如，圖21中所示的方法2000)，包含：將當前塊劃分為子塊；對於每個子塊推導出運動向量，其中每個子塊的所述運動 向量根據位置規則與所述子塊的位置相關聯；以及使用所述子塊的運動向量來處理所述當前塊的位元流表示。
2、根據項目1的方法，其中所述位置規則指定所述位置是對應子塊的中心。
3、根據項目2所述的方法，其中所述對應子塊尺寸為MxN並且所述中心定義為((M>>1)+a)x((N>>1)+b)，其中M和N是自然數，並且a、b是0或-1。
4、根據項目1所述的方法，其中所述位置規則指定所述位置是對應子塊的非中心位置。
5、根據項目1所述的方法，其中由所述位置規則指定的位置導致在不同子塊中的不同位置處推導出運動向量。
6、一種視訊處理方法(例如，圖22中所示的方法2200)，包含：針對使用仿射模式的當前塊與所述當前塊的位元流表示之間的轉換，基於位置規則推導出在所述當前塊的控制點處的運動向量；並且使用所述運動向量執行在所述當前塊與所述位元流表示之間的轉換，並且其中所述位置規則指定對於所述推導排除使用非相鄰的鄰近塊。
7、根據項目6所述的方法，其中不使用包含所述當前塊的至少一個非相鄰的4×4塊的鄰近編碼單元的信息而推導出運動向量。
8、根據項目7所述的方法，進一步包含： 儲存和重用先前轉換的鄰近塊的至少一些仿射參數。
9、根據項目8所述的方法，其中所述當前塊從以仿射模式編碼的鄰近塊繼承至少一些仿射參數。
10、根據項目8所述的方法，其中對於列表0和列表1參考幀，所述至少一些仿射參數是不同的。
11、根據項目8所述的方法，其中所述至少一些仿射參數包含兩個集 合，每個集合用於多個假設參考圖像列表中的一個。
12、根據項目8至11中任一項所述的方法，其中所述至少一些仿射參數包含四個仿射參數中的兩個。
13、根據項目6所述的方法，其中所述當前塊的左頂角的運動向量(v 0x ,v 0y )是從與所述當前塊的左頂角相鄰的塊推導出的，並且所述當前塊被合併到使用所述仿射模式編碼的鄰近塊。
14、根據項目13所述的方法，進一步包含：使用分別具有對應的運動向量MV(R)、MV(S)和MV(T)的三個鄰近塊R、S和T來推導出所述運動向量(v 0x ,v 0y )，並且其中如果X是幀間編碼的，則將所述運動向量(v 0x ,v 0y )設置為等於MV(X)，並且X是R、S或T。
15、根據項目13所述的方法，進一步包含：使用分別具有對應的運動向量MV(R)、MV(S)和MV(T)的三個鄰近塊R、S和T來推導出所述運動向量(v 0x ,v 0y )，並且其中如果R、S和T是幀間編碼的，則將所述運動向量(v 0x ,v 0y )設置為等於MV(R)、MV(S)和MV(T)的平均值。
16、根據項目13所述的方法，進一步包含：使用分別具有對應的運動向量MV(R)、MV(S)和MV(T)的三個鄰近塊R、S和T來推導出所述運動向量(v 0x ,v 0y )，並且其中如果X和Y是幀間編碼的，則將所述運動向量(v 0x ,v 0y )設置為等於MV(X)和MV(Y)的平均值，並且X和Y是R、S或T。
17、根據項目13所述的方法，其中從時間鄰近塊的運動向量推導出所述運動向量(v 0x ,v 0y )。
18、根據項目13所述的方法，其中所述運動向量(v 0x ,v 0y )被縮放到所 述鄰近塊的參考。
19、根據項目6所述的方法，其中從使用所述仿射模式編碼的左相鄰塊推導出所述運動向量。
20、根據項目6所述的方法，其中從使用所述仿射模式編碼的S個頂相鄰塊推導出使用所述仿射模式編碼的塊的運動向量，對於四參數仿射模式S等於2。
21、根據項目20所述的方法，其中兩個頂相鄰塊之間的距離是2N形式的固定數，N是整數。
22、根據項目20所述的方法，其中所述頂相鄰塊之間的距離取決於使用所述仿射模式編碼的所述塊的高度。
23、根據項目20所述的方法，其中所述頂相鄰塊之間的距離被推導出為滿足所有頂相鄰塊使用仿射模式編碼並共享相同的參考圖片的最大長度。
24、根據項目20所述的方法，其中在所述當前塊的左頂控制點處的運動向量(mv 0 x ,mv 0 y )被推導出為i)mv0 x=mvT0 x-aΦ並且mv0 y=mvT0 y-bΦ或ii)mv0 x=mvT1 x-aΦ，mv0 y=mvT1 y-bΦ，Φ是在所述左頂控制點與使用所述仿射模式編碼的兩個頂相鄰塊T0和T1中的一個之間的距離。
25、根據項目6所述的方法，其中所述當前塊尺寸為MxN像素，其中M和N是整數，並且當M<N時，所述運動向量從左側相鄰塊推導出。
26、根據項目6所述的方法，其中所述當前塊尺寸為MxN像素，其中M和N是整數，並且當M>N時，所述運動向量從頂側相鄰塊推導出。
27、根據項目6所述的方法，其中所述當前塊尺寸為MxN像素，其中M和N是整數，並且當M=N時，所述運動向量從與左頂角相鄰的塊推導出。
28、一種視訊處理方法(例如，圖23中所示的方法2300)，包含：針對在當前塊與所述當前塊的位元流表示之間的轉換，通過包含來自一個或多個 鄰近塊的、基於所述一個或多個鄰近塊的位置滿足有效性標準的Merge候選來確定用於所述轉換的仿射Merge候選列表；並且使用運動向量來執行在所述當前塊與所述位元流表示之間的轉換。
29、根據項目28所述的方法，其中鄰近塊來自與當前CTU(編碼樹單元)不同的CTU，並且其中來自所述鄰近塊的仿射Merge模式候選是無效的。
30、根據項目28所述的方法，其中當前CTU屬當前CTU行，其中所述鄰近塊屬與所述當前CTU行不同的CTU行，並且其中來自所述鄰近塊的所述仿射Merge模式候選是無效的。
31、根據項目28所述的方法，其中所述當前塊屬當前條帶，其中所述鄰近塊屬與所述當前條帶不同的條帶，並且其中來自所述鄰近塊的所述仿射Merge模式候選是無效的。
32、根據項目28所述的方法，其中所述當前塊屬當前片，其中所述鄰近塊屬與所述當前片不同的片，並且其中來自所述鄰近塊的所述仿射Merge模式候選是無效的。
33、一種視訊處理方法，包含：針對使用仿射模式的當前塊與所述當前塊的位元流表示之間的轉換，基於一個或多個相鄰鄰近塊推導出在所述當前塊的控制點處的運動向量；以及使用所述運動向量執行在所述當前塊與所述位元流表示之間的轉換。
34、根據項目33所述的方法，其中使用仿射模式的所述當前塊的控制點處的運動向量從一個或多個上方的相鄰鄰近塊繼承。
35、根據項目33所述的方法，其中所述相鄰鄰近塊也是通過仿射模式編碼的。
36、根據項目35所述的方法，其中所述相鄰鄰近塊是通過4參數仿射模式編碼的。
37、根據項目36所述的方法，其中使用仿射模式的所述當前塊的控制點處的運動向量從所述一個或多個相鄰鄰近塊的左底(bottom-left)控制點運動向量和右底(bottom-right)控制點運動向量繼承。
38、根據以上項目中任一項所述的方法，其中所述轉換包含從所述當前塊產生所述位元流表示。
39、根據以上項目中任一項所述的方法，其中所述轉換包含從所述位元流表示產生所述當前塊。
40、一種視訊解碼裝置，包含被配置為實現項目1至39中的一項或多項所述的方法的處理器。
41、一種視訊編碼裝置，包含被配置為實現項目1至39中的一項或多項所述的方法的處理器。
42、一種電腦可讀程式媒介，具有儲存在其上的代碼，所述代碼包含指令，所述指令在被處理器執行時使得處理器實現項目1至39中的一項或多項所述的方法。
從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是可以在不脫離本發明範圍的情況下進行各種修改。因此，本公開的技術除了所附請求項外不受限制。
本文件中描述的公開和其他解決方案、示例、實施例、模塊和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包含本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀媒介上編碼的一個或多個電腦程式指令模塊，用於由資料處理裝置執行或控制資料處 理裝置的操作。電腦可讀媒介可以是機器可讀儲存設備、機器可讀儲存基板、記憶體設備、影響機器可讀傳播訊號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包含例如可編程處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包含為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協議疊、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播訊號是人工產生的訊號，例如機器產生的電訊號、光訊號或電磁訊號，其被產生以對信息進行編碼以便傳輸到合適的接收器裝置。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以以任何形式的編程語言編寫，包含編譯或解釋語言，並且可以以任何形式來部署電腦程式，包含作為獨立程式或作為適合在計算環境中使用的模塊、組件、子例程或其他單元。電腦程式不一定對應於文件系統中的文件。程式可以儲存在保存其他程式或資料的文件的一部分中(例如，儲存在標記語言文件中的一個或多個腳本)，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件中(例如，儲存一個或多個模塊、子程式或代碼部分的文件)。可以部署電腦程式以在一個電腦上或在位於一個站點上或分佈在多個站點上並由通信網絡互連的多個電腦上執行。
本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入資料進行操作並產生輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA(現場可編程門陣列)或ASIC(專用積體電路)。
舉例來說，適合於執行電腦程式的處理器包含通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執 行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包含或可操作地耦合到用於儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟，以從該一個或多個大容量儲存設備接收資料，或將資料傳遞到該一個或多個大容量儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀媒介包含所有形式的非揮發性記憶體、媒介和記憶體設備，舉例來說，包含半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁碟，例如內部硬碟或可移動磁碟；磁光碟；以及CD ROM和DVD-ROM磁碟。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。
雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中，在分開的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分開地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在圖式中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按順序執行這樣的操作，或者執行所有繪示的操作，以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統組件的分離不應被理解為在所有實施例中都要求這樣的分離。
僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和繪示的內容來做出其他實現方式、增強和變型。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等 變化與修飾，皆應屬本發明之涵蓋範圍。
2100:方法
2102至2106:步驟

Claims (14)

  1. 一種視訊處理方法，包含：將當前塊劃分為子塊；對於每個子塊推導出運動向量，其中每個子塊的該運動向量根據位置規則與該子塊的位置相關聯；以及使用該子塊的運動向量來處理該當前塊的位元流表示；其中，所述每個子塊用於導出對應的運動向量的位置是根據所述每個子塊在所述當前塊中的位置而確定的，其中，由該位置規則指定的位置導致在不同子塊中的不同位置處推導出運動向量。
  2. 如請求項1所述的方法，其中該位置規則指定該位置是對應子塊的中心。
  3. 如請求項2所述的方法，其中該對應子塊尺寸為MxN並且該中心定義為((M>>1)+a),((N>>1)+b))，其中M和N是自然數，並且a、b是0或-1。
  4. 如請求項1所述的方法，其中該位置規則指定該位置是對應子塊的非中心位置。
  5. 如請求項1所述的方法，另包含：針對在當前塊與該當前塊的位元流表示之間的轉換，通過包含來自一個或多個鄰近塊的、基於該一個或多個鄰近塊的位置滿足有效性標準的Merge候選來確定用於該轉換的仿射Merge候選列表。
  6. 如請求項5所述的方法，其中，如果鄰近塊來自與當前編碼樹單元(CTU)不同的CTU，則來自該鄰近塊的仿射Merge模式候選是無效的。
  7. 如請求項5所述的方法，其中，當前CTU屬當前CTU行，如果該鄰近塊屬與該當前CTU行不同的CTU行，則來自該鄰近塊的該仿射Merge模式候選是無效的。
  8. 如請求項5所述的方法，其中，該當前塊屬當前條帶，如果該鄰近塊屬與該當前條帶不同的條帶，則來自該鄰近塊的該仿射Merge模式候選是無效的。
  9. 如請求項5所述的方法，其中，該當前塊屬當前片，如果該鄰近塊屬與該當前片不同的片，則來自該鄰近塊的該仿射Merge模式候選是無效的。
  10. 如請求項5至9中任一項所述的方法，其中該轉換包含從該當前塊產生該位元流表示。
  11. 如請求項5至9中任一項所述的方法，其中該轉換包含從該位元流表示產生該當前塊。
  12. 一種視訊解碼裝置，包含被配置為實現請求項1至11中的一項或多項所述的方法的處理器。
  13. 一種視訊編碼裝置，包含被配置為實現請求項1至11中的一項或多項所述的方法的處理器。
  14. 一種電腦可讀程式媒介，具有儲存在其上的代碼，該代碼包含指令，該指令在被處理器執行時使得處理器實現請求項1至11中的一項或多項所述的方法。
TW108123187A 2018-07-01 2019-07-01 高效的仿射Ｍｅｒｇｅ運動向量推導 TWI731363B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2018093943 2018-07-01
WOPCT/CN2018/093943 2018-07-01
WOPCT/CN2018/095568 2018-07-13
CN2018095568 2018-07-13

Publications (2)

Publication Number Publication Date
TW202021356A TW202021356A (zh) 2020-06-01
TWI731363B true TWI731363B (zh) 2021-06-21

Family

ID=67297216

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123187A TWI731363B (zh) 2018-07-01 2019-07-01 高效的仿射Ｍｅｒｇｅ運動向量推導

Country Status (7)

Country Link
US (3) US20210058637A1 (zh)
EP (1) EP3804327A1 (zh)
JP (2) JP2021530154A (zh)
KR (1) KR20210024487A (zh)
CN (2) CN114374850A (zh)
TW (1) TWI731363B (zh)
WO (1) WO2020008334A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
WO2020075053A1 (en) 2018-10-08 2020-04-16 Beijing Bytedance Network Technology Co., Ltd. Generation and usage of combined affine merge candidate
GB2578150C (en) 2018-10-18 2022-05-18 Canon Kk Video coding and decoding
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
CN112970250B (zh) * 2018-11-12 2022-08-23 寰发股份有限公司 视频编码的多重假设方法和装置
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020103870A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
EP3888360A1 (en) * 2018-11-30 2021-10-06 InterDigital VC Holdings, Inc. Triangle and multi-hypothesis combination for video coding and decoding
CN117880495A (zh) 2018-12-03 2024-04-12 北京字节跳动网络技术有限公司 候选的最大数量的指示方法
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
JP7026064B2 (ja) * 2019-03-11 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
CN114424553A (zh) 2019-09-22 2022-04-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的缩放方法
JP7322290B2 (ja) 2019-10-02 2023-08-07 北京字節跳動網絡技術有限公司 ビデオビットストリームにおけるサブピクチャシグナリングのための構文
CN117676135A (zh) 2019-10-18 2024-03-08 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
CN114071147B (zh) * 2020-07-29 2023-04-11 四川大学 一种基于双线性模型的vvc运动补偿方法
KR20240055763A (ko) * 2021-09-06 2024-04-29 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 아핀 병합 모드에 대한 후보 도출
KR20240066273A (ko) * 2021-09-24 2024-05-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 어파인 병합 모드에 대한 후보 도출
WO2023137234A1 (en) * 2022-01-17 2023-07-20 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2023185933A1 (en) * 2022-03-30 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
SG11201703551VA (en) * 2014-12-09 2017-05-30 Mediatek Inc Method of motion vector predictor or merge candidate derivation in video coding
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN104935938B (zh) * 2015-07-15 2018-03-30 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
CN109274974B (zh) * 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214932A1 (en) * 2014-07-18 2017-07-27 Mediatek Singapore Pte. Ltd Method of Motion Vector Derivation for Video Coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
N. Zhang, X. Fan, D. Zhao, and W. Gao, "Merge mode for deformable block motion information derivation," IEEE Trans. Circuits Syst. Video Technol., vol. 27, no. 11, pp. 2437–2449, Nov. 2017. *

Also Published As

Publication number Publication date
US20210058637A1 (en) 2021-02-25
EP3804327A1 (en) 2021-04-14
JP2023181441A (ja) 2023-12-21
US20220046267A1 (en) 2022-02-10
CN110677675B (zh) 2022-02-08
TW202021356A (zh) 2020-06-01
US20240098295A1 (en) 2024-03-21
CN114374850A (zh) 2022-04-19
KR20210024487A (ko) 2021-03-05
WO2020008334A1 (en) 2020-01-09
CN110677675A (zh) 2020-01-10
JP2021530154A (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
TWI731363B (zh) 高效的仿射Ｍｅｒｇｅ運動向量推導
TWI736905B (zh) 色度解碼器側運動向量細化
TWI746994B (zh) 用於不同參考列表的不同精確度
CN112868240B (zh) 并置的局部照明补偿和修改的帧间预测编解码
TWI729402B (zh) 加權交織預測
TWI705696B (zh) 交織預測的改善
CN113287317A (zh) 并置的局部照明补偿和修改的帧间编解码工具
TWI736923B (zh) 擴展Merge模式
TWI709332B (zh) 基於更新的運動矢量的運動預測
WO2020049447A1 (en) Fast encoding methods for interweaved prediction
CN110876064B (zh) 部分交织的预测