TWI819030B - 用時間信息擴展基於查找表的運動向量預測 - Google Patents

用時間信息擴展基於查找表的運動向量預測 Download PDF

Info

Publication number
TWI819030B
TWI819030B TW108124972A TW108124972A TWI819030B TW I819030 B TWI819030 B TW I819030B TW 108124972 A TW108124972 A TW 108124972A TW 108124972 A TW108124972 A TW 108124972A TW I819030 B TWI819030 B TW I819030B
Authority
TW
Taiwan
Prior art keywords
motion
candidates
video
block
video block
Prior art date
Application number
TW108124972A
Other languages
English (en)
Other versions
TW202021359A (zh
Inventor
張莉
張凱
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202021359A publication Critical patent/TW202021359A/zh
Application granted granted Critical
Publication of TWI819030B publication Critical patent/TWI819030B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視頻處理方法，包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及通過基於第一視頻塊的編碼/解碼模式選擇性地對一個或多個表中的現有運動候選進行修剪，來更新該一個或多個表。另一種視頻處理方法，包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及更新一個或多個表，以包括來自所述第一視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選。

Description

用時間信息擴展基於查找表的運動向量預測
本申請文件涉及視頻編碼技術、設備和系統。 [相關申請的交叉引用] 根據適用的專利法和/或巴黎公約的規定，本申請及時要求於2018年7月15日提交的國際專利申請號PCT/CN2018/095719的優先權和利益。將國際專利申請號PCT/CN2018/095719的全部公開以引用方式併入本文，作為本申請公開的一部分。
儘管視訊壓縮有所進步，數位視訊在網際網路和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接使用者設備數量的增加，預計數位視訊使用的頻寬需求將繼續增長。
本文件公開了用於使用運動向量的Merge清單編碼和解碼數位視訊的方法、系統和設備。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過平均兩個或更多選擇的運動候選，確定用於視頻處理的新候選；將所述新候選增加到候選列表；通過使用所述候選列表中的確定的新候選，執行視頻的第一視頻塊和視頻的位元流表示之間的轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過使用來自一個或多個表的一個或多個運動候選來確定用於視頻處理的新運動候選，其中表包括一個或多個運動候選，並且每個運動候選是關聯的運動資訊；基於新候選者在視頻塊和視頻塊的編碼表示之間執行轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過始終使用來自當前圖片中的第一視頻塊的多於一個空間相鄰塊的運動資訊，並且不使用來自與當前圖片不同的圖片中的時間塊的運動資訊，來確定用於視頻處理的新候選；通過使用所確定的新候選來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過使用來自當前圖片中的第一視頻塊的至少一個空間非緊鄰塊的運動資訊、以及從第一視頻塊的空間非緊鄰塊或並非從第一視頻塊的空間非緊鄰塊推導出的其他候選，來確定用於視頻處理的新候選；通過使用所確定的新候選，來執行視頻的第一視頻塊與該視頻的位元流表示之間的轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過使用來自當前圖片中的第一視頻塊的一個或多個表的運動資訊和來自不同於當前圖片的圖片中的時間塊的運動資訊，來確定用於視頻處理的新候選；通過使用所確定的新候選，來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過使用來自第一視頻塊的一個或多個表的運動資訊和來自第一視頻塊的一個或多個空間相鄰塊的運動資訊，來確定用於視頻處理的新候選；通過使用所確定的新候選，來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及通過基於第一視頻塊的編碼/解碼模式選擇性地對一個或多個表中的現有運動候選進行修剪，來更新該一個或多個表。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及更新一個或多個表，以包括來自所述第一視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選。
在一個示例的方面，公開了一種更新運動候選表的方法。該方法包括：基於正被處理的視頻塊的編碼/解碼模式，選擇性地對表中的現有運動候選進行修剪，每個運動候選與對應的運動資訊相關聯；以及更新所述表，以包括視頻塊的運動資訊作為新的運動候選。
在一個示例的方面，公開了一種更新運動候選表的方法。該方法包括：保持運動候選表，每個運動候選與對應的運動資訊相關聯；以及更新所述表，以包括來自正被處理的視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選。
在一個示例的方面，公開了一種視頻處理方法。該視頻處理方法包括：通過使用來自一個或多個表的一個或多個運動候選，來確定用於視頻處理的新的運動候選，其中表包括一個或多個運動候選，並且每個運動候選與運動資訊相關聯；以及基於新候選，在視頻塊和視頻塊的編碼表示之間執行轉換。
在一個示例的方面，公開了一種視頻系統中的裝置。該裝置包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由處理器執行時使處理器實現本文所述的各種方法。
本文所述的各種技術可以實施為存儲在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式碼。
在附件、附圖和下面的描述中闡述了一個或多個實現的細節。其它特徵將從說明書和附圖以及申請專利範圍中顯而易見。
為了提高視頻的壓縮比，研究人員不斷尋找新的技術來編碼視頻。
1.介紹
本文件與視頻編碼技術相關。具體地，與視頻編碼中的運動資訊編碼（例如Merge模式、AMVP模式）相關。其可應用於現有的視頻編碼標準HEVC，或待最終確定的標準多功能視頻編碼（VVC）。也可能適用於未來的視頻編碼標準或視頻轉碼器。
簡要討論
視頻編碼標準主要是通過開發公知的ITU-T和ISO/IEC標準而發展起來的。ITU-T開發了H.261和H.263，ISO/IEC開發了MPEG-1和MPEG-4視覺，並且兩個組織聯合開發了H.262/MPEG-2視頻、H.264/MPEG-4高級視頻編碼（AVC）和H.265/HEVC標準。自H.262以來，視頻編碼標準基於混合視頻編碼結構，其中採用了時域預測加變換編碼。典型HEVC編碼器框架的示例如圖1所示。
2.1分割結構
2.1.1 H.264/AVC中的分割樹結構
先前標準中編碼層的核心是巨集塊，包含16×16的亮度樣本塊，並且在常規的4:2:0顏色採樣情況下，包含兩個對應的8×8的色度樣本塊。
內部編碼塊使用空間預測來探索畫素之間的空間相關性。定義了兩種分割：16x16和4x4。
圖框間編碼塊通過估計圖片之間的運動來使用時域預測，而不是空間預測。可以單獨估計16x16宏塊或其任何子宏塊分割的運動：16x8、8x16、8x8、8x4、4x8、4x4（見圖2）。每個子宏塊分割只允許一個運動向量（MV）。
2.1.2 HEVC中的分割樹結構
在HEVC中，通過使用四叉樹結構（表示為編碼樹）將CTU劃分成CU來適應各種局部特性。在CU級別決定是使用圖框間（時域）預測還是圖框內（空間）預測對圖片區域進行編碼。根據PU的分割類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中，應用相同的預測處理，並且相關資訊以PU為基礎傳輸到解碼器。在基於PU分割類型通過應用預測處理獲得殘差塊後，可以根據與CU的編碼樹相似的另一個四叉樹結構將CU分割成變換單元（TU）。HEVC結構的一個重要特徵是它具有多個分割概念，包括CU、PU以及TU。
在下文中，使用HEVC的混合視頻編碼中涉及的各種特徵突出顯示如下。
（1）編碼樹單元和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇並且可以大於傳統的宏塊的尺寸。CTU由亮度 CTB和相應的色度 CTB以及語法元素組成。亮度 CTB的尺寸L×L可以選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和四叉樹式信令將CTB分割為更小的塊。
（2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法規定了其亮度和色度 CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度 CTB的尺寸是亮度 CB支持的最大尺寸。CTU的亮度和色度 CB的劃分是聯合發信令的。一個亮度CB和通常兩個色度CB以及相關的語法一起形成編碼單元（CU）。CTB可以只包含一個CU，也可以劃分形成多個CU，並且每個CU都有一個相關的劃分，分割成預測單元（PU）和轉換單元樹（TU）。
（3）預測單元（PU）和預測塊（PB）：在CU級別決定是使用圖框間預測還是圖框內預測對圖片區域進行編碼。PU分割結構的根位於CU級。取決於基本的預測類型決定，可以在尺寸上進一步劃分亮度和色度 CB，並從亮度和色度預測塊（PB）中預測亮度和色度 CB。HEVC支援從64×64到4×4個樣本的可變PB尺寸。圖3示出了MxM CU的允許PB示例。
（4）變換單元（TU）和變換塊（TB）：使用塊變換對預測殘差進行編碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度TB相同，或者也可能進一步劃分成更小的亮度變換塊TB。同樣適用於色度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散余弦變換（DCT）相似的整數基函數。對於亮度圖框內預測殘差的4×4變換，也可以指定從離散正弦變換（DST）形式推導的整數變換。
圖4示出了將CTB細分成CB（和轉換塊（TB））的示例。實線指示CB邊界，並且虛線指示TB邊界。（a）帶分割的CTB。（b）對應的四叉樹。
2.1.2.1分割成變換塊和單元的樹形結構劃分
對於殘差編碼，CB可以遞迴地分割為轉換塊（TB）。分割由殘差四叉樹發信令。只指定了方形CB和TB分割，其中塊可以遞迴地劃分為四象限，如圖4所示。對於尺寸為M×M的給定的亮度 CB，標誌指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分，如序列參數集（SPS）中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一個標誌，指示是否將其劃分為四個象限。由殘差四叉樹生成的葉節點塊是由變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度 TB尺寸。當CB尺寸大於最大TB尺寸時，則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時，則暗示不劃分。色度TB尺寸在每個維度上是亮度TB尺寸的一半，但當亮度TB尺寸為4×4時除外，在這種情況下，被四個4×4亮度TB覆蓋的區域使用單個4×4色度TB。在圖框內預測的CU的情況下，最近相鄰TB（CB內或CB外）的解碼樣本用作圖框內預測的參考資料。
與以前的標準不同，對於圖框間預測的CU，HEVC設計允許TB跨越多個PB，以最大化得益於四叉樹結構的TB分割的潛在編碼效率。
2.1.2.2父節點和子節點
根據四叉樹結構對CTB進行劃分，其節點為編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點（即，葉節點不會進一步劃分）。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊（例如，CTB）。對於多個節點的每個各自的非根節點，各自的非根節點對應於視頻塊，該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。
2.1.3聯合探索模型（JEM）中具有較大CTU的四叉樹加二叉樹塊結構
為探索HEVC之外的未來視頻編碼技術，VCEG和MPEG於2015年共同成立了聯合視頻探索團隊（JVET）。從那時起，JVET採用了許多新的方法，並將其應用到了名為聯合探索模型（JEM）的參考軟體中。
2.1.3.1 QTBT塊分割結構
與HEVC不同，QTBT結構消除了多個分割類型的概念，即，其消除了CU、PU和TU概念的分離，並支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以是方形或矩形。如圖5所示，首先用四叉樹結構對編碼樹單元（CTU）進行分割。四叉樹葉節點進一步被二叉樹結構分割。在二叉樹劃分中有兩種分割類型：對稱的水準劃分和對稱的垂直劃分。二叉樹葉節點被稱為編碼單元（CU），該劃分用於預測和轉換處理，而無需進一步分割。這意味著在QTBT編碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4:2:0色度格式的P切片和B切片中，一個CU包含一個亮度 CB和兩個色度 CB，並且CU有時由單個分量的CB組成，例如，在I切片的情況下，一個CU僅包含一個亮度 CB或僅包含兩個色度 CB。
為QTBT分割方案定義了以下參數。 –CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同。 –MiNQTSize：最小允許的四叉樹葉節點尺寸 –MaxBTSize：最大允許的二叉樹根節點尺寸 –MaxBTDePTh：最大允許的二叉樹深度 –MiNBTSize：最小允許的二叉樹葉節點尺寸
在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128 個亮度樣本，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，MiNBTSize（寬度和高度）被設置為4×4，MaxBTSize被設置為4。四叉樹分割首先應用於CTU，以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16（即，MiNQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則其不會被二叉樹進一步劃分，因為其尺寸超過了MaxBTSize（即，64×64）。否則，葉四叉樹節點可以被二叉樹進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh（即，4）時，不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize（即，4）時，不考慮進一步的水準劃分。同樣，當二叉樹節點的高度等於MiNBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而不需要進一步的分割。在JEM中，最大CTU尺寸為256×256 個亮度樣本。
圖5（左側）圖示了通過使用QTBT進行塊分割的示例，圖5（右側）圖示了相應的樹表示。實線表示四叉樹分割，並且虛線表示二叉樹分割。在二叉樹的每個劃分（即，非葉）節點中，會對一個標誌發信令來指示使用哪種分割類型（即，水準或垂直），其中0表示水準劃分，1表示垂直劃分。對於四叉樹分割，不需要指明分割類型，因為四叉樹分割總是水準和垂直劃分一個塊，以生成尺寸相同的4個子塊。
此外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P切片和B切片，一個CTU中的亮度和色度 CTB共用相同的QTBT結構。然而，對於I切片，用QTBT結構將亮度CTB分割為CU，用另一個QTBT結構將色度CTB分割為色度CU。這意味著I切片中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，P切片或B切片中的CU由所有三種顏色分量的編碼塊組成。
在HEVC中，為了減少運動補償的記憶體訪問，限制小塊的圖框間預測，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支援圖框間預測。在JEM的QTBT中，這些限制被移除。
2.1.4多功能視頻編碼（VVC）的三叉樹
如JVET-D0117中提出的，也支持四叉樹和二叉樹以外的樹類型。在實現中，引入了兩個額外的三叉樹（TT）劃分，即，水準和垂直中心側三叉樹，如圖6（d）和（e）所示。
圖6示出了：（a）四叉樹分割，（b）垂直二叉樹分割（c）水準二叉樹分割（d）垂直中心側三叉樹分割，和（e）水準中心側三叉樹分割。
在一些實現中，有兩個層次的樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。首先用區域樹（RT）對CTU進行劃分。可以進一步用預測樹（PT）劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編碼單元。為了方便起見，它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為」「多類型樹」。
2.1.5 JVET-J0021中的分割結構
被稱為多樹型（MTT）的樹結構是QTBT的廣義化。在QTBT中，如圖5所示，首先用四叉樹結構對編碼樹單元（CTU）進行劃分。然後用二叉樹結構對四叉樹葉節點進行進一步劃分。
MTT的基本結構由兩種類型的樹節點組成：區域樹（RT）和預測樹（PT），支援九種類型的劃分，如圖7所示。
圖7圖示了：（a）四叉樹分割，（b）垂直二叉樹分割，（c）水準二叉樹分割，（d）垂直三叉樹分割，（e）水準三叉樹分割，（f）水準向上非對稱二叉樹分割，（g）水準向下非對稱二叉樹分割，（h）垂直的左非對稱二叉樹分割，和（i）垂直的右非對稱二叉樹分割。
區域樹可以遞迴地將CTU劃分為方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二叉樹（BT）、三叉樹（TT）和非對稱二叉樹（ABT）。在PT劃分中，禁止在預測樹的分支中進行四叉樹分割。和JEM一樣，亮度樹和色度樹在I切片中被分開。RT和PT的信令方法如圖8所示。
2.2 HEVC/H.265中的圖框間預測
每個圖框間預測的PU具有一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。對兩個參考圖片清單中的一個的使用也可以使用inter_pred_idc來信令通知。運動向量可以相對於預測器顯式地編碼為增量，這種編碼模式稱為高級運動向量預測（AMVP）模式。
當CU採用跳躍模式編碼時，一個PU與CU相關聯，並且沒有顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU（包括空間和時域候選）中獲取當前PU的運動參數。Merge模式可以應用於任何圖框間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中運動向量、每個參考圖片清單對應的參考圖片索引和參考圖片清單的使用都會在每個PU中顯式地用信令通知。
當信令指示要使用兩個參考圖片清單中的一個時，從一個樣本塊中生成PU。這被稱為」「單向預測」。單向預測對P切片和B切片都可用。
當信令指示要使用兩個參考圖片清單時，從兩個樣本塊中生成PU。這被稱為」「雙向預測」。雙向預測僅對B切片可用。
下文提供HEVC中規定的圖框間預測模式的細節。描述將從Merge模式開始。
2.2.1 Merge模式
2.2.1.1Merge模式的候選的推導
當使用Merge模式預測PU時，從位元流分析指向Merge候選清單中條目的索引，並用於檢索運動資訊。該清單的結構在HEVC標準中有規定，並且可以按照以下步驟順序進行概括： 步驟1：初始候選推導 步驟1.1：空域候選推導 步驟1.2：空域候選的冗餘檢查 步驟1.3：時域候選推導 步驟2：附加候選*** 步驟2.1：雙向預測候選的創建 步驟2.2：零運動候選的***
在圖9中也示意性描述了這些步驟。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到切片報頭中發信令的最大Merge候選數（MaxNumMergeCand）時，生成附加的候選。由於候選數是恒定的，所以最佳Merge候選的索引使用截斷的一元二值化（TU）進行編碼。如果CU的大小等於8，則當前CU的所有PU都共用一個Merge候選列表，這與2N×2N預測單元的Merge候選清單相同。
下面詳細介紹與上述步驟相關的操作。
2.2.1.2空域候選推導
在空間Merge候選的推導中，在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A1、 B1、 B0、 A0 和 B2。只有當位置A1、 B1、 B0、 A0的任何PU不可用（例如，因為它屬於另一個切片或圖磚）或是內部編碼時，才考慮位置B2。在增加A1位置的候選後，對其餘候選的增加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在清單之外，從而提高編碼效率。為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖11中的箭頭連結的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動資訊時，才將候選添加到列表中。複製運動資訊的另一個來源是與2N×2N不同的分區相關的」「第二PU」。例如，圖12分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動資訊的預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。
2.2.1.3時域候選推導
在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片清單中當前圖片具有最小圖片順序計數POC差異的並置PU推導了縮放運動向量。用於推導並置PU的參考圖片清單在切片報頭中顯式地發信令。圖13中的虛線示出了時域Merge候選的縮放運動向量的獲得，其使用POC距離tb和td從並置PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。縮放處理的實際處理在HEVC規範中描述。對於B切片，得到兩個運動向量（一個是對於參考圖片清單0，另一個是對於參考圖片清單1）並將其組合使其成為雙向預測Merge候選。圖示用於時間Merge候選的運動向量縮放。
在屬於參考圖框的並置PU（Y）中，在候選C0 和C1之間選擇時域候選的位置，如圖14所示。如果位置C0處的PU不可用、內部編碼或在當前CTU之外，則使用位置C1。否則，位置C0被用於時域Merge候選的推導。
2.2.1.4附加候選***
除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B切片。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。圖15示出了原始列表中（在左側）的兩個候選被用於創建添加到最終列表（在右側）中的組合雙向預測Merge候選的情況，其具有MvL0和refIdxL0或MvL1和refIdxL1的兩個候選。有許多關於組合的規則需要考慮以生成這些附加Merge候選。
***零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到清單中時都會增加的參考圖片索引。這些候選使用的參考圖框的數目對於單向預測和雙向預測分別是1圖框和2圖框。最後，對這些候選不執行冗餘檢查。
2.2.1.5並行處理的運動估計區域
為了加快編碼處理，可以並存執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編碼效率和處理延遲之間的平衡，HEVC定義了運動估計區域（MER）。可使用如下所述的語法元素」「log2_parallel_merge_level_minus2」 在圖片參數集中對MER的尺寸中進行信令通知。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。
圖片參數設置原始位元組序列有效載荷（RBSP）語法
通用圖片參數集RBSP語法
log2_parallel_Merge_level_MiNus2加2指定變數Log2ParMrgLevel的值，該變數用於第8.5.3.2.2條中規定的Merge模式亮度運動向量的推導過程，以及第8.5.3.2.3條中規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY − 2的範圍內，包括0和CtbLog2SizeY − 2。
變數Log2ParMrgLevel推導如下： Log2ParMrgLevel = log2_parallel_Merge_level_MiNus2 + 2 （7-37）
注釋3–Log2ParMrgLevel的值表示Merge候選列表並行推導的內置功能。例如，當Log2ParMrgLevel等於6時，可以並行推導64x64塊中包含的所有預測單元（PU）和編碼單元（CU）的Merge候選列表。
2.2.2 AMVP模式中的運動向量預測
運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳的預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2（例如，圖2至圖8）。在下面的章節中，將詳細介紹運動向量預測候選的推導過程。
2.2.2.1運動向量預測候選的推導
圖16概括了運動向量預測候選的推導過程。
在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於圖11所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。
對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的並置位置推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片清單中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。
2.2.2.2空間運動向量候選
在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖11所描繪位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A0、A1、以及縮放的 A0、縮放的A1。當前PU上面的推導順序定義為B0、B1, B2、縮放的 B0、縮放的 B1、縮放的B2。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下： --無空間縮放 （1）相同的參考圖片清單，並且相同的參考圖片索引（相同的POC） （2）不同的參考圖片清單，但是相同的參考圖片（相同的POC） --空間縮放 （3）相同的參考圖片清單，但是不同的參考圖片（不同的POC） （4）不同的參考圖片清單，並且不同的參考圖片（不同的POC）
首先檢查無空間縮放的情況，然後檢查空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片清單。如果左側候選的所有PU都不可用或是內部編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。
在空間縮放處理中，相鄰PU的運動向量以與時域縮放相似的方式縮放，如圖17所示。主要區別在於，給出了當前PU的參考圖片清單和索引作為輸入，實際縮放處理與時域縮放處理相同。
2.2.2.3時域運動向量候選
除了參考圖片索引的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同（參見例如圖6）。向解碼器信令通知參考圖片索引。
2.2.2.4 AMVP信息的信令
對於AMVP模式，可以在位元流對四個部分發信令，包括預測方向、參考索引、MVD和MV預測候選索引。
語法表：
運動向量差語法
2.3聯合探索模型（JEM）中新的圖框間預測方法
2.3.1基於子CU的運動向量預測
在具有QTBT的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。通過將大的CU分割成子CU並推導該大CU的所有子CU的運動資訊，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測（ATMVP）方法允許每個CU從多個小於並置參考圖片中當前CU的塊中獲取多組運動資訊。在空時運動向量預測（STMVP）方法中，通過利用時域運動向量預測器和空間鄰接運動向量遞迴地推導子CU的運動向量。
為了為子CU運動預測的保持更精確的運動場，當前禁用參考圖框的運動壓縮。
2.3.1.1可選時域運動向量預測
在可選時域運動向量預測（ATMVP）方法中，運動向量時域運動向量預測（TMVP）是通過從小於當前CU的塊中提取多組運動資訊（包括運動向量和參考索引）來修改的。如圖18所示，子CU為方形N×N塊（默認N設置為4）。
ATMVP分兩步預測CU內的子CU的運動向量。第一步是用所謂的時域向量識別參考圖中的對應塊。參考圖片稱為運動源圖片。第二步是將當前CU劃分成子CU，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引，如圖18所示。
在第一步中，參考圖片和對應的塊由當前CU的空間相鄰塊的運動資訊確定。為了避免相鄰塊的重複掃描處理，使用當前CU的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊（有時稱為並置塊）始終位於相對於當前CU的右下角或中心位置。在一個示例中，如果第一個Merge候選來自左相鄰塊（即，圖19中的A1），則使用相關的MV和參考圖片來識別源塊和源圖片。
圖19示出了源塊和源圖片的識別的示例。
在第二步中，通過將時域向量添加到當前CU的座標中，通過運動源圖片中的時域向量識別子CU的對應塊。對於每個子CU，使用其對應塊的運動資訊（覆蓋中心樣本的最小運動網格）來推導子CU的運動資訊。在識別出對應N×N塊的運動資訊後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件（即，當前圖片的所有參考圖片的POC都小於當前圖片的POC），並可能使用運動向量MVx（與參考圖片清單X對應的運動向量）來為每個子CU預測運動向量MVy（X等於0或1且Y等於1−X）。
2.3.1.2空時運動向量預測
在這種方法中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖20圖示了這一概念。考慮一個8×8的 CU，它包含四個4×4的子CU A、B、C和D。當前圖框中相鄰的4×4的塊標記為a、b、c和d。
子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A上方的N×N塊（塊c）。如果該塊c不可用或內部編碼，則檢查子CU A上方的其它N×N塊（從左到右，從塊c處開始）。第二個鄰居是子CU A左側的一個塊（塊b）。如果塊b不可用或是內部編碼，則檢查子CU A左側的其它塊（從上到下，從塊b處開始）。每個清單從相鄰塊獲得的運動資訊被縮放到給定清單的第一個參考圖框。接下來，按照HEVC中規定的與TMVP相同的程式，推推導子塊A的時域運動向量預測（TMVP）。提取位置D處的並置塊的運動資訊並進行相應的縮放。最後，在檢索和縮放運動資訊後，對每個參考列表分別平均所有可用的運動向量（最多3個）。將平均運動向量指定為當前子CU的運動向量。
圖20示出了具有四個子塊（A-D）及其相鄰塊（a-d）的一個CU的示例。
2.3.1.3子CU運動預測模式信令通知
子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P切片或B切片中的每個CU，需要對兩個附加Merge候選進行兩次額外的RD檢查。
在JEM中，Merge索引的所有bin檔都由CABAC進行上下文編碼。然而在HEVC中，只有第一個bin檔是上下文編碼的，並且其餘的biN檔是上下文旁路編碼的。
2.3.2自我調整運動向量差解析度
在HEVC中，當在切片報頭中use_integer_mv_flag等於0時，運動向量差（MVD）（在PU的運動向量和預測運動向量之間）以四分之一亮度樣本為單位發信令。在JEM中，引入了局部自我調整運動向量解析度（LAMVR）。在JEM中，MVD可以用四分之一亮度樣本、整數亮度樣本或四亮度樣本的單位進行編碼。MVD解析度控制在編碼單元（CU）級別，並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。
對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣本MV精度。當第一個標誌（等於1）指示不使用四分之一亮度樣本MV精度時，另一個標誌發信令以指示是使用整數亮度樣本MV精度還是使用四亮度樣本MV精度。
當CU的第一個MVD解析度標誌為零或沒有為CU編碼（意味著CU中的所有MVD都為零）時，CU使用四分之一亮度樣本MV解析度。當一個CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。
在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。
在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間，存儲當前CU（整數亮度採樣精度）的運動資訊。在對具有整數亮度樣本和4 亮度樣本MVD解析度的同一個CU進行RD檢查時，將存儲的運動資訊（取整後）用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。
有條件地調用具有4 亮度樣本MVD解析度的CU的RD檢查。對於CU，當整數亮度樣本MVD解析度的RD檢查成本遠大於四分之一亮度樣本MVD解析度的RD檢查成本時，將跳過對CU的4 亮度樣本MVD解析度的RD檢查。
2.3.3模式匹配運動向量推導
模式匹配運動向量推導（PMMVD）模式是基於畫面播放速率上轉換（FRUC）技術的特殊Merge模式。在這種模式下，塊的運動資訊不會被發信令，而是在解碼器側推導。
對於CU，當其Merge標誌為真時，對FRUC標誌發信令。當FRUC標誌為假時，對Merge索引發信令並且使用常規Merge模式。當FRUC標誌為真時，對另一個FRUC模式標誌發信令來指示將使用哪種模式（雙邊匹配或範本匹配）來推導該塊的運動資訊。
在編碼器側，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。即通過使用RD成本選擇來檢查CU的兩個匹配模式（雙邊匹配和範本匹配）。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。
FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV值。接著，以推導的CU運動向量為起點，進一步在子CU級細化運動資訊。
例如，對於W×H CU運動資訊推導執行以下推導過程。在第一階段，推推導了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照（16）計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV值。 （3）
如圖21所示，通過沿當前CU的運動軌跡在兩個不同的參考圖片中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0和MV1與當前圖片和兩個參考圖片之間的時間距離（即，TD0和TD1成正比。作為特殊情況，當當前圖片暫時位於兩個參考圖片之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。
如圖22所示，通過在當前圖片中的範本（當前CU的頂部和/或左側相鄰塊）和參考圖片中的塊（與範本尺寸相同）之間找到最接近的匹配，使用範本匹配來推導當前CU的運動資訊。除了上述的FRUC Merge模式外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中一樣，AMVP有兩個候選。利用範本匹配方法，推導了新的候選。如果由範本匹配新推導的候選與第一個現有AMVP候選不同，則將其***AMVP候選列表的最開始處，並且然後將列表尺寸設置為2（即移除第二個現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。
2.3.3.1 CU級MV候選集
CU級的MV候選集包括： （i）原始AMVP候選，如果當前CU處於AMVP模式， （ii）所有Merge候選， （iii）插值MV場中的幾個MV。 （iv）頂部和左側相鄰運動向量
當使用雙邊匹配時，Merge候選的每個有效MV用作輸入，以生成假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為（MVa，refa）。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片refb，以便refa和refb在時間上位於當前圖片的不同側。如果參考列表B中的參考refb不可用，則將參考refb確定為與參考refa不同的參考，並且其到當前圖片的時間距離是清單B中的最小距離。確定參考refb後，通過基於當前圖片和參考refa、參考refb之間的時間距離縮放MVa推導MVb。
還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置（0，0），（W/2，0），（0，H/2）和（W/2，H/2）處插值的MV。
當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。
在CU級，可以將AMVP CU的最多15個 MV和Merge CU的最多13個 MV添加到候選列表中。
2.3.3.2子CU級MV候選集
在子CU級設置的MV候選包括: （i）從CU級搜索確定的MV， （ii）頂部、左側、左上方和右上方相鄰的MV， （iii）來自參考圖片的並置MV的縮放版本， （iv）最多4個ATMVP候選， （v）最多4個STMVP候選。
來自參考圖片的縮放MV推導如下。兩個清單中的所有參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。
ATMVP和STMVP候選被限制為前四個。在子CU級，最多17個MV被添加到候選列表中。
2.3.3.3插值MV場的生成
在對圖框進行編碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。
首先，兩個參考清單中每個參考圖片的運動場在4×4的塊級別上被遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊（如圖23所示），並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片（與HEVC中TMVP的MV縮放相同），並且在當前圖框中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。
2.3.3.4插補匹配成本
當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和範本匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差（SAD）。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C計算如下： （4）
這裡，w是權重係數，被經驗地設置為4。MV和分別指示當前MV和起始MV。仍然將SAD用作模式匹配在子CU級搜索的匹配成本。
在FRUC模式下，MV通過僅使用亮度樣本推導。推導的運動將用於亮度和色度的MC圖框間預測。確定MV後，對亮度使用8抽頭（8-taps）插值濾波器並且對色度使用4抽頭（4-taps）插值濾波器執行最終MC。
2.3.3.5 MV細化
MV細化是基於模式的MV搜索，以雙邊成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（UCBDS）和自我調整交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8 個亮度樣本。
2.3.3.6範本匹配FRUC Merge模式下預測方向的選擇
在雙邊Merge模式下，總是應用雙向預測，因為CU的運動資訊是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。範本匹配Merge模式沒有這種限定。在範本匹配Merge模式下，編碼器可以從清單0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇基於如下的範本匹配成本： 如果 costBi>=factor*min（cost0,cost1） 則使用雙向預測； 否則，如果 cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測； 其中cost0是清單0範本匹配的SAD，cost1是清單2範本匹配的SAD，並且costBi是雙向預測範本匹配的SAD。factor的值等於1.25，意味著選擇處理朝雙向預測偏移。圖框間預測方向選擇可以僅應用於CU級範本匹配處理。
2.3.4解碼器側運動向量細化
在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動向量（MV）和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動向量細化（DMVR）方法中，通過雙邊範本匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊範本匹配用於在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便在不傳輸附加運動資訊的情況下獲得細化的MV。
在DMVR中，雙邊範本被生成為兩個預測塊的加權組合（即平均），其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1。範本匹配操作包括計算生成的範本與參考圖片中的樣本區域（在初始預測塊周圍）之間的成本度量。對於兩個參考圖片中的每一個，產生最小範本成本的MV被視為該列表的更新MV，以替換原始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV，這八個周邊MV在水準或垂直方向上或兩者與原始MV具有一個亮度樣本的偏移。最後，使用圖24所示的兩個新的MV（即MV0′和MV1′）生成最終的雙向預測結果。絕對差異之和（SAD）被用作成本度量。
在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。
2.3.5 局部光照補償
局部光照補償（IC）基於用於光照改變的線性模型，使用縮放因數a和偏移b。並且針對每個圖框間模式編碼的編碼單元（CU）自我調整地啟用或禁用局部光照補償。
當IC應用於CU時，採用最小平方誤差方法通過使用當前CU的相鄰樣點及其對應的參考樣點來推導參數a和b。更具體地，如圖25所示，使用CU的子採樣的（2:1子採樣）相鄰樣點和參考圖片中的（由當前CU或子CU的運動資訊識別的）對應樣點。IC參數被推導並分別應用於每個預測方向。
當以Merge模式對CU進行編碼時，以與Merge模式中的運動資訊複製類似的方式從相鄰塊複製IC標誌；否則，對CU信令通知IC標誌以指示LIC是否適用。
當針對圖片啟用IC時，需要附加CU級別RD檢查以確定是否將LIC應用於CU。當針對CU啟用IC時，對於整數畫素運動搜索和分數畫素運動搜索分別使用均值移除絕對和差（Mean-Removed Sum of Absolute Diffefference，MR-SAD）以及均值移除絕對Hadamard變換和差（Mean-Removed Sum of Absolute Hadamard-Transformed Difference，MR-SATD），而不是SAD和SATD。
為了降低編碼複雜度，在JEM中應用以下編碼方案。當當前圖片與其參考圖片之間沒有明顯的光照改變時，針對全部圖片禁用IC。為了識別這種情況，在編碼器處計算當前圖片的長條圖和當前圖片的每個參考圖片。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差異小於給定閾值，則針對當前圖片禁用IC；否則，針對當前圖片啟用IC。
2.3.6 具有雙向匹配細化的Merge/跳過模式
首先通過利用冗餘檢查將空間相鄰和時間相鄰塊的運動向量和參考索引***候選清單中來構造Merge候選列表，直到可用候選的數量達到最大候選尺寸19。通過根據預定義的***順序，在***空間候選（圖26）、時間候選、仿射候選、高級時間MVP（Advanced Temporal MVP，ATMVP）候選、時空MVP（Spatial Temporal，STMVP）候選和HEVC中使用的附加候選（組合候選和零候選）來構造Merge/跳過模式的Merge候選清單： （1）塊1-4的空間候選 （2）塊1-4的外推（extrapolated）仿射候選 （3）ATMVP （4）STMVP （5）虛擬仿射候選 （6）空間候選（塊5）（僅當可用候選的數量小於6時使用） （7）外推仿射候選（塊5） （8）時間候選（如在HEVC中推導的） （9）非鄰近空間候選，其後是外推仿射候選（塊6至49） （10）組合候選 （11）零候選
注意到，除了STMVP和仿射之外，IC標誌也從Merge候選繼承。而且，對於前四個空間候選，在具有單向預測的候選之前***雙向預測候選。
2.3.7 JVET-K0161
在本提議中，沒有提出子塊STMVP作為空間-時間Merge模式。所提出的方法使用共位塊，其與HEVC/JEM（僅1個圖片，此處沒有時間向量）相同。所提出的方法還檢查上部和左側空間位置，該位置在該提議中被調節。具體地，為了檢查相鄰的圖框間預測資訊，對於每個上方和左側檢查最多兩個位置。確切的位置如圖27所示。
Afar: (nPbW * 5 / 2, -1), Amid (nPbW / 2, -1)  （注意：當前塊上方的上方空間塊的偏移量）
Lfar: (-1, nPbH * 5 / 2), Lmid (-1, nPbH/2)   （注意：當前塊上方的左側空間塊的偏移）
上方塊、左側塊和時間塊的運動向量的平均值被計算為與BMS軟體實現方式相同。如果3個參考圖框間預測塊可用。
mvLX[0] = ((mvLX_A[0] + mvLX_L[0] + mvLX_C[0]) * 43) / 128
mvLX[1] = ((mvLX_A[1] + mvLX_L[1] + mvLX_C[1]) * 43) / 128
如果僅有兩個或一個圖框間預測塊可用，則使用兩個的平均值或者僅使用一個mv。
2.3.8 JVT-K0135
為了生成平滑的細細微性運動場，圖28給出了平面運動向量預測過程的簡要描述。
通過如下在4×4塊的基礎上對水準和垂直線性插值求平均，來實現平面運動向量預測。
W和H表示塊的寬度和高度。(x,y)是當前子塊相對於左上角子塊的座標。所有距離由畫素距離除以4表示。是當前子塊的運動向量。
位置(x,y) 的水準預測和垂直預測計算如下：
其中和是當前塊左側和右側的4x4塊的運動向量。和是當前塊上方和底部的4x4塊的運動向量。
從當前塊的空間相鄰塊推導出左側列和上方行相鄰塊的參考運動資訊。
右側列和底部行相鄰塊的參考運動資訊如下推導出。
推導右下方時間相鄰4×4塊的運動資訊
使用推導出的右下方相鄰4×4塊的運動資訊以及右上方相鄰4×4塊的運動資訊，來計算右側列相鄰4×4塊的運動向量，如公式K1中所描述。
使用推導出的右下方相鄰4×4塊的運動資訊以及左下方相鄰4×4塊的運動資訊，來計算底部行相鄰4×4塊的運動向量，如公式K2中所描述。 R(W,y) = ((H-y-1)AR + (y+1)BR)/H 公式K1 B(x,H) = ((W-x-1)BL+ (x+1)BR)/W 公式K2
其中AR是右上方空間相鄰4×4塊的運動向量，BR是右下方時間相鄰4×4塊的運動向量，並且BL是左下方空間相鄰4×4塊的運動向量。
對於每個清單從相鄰塊獲得的運動資訊被縮放到給定清單的第一參考圖片。
3. 通過本文公開的實施例解決的問題的示例
發明人先前已提出基於查閱資料表的運動向量預測技術，其使用存儲有至少一個運動候選的一個或多個查閱資料表以預測塊的運動資訊，其可以在各種實施例中實現以提供具有更高編碼效率的視頻編碼。每個LUT可以包括一個或多個運動候選，每個運動候選與對應的運動資訊相關聯。運動候選的運動資訊可包括預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、運動向量差（MVD）精度和/或MVD值。運動資訊還可以包括塊位置資訊，以指示運動資訊來自哪裡。
基於所公開的技術的基於LUT的運動向量預測可以增強現有和未來的視頻編碼標準，其在以下針對各種實現方式所描述的示例中闡明。因為LUT允許基於歷史資料（例如，已經被處理的塊）執行編碼/解碼過程，所以基於LUT的運動向量預測也可以被稱為基於歷史的運動向量預測（HMVP）方法。在基於LUT的運動向量預測方法中，在編碼/解碼過程期間保持具有來自先前被編碼的塊的運動資訊的一個或多個表。存儲在LUT中的這些運動候選被命名為HMVP候選。在一個塊的編碼/解碼期間，可以將LUT中的相關聯的運動資訊添加到運動候選清單（例如，Merge/ AMVP候選列表），並且在對一個塊進行編碼/解碼之後，可以更新LUT。然後使用更新後的LUT來編碼後續塊。也就是說，LUT中的運動候選的更新基於塊的編碼/解碼順序。以下示例應被視為解釋一般概念的示例。不應以狹窄的方式解釋這些示例。此外，這些實例可以以任何方式組合。
一些實施例可以使用存儲有至少一個運動候選的一個或多個查閱資料表，以預測塊的運動資訊。實施例可以使用運動候選來指示存儲在查閱資料表中的一組運動資訊。對於傳統的AMVP或Merge模式，實施例可以使用AMVP或Merge候選來存儲運動資訊。
儘管當前的基於LUT的運動向量預測技術通過使用歷史資料克服了HEVC的缺點，但是，僅考慮來自空間相鄰塊的資訊。
當將來自LUT的運動候選用於AMVP或Merge列表構建過程時，直接繼承它而不做任何改變。
JVET-K0161的設計有益於編碼性能。然而，它需要額外推導TMVP，這增加了計算複雜性和記憶體頻寬。
4.一些示例
以下示例應被視為解釋一般概念的示例。不應以狹窄的方式解釋這些示例。此外，這些實例可以以任何方式組合。
使用當前公開的技術的一些實施例可以聯合使用來自LUT的運動候選和來自時間相鄰塊的運動資訊。此外，還提出了JVET-K0161的複雜性降低。
利用來自LUT的運動候選
1. 提出通過利用來自LUT的運動候選來構造新的AMVP /Merge候選。 a. 在一個示例中，可以通過對來自LUT的運動候選的運動向量添加/減去偏移（或多個偏移），推導出新的候選。 b. 在一個示例中，可以通過對來自LUT的所選運動候選的運動向量求平均，推導出新的候選。 i. 在一個實施例中，可以在沒有除法運算的情況下近似地實現平均。例如，MVa, MVb和MVc可以被平均為(MVa+MVb+MVc)×/2N或(MVa+MVb+MVc)×/2N。例如，當N = 7時，平均值是(MVa+MVb+MVc) ×42/128或(MVa+MVb+MVc) ×43/128。請注意，預先計算或並將其存儲在查閱資料表中。 ii. 在一個示例中，僅選擇具有相同參考圖片（在兩個預測方向上）的運動向量。 iii. 在一個示例中，預先確定每個預測方向上的參考圖片，並且如果必要，將運動向量縮放到預先確定的參考圖片。 1. 在一個示例中，參考圖片清單X中的第一條目（X = 0或1）被選擇作為參考圖片。 2. 可替代地，對於每個預測方向，選擇LUT中最頻繁使用的參考圖片作為參考圖片。 c. 在一個示例中，對於每個預測方向，首先選擇具有與預先確定的參考圖片相同的參考圖片的運動向量，然後選擇其他運動向量
2. 提出通過來自LUT的一個或多個運動候選和來自時間相鄰塊的運動資訊的函數來構造新的AMVP /Merge候選。 a. 在一個示例中，類似於STMVP或JVET-K0161，可以通過對來自LUT和TMVP的運動候選求平均，推導出新的候選。 b. 在一個示例中，上述塊（例如，圖27中的Amid和Afar）可以被來自LUT的一個或多個候選替換。可替代地，此外，其他過程可以保持不變，就像在JVET-K0161中已實現的那樣。
3. 提出通過來自LUT的一個或多個運動候選、來自空間相鄰塊和/或空間非緊鄰的相鄰塊的AMVP/Merge候選、以及來自時間塊的運動資訊的函數，來構造新的AMVP /Merge候選。 a. 在一個示例中，上述塊中的一個或多個（例如，圖27中的Amid和Afar）可以被來自LUT的候選替換。可替代地，此外，其他過程可以保持不變，就像在JVET-K0161中已實現的那樣。 b. 在一個示例中，左側塊中的一個或多個（例如，圖27中的Amid和Afar）可以被來自LUT的候選替換。可替代地，此外，其他過程可以保持不變，就像在JVET-K0161中已實現的那樣。
4. 提出當將塊的運動資訊***LUT時，是否對LUT中的現有條目進行修剪可以取決於塊的編碼模式。 a. 在一個示例中，如果以Merge模式對塊編碼，則不執行修剪。 b. 在一個示例中，如果以AMVP模式對塊編碼，則不執行修剪。 c. 在一個示例中，如果以AMVP /Merge模式對塊編碼，則僅對LUT的最新M個條目進行修剪。 d. 在一個示例中，當以子塊模式（例如，仿射或ATMVP）對塊編碼時，始終禁用修剪。
5. 提出將來自時間塊的運動資訊添加到LUT。 a. 在一個示例中，運動資訊可以來自共位元的塊。 b. 在一個示例中，運動資訊可以來自來自不同參考圖片的一個或多個塊。
與STMVP相關
1. 提出始終使用空間Merge候選推導出新的Merge候選，而不考慮TMVP候選。 a. 在一個示例中，可以利用兩個運動Merge候選的平均值。 b. 在一個示例中，可以聯合使用空間Merge候選和來自LTU的運動候選推導出新的候選。
2. 提出可以利用非緊鄰塊（其不是右或左相鄰塊）推導出STMVP候選。 a. 在一個示例中，用於STMVP候選推導的上方塊保持不變，而使用的左側塊從相鄰塊改變為非緊鄰塊。 b. 在一個示例中，用於STMVP候選推導的左側塊保持不變，而所使用的上方塊從相鄰塊改變為非緊鄰塊。 c. 在一個示例中，可以聯合使用非緊鄰塊的候選和來自LUT的運動候選推導出新的候選。
3. 提出始終使用空間Merge候選推導出新的Merge候選，而不考慮TMVP候選。 a. 在一個示例中，可以利用兩個運動Merge候選的平均值。 b. 可替代地，可以利用來自與當前塊相鄰或不相鄰的不同位置的兩個、三個或更多MV的平均值。 i. 在一個實施例中，MV僅可以從當前LCU（也稱為CTU）中的位置獲取。 ii. 在一個實施例中，MV僅可以從當前LCU行中的位置獲取。 iii. 在一個實施例中，MV僅可以從當前LCU行中或挨著當前LCU行的位置獲取。圖29中示出了示例。塊A、B、C、E、E和F挨著當前LCU行。 iv. 在一個實施例中，MV僅可以從當前LCU行中或挨著當前LCU行但不在左上角相鄰塊的左側的位置獲取。圖29中示出了示例。塊T是左上角相鄰塊。塊B、C、E、E和F挨著當前LCU行，但不在左上角相鄰塊的左側。 c. 在一個實施例中，可以聯合使用空間Merge候選和來自LTU的運動候選推導出新的候選。
4. 提出圖28中用於平面運動預測的BR塊的MV不是從時間MV預測獲取的，而是從LUT的一個條目獲取的。
5. 提出來自LUT的運動候選可以與其他類型的Merge/ AMVP候選（例如，空間Merge/ AMVP候選、時間Merge/ AMVP候選、默認運動候選）聯合使用以推導出新的候選。
在本示例和本專利文件中公開的其他示例的各種實施方式中，修剪可以包括：a）將運動資訊與現有條目進行唯一性比較，以及b）如果唯一，則將運動資訊添加到清單，或者c）如果不唯一，則要麼c1）不添加運動資訊，要麼c2）添加運動資訊並刪除匹配的現有條目。在一些實現方式中，當將運動候選從表添加到候選列表時，不調用修剪操作。
圖30是圖示可以用於實現本公開技術的各個部分的電腦系統或其它控制設備3000的結構的示例的示意圖。在圖30中，電腦系統3000包括通過互連3025連接的一個或多個處理器3005和記憶體3010。互連3025可以表示由適當的橋、適配器或控制器連接的任何一條或多條單獨的物理匯流排、點對點連接或兩者。因此，互連3025可以包括例如系統匯流排、周邊元件連接（PCI）匯流排、超傳輸或工業標準架構（ISA）匯流排、小型電腦系統介面（SCSI）匯流排、通用序列匯流排（USB）、IIC（I2C）匯流排或電氣與電子工程師協會（IEEE）標準674匯流排（有時被稱為」「火線」）。
處理器3005可以包括中央處理器（CPU），來控制例如主機的整體操作。在一些實施例中，處理器3005通過執行存儲在記憶體3010中的軟體或韌體來實現這一點。處理器3005可以是或可以包括一個或多個可程式設計通用或專用微處理器、數位訊號處理器（DSP）、可程式設計控制器、專用積體電路（ASIC）、可程式設計邏輯器件（PLD）等，或這些器件的組合。
記憶體3010可以是或包括電腦系統的主記憶體。記憶體3010表示任何適當形式的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、快閃記憶體等，或這些設備的組合。在使用中，記憶體3010除其它外可包含一組機器指令，當處理器3005執行該指令時，使處理器3005執行操作以實現本公開技術的實施例。
通過互連3025連接到處理器3005的還有（可選的）網路介面卡3015。網路介面卡3015為電腦系統3000提供與遠端設備（諸如存儲客戶機和/或其它存儲伺服器）通信的能力，並且可以是例如乙太網適配器或光纖通道適配器。
圖31示出了可以用於實施本公開技術的各個部分的移動設備3100的示例實施例的框圖。移動設備3100可以是筆記型電腦、智慧手機、平板電腦、攝像機或其它能夠處理視頻的設備。移動設備3100包括處理器或控制器3101來處理資料，以及與處理器3101通信的記憶體3102來存儲和/或緩衝資料。例如，處理器3101可以包括中央處理器（CPU）或微控制器單元（MCU）。在一些實現中，處理器3101可以包括現場可程式設計閘陣列（FPGA）。在一些實現中，移動設備3100包括或與圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體3102可以包括並存儲處理器可執行代碼，當處理器3101執行該代碼時，將移動設備3100配置為執行各種操作，例如接收資訊、命令和/或資料、處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一個資料設備，諸如執行器或外部顯示器。為了支援移動設備3100的各種功能，記憶體3102可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器3101處理或引用的其它資料。例如，可以使用各種類型的隨機存取記憶體（RAM）設備、唯讀記憶體（ROM）設備、快閃記憶體設備和其它合適的存儲介質來實現記憶體3102的存儲功能。在一些實現中，移動設備3100包括輸入/輸出（I/O）單元3103，來將處理器3101和/或記憶體3102與其它模組、單元或設備進行介面。例如，I/O單元3103可以與處理器3101和記憶體3102進行介面，以利用與典型資料通信標準相容的各種無線介面，例如，在雲中的一台或多台電腦和使用者設備之間。在一些實現中，移動設備3100可以通過I/O單元3103使用有線連接與其它設備進行介面。移動設備3100還可以與其它外部介面（例如資料記憶體）和/或可視或音訊顯示裝置3104連接，以檢索和傳輸可由處理器處理、由記憶體存儲或由顯示裝置3104或外部設備的輸出單元上顯示的資料和資訊。例如，顯示裝置3104可以根據所公開的技術顯示包括基於該塊是否是使用運動補償演算法編碼的而應用圖框內塊複製的塊（CU、PU或TU）的視頻圖框。
在一些實施例中，可以實現如本文所述的基於子塊的預測的方法的視頻解碼器裝置可用於視頻解碼。
在一些實施例中，可以使用實現在如圖30和圖31所述的硬體平臺上的解碼裝置來實現視頻解碼方法。
在本文件中公開的各種實施例和技術可以在以下示例的列表中描述。
圖32是根據當前公開的技術的用於視頻處理的示例方法3200的流程圖。方法3200包括，在操作3202，通過平均兩個或更多選擇的運動候選，確定用於視頻處理的新候選。方法3200包括，在操作3204，將所述新候選增加到候選列表。方法3200包括，在操作3206，通過使用所述候選列表中的確定的新候選，執行視頻的第一視頻塊和視頻的位元流表示之間的轉換。
在一些實施例中，所述候選列表是Merge候選列表，以及確定的新候選是Merge候選。
在一些實施例中，所述Merge候選列表是圖框間預測Merge候選列表或圖框內塊複製預測Merge候選列表。
在一些實施例中，所述一個或多個表包括從視頻資料中所述第一視頻塊之前處理的在先處理視頻塊推導的運動候選。
在一些實施例中，在所述候選列表中不存在可用的空間候選和時間候選。
在一些實施例中，所述選擇的運動候選來自一個或多個表。
在一些實施例中，在沒有除法運算的情況下實現所述平均。
在一些實施例中，通過所述選擇的運動候選的運動向量的和與縮放因數的乘法，實現所述平均。
在一些實施例中，將所述選擇的運動候選的運動向量的水準分量進行平均以推導新候選的水準分量。
在一些實施例中，將所述選擇的運動候選的運動向量的垂直分量進行平均以推導新候選的垂直分量。
在一些實施例中，所述縮放因數被預先計算並存儲在查閱資料表中。
在一些實施例中，僅選擇具有相同參考圖片的運動向量。
在一些實施例中，在兩個預測方向上僅選擇在兩個預測方向上具有相同參考圖片的運動向量。
在一些實施例中，預先確定每個預測方向上的目標參考圖片，以及將所述運動向量縮放到預先確定的參考圖片。
在一些實施例中，選擇參考圖片清單X中的第一條目作為用於參考圖片清單的目標參考圖片，X為0或1。
在一些實施例中，對於每個預測方向，選擇表中最常使用的參考圖片作為目標參考圖片。
在一些實施例中，對於每個預測方向，首先選擇具有與預先確定的目標參考圖片相同的參考圖片的運動向量，然後選擇其他運動向量。
在一些實施例中，來自表的運動候選與運動資訊關聯，所述運動資訊包括以下的至少一種：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
在一些實施例中，方法3200還包括基於所述轉換更新一個或多個表。
在一些實施例中，一個或多個表的更新包括在執行所述轉換後基於視頻的第一視頻塊的運動資訊更新一個或多個表。
在一些實施例中，方法3200還包括基於更新的表，執行視頻的隨後視頻塊和視頻的位元流表示之間的轉換。
在一些實施例中，所述轉換包括編碼處理和/或解碼處理。
在一些實施例中，視頻編碼裝置可以在為後續視頻重建視頻期間執行本文所述的方法2900和其他方法。
在一些實施例中，視頻系統中的裝置可以包括被配置為執行本文描述的方法的處理器。
在一些實施例中，所描述的方法可以體現為存儲在電腦可讀程式介質上的電腦可執行代碼。
圖33是根據當前公開的技術的用於視頻處理的示例方法3300的流程圖。方法3300包括在操作3302，通過使用來自一個或多個表的一個或多個運動候選來確定用於視頻處理的新運動候選，其中表包括一個或多個運動候選，並且每個運動候選是關聯的運動資訊。方法3300包括在操作3304，基於新候選者在視頻塊和視頻塊的編碼表示之間執行轉換。
在一些實施例中，通過對與來自所述一個或多個表的運動候選相關聯的運動向量加上或減去偏移，來推導出所述新的運動候選。
在一些實施例中，確定新的運動候選包括：作為來自一個或多個表的一個或多個運動候選和來自時間相鄰塊的運動資訊的函數，來確定新的運動候選。
在一些實施例中，確定新運動候選包括：對來自一個或多個表的運動候選和時間運動向量預測器進行平均。
在一些實施例中，對所選運動候選進行平均包括與所選運動候選相關聯的運動向量的加權平均或平均。
在一些實施例中，在沒有除法運算的情況下實現所述平均。
在一些實施例中，通過來自所述一個或多個表的運動候選的運動向量之和與所述時間運動向量預測器與縮放因數的乘法運算，來實現所述平均。
在一些實施例中，對來自所述一個或多個表的運動候選的運動向量的水準分量與時間運動向量預測器進行平均，以推導出新的運動候選的水準分量。
在一些實施例中，對所選擇的水準分量進行平均包括與所選運動候選相關聯的水準分量的加權平均或平均。
在一些實施例中，對所選擇的垂直分量進行平均包括與所選運動候選相關聯的垂直分量的加權平均或平均。
在一些實施例中，作為來自一個或多個表的一個或多個運動候選、來自空間相鄰塊和/或空間非緊鄰的相鄰塊的Merge候選、以及來自時間相鄰塊的運動資訊的函數，來確定新的運動候選。
在一些實施例中，確定新候選者包括：作為來自一個或多個表的一個或多個運動候選、來自空間相鄰塊和/或空間非緊鄰的相鄰塊的高級運動向量預測（AMVP）候選的函數、以及來自時間相鄰塊的運動資訊，來確定新的運動候選。
在一些實施例中，確定新候選者包括：作為來自一個或多個表的一個或多個運動候選、以及高級運動向量預測（AMVP）候選列表中的AMVP候選或Merge候選清單中的Merge候選的函數，來確定新的運動候選。
在一些實施例中，將所述新的運動候選添加到Merge候選列表。
在一些實施例中，將所述新的運動候選添加到AMVP候選列表。
在一些實施例中，一個或多個表中的每一個包括一組運動候選，其中每個運動候選與對應的運動資訊相關聯。
在一些實施例中，運動候選與運動資訊相關聯，所述運動資訊包括以下的至少一種：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
在一些實施例中，該方法還包括基於所述轉換更新一個或多個表。
在一些實施例中，更新一個或多個表包括在執行所述轉換之後基於第一視頻塊的運動資訊來更新一個或多個表。
在一些實施例中，該方法還包括基於更新後的表，執行視頻的後續視頻塊與視頻的位元流表示之間的轉換。
圖34是根據當前公開的技術的用於視頻處理的示例方法3400的流程圖。方法3400包括在操作3402，通過始終使用來自當前圖片中的第一視頻塊的多於一個空間相鄰塊的運動資訊，並且不使用來自與當前圖片不同的圖片中的時間塊的運動資訊，來確定用於視頻處理的新候選。方法3400包括在操作3404，通過使用所確定的新候選來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一些實施例中，所確定的新候選被添加到候選列表，所述候選列表包括Merge候選列表或高級運動向量預測（AMVP）候選列表。
在一些實施例中，來自多於一個空間相鄰塊的運動資訊是從相對於當前圖片中的第一視頻塊的預定義的空間相鄰塊推導出的候選、或來自一個或多個表的運動候選。
在一些實施例中，所述一個或多個表包括從在視頻資料中的第一視頻塊之前處理的先前處理過的視頻塊推導出的運動候選。
在一些實施例中，從相對於當前圖片中的第一視頻塊的預定義的空間相鄰塊推導出的候選是空間Merge候選。
在一些實施例中，通過對至少兩個空間Merge候選求平均，來推導出所述新候選。
在一些實施例中，通過聯合使用空間Merge候選和來自一個或多個表的運動候選，來推導出所述新候選。
在一些實施例中，通過對與從不同位置推導出的候選相關聯的至少兩個運動向量求平均，來推導出所述新候選。
在一些實施例中，所述不同位置與所述第一視頻塊相鄰。
在一些實施例中，僅從所述第一視頻塊所屬的當前最大編碼單元中的位置獲取所述運動向量。
在一些實施例中，僅從當前最大編碼單元行中的位置獲取所述運動向量。
在一些實施例中，僅從當前最大編碼單元行中或挨著當前最大編碼單元行的位置獲取所述運動向量。
在一些實施例中，僅從當前最大編碼單元行中或挨著當前最大編碼單元行但不在左上角相鄰塊的左側的位置獲取運動向量。
在一些實施例中，用於平面運動預測的右下塊的運動向量不從時間運動向量預測候選中獲取，而是從所述表的一個條目獲取。
在一些實施例中，通過聯合使用來自一個或多個表的運動候選和其他種類的Merge/ AMVP候選，來推導出所述新候選。
在一些實施例中, 所述一個或多個表中的運動候選與運動資訊相關聯，所述運動資訊包括以下中的至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
在一些實施例中，該方法還包括基於所述轉換更新一個或多個表。
在一些實施例中，更新一個或多個表包括在執行轉換之後基於所述第一視頻塊的運動資訊來更新一個或多個表。
在一些實施例中，該方法還包括基於更新後的表，執行該視頻的後續視頻塊與該視頻的位元流表示之間的轉換。
在一些實施例中，所述轉換包括編碼過程和/或解碼過程。
圖35是根據當前公開的技術的用於視頻處理的示例方法3500的流程圖。方法3500包括在操作3502，通過使用來自當前圖片中的第一視頻塊的至少一個空間非緊鄰塊的運動資訊、以及從第一視頻塊的空間非緊鄰塊或並非從第一視頻塊的空間非緊鄰塊推導出的其他候選，來確定用於視頻處理的新候選。方法3500包括在操作3504，通過使用所確定的新候選，來執行視頻的第一視頻塊與該視頻的位元流表示之間的轉換。
在一些實施例中，所確定的新候選被添加到候選列表，所述候選列表包括Merge或高級運動向量預測（AMVP）候選列表。
在一些實施例中，來自多於一個空間非緊鄰塊的運動資訊是從相對於當前圖片中的第一視頻塊的預定義的空間非緊鄰塊推導出的候選。
在一些實施例中，從相對於當前圖片中的第一視頻塊的預定義的空間非緊鄰塊推導出的候選是空間-時間運動向量預測（STMVP）候選。
在一些實施例中，所述視頻塊的非緊鄰塊不是所述第一視頻塊的右相鄰塊或左相鄰塊。
在一些實施例中，所述第一視頻塊的用於STMVP候選推導的上方塊保持不變，而所使用的左側塊從相鄰塊改變為非緊鄰塊。
在一些實施例中，所述第一視頻塊的用於STMVP候選推導的左側塊保持不變，而所使用的上方塊從相鄰塊改變為非緊鄰塊。
圖36是根據當前公開的技術的用於視頻處理的示例方法3600的流程圖。方法3600包括在操作3602，通過使用來自當前圖片中的第一視頻塊的一個或多個表的運動資訊和來自不同於當前圖片的圖片中的時間塊的運動資訊，來確定用於視頻處理的新候選。方法3600包括在操作3604，通過使用所確定的新候選，來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一些實施例中，所確定的新候選被添加到候選列表，所述候選列表包括Merge或AMVP候選列表。
在一些實施例中，來自當前圖片中的一個或多個表的運動資訊與從一個或多個表中選擇的一個或多個歷史運動向量預測（HMVP）候選相關聯，並且來自不同於當前圖片的圖片中的時間塊的運動資訊是時間運動候選。
在一些實施例中，通過對一個或多個HMVP候選與一個或多個時間運動候選求平均，來推導出所述新候選。
在一些實施例中，所述一個或多個表包括從在視頻資料中的第一視頻塊之前處理的先前處理過的視頻塊推導出的運動候選。
圖37是根據當前公開的技術的用於視頻處理的示例方法3700的流程圖。方法3700包括在操作3702，通過使用來自第一視頻塊的一個或多個表的運動資訊和來自第一視頻塊的一個或多個空間相鄰塊的運動資訊，來確定用於視頻處理的新候選。方法3700包括在操作3704，通過使用所確定的新候選，來執行視頻的當前圖片中的第一視頻塊與該視頻的位元流表示之間的轉換。
在一些實施例中，所確定的新候選被添加到候選列表，所述候選列表包括Merge或AMVP候選列表
在一些實施例中，來自第一視頻塊的一個或多個表的運動資訊與從一個或多個表中選擇的一個或多個歷史運動向量預測（HMVP）候選相關聯，並且來自第一視頻塊的一個或多個空間相鄰塊的運動資訊是從相對於第一視頻塊的預定義的空間塊推導出的候選。
在一些實施例中，從相對於第一視頻塊的預定義的空間塊推導出的候選是空間Merge候選。
在一些實施例中，通過對一個或多個HMVP候選和一個或多個空間Merge候選求平均，來推導出所述新候選。
在一些實施例中，所述一個或多個表包括從在視頻資料中的第一視頻塊之前處理的先前處理過的視頻塊推導出的運動候選。
在一些實施例中，來自表的運動候選與運動資訊相關聯，所述運動資訊包括以下中的至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
在一些實施例中，該方法還包括還包括基於所述轉換更新一個或多個表。
在一些實施例中，更新一個或多個表包括在執行所述轉換之後基於當前視頻塊的運動資訊來更新一個或多個表。
在一些實施例中，該方法還包括基於更新後的表，在所述視頻資料的後續視頻塊與所述視頻資料的位元流表示之間執行轉換。
圖38是根據當前公開的技術的用於視頻處理的示例方法3800的流程圖。方法3800包括，在操作3802，保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；在操作3804，執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及在操作3806，通過基於第一視頻塊的編碼/解碼模式選擇性地對一個或多個表中的現有運動候選進行修剪，來更新該一個或多個表。
在一些實施例中，基於該組表中的一個或多個表，執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換。
在一些實施例中，在以Merge模式對第一視頻塊編碼/解碼的情況下，省略修剪。
在一些實施例中，在以高級運動向量預測模式對第一視頻塊編碼/解碼的情況下，省略修剪。
在一些實施例中，在以Merge模式或高級運動向量預測模式對第一視頻塊編碼/解碼的情況下，對所述表的最新M個條目進行修剪，其中M是預先指定的整數。
在一些實施例中，在以子塊模式對第一視頻塊編碼/解碼的情況下，禁用修剪。
在一些實施例中，所述子塊模式包括仿射模式、可選時間運動向量預測模式。
在一些實施例中，所述修剪包括檢查所述表中是否存在冗余的現有運動候選。
在一些實施例中，所述修剪還包括：如果所述表中存在冗余的現有運動候選，則將與所述第一視頻塊相關聯的運動資訊***到所述表中，並且刪除所述表中的所述冗余的現有運動候選。
在一些實施例中，如果所述表中存在冗余的現有運動候選，則不使用與所述第一視頻塊相關聯的運動資訊來更新所述表。
在一些實施例中，該方法還包括基於更新後的表，執行該視頻的後續視頻塊與該視頻的位元流表示之間的轉換。
圖39是根據當前公開的技術的用於視頻處理的示例方法3900的流程圖。方法3900包括，在操作3902，保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；在操作3904，執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換；以及在操作3906，更新一個或多個表，以包括來自所述第一視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選。
在一些實施例中，基於該組表中的一個或多個表，執行第一視頻塊與包括該第一視頻塊的視頻的位元流表示之間的轉換。
在一些實施例中，所述一個或多個時間相鄰塊是共位的塊。
在一些實施例中，所述一個或多個時間相鄰塊包括來自不同參考圖片的一個或多個塊。
在一些實施例中，該方法還包括基於更新後的表，執行所述視頻的後續視頻塊與該視頻的位元流表示之間的轉換。
圖40是根據當前公開的技術的用於更新運動候選表的示例方法4000的流程圖。方法4000包括，在操作4002，基於正被處理的視頻塊的編碼/解碼模式，選擇性地對表中的現有運動候選進行修剪，每個運動候選與對應的運動資訊相關聯；以及在操作4004，更新所述表，以包括視頻塊的運動資訊作為新的運動候選。
在一些實施例中，在以Merge模式或高級運動向量預測模式對所述視頻塊編碼/解碼的情況下，對所述表的最新M個條目進行修剪，其中M是預先指定的整數。
在一些實施例中，在以子塊模式對所述視頻塊編碼/解碼的情況下，禁用修剪。
在一些實施例中，所述子塊模式包括仿射模式、可選時間運動向量預測模式。
在一些實施例中，所述修剪包括檢查所述表中是否存在冗余的現有運動候選。
在一些實施例中，所述修剪還包括：如果所述表中存在冗餘的運動候選，則將與正被處理的視頻塊相關聯的運動資訊***到所述表中，並且刪除所述表中的所述冗餘的運動候選。
在一些實施例中，如果所述表中存在冗余的現有運動候選，則不使用與正被處理的視頻塊相關聯的運動資訊來更新所述表。
圖41是根據當前公開的技術的用於更新運動候選表的示例方法4100的流程圖。方法4100包括，在操作4102，保持運動候選表，每個運動候選與對應的運動資訊相關聯；以及在操作4104，更新所述表，以包括來自正被處理的視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選。
在一些實施例中，所述一個或多個時間相鄰塊是共位的塊。
在一些實施例中，所述一個或多個時間相鄰塊包括來自不同參考圖片的一個或多個塊。
在一些實施例中， 運動候選與運動資訊相關聯，所述運動資訊包括以下中的至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
在一些實施例中，所述運動候選對應於用於圖框內模式編碼的圖框內預測模式的運動候選。
在一些實施例中，所述運動候選對應於包括用於IC參數編碼的亮度補償參數的運動候選。
圖42是根據當前公開的技術的用於視頻處理的示例方法4200的流程圖。方法4200包括，在操作4202，通過使用來自一個或多個表的一個或多個運動候選，來確定用於視頻處理的新的運動候選，其中表包括一個或多個運動候選，並且每個運動候選與運動資訊相關聯；以及在操作4104，基於新候選，在視頻塊和視頻塊的編碼表示之間執行轉換。
在一些實施例中，所確定的新候選被添加到候選列表，所述候選列表包括Merge或高級運動向量預測（AMVP）候選列表。
在一些實施例中，確定所述新候選包括：作為來自一個或多個表的一個或多個運動候選、以及高級運動向量預測（AMVP）候選列表中的AMVP候選或Merge候選清單中的Merge候選的函數，來確定所述新的運動候選。
從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。
本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品，即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語」「資料處理裝置」包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合。傳播信號是人為產生的信號，例如機器產生的電信號、光學信號或電磁信號，生成這些信號以對資訊進行編碼，以便傳輸到適當的接收裝置。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的檔對應。程式可以存儲在保存其他程式或資料的檔的部分中（例如，存儲在標記語言文檔中的一個或多個腳本）、專用於該程式的單個檔中、或多個協調檔（例如，存儲一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光磁片；以及CDROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
旨在將說明書與附圖一起僅視為示例性的，其中示例性意味著示例。 如這裡所使用的，單數形式」「一」，」「一個」和」「所述」旨在也包括複數形式，除非上下文另有明確說明。另外，除非上下文另有明確說明，否則」「或」的使用旨在包括」「和/或」。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
A、B、C、D:子CU A0、A1、B0、B1、C0、C1:位置 A、B、C、D、E、F、T、a、b、c、d:塊 Amid、Afar:塊 AR、BR:運動向量 AL、BL: TD0、TD1:時間距離 MV0、MV1:運動向量 MV0’、MV1’: 3000:電腦系統 3005:處理器 3010:記憶體 3015:網路介面卡 3025:互連 3100:移動設備 3101:處理器/控制器 3102:記憶體 3103:I/O單元 3104:顯示裝置 3200、3300、3400、3500、3600、3700、3800、3900、4000、4100、4200:方法 3202~3206、3302、3304、3402、3404、3502、3504、3602、3604、3702、3704、3802~3806、3902~3906、4002、4004、4102、4104、4202、4204:操作
圖1是示出視訊轉碼器實現的示例的框圖。 圖2圖示了H.264視頻編碼標準中的巨集塊分割。 圖3圖示了將編碼塊（CB）劃分成預測塊（PB）的示例。 圖4圖示了將編碼樹塊（CTB）細分成CB和轉換塊（TB）的示例實現。實線表示CB邊界，且虛線表示TB邊界，包括帶分割的示例CTB和相應的四叉樹。 圖5示出了用於分割視頻資料的四叉樹二叉樹（QTBT）結構的示例。 圖6示出了視頻塊分割的示例。 圖7示出了四叉樹分割的示例。 圖8示出了樹型信令的示例。 圖9示出了Merge候選列表構造的推導過程的示例。 圖10示出了空間Merge候選的示例位置。 圖11示出了考慮到空間Merge候選的冗餘檢查的候選對的示例。 圖12示出了Nx2N和2NxN分割的第二個PU的位置的示例。 圖13圖示了時域Merge候選的示例運動向量縮放。 圖14示出了時域Merge候選的候選位置以及它們的並置圖片。 圖15示出了組合雙向預測Merge候選的示例。 圖16示出了運動向量預測候選的推導過程的示例。 圖17示出了空間運動向量候選的運動向量縮放的示例。 圖18示出了編碼單元（CU）的運動預測的示例可選時域運動向量預測（ATMVP）。 圖19圖示地描繪了源塊和源圖片的識別的示例。 圖20示出了具有四個子塊和相鄰塊的一個CU的示例。 圖21圖示了雙邊匹配的示例。 圖22圖示了範本匹配的示例。 圖23描繪了畫面播放速率上轉換（FRUC）中的單邊運動估計（ME）的示例。 圖24示出了基於雙邊範本匹配的解碼器側運動向量細化（DMVR）的示例。 圖25示出了用於推導光照補償IC參數的空間相鄰塊的示例。 圖26示出了用於推導空間Merge候選的空間相鄰塊的示例。 圖27示出了使用相鄰圖框間預測塊的示例。 圖28示出了平面運動向量預測過程的示例。 圖29示出了挨著當前編碼單元（CU）行的位置的示例。 圖30是說明可用於實現本公開技術的各個部分的電腦系統或其它控制設備的結構的示例的框圖。 圖31示出了可用於實現本公開技術的各個部分的移動設備的示例實施例的框圖。 圖32示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖33示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖34示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖35示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖36示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖37示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖38示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖39示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。 圖40示出了根據當前公開的技術的用於更新運動候選表的示例方法的流程圖。 圖41示出了根據當前公開的技術的用於更新運動候選表的示例方法的流程圖。 圖42示出了根據當前公開的技術的用於視頻處理的示例方法的流程圖。
3800:方法
3802~3806:操作

Claims (26)

  1. 一種視頻處理方法，包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括所述第一視頻塊的視頻的位元流之間的轉換；以及通過基於第一視頻塊的編碼/解碼模式選擇性地對一個或多個表中的現有運動候選進行修剪，來更新所述一個或多個表；其中，在以Merge模式對所述第一視頻塊編碼/解碼的情況下，省略修剪；或者在以高級運動向量預測模式對所述第一視頻塊編碼/解碼的情況下，省略修剪；或者在以子塊模式對所述第一視頻塊編碼/解碼的情況下，禁用修剪。
  2. 如申請專利範圍第1項所述的方法，其中，執行轉換還包括：基於所述一組表中的一個或多個表，執行所述第一視頻塊與包括所述第一視頻塊的視頻的位元流之間的轉換。
  3. 如申請專利範圍第1項所述的方法，其中，在以Merge模式或高級運動向量預測模式對所述第一視頻塊編碼/解碼的情況下，對所述表的最新M個條目進行修剪，其中M是預先指定的整數。
  4. 如申請專利範圍第1項所述的方法，其中，所述子塊模式包括仿射模式、可選時間運動向量預測模式。
  5. 如申請專利範圍第1-4項中任一項所述的方法，其中，所述修剪包括檢查所述表中是否存在冗余的現有運動候選。
  6. 如申請專利範圍第5項所述的方法，其中，所述修剪還包括：如果所述表中存在冗余的現有運動候選，則將與所述第一視頻塊相關聯的運動資訊***到所述表中，並且刪除所述表中的所述冗余的現有運動候選。
  7. 如申請專利範圍第5項所述的方法，其中，如果所述表中存在冗余的現有運動候選，則不使用與所述第一視頻塊相關聯的運動資訊來更新所述表。
  8. 一種視頻處理方法，包括：保持一組表，其中每個表包括運動候選，並且每個運動候選與對應的運動資訊相關聯；執行第一視頻塊與包括所述第一視頻塊的視頻的位元流之間的轉換；以及更新一個或多個表，以包括來自所述第一視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選；其中，更新所述一個或多個表包括通過基於第一視頻塊的編碼/解碼模式選擇性地對所述一個或多個表中的現有運動候選進行修剪；其中，在以Merge模式對所述第一視頻塊編碼/解碼的情況 下，省略修剪；或者在以高級運動向量預測模式對所述第一視頻塊編碼/解碼的情況下，省略修剪；或者在以子塊模式對所述第一視頻塊編碼/解碼的情況下，禁用修剪。
  9. 如申請專利範圍第8項所述的方法，其中，執行轉換還包括：基於所述一組表中的一個或多個表，執行所述第一視頻塊與包括所述第一視頻塊的視頻的位元流之間的轉換。
  10. 如申請專利範圍第8項所述的方法，其中，所述一個或多個時間相鄰塊是共位的塊。
  11. 如申請專利範圍第8項所述的方法，其中，所述一個或多個時間相鄰塊包括來自不同參考圖片的一個或多個塊。
  12. 一種更新運動候選表的方法：基於正被處理的視頻塊的編碼/解碼模式，選擇性地對表中的現有運動候選進行修剪，每個運動候選與對應的運動資訊相關聯；以及更新所述表，以包括視頻塊的運動資訊作為新的運動候選；其中，在以Merge模式對所述視頻塊編碼/解碼的情況下，省略修剪；或者在以高級運動向量預測模式對所述視頻塊編碼/解碼的情況下，省略修剪；或者 在以子塊模式對所述視頻塊編碼/解碼的情況下，禁用修剪。
  13. 如申請專利範圍第12項所述的方法，其中，在以Merge模式或高級運動向量預測模式對所述視頻塊編碼/解碼的情況下，對所述表的最新M個條目進行修剪，其中M是預先指定的整數。
  14. 如申請專利範圍第12項所述的方法，其中，所述子塊模式包括仿射模式、可選時間運動向量預測模式。
  15. 如申請專利範圍第12-14項中任一項所述的方法，其中，所述修剪包括檢查所述表中是否存在冗余的現有運動候選。
  16. 如申請專利範圍第15項所述的方法，其中，所述修剪還包括：如果所述表中存在冗餘的運動候選，則將與正被處理的視頻塊相關聯的運動資訊***到所述表中，並且刪除所述表中的所述冗餘的運動候選。
  17. 如申請專利範圍第15項所述的方法，其中，如果所述表中存在冗余的現有運動候選，則不使用與正被處理的視頻塊相關聯的運動資訊來更新所述表。
  18. 一種更新運動候選表的方法，包括：保持運動候選表，每個運動候選與對應的運動資訊相關聯；以及更新所述表，以包括來自正被處理的視頻塊的一個或多個時間相鄰塊的運動資訊作為新的運動候選；其中，更新所述表包括通過基於視頻塊的編碼/解碼模式選擇性地對所述表中的現有運動候選進行修剪； 其中，在以Merge模式對所述視頻塊編碼/解碼的情況下，省略修剪；或者在以高級運動向量預測模式對所述視頻塊編碼/解碼的情況下，省略修剪；或者在以子塊模式對所述視頻塊編碼/解碼的情況下，禁用修剪。
  19. 如申請專利範圍第18項所述的方法，其中，所述一個或多個時間相鄰塊是共位的塊。
  20. 如申請專利範圍第18項所述的方法，其中，所述一個或多個時間相鄰塊包括來自不同參考圖片的一個或多個塊。
  21. 如申請專利範圍第1-4、8-14、18-20項中任一項所述的方法，其中，運動候選與運動資訊相關聯，所述運動資訊包括以下中的至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
  22. 如申請專利範圍第1-4、8-14、18-20項中任一項所述的方法，其中，所述運動候選對應於用於圖框內模式編碼的圖框內預測模式的運動候選。
  23. 如申請專利範圍第1-4、8-14、18-20項中任一項所述的方法，其中，所述運動候選對應於包括用於IC參數編碼的光照補償參數的運動候選。
  24. 如申請專利範圍第1-4、8-14項中任一項所述的方法，還包括：基於更新後的表，執行所述視頻的後續視頻塊與所述視頻的 位元流之間的轉換。
  25. 一種視頻系統中的裝置，所述裝置包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由處理器執行時使處理器實現根據申請專利範圍第1至24項中任一項所述的方法。
  26. 一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據申請專利範圍第1至24項中任一項所述的方法的程式碼。
TW108124972A 2018-07-15 2019-07-15 用時間信息擴展基於查找表的運動向量預測 TWI819030B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/095719 2018-07-15
CN2018095719 2018-07-15

Publications (2)

Publication Number Publication Date
TW202021359A TW202021359A (zh) 2020-06-01
TWI819030B true TWI819030B (zh) 2023-10-21

Family

ID=67998524

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108124972A TWI819030B (zh) 2018-07-15 2019-07-15 用時間信息擴展基於查找表的運動向量預測

Country Status (3)

Country Link
CN (1) CN110719464B (zh)
TW (1) TWI819030B (zh)
WO (1) WO2020016743A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021207423A1 (en) * 2020-04-08 2021-10-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for signaling of syntax elements in video coding
CN113709498B (zh) * 2020-05-20 2023-06-02 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
WO2022262818A1 (en) * 2021-06-18 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052986A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2687015A4 (en) * 2011-03-14 2014-12-17 Mediatek Inc METHOD AND DEVICE FOR OBTAINING PREDICTIONS FOR TEMPORARY MOTION VECTORS
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052986A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Li Zhang et.al CE4-related: History-based Motion Vector Prediction Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI 2018/07/11 https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0104-v2.zip *

Also Published As

Publication number Publication date
WO2020016743A3 (en) 2020-04-16
CN110719464B (zh) 2023-05-30
TW202021359A (zh) 2020-06-01
WO2020016743A2 (en) 2020-01-23
CN110719464A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
TWI832905B (zh) 視頻編碼和解碼中的加權雙向預測
TWI820211B (zh) 取決於總數減去k的開始檢查hmvp候選的條件
TWI724442B (zh) 用於查找表更新的編碼的運動信息的選擇
TWI752331B (zh) 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
KR102648159B1 (ko) Lut 업데이트의 호출
KR20210024503A (ko) 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
CN113383554A (zh) LUT和共享Merge列表之间的交互
KR20210025538A (ko) 룩업 테이블의 업데이트: fifo, 제약된 fifo
TWI820169B (zh) 用時間資訊擴展基於查閱資料表的運動向量預測
CN110662030B (zh) 一种视频处理方法和装置
TWI819030B (zh) 用時間信息擴展基於查找表的運動向量預測
CN110719465B (zh) 用时间信息扩展基于查找表的运动矢量预测
TWI839388B (zh) 簡化的基於歷史的運動矢量預測