TWI826542B - 模式依賴的仿射繼承 - Google Patents

模式依賴的仿射繼承 Download PDF

Info

Publication number
TWI826542B
TWI826542B TW108134966A TW108134966A TWI826542B TW I826542 B TWI826542 B TW I826542B TW 108134966 A TW108134966 A TW 108134966A TW 108134966 A TW108134966 A TW 108134966A TW I826542 B TWI826542 B TW I826542B
Authority
TW
Taiwan
Prior art keywords
block
auxiliary
current block
basic unit
adjacent
Prior art date
Application number
TW108134966A
Other languages
English (en)
Other versions
TW202037156A (zh
Inventor
張凱
張莉
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202037156A publication Critical patent/TW202037156A/zh
Application granted granted Critical
Publication of TWI826542B publication Critical patent/TWI826542B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公開涉及一種模式依賴的仿射繼承，具體涉及一種視頻處理的方法，包括：確定與當前塊相鄰的鄰近塊的仿射模型；基於鄰近塊的仿射模型和鄰近塊相對於當前塊的位置中的至少一個，從鄰近塊中導出當前塊的控制點運動向量；基於控制點運動向量在當前塊和當前塊的位元流表示之間進行視頻處理。

Description

模式依賴的仿射繼承
本專利文件涉及視頻編解碼技術、裝置和系統。
[相關申請的交叉引用]
根據適用的專利法和/或根據巴黎公約的規則，本申請及時要求2018年9月26日提交的國際專利申請No.PCT/CN2018/107629和2018年9月27日提交的國際專利申請No.PCT/CN2018/107869的優先權和權益。國際專利申請No.PCT/CN2018/107629和國際專利申請No.PCT/CN2018/107869的全部公開內容通過引用結合在此作為本申請公開內容的一部分。
運動補償(MC)是視頻處理中的技術，在給定之前和/或未來的幀的情況下，其通過考慮到相機和/或視頻中的對象的運動來預測視頻中的幀。運動補償可以用於視頻數據的編解碼中以用於視頻壓縮。
本文件公開了涉及在視頻編碼和解碼中使用仿射運動補償的方法、系統和裝置。
在一個示例性方面中，公開了一種視頻處理的方法。該方法包括：確定與當前塊相鄰的鄰近塊的仿射模型；基於鄰近塊的仿射模型和鄰近塊相對於當前塊的位置中的至少一個，從鄰近塊中導出當前塊的控制點運動向量；基於控制點運動向量在當前塊和當前塊的位元流表示之間進行視頻處理。
一個示例性方面中，公開了一種視頻處理設備，包括處理器，該處理器被配置為實現本文所述的方法。
在又一代表性方面中，本文中描述的各種技術可以實施為儲存在非暫態電腦可讀介質上的電腦程式產品。電腦程式產品包含程式代碼，以執行本文中描述的方法。
在又一代表性方面中，視頻解碼器設備可以實現如本文中描述的方法。
所附附件、附圖和以下說明書中提出了一個或多個實現方式的細節。其他特徵將從說明書和附圖以及申請專利範圍變得明顯。
1600:方法
1602~1606:步驟
2600:電腦系統
2605:(多個)處理器
2610:記憶體
2615:網路配接器
2625:互連
2700:移動裝置
2701:處理器/控制器
2702:記憶體
2703:I/O單元
2704:顯示設備
A、B、C、D、E:子塊
a、b、c、d:鄰近塊
A0、A1、A2、B0、B1、B2、B3:候選塊
CP0、CP1、CP2:控制點
Cur:當前塊
mv0、mv0 C、mv0 N、mv1、mv1 C、mv1 N、mv2、mv2 C、mv2 N、mv3、mv0’、mv1’、mv2’、mv3’:運動向量
LT、LB、RT、RB:塊
T:時域位置
(x0,y0)、(x0+w,y0)、(x’0,y0’)、(x’0+w,y0’)、(x’0,y0’+h’)、 (x1,y1)、(x’1,y’1)、(x2,y2)、(xCS,yCS)、(xRS,yRS)、(xRE,yRE)、(xCE,yCE):坐標
圖1示出了基於子塊的預測計算的示例。
圖2A-2B示出了簡化的仿射運動模型的示例(a)4參數仿射 模型；(b)6參數仿射模型。
圖3示出了每個子塊的仿射運動向量場(MVF)的示例。
圖4A-4B示出了AF_MERGE模式的候選。
圖5示出了仿射merge模式的示例性候選位置。
圖6示出了具有四個子塊(A-D)的編解碼單元(CU)及其鄰近塊(a-d)的示例。
圖7示出了由鄰近塊的兩個右側CP推導的仿射繼承的示例。
圖8通過由鄰近塊的兩個右CP推導的仿射繼承。
圖9示出了由仿射編解碼的上方鄰近塊的底列中儲存的MV推導的6參數仿射繼承的示例。
圖10示出了可以儲存輔助MV的基本單元塊的底列(陰影的)的示例。
圖11示出由仿射編解碼的左側鄰近塊的右行中儲存的MV推導的6參數仿射繼承的示例。
圖12示出了可以儲存輔助MV的基本單元塊的右行(陰影的)的示例。
圖13示出了所使用的MV儲存體的示例。
圖14是圖示了可以用於形成實現本公開技術的各部分的電腦系統或其他控制裝置的架構的示例的方塊圖。
圖15示出了可以用於實現本公開技術的各部分移動裝置的示例性實施例的方塊圖。
圖16是視覺媒體處理示例性方法的流程圖。
本文件提供若干技術，其可以被實施為數位視頻編碼器和解碼器。本文件中使用了章節標題以便於理解，並且不將每個章節中公開的技術和實施例的範圍僅限制在該章節。
在本文件中，術語“視頻處理”可以指視頻編碼、視頻解碼、視頻壓縮或視頻解壓縮。例如，在視頻的像素表示到對應的位元流表示的轉換期間，可以應用視頻壓縮算法，或反之亦然。
1. 概述
本發明涉及視頻/圖像編解碼技術。具體地，其涉及視頻/圖像編解碼中的仿射預測。其可以應用到現有視頻編解碼標準中，例如HEVC，或尚待敲定的標準(多功能視頻編解碼)。其還可以應用於未來視頻/圖像編解碼標準或視頻/圖像編解碼器。
2. 介紹
基於子塊的預測首先由HEVC Annex I(3D-HEVC)引入到視頻編解碼標準中。利用基於子塊的預測，諸如編解碼單元(CU)或預測單元(PU)的塊被分為若干不重疊的子塊。可以為不同的子塊分配不同的運動信息，諸如參考索引或運動向量(MV)，並且對每個子塊單獨地執行運動補償(MC)。圖1示出了基於子塊的預測的概念。
為了探索HEVC之外的未來視頻編解碼技術，聯合視頻探索團隊(Joint Video Exploration Team，JVET)由VCEG和MPEG 於2015年共同創立。從那時起，JVET採用了許多新方法，並將其納入名為聯合探索模型(Joint Exploration Model，JEM)的參考硬體中。
在JEM中，在若干編解碼工具中採用基於子塊的預測，例如仿射預測、可選時域運動向量預測(ATMVP)、空時運動向量預測(STMVP)、雙向光流(BIO)和幀速率上轉換(FRUC)。仿射預測也被採用到VVC中。
2.1 仿射預測
在HEVC中，僅將平移運動模型應用於運動補償預測(MCP)。而在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在VVC中，應用簡化的仿射變換運動補償預測。如圖2A-2B所示，塊的仿射運動場由兩個(在4參數仿射模型中)或三個(在6參數仿射模型中)控制點運動向量描述。
圖2A-2B示出了簡化的仿射運動模型(a)4參數仿射模型；(b)6參數仿射模型。
塊的運動向量場(MVF)由具有4參數仿射模型的以下等式描述：
Figure 108134966-A0305-02-0007-1
和6參數仿射模型：
Figure 108134966-A0305-02-0008-2
其中(mv h 0 ,mv v 0 )是左上角控制點的運動向量，並且(mv h 1 ，mv v 1 )是右上角控制點的運動向量，並且(mv h 2 ，mv v 2 )是左下角控制點的運動向量。點(x，y)表示相對於當前塊內的左上樣本的代表性點的坐標。CP運動向量可以被信令通知(如仿射AMVP模式中一樣)或on-the-fly推導(如仿射merge模式中一樣)。w和h是當前塊的寬度和高度。實踐中，除法通過帶有舍入運算的右移實現。在VTM中，代表性點被定義為子塊的中心位置，例如，當子塊的左上角相對於當前塊內的左上樣本的坐標是(xs，ys)時，代表性點的坐標被定義為(xs+2，ys+2)。
在無除法設計中，(1)和(2)實現為：
Figure 108134966-A0305-02-0008-3
對於(1)中所示的4參數仿射模型：
Figure 108134966-A0305-02-0008-4
對於(2)中所示的6參數仿射模型：
Figure 108134966-A0305-02-0008-5
最終，
Figure 108134966-A0305-02-0008-6
Figure 108134966-A0305-02-0009-7
其中S表示計算精度，例如在VVC中，S=7。在VVC中，左上樣本在(xs，ys)處的子塊的MC中使用的MV通過(6)計算，其中x=xs+2且y=ys+2。
為了推導每個4×4子塊的運動向量，根據等式(1)或(2)計算每個子塊的中心樣本的運動向量，如圖3所示，並舍入到1/16分數精度。然後，應用運動補償內插濾波器以用推導的運動向量生成每個子塊的預測。
仿射模型可以從空域鄰近的仿射編解碼塊繼承，諸如左、上、右上、左下和左上鄰近塊，如圖4A中所示。例如，如果圖4A中的鄰近左塊A以仿射模式編解碼，如圖4B中的A0所表示，則獲取含有塊A的鄰近CU/PU的左上角、右上角和左下角的控制點(CP)運動向量mv0 N、mv1 N和mv2 N。並且基於mv0 N、mv1 N和mv2 N計算當前CU/PU上的左上角/右上/左下的運動向量mv0 C、mv1 C和mv2 C(其僅用於6參數仿射模型)。應注意，在VTM-2.0中，如果當前塊是仿射編解碼的，則子塊(例如VTM中的4×4塊)LT儲存mv0，RT儲存mv1。如果當前塊是用6參數仿射模型編解碼的，則LB儲存mv2；否則(在4參數仿射模型的情況下)，則LB儲存mv2’。其他子塊儲存用於MC的MV。
應當注意，當用仿射merge模式編解碼CU時，即，在AF_MERGE模式中，它從有效的鄰近重構塊獲得用仿射模式編解 碼的第一塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖4A所示。
當前塊的推導的CP MV mv0 C、mv1 C和mv2 C可以用作仿射merge模式中的CP MV。或者它們可以在VVC中用作仿射幀間模式的MVP。應當注意，對於merge模式，如果當前塊用仿射模式編解碼，則在推導當前塊的CP MV之後，可以將當前塊進一步劃分為多個子塊，並且每個塊將基於當前塊的推導的CP MV推導其運動信息。
2.2 JVET-K0186
不同於其中僅一個仿射空域鄰近塊可以用於推導塊的仿射運動的VTM，在JVET-K0186中，提出了為AF_MERGE模式建構仿射候選的單獨列表。進行以下步驟。
1)***繼承的仿射候選到候選列表中
圖5示出了仿射merge模式的候選位置的示例。
繼承的仿射候選是指由用仿射模式編解碼的有效鄰近重構塊推導的候選。
如圖5中所示，候選塊的掃描順序是A1，B1，B0，A0和B2。當選擇塊(例如，A1)時，應用兩步過程：
a)首先，使用覆蓋塊的CU的三個角部運動向量，以推導當前塊的兩個/三個控制點。
b)基於當前塊的控制點，以推導當前塊內的每個子塊的子塊運動。
2)***建構的仿射候選
如果仿射merge候選列表中的候選的數目少於MaxNumAffineCand，則建構的仿射候選被***到候選列表中。
建構的仿射候選是指通過組合每個控制點的鄰近運動信息建構的候選。
首先從指定的空域鄰域和時域鄰域推導控制點的運動信息，如圖5中所示。CPk(k=1，2，3，4)表示第k個控制點。 A0，A1，A2，B0，B1，B2和B3是預測CPk(k=1，2，3)的空域位置；T是預測CP4的時域位置。
CP1，CP2，CP3和CP4的坐標分別是(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是當前塊的寬度和高度。
每個控制點的運動信息根據以下優先級順序獲得：
- 對於CP1，檢查優先級是B2->B3->A2。如果B2可用則使用B2。否則，如果B2不可用，則使用B3。如果B2和B3都不可用，則使用A2。如果全部三個候選不可用，則CP1的運動信息無法獲得。
- 對於CP2，檢查優先級是B1->B0；
- 對於CP3，檢查優先級是A1->A0；
- 對於CP4，使用T。
其次，控制點的組合用於建構運動模型。
需要三個控制點的運動向量來計算6參數仿射模型中的變換參數。可以從以下四個組合之一選擇三個控制點：({CP1， CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。例如，使用CP1，CP2和CP3控制點來建構6參數仿射運動模型，表示為仿射(CP1，CP2，CP3)。
需要兩個控制點的運動向量來計算4參數仿射模型中的變換參數。可以從以下六個組合之一選擇兩個控制點({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。例如，使用CP1和CP2控制點來建構4參數仿射運動模型，表示為仿射(CP1，CP2)。
建構的仿射候選的組合被以如下順序***到候選列表中：{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。
3)***零運動向量
如果仿射merge候選列表中的候選的數目少於MaxNumAffineCand，則將零運動向量***到候選列表中，直到列表充滿。
2.3 ATMVP(高級時域運動向量預測)
在第10次JVET會議上，高級時域運動向量預測(ATMVP)被包含在基準集(BMS)-1.0參考硬體中，其基於來自時域鄰近圖片的共位(collocated)塊的運動信息推導一個編解碼單元(CU)的子塊的多個運動。雖然它提高了時域運動向量預 測的效率，但是對現有的ATMVP設計識別出以下複雜度問題： 如果使用多個參考圖片，則不同ATMVP CU的共位圖片可能不相同。這意味著需要取回多個參考圖片的運動場。
每個ATMVP CU的運動信息總是基於4×4單元推導，導致對一個ATMVP CU內的每個4×4子塊的運動推導和運動補償的多次調用。
提出了對ATMVP的一些進一步簡化，並且已經在VTM2.0中採用。
2.3.1 使用一個固定共位圖片的簡化的共位塊推導
在該方法中，提出了一種簡化設計以使用與在HEVC中相同的共位圖片，其在條帶標頭處信令通知，作為用於ATMVP推導的共位圖片。在塊級，如果鄰近塊的參考圖片與該共位圖片不同，則使用HEVC時域MV縮放方法來縮放塊的MV，並且在ATMVP中使用縮放的MV。
表示用於取回共位圖片Rcol中的運動場的運動向量作為MVcol。為了最小化由於MV縮放引起的影響，用於推導MVcol的空域候選列表中的MV以如下方式選擇：如果候選MV的參考圖片是共位圖片，則選擇該MV並將其用作MVcol，而不使用任何縮放。否則，選擇具有最接近共位圖片的參考圖片的MV以利用縮放來推導MVcol。
2.3.2 自適應ATMVP子塊大小
在該方法中，提出支持用於ATMVP運動推導的子塊尺寸 的條帶級配接。具體地，在序列級信令通知用於ATMVP運動推導的一個預設子塊尺寸。另外，在條帶級信令通知一個標誌以指示預設子塊尺寸是否用於當前條帶。如果該標誌為偽，則在條帶的條帶標頭中進一步信令通知對應的ATMVP子塊尺寸。
2.4 STMVP(空時運動向量預測)
STMVP在JEM中被提出並被採用，但尚未在VVC中被採用。在STMVP中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖6說明了這個概念。讓我們考慮含有四個4×4子CU A，B，C和D的8×8 CU。當前幀中的鄰近4×4塊標記為a，b，c和d。
子CU A的運動推導以識別其兩個空間鄰域開始。第一鄰域是子CU A上方的N×N塊(塊c)。如果該塊c不可用或者是幀內編解碼的，則檢查子CU A上方的其他N×N塊(從左到右，始於塊c)。第二鄰域是子CU A左側的塊(塊b)。如果塊b不可用或者是幀內編解碼的，則檢查子CU A左側的其他塊(從上到下，始於塊b)。從每個列表的鄰近塊獲得的運動信息被縮放到給定列表的第一參考幀。接下來，通過按照與HEVC中指定的TMVP推導相同的過程來推導子塊A的時域運動向量預測符(TMVP)。取回位置D處的共位塊的運動信息並相應地縮放。最後，在檢索和縮放運動信息之後，對於每個參考列表分開地平均全部可用的運動向量(最多3個)。平均的運動向量被指定為當前子CU的運動向量。
圖6示出了具有四個子塊(A-D)的一個CU及其鄰近塊(a-d)的示例。
2.5 示例性仿射繼承方法
為了降低仿射模型繼承的儲存要求，一些實施例可以實現一種方案，其中通過僅存取當前塊左側一列的MV和當前塊上方的一列的MV來繼承仿射模型。
可以通過由仿射編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來進行仿射模型繼承，如圖7中所示。
a. 在一個示例中，mv 0 C=(mv 0 Ch ，mv 0 Cv )和mv 1 C=(mv 1 Ch ，mv 1 Cv )由mv 0 N=(mv 0 Nh ，mv 0 Nv )和mv 1 N =(mv 1 Nh ，mv 1 Nv )推導如下：
Figure 108134966-A0305-02-0015-8
其中w和w’分別是當前塊的寬度和鄰近塊的寬度。(x0，y0)是當前塊的左上角的坐標，並且(x’0，y’0)是鄰近塊的左下角的坐標。
替代地，此外，a和b計算過程中的除法運算可以由有或沒有加法運算的移位替代。
b. 例如，通過由來自圖4A中的“B”和“C”的仿射 編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來進行仿射模型繼承。
i. 替代地，通過由來自圖4A中的“B”，“C”和“E”的仿射編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來進行仿射模型繼承。
c. 例如，僅當鄰近塊在含有當前塊的M×N區域的上方(或右上，或左上)的M×N區域中，才通過由仿射編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來進行仿射模型繼承。
d. 例如，y0=y’0。
i. 替代地，y0=1+y0’。
e. 例如，如果當前塊通過由仿射編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來繼承仿射模型，則將當前塊視為使用4參數仿射模型。
圖7示出了通過由鄰近塊的兩個底CP推導來仿射繼承的示例。
可以通過由仿射編解碼的鄰近塊的右上MV和右下MV推導當前塊的CP MV進行仿射模型繼承，如圖8中所示。
a. 例如，mv 0 C=(mv 0 Ch ，mv 0 Cv )和mv 1 C=(mv 1 Ch ，mv 1 Cv )可以由mv 0 N=(mv 0 Nh ，mv 0 Nv )和mv 1 N=(mv 1 Nh ，mv 1 Nv )推導如下：
Figure 108134966-A0305-02-0017-9
其中h’是鄰近塊的高度。w是當前塊的寬度。(x 0 ，y 0 )是當前塊的左上角的坐標，並且(x’ 0 ，y’ 0 )是鄰近塊的右上角的坐標。
替代地，此外，a和b計算過程中的除法運算可以由有或沒有加法運算的移位替代。
b. 例如，通過由來自圖4A中的中“A”和“D”的仿射編解碼的鄰近塊的右上MV和右下MV推導當前塊的CP MV進行仿射模型繼承。
i. 替代地，通過由來自圖4A中的“A”，“D”和“E”的仿射編解碼的鄰近塊的右上MV和右下MV推導當前塊的CP MV進行仿射模型繼承。
c. 例如，僅當鄰近塊在含有當前塊的M×N區域的左側(或左上、或左下)的M×N區域中，才通過由仿射編解碼的鄰近塊的右上MV和右下MV推導當前塊的CP MV進行仿射模型繼承。
d. 例如，x0=x’0。
i. 替代地，x0=1+x’0。
e. 例如，如果當前塊通過由仿射編解碼的鄰近塊的右 上MV和右下MV推導當前塊的CP MV繼承仿射模型，則將當前塊視為使用4參數仿射模型。
如果當前塊不使用6參數仿射模型，則可以推導更多的CP MV並儲存以用於運動向量預測和/或濾波過程。
a. 在一個示例中，儲存的左下MV可以用於運動預測，包含之後編解碼的PU/CU的仿射模型繼承。
b. 在一個示例中，儲存的左下MV可以用於隨後的圖片的運動預測中。
c. 在一個示例中，儲存的左下MV可以用於去塊濾波過程。
d. 如果仿射編解碼的塊不使用6參數仿射模型，則為仿射編解碼的塊推導左下角的CP MV並儲存在左下MV單元中，其在VVC中是4×4。
i. 左下角的CP MV(記為mv 2=(mv 2 h ，mv 2 v ))對於4參數仿射模型推導如下：
Figure 108134966-A0305-02-0018-10
e. 對於仿射編解碼塊推導右下角的CP MV並儲存在右下MV單元中，其在VVC中是4×4。儲存的右下MV可以用於運動預測，包含用於之後編解碼的PU/CU的仿射模型繼承，或隨後的圖片的運動預測或去塊濾波過程。
i. 右下角的CP MV(記為mv 3=(mv 3 h ，mv 3 v ))對 於4參數仿射模型推導如下：
Figure 108134966-A0305-02-0019-11
ii. 右下角CP MV對於6參數仿射模型推導如下：
Figure 108134966-A0305-02-0019-12
iii. 右下角的CP MV對於4參數仿射模型和6參數仿射模型兩者推導如下：
Figure 108134966-A0305-02-0019-13
b. 如果4參數模型中的mv 2=(mv 2 h ，mv 2 v )如(10)計算。圖8示出了通過由鄰近塊的兩個右側CP推導來仿射繼承的示例。
3. 由實施例解決的問題
一些之前的設計僅可以支持4參數仿射模型的繼承，其可能導致當啟用6參數仿射模型時的編解碼性能損失。
4. 示例性實施例
我們提出若干方法來在降低儲存要求的情況下繼承6參數仿射模型。
以下詳細的描述發明應被視為示例來解釋一般概念。這些發明不應狹義地解釋。此外，這些發明可以任何方式組合。本發明和其他發明之間的組合也是適用的。
在以下的討論中，假設仿射編解碼的上方或左側鄰近CU 的左上角/右上角/左下角/右下角的坐標分別是(LTNx，LTNy)/(RTNx，RTNy)/(LBNx，LBNy)/(RBNx，RBNy)；當前CU的左上角/右上角/左下角/右下角的坐標分別是(LTCx，LTCy)/(RTCx，RTCy)/(LBCx，LBCy)/(RBCx，RBCy)；仿射編解碼的上方或左側鄰近CU的寬度和高度分別是w’和h’；仿射編解碼的當前CU的寬度和高度分別是w和h。
1. 通過以不同方式使用直接在當前塊上方的列中的MV(例如，與當前塊相鄰的塊相關聯的MV)來進行仿射模型繼承，所述方式取決於仿射編解碼的上方鄰近塊採用4參數仿射模型還是6參數仿射模型。
a. 在一個示例中，當仿射編解碼的上方鄰近CU採用4參數仿射模型時，應用繼承方法。
b. 在一個示例中，如果仿射編解碼的上方鄰近塊採用6參數仿射模型，則可以通過從如圖9中所示的仿射編解碼的上方鄰近塊的左下MV和右下MV以及一個輔助MV(即，mv0 N、mv1 N和與輔助點相關聯的輔助MV)推導當前塊的CPMV而進行6參數仿射模型繼承。
i. 在一個示例中，僅當仿射編解碼的上方鄰近塊採用6參數仿射模型且w’>Th0(例如，Th0為8)，才進行所提出的6參數仿射模型繼承。
ii. 替代地，當上方塊是用仿射模式編解碼的，無論其是4或6參數仿射模式，都可以調用提出的6參數仿射模型繼 承。
c. 在一個示例中，利用輔助位置，通過仿射編解碼的上方鄰近塊的仿射模型，推導輔助MV。
i. 輔助位置是預定的；
ii. 替代地，輔助位置是自適應性的。例如，輔助位置取決於上方鄰近塊的尺寸。
iii. 替代地，輔助位置在VPS/SPS/PPS/條帶標頭/CTU/CU中被從編碼器信令通知到解碼器。
iv. 替代地，輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)。Offset是整數。例如，Offset=2K。在另一示例中，Offset=-2K。在一些示例中，K可以是1、2、3、4或5。具體地，輔助位置是(LTNx+(w’>>1)，LTNy+h’+8)。
v. 輔助MV被儲存在仿射編解碼的上方鄰近塊的底列基本單元塊(例如VVC中的4x4塊)中的一個中，如圖10中所示。要儲存輔助MV的基本單元塊被命名為輔助塊。
(a)在一個示例中，輔助MV無法儲存在仿射編解碼的上方鄰近塊的左下和右下角基本單元塊中。
(b)基本單元塊的底列從左至右表示為B(0)，B(1)，…，B(M-1)。在一個示例中，輔助MV儲存在基本單元塊B(M/2)中。
a. 替代地，輔助MV儲存在基本單元塊B(M/2+1)中；
b. 替代地，輔助MV儲存在基本單元塊B(M/2-1)中；
(c)在一個示例中，儲存的輔助MV可以用於之後編解碼的PU/CU的運動預測或merge中。
(d)在一個示例中，儲存的輔助MV可以用於後續圖片的運動預測或merge中。
(e)在一個示例中，儲存的輔助MV可以用於濾波過程(例如，去塊濾波)中。
(f)替代地，附加緩衝器可以用於儲存輔助MV，而不是將它們儲存在基本單元塊中。在此情況下，儲存的輔助MV可以僅用於仿射運動繼承，而不用於編解碼當前條帶/片或不同圖片中的之後編解碼的塊，並且不用於濾波過程(例如，去塊濾波)。
vi. 在解碼仿射編解碼的上方鄰近塊之後，輔助位置的坐標作為輸入(x，y)，由Eq.(2)計算輔助MV。並且然後輔助MV儲存在輔助塊中。
(a)在一個示例中，儲存在輔助塊中的MV不用於為輔助塊進行MC。
d. 在圖9中所示的一個示例中，當前塊的三個CPMV，表示為mv0 C=(mv0 Ch，mv0 Cv)，mv1 C=(mv1 Ch，mv1 Cv)和mv2 C=(mv2 Ch，mv2 Cv)，被從作為仿射編解碼的上方鄰近塊的左下角處的MV的mv0 N=(mv0 Nh，mv0 Nv)、作為仿射編解碼的上方鄰近塊的右下角處的MV的mv1 N=(mv1 Nh，mv1 Nv)以及作為輔助MV的mvA=(mvA h，mvA v)推導如下：
Figure 108134966-A0305-02-0023-14
其中(x0，y0)是當前塊的左上角的坐標，並且(x’0，y’0)是鄰近塊的左下角的坐標。
替代地，此外，(14)中的除法運算可以由右移替代，在移位之前可以添加或不添加偏移。
i. 例如，等式(14)中的數字K取決於如何定義輔助位置以得到輔助MV。在1.c.iv所公開的示例中，輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中Offset=2K。在示例中，K=3。
e. 例如，僅當鄰近塊在含有當前塊的M×N區域上方(或右上，或左上)的M×N區域中，才通過從仿射編解碼的鄰近塊的左下MV和右下MV推導當前塊的CP MV來進行仿射模型繼承。
i. 例如，M×N區域是CTU，例如128×128區域；
ii. 例如，M×N區域是流水線尺寸，例如64×64區 域。
f. 例如，y0=y’0。
i. 替代地，y0=1+y’0。
圖9示出了通過從儲存在仿射編解碼的上方鄰近塊的底列中的MV推導的6參數仿射繼承的示例。
圖10示出了可以儲存輔助MV的基本單元塊的底列(陰影的)的示例。
2. 通過使用當前塊左側的列中的MV以不同方式進行仿射模型繼承，所述方式取決於仿射編解碼的左側鄰近CU採用4參數仿射模型還是6參數仿射模型。
a. 在一個示例中，當仿射編解碼的左側鄰近CU採用4參數仿射模型時，應用之前公開的方法。
b. 在一個示例中，如果仿射編解碼的左側鄰近塊採用6參數仿射模型，則可以通過從圖11中所示的仿射編解碼的左側鄰近塊的右上MV和右下MV以及一個輔助MV推導當前塊的CPMV，進行6參數仿射模型繼承。
i. 在一個示例中，僅當仿射編解碼的左側鄰近塊採用6參數仿射模型且h’>Th1(例如，Th1為8)，才可以進行6參數仿射模型繼承。
ii. 替代地，當左側塊是用仿射模式編解碼時，無論其是4還是6參數仿射模式，都可以調用提出的6參數仿射模型繼承。
c. 在一個示例中，利用輔助位置，通過仿射編解碼的左側鄰近塊的仿射模型推導輔助MV。
i. 在一個示例中，輔助位置是預定的；
ii. 在一個示例中，輔助位置是自適應性的。例如，輔助位置取決於左側鄰近塊的尺寸。
iii. 在一個示例中，輔助位置在VPS/SPS/PPS/條帶標頭/CTU/CU中被從編碼器信令通知到解碼器。
iv. 在一個示例中，輔助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))。Offset是整數。例如，Offset=2K。在另一示例中，Offset=-2K。在一些示例中，K可以是1、2、3、4或5。特別地，輔助位置是(LTNx+w’+8，LTNy+(h’>>1))。
v. 輔助MV儲存在仿射編解碼的左側鄰近塊的基本單元塊(例如VVC中的4x4塊)的右行之一中，如圖12中所示。要儲存輔助MV的基本單元塊命名為輔助塊。
(a)在一個示例中，輔助MV無法儲存在仿射編解碼的左側鄰近塊的右上和右下角基本單元塊中。
(b)基本單元塊的右行從頂至底表示為B(0)，B(1)，…，B(M-1)。在一個示例中，輔助MV儲存在基本單元塊B(M/2)中。
a. 替代地，輔助MV儲存在基本單元塊B(M/2+1)中；
b. 替代地，輔助MV儲存在基本單元塊B (M/2-1)中；
(c)在一個示例中，儲存的輔助MV可以用於之後編解碼的PU/CU的運動預測或merge。
(d)在一個示例中，儲存的輔助MV可以用於後續圖片的運動預測或merge。
(e)在一個示例中，儲存的輔助MV可以用於濾波過程(例如，去塊濾波)。
(f)替代地，附加緩衝器可以用於儲存輔助MV，而不是將它們儲存在基本單元塊中。在此情況下，儲存的輔助MV可以僅用於仿射運動繼承，而不用於編解碼當前條帶/片或不同圖片中的之後編解碼的塊，並且不用於濾波過程(例如，去塊濾波)。
vi. 在解碼仿射編解碼的左側鄰近塊之後，輔助位置的坐標作為輸入(x，y)，由等式(2)計算輔助MV。並且然後輔助MV儲存在輔助塊中。
(a)在一個示例中，儲存在輔助塊中的MV不用於進行用於輔助塊的MC。
d. 在如圖11中所示的一個示例中，當前塊的三個CPMV，表示為mv0 C=(mv0 Ch，mv0 Cv)，mv1 C=(mv1 Ch，mv1 Cv)和mv2 C=(mv2 Ch，mv2 Cv)，被從作為仿射編解碼的左側鄰近塊的右上角處的MV的mv0 N=(mv0 Nh，mv0 Nv)、作為仿射編解碼的左側鄰近塊的右下角處的MV的mv1 N=(mv1 Nh，mv1 Nv)以及作為 輔助MV的mvA=(mvA h，mvA v)，推導如下：
Figure 108134966-A0305-02-0027-15
其中(x0，y0)是當前塊的左上角的坐標，(x’0，y’0)是鄰近塊的右上角的坐標。
替代地，此外，(15)中的除法運算可以被有或沒有加法運算的移位替代。
i. 例如，等式(15)中的數字K取決於如何定義輔助位置以得到輔助MV。在2.c.iv所公開的示例中，輔助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))其中Offset=2K。在示例中，K=3。
e. 例如，僅當鄰近塊在含有當前塊的M×N區域左側(或左上、或左下)的M×N區域中，才通過從仿射編解碼的鄰近塊的右上MV和右下MV推導當前塊的CP MV來進行仿射模型繼承。
i. 例如，M×N區域是CTU，例如128×128區域；
ii. 例如，M×N區域是流水線尺寸，例如64×64區域。
f. 例如，x0=x’0。
i. 替代地，x0=1+x’0。
3. 在一個示例中，當前塊僅需要存取儲存在當前塊上方的列中的和當前塊左側的行中的基本單元(例如VVC中的4×4塊)中的MV，如圖13中所示。當前塊的左上位置的坐標表示為(x0，y0)。當前塊可以存取當前塊上方的開始於具有左上坐標(xRS，yRS)的基本單元並且結束於具有左上坐標(xRE，yRE)的基本單元的基本單元列(表示為所需的上方的列)中的MV。相似地，當前塊可以存取當前塊左側的開始於具有左上坐標(xCS，yCS)的基本單元並且結束於具有左上坐標(xCE，yCE)的基本單元的基本單元行(表示為所需的左側的行)中的MV。當前塊的寬度和高度分別表示為W和H。假設基本單元尺寸是B×B(例如在VVC中4×4)，則yRS=yRE=y0-B且xCS=xCE=x0-B。
a. 所需的上方的列和所需的左側的行的範圍可以受限。
i. 在一個示例中，xRS=x0-n×W-m。n和m是整數，諸如n=0，m=0，n=0，m=1，n=1，m=1，或n=2，m=1；
ii. 在一個示例中，xRE=x0+n×W+m。n和m是整數，諸如n=1，m=-B，n=1，m=B，n=2，m=-B，或n=3，m=-B；
iii. 在一個示例中，yCS=y0-n×H-m。n和m是整數，諸如n=0，m=0，n=0，m=1，n=1，m=1，或n=2，m=1；
iv. 在一個示例中，yCE=y0+n×H+m。n和m是整數，諸如n=1，m=-B，n=1，m=B，n=2，m=-B，或n=3，m=-B；
v. 在一個示例中，當前塊不需要所需的上方的列；
vi. 在一個示例中，當前塊不需要所需的左側的行；
vii. 在一個示例中，xRS，xRE，yCS和yCE的選擇可以取決於輔助塊的位置。
(a)在一個示例中，輔助塊總是被所選的上方的列或左側的行覆蓋。
(b)替代地，此外，(xRS，yRS)，(xRE，yRE)，(xCS，yCS)和(xCE，yCE)不應與輔助塊重疊。
viii. 在一個示例中，所需的上方的列和所需的左側的行的範圍取決於當前塊的位置。
(a)如果當前塊在P×Q區域的頂部邊界處，即當y0%Q==0時，其中Q可以是128(CTU區域)或64(流水線區域)。
a. 在一個示例中，當前塊不需要所需的上方的列；
b. 在一個示例中，xRS=x0；
(b)如果當前塊在P×Q區域的左邊界處，即當x0%P==0時，其中P可以是128(CTU區域)或64(流水線區域)
a. 在一個示例中，當前塊不需要所需的左側的行；
b. 在一個示例中，yCS=y0；
4. 作為示例2.d的替代方法，當前塊的三個CPMV，表示為mv0 C=(mv0 Ch，mv0 Cv)，mv1 C=(mv1 Ch，mv1 Cv)and mv2 C=(mv2 Ch，mv2 Cv)，被從作為仿射編解碼的左側鄰近塊的右上角處的MV的mv0 N=(mv0 Nh，mv0 Nv)、作為仿射編解碼的左側鄰近塊的右下角處的MV的mv1 N=(mv1 Nh，mv1 Nv)以及作為輔助MV的mvA=(mvA h，mvA v)，推導如下：
Figure 108134966-A0305-02-0030-16
其中(x0，y0)是當前塊的左上角的坐標，並且(x’0，y’0)是鄰近塊的右上角的坐標。
替代地，此外，(16)中的除法運算可以被有或沒有加法運算的移位替代。
5. 在示例1.c.v中，僅當仿射編解碼的上方鄰近塊是用6參數仿射模型編解碼的，才將輔助MV儲存在仿射編解碼的上方 鄰近塊的底列基本單元塊(例如VVC中的4x4塊)中的一個(諸如中間的一個)中。
a. 替代地，輔助MV儲存在仿射編解碼的上方鄰近塊的底列基本單元塊(例如VVC中的4x4塊)中的一個(諸如中間的一個)中，無論仿射編解碼的上方鄰近塊是用4參數仿射模型還是6參數仿射模型編解碼的。
6. 在示例2.c.v中，僅當仿射編解碼的左側鄰近塊是用6參數仿射模型編解碼的，才將輔助MV儲存在仿射編解碼的左側鄰近塊的右行基本單元塊(例如VVC中的4x4塊)中的一個(諸如中間的一個)中。
a. 替代地，將輔助MV儲存在仿射編解碼的左側鄰近塊的右行基本單元塊(例如VVC中的4x4塊)中的一個(諸如中間的一個)中，無論仿射編解碼的左側鄰近塊是用4參數仿射模型還是6參數仿射模型編解碼的。
7. 在一個示例中，當前塊的左下基本單元塊總是儲存左下角處的CPMV，無論當前塊採用4參數模型還是6參數模型。例如在圖3中，塊LB總是儲存mv2。
8. 在一個示例中，當前塊的右下基本單元塊總是儲存右下角處的CPMV，無論當前塊採用4參數模型還是6參數模型。例如在圖3中，塊RB總是儲存mv3。
9. 無論仿射編解碼的鄰近塊採用4參數模型還是6參數模型，以相同方式進行仿射繼承。
a. 以6參數仿射模型繼承方式，從儲存在仿射編解碼的鄰近塊的左上基本塊、右上基本塊和左下基本單元中的MV推導當前塊在左上角、右上角和左下角處的CPMV(例如圖4(b)中的mv0 C，mv1 C和mv2 C)。
i. 例如，儲存在仿射編解碼的鄰近塊的左上基本塊、右上基本塊和左下基本單元中的MV是仿射編解碼的鄰近塊的左上角、右上角和右下角處的CPMV。
b. 以示例1中限定的方式從儲存在仿射編解碼的上方鄰近塊的基本單元的底列的左下基本單元、右下基本單元和額外基本單元中的MV推導當前塊在左上角、右上角和左下角處的CPMV(例如圖4(b)中的mv0 C，mv1 C和mv2 C)。
i. 例如，儲存在仿射編解碼的上方鄰近塊的基本單元的底列中的左下基本單元、右下基本單元和額外基本單元中的MV是仿射編解碼的鄰近塊的左下角處的CPMV、右下角處的CPMV和輔助MV。
c. 以示例2中限定的方式從儲存在仿射編解碼的左側鄰近塊的基本單元的右行中的右上基本單元、右下基本單元和額外基本單元中的MV推導當前塊在左上角、右上角和左下角處的CPMV(例如圖4(b)中的mv0 C，mv1 C和mv2 C)。
i. 例如，儲存在仿射編解碼的左側鄰近塊的基本單元的右行中的右上基本單元、右下基本單元和額外基本單元中的MV是仿射編解碼的鄰近塊的右上角處的CPMV、右下角處的CPMV 和輔助MV。
d. 繼承的仿射merge塊總是標記為“使用6參數”。
e. 當從上方鄰近塊繼承仿射模型，並且上方鄰近塊的寬度不大於8時，則將輔助MV計算為儲存在左下基本單元和右下基本單元中的MV的平均。
i. 例如，儲存在仿射編解碼的上方鄰近塊的左下基本單元、右下基本單元中的MV是仿射編解碼的上方鄰近塊的左下角處的CPMV和右下角處的CPMV。
f. 當從左側鄰近塊繼承仿射模型，並且左側鄰近塊的高度不大於8時，則將輔助MV計算為儲存在右上基本單元和右下基本單元中的MV的平均。
i. 例如，儲存在仿射編解碼的左側鄰近塊的右上基本單元、右下基本單元中的MV是仿射編解碼的左側鄰近塊的右上角處的CPMV和右下角處的CPMV。
10. 在一個示例中，以儲存在子塊中的MV進行子塊的MC。
a. 例如，儲存的MV是CPMV；
b. 例如，儲存的MV是輔助MV。
11. 無論仿射編解碼的鄰近塊採用4參數模型還是6參數模型，以相同方式進行仿射繼承。
12. 每個編解碼塊要儲存的輔助MV可以多於1。
a. 輔助MV的使用可以與上述方式相同。
圖11示出了通過從儲存在仿射編解碼的左側鄰近塊的右行中的MV推導的6參數仿射繼承的示例。
圖12示出了可以儲存輔助MV的基本單元塊的右行(陰影的)的示例。
圖13示出了MV儲存體的示例。
5. 其他實施例
本章節公開了所提出的本發明的實施例的示例。應注意，其僅是所提出的方法的全部可能實施例之一，並且不應以狹隘方式理解。
歸一化(a，b)如等式(7)中定義。
輸入：
當前塊到左上角的坐標，記為(posCurX，posCurY)；鄰近塊的左上角的坐標，記為(posLTX，posLTY)；鄰近塊的右上角的坐標，記為(posRTX，posRTY)；鄰近塊的左下角的坐標，記為(posLBX，posLBY)；鄰近塊的右下角的坐標，記為(posRBX，posRBY)；當前塊的寬度和高度，記為W和H；鄰近塊的寬度和高度，記為W’和H’；鄰近塊的左上角處的MV，記為(mvLTX，mvLTY)；鄰近塊的右上角處的MV，記為(mvRTX，mvRTY)；鄰近塊的左下角處的MV，記為(mvLBX，mvLBY)；鄰近塊的右下角處的MV，記為(mvRBX，mvRBY)； 常數：移位，其可以為任意正整數，諸如7或8。
輸出：
當前塊的左上角處的MV，記為(MV0X，MV0Y)；當前塊的右上角處的的MV，記為(MV1X，MV1Y)；當前塊的右下角處的MV，記為(MV2X，MV2Y)；仿射模型繼承的例程：
Figure 108134966-A0305-02-0035-17
Figure 108134966-A0305-02-0036-18
Figure 108134966-A0305-02-0037-19
Figure 108134966-A0305-02-0038-20
圖14是示出可用於實現本公開技術的各部分的電腦系統或其他控制裝置2600的架構的示例的方塊圖。在圖14中，電腦系統2600包含經由互連2625連接的一個或多個處理器2605和記憶體2610。互連2625可以表示由適當的橋接器、配接器或控制器連接的任何一個或多個單獨的物理匯流排、點對點連接或兩者。因此，互連2625可以包含例如系統匯流排、週邊組件互連(PCI)匯流排、HyperTransport或工業標準架構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、通用序列匯流排(USB)、IIC(I2C)匯流排或電氣和電子工程師協會(IEEE)標準674匯流排，有時也稱為“Firewire”。
(多個)處理器2605可以包含中央處理單元(CPU)，以控制例如主機電腦的整體操作。在某些實施例中，(多個)處理 器2605通過執行儲存在記憶體2610中的硬體或韌體來實現此目的。(多個)處理器2605可以是或可包含一個或多個可程式通用或專用微處理器、數位信號處理器(DSP)、可程式控制器、應用特定積體電路(ASIC)、可程式邏輯裝置(PLD)等，或這些裝置的組合。
記憶體2610可以是或包含電腦系統的主記憶體。記憶體2610表示任何合適形式的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體等，或這些設備的組合。在使用中，除其他之外，記憶體2610可以包含一組機器指令，當由處理器2605執行時，使得處理器2605執行操作以實現本公開技術的實施例。
還通過互連2625連接到(多個)處理器2605的是(可選的)網路配接器2615。網路配接器2615向電腦系統2600提供與遠程設備(例如儲存客戶端)和/或其他儲存服務器通信的能力，並且可以是例如乙太網配接器或光纖通道配接器。
圖15示出了可用於實現本公開技術的各部分的裝置2700的示例實施例的方塊圖。移動裝置2700可以是膝上型電腦，智慧電話，平板電腦，攝錄機或能夠處理視頻的其他類型的設備。移動裝置2700包含用於處理數據的處理器或控制器2701，以及與處理器2701通信以儲存和/或緩衝數據的記憶體2702。例如，處理器2701可以包含中央處理單元(CPU)或微控制器單元(MCU)。在一些實現方式中，處理器2701可以包含現場可程式閘陣列(FPGA)。在一些實現方式中，移動裝置2700包含用於智能手機 裝置的各種視覺和/或通信數據處理功能的圖形處理單元(GPU)、視頻處理單元(VPU)和/或無線通信單元或與之通信。例如，記憶體2702可以包含並儲存處理器可執行代碼，當由處理器2701執行時，將移動裝置2700配置為執行各種操作，例如接收信息、命令和/或數據，處理信息和數據，以及將處理過的信息/數據發送或提供給另一個設備，例如致動器或外部顯示器。為了支持移動裝置2700的各種功能，記憶體2702可以儲存信息和數據，例如指令、硬體、值、圖像以及由處理器2701處理或引用的其他數據。例如，各種類型的隨機存取記憶體(RAM)設備、可程式唯讀記憶體(ROM)設備、快閃記憶體和其他合適的儲存介質可用於實現記憶體2702的儲存功能。在一些實現方式中，移動裝置2700包含輸入/輸出(I/O))單元2703，用於將處理器2701和/或記憶體2702連接到其他模組、單元或裝置。例如，I/O單元2703可以與處理器2701和記憶體2702相接，以利用與典型數據通信標準兼容的各種類型的無線介面，例如，在雲中的一個或多個電腦與用戶設備之間。在一些實現方式中，移動裝置2700可以經由I/O單元2703使用有線連接與其他設備介面。移動裝置2700還可以與其他外部介面(例如數據記憶體)和/或視覺或音頻顯示設備2704相接，以檢索和傳輸可由處理器處理、儲存在記憶體中或在顯示設備2704的輸出單元或外部裝置上展示的數據和信息。例如，顯示設備2704可以顯示基於根據所公開的技術的MVP修改的視頻幀。
圖16是用於視頻或圖像處理的方法1600的流程圖。方法1600包含：確定(1602)與當前塊相鄰的鄰近塊的仿射模型；基於鄰近塊的仿射模型和鄰近塊相對於當前塊的位置中的至少一個，從鄰近塊中導出(1604)當前塊的控制點運動向量；基於控制點運動向量在當前塊和當前塊的位元流表示之間進行視頻處理(1606)。
本文件中公開的各種實施例和技術可以在以下示例的列表中描述。
1. 一種用於視頻處理的方法，包括：確定與當前塊相鄰的鄰近塊的仿射模型；基於鄰近塊的仿射模型和鄰近塊相對於當前塊的位置中的至少一個，從鄰近塊中導出當前塊的控制點運動向量；以及基於控制點運動向量在當前塊和當前塊的位元流表示之間進行視頻處理。
2. 如示例1所述的方法，其中所述鄰近塊的仿射模型是6參數仿射模型。
3. 如示例2所述的方法，包括：通過使用所述鄰近塊中的兩個MV和從所述鄰近塊推導的輔助MV，推導所述當前塊的控制點(CP)運動向量(MV)。
4. 如示例3所述的方法，其中，所述輔助MV是從所述鄰近塊的仿射模型利用輔助位置推導的。
5. 如示例4所述的方法，其中所述輔助位置是預定的 或取決於所述鄰近塊的尺寸。
6. 如示例5所述的方法，其中所述輔助位置在視頻參數集(VSP)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、編解碼樹單元(CTU)和編解碼單元(CU)中的至少一個中信令通知。
7. 如示例4所述的方法，其中如果所述鄰近塊位於所述當前塊上方，則所述鄰近塊中的兩個MV包括所述鄰近塊的左下角處的MV和右下角處的MV。
8. 如示例4所述的方法，其中如果所述鄰近塊位於所述當前塊左側，則所述鄰近塊中的兩個MV包括所述鄰近塊的右上角處的MV和右下角處的MV。
9. 如示例7所述的方法，其中所述鄰近塊是用6參數仿射模型編解碼的並且具有大於第一閾值的寬度。
10. 如示例9所述的方法，其中所述第一閾值等於8。
11. 如示例8所述的方法，其中所述鄰近塊是用6參數仿射模型編解碼的並且具有大於第二閾值的高度。
12. 如示例11所述的方法，其中所述第二閾值等於8。
13. 如示例7所述的方法，其中所述輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中(LTNx，LTNy)表示所述鄰近塊的左上角的坐標，w’表示所述鄰近塊的寬度，h’表示所述鄰近塊的高度，並且Offset是整數。
14. 如示例8所述的方法，其中所述輔助位置是(LTNx +w’+Offset)，LTNy+(h’>>1))，其中(LTNx，LTNy)表示所述鄰近塊的左上角的坐標，w’表示所述鄰近塊的寬度，h’表示所述鄰近塊的高度，並且Offset是整數。
15. 如示例13或14所述的方法，其中Offset=2K或Offset=-2K，並且K是1、2、3、4或5。
16. 如示例7所述的方法，其中所述輔助MV儲存在所述鄰近塊的底列的基本單元塊之一中，所述鄰近塊的底列的基本單元塊從左至右表示為B(0)，B(1)，…，B(M-1)。
17. 如示例8所述的方法，其中所述輔助MV儲存在所述鄰近塊的最右行的基本單元塊之一中，所述鄰近塊的最右行的基本單元塊從頂至底表示為B(0)，B(1)，…，B(M-1)。
18. 如示例16或17所述的方法，其中所述基本單元塊中的每一個具有4×4的尺寸。
19. 如示例16或17所述的方法，其中所述輔助MV儲存在所述基本單元塊B(M/2)、B(M/2+1)和B(M/2-1)之一中。
20. 如示例16-19中任一項所述的方法，其中所述鄰近塊是用6參數仿射模型或4參數仿射模型編解碼的。
21. 如示例16或17所述的方法，其中所述輔助MV不儲存在基本單元塊B(0)和B(M-1)中的任一個中。
22. 如示例16-21中任一項所述的方法，其中所儲存的輔助MV還用於後續預測單元(PU)、後續編解碼單元(CU)以及後續圖片中的至少一個的運動預測或merge。
23. 如示例16-22中任一項所述的方法，其中所儲存的輔助MV還用於所述當前塊的濾波過程。
24. 如示例7所述的方法，其中所述輔助MV儲存在附加緩衝器中，而不儲存在所述鄰近塊的底列的任何基本單元塊中。
25. 如示例8所述的方法，其中所述輔助MV儲存在附加緩衝器中，而不儲存在所述鄰近塊的最右行的任何基本單元塊中。
26. 如示例24或25所述的方法，其中所儲存的輔助MV既不用於後續預測單元(PU)、後續編解碼單元(CU)和後續圖片中的至少一個的運動預測或merge，也不用於所述當前塊的濾波過程。
27. 如示例14所述的方法，其中所述輔助MV從所述所述鄰近塊的仿射模型推導如下：
Figure 108134966-A0305-02-0044-21
其中(mv h 0 ，mv v 0 )是所述鄰近塊的左上角的運動向量，並且(mv h 1 ，mv v 1 )是其右上角的運動向量，並且(mv h 2 ，mv v 2 )是其左下角的運動向量，(x，y)表示所述輔助位置的坐標。
28. 如示例27所述的方法，其中所述輔助MV儲存在輔助塊中並且不用於所述輔助塊的運動補償。
29. 如示例7所述的方法，其中所述當前塊的CPMV向量(MV)推導如下：
Figure 108134966-A0305-02-0045-22
其中mv 0 C=(mv 0 Ch ，mv 0 Cv )，表示所述當前塊的左上角處的CPMV，mv 1 C =(mv 1 Ch ，mv 1 Cv )，表示所述當前塊的右上角處的CPMV，並且mv 2 C =(mv 2 Ch ，mv 2 Cv )，表示所述當前塊的左下角處的CPMV，mv 0 N =(mv 0 Nh ，mv 0 Nv )，表示所述鄰近塊的左下角處的MV，mv 1 N =(mv 1 Nh ，mv 1 Nv )，表示所述鄰近塊的右下角處的MV，並且mv A =(mv A h ，mv A v )，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且其(x’0，y’0)是所述鄰近塊的左下角的坐標。
30. 如示例8所述的方法，其中所述當前塊的CPMV向量(MV)推導如下：
Figure 108134966-A0305-02-0046-23
其中mv 0 C =(mv 0 Ch ，mv 0 Cv )，表示所述當前塊的左上角處的CPMV，mv 1 C =(mv 1 Ch ，mv 1 Cv )，表示所述當前塊的右上角處的CPMV，並且mv 2 C =(mv 2 Ch ，mv 2 Cv )，表示所述當前塊的左下角處的CPMV，mv 0 N =(mv 0 Nh ，mv 0 Nv )，表示所述鄰近塊的右上角處的MV，mv 1 N =(mv 1 Nh ，mv 1 Nv )，表示所述鄰近塊的右下角處的MV，並且mv A =(mv A h ，mv A v )，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且(x’0，y’0)是所述鄰近塊的右上角的坐標。
31. 如示例8所述的方法，其中所述當前塊的CPMV向量(MV)推導如下：
Figure 108134966-A0305-02-0047-24
其中mv 0 C =(mv 0 Ch ，mv 0 Cv )，表示所述當前塊的左上角處的CPMV，mv 1 C =(mv 1 Ch ，mv 1 Cv )，表示所述當前塊的右上角處的CPMV，and mv 2 C =(mv 2 Ch ，mv 2 Cv )，表示所述當前塊的左下角處的CPMV，mv 0 N =(mv 0 Nh ，mv 0 Nv )，表示所述鄰近塊的右上角處的MV，mv 1 N =(mv 1 Nh ，mv 1 Nv )，表示所述鄰近塊的右下角處的MV，並且mv A =(mv A h ，mv A v )，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且(x’0，y’0)是所述鄰近塊的右上角的坐標。
32. 如示例29-31中任一項所述的方法，其中等式(14)-(16)中任一項中的除法運算可以由在移位之前添加或不添加偏移的右移替代。
33. 如示例29所述的方法，其中等式(14)中的K取決於如何定義所述輔助位置以獲得所述輔助MV。
34. 如示例33所述的方法，其中所述輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)其中Offset=2K。
35. 如示例30所述的方法，其中等式(15)中的K取決於如何定義所述輔助位置以得到所述輔助MV。
36. 如示例35所述的方法，其中所述輔助位置是(LTNx+w’+Offset，LTNy+(h’>>1))其中Offset=2K。
37. 如示例34或36所述的方法，其中K=3。
38. 如示例7所述的方法，其中所述鄰近塊在位於含有所述當前塊的M×N區域的上方、右上或左上的M×N區域中。
39. 如示例8所述的方法，其中所述鄰近塊在位於含有所述當前塊的M×N區域的左、左上或左下的M×N區域中。
40. 如示例38或39所述的方法中，其中所述M×N區域具有編解碼樹單元(CTU)的尺寸或流水線尺寸。
41. 如示例40所述的方法，其中所述M×N區域具有128×128或64×64的尺寸。
42. 如示例7所述的方法，其中y0=y’0或y0=1+y’0，(x0，y0)表示所述當前塊的左上角的坐標，並且(x’0，y’0)表示所述鄰近塊的左下角的坐標。
43. 如示例8所述的方法，其中x0=x’0或x0=1+x’0，(x0，y0)表示所述當前塊的左上角的坐標，並且(x’0，y’0)表示所述鄰近塊的左下角的坐標。
44. 如示例2所述的方法，包括： 以統一方式通過所述鄰近塊中的MV推導所述當前塊的控制點(CP)運動向量(MV)，其中所述鄰近塊是用4參數仿射模型或6參數仿射模型編解碼的。
45. 如示例44所述的方法，其中以6參數仿射模型繼承的方式從分別儲存在所述鄰近塊的左上、右上和左下基本單元塊中的MV推導分別位於當前塊的左上、右上和左下角處的當前塊的CPMV。
46. 如示例45所述的方法，其中儲存在所述鄰近塊的左上基本單元塊、右上基本單元塊和左下基本單元塊中的MV分別是所述鄰近塊的左上角、右上角和右下角處的CPMV。
47. 如示例44所述的方法，其中如果所述鄰近塊位於所述當前塊上方，則從分別儲存在所述鄰近塊的底列中的左下，右下和額外基本單元塊中的MV推導分別位於所述當前塊的左上、右上和左下角處的當前塊的CPMV。
48. 如示例47所述的方法，其中儲存在所述鄰近塊的左下基本單元塊、右下基本單元塊和額外基本單元塊中的MV分別是所述鄰近塊的左下和右下角處的CPMV和所述鄰近塊的輔助MV。
49. 如示例44所述的方法，其中如果所述鄰近塊位於所述當前塊左側，則從分別儲存在所述鄰近塊的最右行中的右上、右下和額外基本單元塊中的MV推導分別位於所述當前塊的左上、右上和左下角處的當前塊的CPMV。
50. 如示例49所述的方法，其中儲存在所述鄰近塊的右上基本單元塊、右下基本單元塊和額外基本單元塊中的MV分別是所述鄰近塊的右上和右下角處的CPMV和所述鄰近塊的輔助MV。
51. 如示例45-50中任一項所述的方法，其中所述當前塊被指示為使用6參數仿射模型的繼承的塊。
52. 如示例47或48所述的方法，其中所述鄰近塊的寬度不大於8，並且將所述輔助MV計算為儲存在所述鄰近塊的左下基本單元塊和右下基本單元塊中的MV的平均值。
53. 如示例49或50所述的方法，其中所述鄰近塊的高度不大於8，並且將所述輔助MV計算為儲存在所述鄰近塊的右上基本單元塊和右下基本單元塊中的MV的平均值。
54. 如示例48或50所述的方法，其中為所述當前塊儲存不止一個輔助MV。
55. 如示例1-54中任一項所述的方法，其中所述視頻處理包括將所述視頻塊編碼為所述視頻塊的位元流表示和從所述視頻塊的位元流表示解碼所述視頻塊中的至少一個。
56. 一種視頻處理設備，包括處理器，配置為實現示例1至55中任一項所述的方法。
57. 一種電腦程式產品，儲存在非暫態電腦可讀介質時，所述電腦程式產品包含用於執行示例1至55中任一項所述的方法的程式代碼。
本文件中描述的公開的和其他實施例、模組和功能操作可以實現為數位電子電路，或者實現為電腦硬體、韌體或硬體，包含本文件中公開的結構及其結構等同，或者它們中的一個或多個的組合。所公開的和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的電腦程式指令的一個或多個模組，用於由數據處理設備執行或控制數據處理設備的操作。電腦可讀介質可以是機器可讀儲存裝置、機器可讀儲存基板、記憶體裝置、實現機器可讀傳播信號的物質組合，或者它們中的一個或多個的組合。術語“數據處理設備”涵蓋用於處理數據的全部設備、裝置和機器，包括例如可編程處理器、電腦或多個處理器或電腦。除了硬體之外，該設備還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協議棧、數據庫管理系統、操作系統的代碼，或者它們中的一個或多個的組合。傳播信號是人工生成的信號，例如，機器生成的電、光或電磁信號，其被生成以對信息進行編碼以便傳輸到合適的接收器設備。
電腦程式(也稱為程式、硬體、硬體應用、腳本或代碼)可以用任何形式的編程語言編寫，包括編譯或解釋語言，並且可以以任何形式部署，包括如獨立程式或適合在計算環境中使用的模組、組件、子例程或其他單元。電腦程式不一定對應於文件系統中的文件。程式可以儲存在包含其他程式或數據的文件的一部分中(例如，儲存在標記語言文件中的一個或多個腳本)，儲存在專用於所討論的程式的單個文件中，或者儲存在多個協調文件中 (例如，儲存一個或多個模組、子程式或代碼部分的文件)。可以部署電腦程式以在一個電腦上或在位於一個站點上或分布在多個站點上並通過通信網路互連的多個電腦上執行。
本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入數據進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路(例如FPGA(現場可程式閘陣列)或ASIC(應用特定積體電路))執行，並且設備也可以實現為專用邏輯電路(例如FPGA(現場可程式閘陣列)或ASIC(應用特定積體電路))。
作為示例，適合於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是用於執行指令的處理器和用於儲存指令和數據的一個或多個記憶體設備。通常，電腦還將包括一個或多個大容量儲存設備或可操作地耦接到一個或多個大容量儲存設備，以從一個或多個大容量儲存設備接收數據或將數據傳輸到一個或多個大容量儲存設備或兩者，例如，磁碟、磁光碟或光碟。然而，電腦不一定需要這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括全部形式的非揮發性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體；磁碟，例如，內部硬碟或可移動磁碟；磁光碟；和CD ROM和DVD-ROM磁碟。處理器和記憶體可以由 專用邏輯電路補充或並入專用邏輯電路中。
雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在某些情況下可以從組合中移除來自所要求保護的組合的一個或多個特徵，並且所要求保護的組合可以針對子組合或子組合的變化。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為實現期望的結果要求以所示的特定順序或按順序執行這樣的操作，或者執行全部示出的操作。此外，在本專利文件中描述的實施例中的各種系統部件的分離不應被理解為在全部實施例中都需要這種分離。
僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來做出其他實現、增強和變化。
1600:方法
1602~1606:步驟

Claims (54)

  1. 一種用於視頻處理的方法，包括：確定與當前塊相鄰的鄰近塊的仿射模型；基於所述鄰近塊的所述仿射模型和所述鄰近塊相對於所述當前塊的位置中的至少一個，從所述鄰近塊中導出所述當前塊的控制點(CP)運動向量(MV)；以及基於所述控制點運動向量在所述當前塊和所述當前塊的位元流表示之間進行視頻處理；其中，通過使用所述鄰近塊中的兩個MV和從所述鄰近塊推導的輔助MV，推導所述當前塊的所述控制點運動向量，其中，所述輔助MV是從所述鄰近塊的所述仿射模型利用輔助位置推導的，其中，所述輔助位置是預定的或取決於所述鄰近塊的尺寸，其中所述輔助MV儲存在包括所述鄰近塊的底行的基本單元塊之一中或所述鄰近塊的最右列的基本單元塊之一中。
  2. 如申請專利範圍第1項所述的方法，其中所述鄰近塊的所述仿射模型是6參數仿射模型。
  3. 如申請專利範圍第2項所述的方法，其中所述輔助位置在視頻參數集(VSP)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、編解碼樹單元(CTU)和編解碼單元(CU)中的至少一個中信令通知。
  4. 如申請專利範圍第2項所述的方法，其中如果所述鄰近塊位於所述當前塊上方，則所述鄰近塊中的兩個MV包括所述鄰近塊的左下角處的MV和右下角處的MV。
  5. 如申請專利範圍第2項所述的方法，其中如果所述鄰近塊位於所述當前塊左側，則所述鄰近塊中的兩個MV包括所述鄰近塊的右上角處的MV和右下角處的MV。
  6. 如申請專利範圍第4項所述的方法，其中所述鄰近塊是用6參數仿射模型編解碼的並且具有大於第一閾值的寬度。
  7. 如申請專利範圍第6項所述的方法，其中所述第一閾值等於8。
  8. 如申請專利範圍第5項所述的方法，其中所述鄰近塊是用6參數仿射模型編解碼的並且具有大於第二閾值的高度。
  9. 如申請專利範圍第8項所述的方法，其中所述第二閾值等於8。
  10. 如申請專利範圍第4項所述的方法，其中所述輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中(LTNx，LTNy)表示所述鄰近塊的左上角的坐標，w’表示所述鄰近塊的寬度，h’表示所述鄰近塊的高度，並且Offset是整數。
  11. 如申請專利範圍第5項所述的方法，其中所述輔助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))，其中(LTNx，LTNy)表示所述鄰近塊的左上角的坐標，w’表示所述鄰近塊的寬度，h’表示所述鄰近塊的高度，並且Offset是整數。
  12. 如申請專利範圍第10或11項所述的方法，其中Offset=2K或Offset=-2K，並且K是1、2、3、4或5。
  13. 如申請專利範圍第4項所述的方法，其中所述輔助MV儲存在所述鄰近塊的底列的基本單元塊之一中，所述鄰近塊的底列的所述基本單元塊從左至右表示為B(0)，B(1)，...，B(M-1)。
  14. 如申請專利範圍第5項所述的方法，其中所述輔助MV儲存在所述鄰近塊的最右行的基本單元塊之一中，所述鄰近塊的最右行的所述基本單元塊從頂至底表示為B(0)，B(1)，...，B(M-1)。
  15. 如申請專利範圍第13或14項所述的方法，其中所述基本單元塊中的每一個具有4×4的尺寸。
  16. 如申請專利範圍第13或14項所述的方法，其中所述輔助MV儲存在所述基本單元塊B(M/2)、B(M/2+1)和B(M/2-1)之一中。
  17. 如申請專利範圍第1項所述的方法，其中所述鄰近塊是用6參數仿射模型或4參數仿射模型編解碼的。
  18. 如申請專利範圍第13或14項所述的方法，其中所述輔助MV不儲存在所述基本單元塊B(0)和B(M-1)中的任一個中。
  19. 如申請專利範圍第11項所述的方法，其中所儲存的所述輔助MV還用於後續預測單元(PU)、後續編碼單元(CU)以及後續圖片中的至少一個的運動預測或merge。
  20. 如申請專利範圍第1項所述的方法，其中所儲存的所述輔助MV還用於所述當前塊的濾波過程。
  21. 如申請專利範圍第4項所述的方法，其中所述輔助MV儲存在附加緩衝器中，而不儲存在所述鄰近塊的底列的任何基本單元塊中。
  22. 如申請專利範圍第5項所述的方法，其中所述輔助MV儲存在附加緩衝器中，而不儲存在所述鄰近塊的最右行的任何基本單元塊中。
  23. 如申請專利範圍第21或22項所述的方法，其中所儲存的所述輔助MV既不用於後續預測單元(PU)、後續編解碼單元(CU)和後續圖片中的至少一個的運動預測或merge，也不用於所述當前塊的濾波過程。
  24. 如申請專利範圍第11項所述的方法，其中所述輔助MV從所述鄰近塊的所述仿射模型推導如下：
    Figure 108134966-A0305-02-0059-25
     其中(mvh 0，mvv 0)是所述鄰近塊的左上角的運動向量，並且(mvh 1，mvv 1)是其右上角的運動向量，並且(mvh 2，mvv 2)是其左下角的運動向量，(x，y)表示所述輔助位置的坐標，w表示 所述當前塊的寬度，h表示所述當前塊的高度。
  25. 如申請專利範圍第24項所述的方法，其中所述輔助MV儲存在輔助塊中並且不用於所述輔助塊的運動補償。
  26. 如申請專利範圍第4項所述的方法，其中所述當前塊的CPMV向量推導如下：
    Figure 108134966-A0305-02-0060-26
     其中mv0 C=(mv0 Ch，mv0 Cv)，表示所述當前塊的左上角處的CPMV，mv1 C=(mv1 Ch，mv1 Cv)，表示所述當前塊的右上角處的CPMV，並且mv2 C=(mv2 Ch，mv2 Cv)，表示所述當前塊的左下角處的CPMV，mv0 N=(mv0 Nh，mv0 Nv)，表示所述鄰近塊的左下角處的MV，mv1 N=(mv1 Nh，mv1 Nv)，表示所述鄰近塊的右下角處的MV，並且mv A=(mvA h，mvA v)，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且其(x’0，y’0)是所述鄰近塊 的左下角的坐標，w表示所述當前塊的寬度，h表示所述當前塊的高度。
  27. 如申請專利範圍第5項所述的方法，其中所述當前塊的CPMV向量推導如下：
    Figure 108134966-A0305-02-0061-27
     其中mv0 C=(mv0 Ch，mv0 Cv)，表示所述當前塊的左上角處的CPMV，mv1 C=(mv1 Ch，mv1 Cv)，表示所述當前塊的右上角處的CPMV，並且mv2 C=(mv2 Ch，mv2 Cv)，表示所述當前塊的左下角處的CPMV，mv0 N=(mv0 Nh，mv0 Nv)，表示所述鄰近塊的右上角處的MV，mv1 N=(mv1 Nh，mv1 Nv)，表示所述鄰近塊的右下角處的MV，並且mvA=(mvA h，mvA v)，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且(x’0，y’0)是所述鄰近塊的右上角的坐標，w表示所述當前塊的寬度，h表示所述當前塊的高 度。
  28. 如申請專利範圍第5項所述的方法，其中所述當前塊的CPMV向量推導如下：
    Figure 108134966-A0305-02-0062-28
     其中mv0 C=(mv0 Ch，mv0 Cv)，表示所述當前塊的左上角處的CPMV，mv1 C=(mv1 Ch，mv1 Cv)，表示所述當前塊的右上角處的CPMV，mv2 C=(mv2 Ch，mv2 Cv)，表示所述當前塊的左下角處的CPMV，mv0 N=(mv0 Nh，mv0 Nv)，表示所述鄰近塊的右上角處的MV，mv1 N=(mv1 Nh，mv1 Nv)，表示所述鄰近塊的右下角處的MV，並且mvA=(mvA h，mvA v)，表示所述輔助MV，(x0，y0)是所述當前塊的左上角的坐標，並且(x’0，y’0)是所述鄰近塊的右上角的坐標，w表示所述當前塊的寬度，h表示所述當前塊的高度。
  29. 如申請專利範圍第26至28項中任一項所述的方法，其中等式(14)至(16)中任一項中的除法運算可以由在移位之前添加或不添加偏移的右移替代。
  30. 如申請專利範圍第26項所述的方法，其中等式(14)中的K取決於如何定義所述輔助位置以獲得所述輔助MV。
  31. 如申請專利範圍第30項所述的方法，其中所述輔助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)其中Offset=2K。
  32. 如申請專利範圍第27項所述的方法，其中等式(15)中的K取決於如何定義所述輔助位置以得到所述輔助MV。
  33. 如申請專利範圍第32項所述的方法，其中所述輔助位置是(LTNx+w’+Offset，LTNy+(h’>>1))其中Offset=2K。
  34. 如申請專利範圍第31或33項所述的方法，其中K=3。
  35. 如申請專利範圍第4項所述的方法，其中所述鄰近塊在位於含有所述當前塊的M×N區域的上方、右上或左上的M×N區域中。
  36. 如申請專利範圍第5項所述的方法，其中所述鄰近塊在位於含有所述當前塊的M×N區域的左、左上或左下的M×N區域中。
  37. 如申請專利範圍第35或36項所述的方法中，其中所述M×N區域具有編解碼樹單元(CTU)的尺寸或流水線尺寸。
  38. 如申請專利範圍第37項所述的方法，其中所述M×N區域具有128×128或64×64的尺寸。
  39. 如申請專利範圍第4項所述的方法，其中y0=y’0或y0=1+y’0，(x0，y0)表示所述當前塊的左上角的坐標，並且(x’0，y’0)表示所述鄰近塊的左下角的坐標。
  40. 如申請專利範圍第5項所述的方法，其中x0=x’0或x0=1+x’0，(x0，y0)表示所述當前塊的左上角的坐標，並且(x’0，y’0)表示所述鄰近塊的左下角的坐標。
  41. 如申請專利範圍第2項所述的方法，包括：以統一方式通過所述鄰近塊中的MV推導所述當前塊的所述控制點運動向量，其中所述鄰近塊是用4參數仿射模型或6參數仿射模型編解碼的。
  42. 如申請專利範圍第41項所述的方法，其中以6參數仿射模型繼承的方式從分別儲存在所述鄰近塊的左上、右上和左下基本單元塊中的MV推導分別位於所述當前塊的左上、右上和左下角處的所述當前塊的CPMV。
  43. 如申請專利範圍第42項所述的方法，其中儲存在所述鄰近塊的所述左上基本單元塊、所述右上基本單元塊和所述左下基本單元塊中的MV分別是所述鄰近塊的左上角、右上角和右下角處的CPMV。
  44. 如申請專利範圍第41項所述的方法，其中如果所述鄰近塊位於所述當前塊上方，則從分別儲存在所述鄰近塊的底 列中的左下，右下和額外基本單元塊中的MV推導分別位於所述當前塊的左上、右上和左下角處的當前塊的CPMV。
  45. 如申請專利範圍第44項所述的方法，其中儲存在所述鄰近塊的所述左下基本單元塊、所述右下基本單元塊和所述額外基本單元塊中的MV分別是所述鄰近塊的左下和右下角處的CPMV和所述鄰近塊的輔助MV。
  46. 如申請專利範圍第41項所述的方法，其中如果所述鄰近塊位於所述當前塊左側，則從分別儲存在所述鄰近塊的最右行中的右上、右下和額外基本單元塊中的MV推導分別位於所述當前塊的左上、右上和左下角處的當前塊的CPMV。
  47. 如申請專利範圍第46項所述的方法，其中儲存在所述鄰近塊的所述右上基本單元塊、所述右下基本單元塊和所述額外基本單元塊中的MV分別是所述鄰近塊的右上和右下角處的CPMV和所述鄰近塊的輔助MV。
  48. 如申請專利範圍第42至47項中任一項所述的方法，其中所述當前塊被指示為使用6參數仿射模型的繼承的塊。
  49. 如申請專利範圍第44或45項所述的方法，其中所述鄰近塊的寬度不大於8，並且將所述輔助MV計算為儲存在所述鄰近塊的所述左下基本單元塊和所述右下基本單元塊中的MV的平均值。
  50. 如申請專利範圍第46或47項所述的方法，其中所述鄰近塊的高度不大於8，並且將所述輔助MV計算為儲存在所述 鄰近塊的所述右上基本單元塊和所述右下基本單元塊中的MV的平均值。
  51. 如申請專利範圍第45或47項所述的方法，其中為所述當前塊儲存不止一個所述輔助MV。
  52. 如申請專利範圍第1項所述的方法，其中所述視頻處理包括將視頻塊編碼為所述視頻塊的位元流表示和從所述視頻塊的位元流表示解碼所述視頻塊中的至少一個。
  53. 一種視頻處理設備，包括處理器，配置為實現申請專利範圍第1至52項中任一項所述的方法。
  54. 一種電腦程式產品，儲存在非暫態電腦可讀介質時，所述電腦程式產品包含用於執行申請專利範圍第1至52項中任一項所述的方法的程式代碼。
TW108134966A 2018-09-26 2019-09-26 模式依賴的仿射繼承 TWI826542B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/107629 2018-09-26
CN2018107629 2018-09-26
CN2018107869 2018-09-27
WOPCT/CN2018/107869 2018-09-27

Publications (2)

Publication Number Publication Date
TW202037156A TW202037156A (zh) 2020-10-01
TWI826542B true TWI826542B (zh) 2023-12-21

Family

ID=68136479

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108134966A TWI826542B (zh) 2018-09-26 2019-09-26 模式依賴的仿射繼承
TW108134969A TWI829769B (zh) 2018-09-26 2019-09-26 仿射的運動矢量訪問範圍

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108134969A TWI829769B (zh) 2018-09-26 2019-09-26 仿射的運動矢量訪問範圍

Country Status (3)

Country Link
CN (2) CN110958456B (zh)
TW (2) TWI826542B (zh)
WO (2) WO2020065570A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2018128380A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN108271023B (zh) * 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Minhua Zhou et.al Non-CE4: A study on the affine merge mode Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI 10–18 July 2018 https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0052-v2.zip *

Also Published As

Publication number Publication date
CN110958456B (zh) 2023-03-31
CN110958457B (zh) 2023-05-12
WO2020065569A1 (en) 2020-04-02
TWI829769B (zh) 2024-01-21
CN110958456A (zh) 2020-04-03
TW202037157A (zh) 2020-10-01
TW202037156A (zh) 2020-10-01
CN110958457A (zh) 2020-04-03
WO2020065570A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
TWI832904B (zh) 仿射模式的複雜度降低
CN110636297A (zh) 分量相关的子块分割
JP2022507281A (ja) 部分的な位置に基づく差分計算
TWI822862B (zh) 8參數仿射模型
TWI826542B (zh) 模式依賴的仿射繼承
TWI840413B (zh) 仿射模式中的子塊的運動矢量推導