TW202046736A - 光流相互預測精化系統、裝置及方法 - Google Patents

光流相互預測精化系統、裝置及方法 Download PDF

Info

Publication number
TW202046736A
TW202046736A TW109103650A TW109103650A TW202046736A TW 202046736 A TW202046736 A TW 202046736A TW 109103650 A TW109103650 A TW 109103650A TW 109103650 A TW109103650 A TW 109103650A TW 202046736 A TW202046736 A TW 202046736A
Authority
TW
Taiwan
Prior art keywords
block
sub
motion prediction
motion
signal
Prior art date
Application number
TW109103650A
Other languages
English (en)
Other versions
TWI846813B (zh
Inventor
羅健聰
賀玉文
Original Assignee
美商Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Ｖｉｄ衡器股份有限公司 filed Critical 美商Ｖｉｄ衡器股份有限公司
Publication of TW202046736A publication Critical patent/TW202046736A/zh
Application granted granted Critical
Publication of TWI846813B publication Critical patent/TWI846813B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Measuring Volume Flow (AREA)

Abstract

揭露了方法、裝置和系統。在一個實施例中，一種解碼方法包括：獲得視訊的目前塊的基於子塊的運動預測信號；獲得一個或複數運動向量差值或該基於子塊的運動預測信號的一個或複數空間梯度；基於該一個或複數所獲得的空間梯度或該一個或複數所獲得的運動向量差值，獲得該目前塊的精化信號；基於該基於子塊的運動預測信號和該精化信號，獲得該目前塊的精化運動預測信號；以及基於該精化運動預測信號，對該目前塊進行解碼。

Description

光流相互預測精化系統、裝置及方法
交叉引用
本申請要求2019年2月7日遞交的美國臨時專利申請No. 62/802,428、2019年3月6日遞交的美國臨時專利申請No. 62/814,611和2019年4月15日提交的美國臨時專利申請No. 62/833,999的權益，其各自的內容通過引用而被併入本文。
本申請涉及視訊寫碼，並且特別地，涉及使用利用光流的間預測精化(refinement)的系統、裝置和方法。
視訊寫碼系統廣泛用於壓縮數位視訊信號，以減少這種信號的儲存和/或傳輸頻寬。在各種類型的視訊寫碼系統中，例如基於塊的系統、基於小波的系統和基於物件的系統，現今基於塊的混合視訊寫碼系統被最廣泛地使用和部署。基於塊的視訊寫碼系統的範例包括多種國際視訊寫碼標準，例如MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC、VC-1、以及稱為高效視訊寫碼(HEVC)的最新視訊寫碼標準，其由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC (視訊寫碼聯合合作團隊)開發。
在一個代表性實施例中，一種解碼方法包括：獲得視訊的目前塊的基於子塊的運動預測信號；獲得該基於子塊的運動預測信號的一個或複數空間梯度或一個或複數運動向量差值；基於該一個或複數所獲得的空間梯度或該一個或複數所獲得的運動向量差值，獲得該目前塊的精化信號；基於該基於子塊的運動預測信號和該精化信號，獲得該目前塊的精化運動預測信號；以及基於該精化運動預測信號，對該目前塊進行解碼。本文還揭露了各種其他實施例。
基於塊的混合視訊寫碼程序
與HEVC類似，VVC建立在基於塊的混合視訊寫碼框架上。
圖1是示出了一般的基於塊的混合視訊編碼系統的框圖。
參考圖1，編碼器100可以被提供有逐塊(稱為寫碼單元(CU))處理的輸入視訊訊號102，並且可以用於高效地壓縮高解析度(1080p及以上)視訊訊號。在HEVC中，CU可高達64×64像素。CU可進一步分割成預測單元或PU，可對其應用各別的預測程序。對於每一輸入視訊塊(MB和/或CU)，可執行空間預測160和/或時間預測162。空間預測(或“內預測(intra prediction)”)可使用來自同一視訊圖片/截割中的已寫碼相鄰塊的像素來預測目前視訊塊。
空間預測可以減少視訊訊號中固有的空間冗餘。時間預測(也稱為“間預測(inter prediction)”或“運動補償預測”)使用來自已寫碼視訊圖片的像素來預測目前視訊塊。時間預測可減少視訊訊號中固有的時間冗餘。給定視訊塊的時間預測信號可(例如，通常可)由一個或一個以上運動向量(MV)用信號發送，該運動向量可指示目前塊(CU)與其參考塊之間的運動的量和/或方向。
如果支援複數參考圖像(如對於諸如H.264/AVC或HEVC的最近視訊寫碼標準的情況)，則對於每個視訊塊，可以發送(例如，可以另外發送)其參考圖像索引；和/或該參考索引可以用於標識該時間預測信號來自參考圖像儲存庫164中的哪個參考圖像。在空間和/或時間預測之後，編碼器100中的模式決策框180可例如基於速率失真最佳化方法/過程來選擇最佳預測模式。可從目前視訊塊116減去來自空間預測160或時間預測162的預測塊；和/或預測殘差可以使用變換104而被去相關，並且被量化106以實現目標位元速率。可對經量化的殘差係數進行逆量化110和逆變換112以形成經重構的殘差，可在126處將該經重構的殘差加回到該預測塊以形成經重構的視訊塊。此外，可將例如去塊濾波器和自我調整迴路濾波器等迴路內濾波166應用於該經重構視訊塊(在其被放入參考圖像儲存庫164中並可用於寫碼未來視訊塊之前)。為了形成輸出視訊位元串流120，寫碼模式(間或內)、預測模式資訊、運動資訊和經量化殘差係數可被發送(例如，全部發送)到熵寫碼單元108以進一步壓縮和/或封裝以形成該位元串流。
該編碼器100可以使用提供上述各種元件/模組/單元的處理器、記憶體和傳輸器來實現。例如，本領域技術人員理解：(1)該傳輸器可將位元串流120傳送到解碼器；以及(2)該處理器可以被配置為執行軟體以使得能夠接收輸入視訊102並執行與該編碼器100的各個塊相關聯的功能。
圖2是示出了基於塊的視訊解碼器的框圖。
參考圖2，該視訊解碼器200可以被提供視訊位元串流202，其可以在熵解碼單元208處被拆開和熵解碼。可將寫碼模式和預測資訊發送到空間預測單元260 (對於內寫碼模式)和/或時間預測單元262 (對於間寫碼模式)以用於其中的適當一者，從而形成預測塊。可將殘差變換係數發送到逆量化單元210和逆變換單元212以重構殘差塊。該重構塊在其被儲存在參考圖像儲存庫264中之前，可以進一步經過迴路內濾波266。除了被保存在參考圖像儲存庫264中以用於預測未來的視訊塊之外，該重構的視訊220可以被發送出去，例如以驅動顯示裝置。
該解碼器200可以使用處理器、記憶體和接收器來實現，其可以提供上面揭露的各種元件/模組/單元。例如，本領域技術人員理解：(1)接收器可被配置以接收位元串流202；以及(2)該處理器可以被配置為執行軟體以使得能夠接收該位元串流202和輸出該重構視訊220以及執行與解碼器200的各個塊相關聯的功能。
本領域技術人員理解，基於塊的編碼器和基於塊的解碼器的許多功能/操作/過程是相同的。
在現代視訊編解碼器中，雙向運動補償預測(MCP)可以用於藉由利用圖片之間的時間相關性來高效地去除時間冗餘。雙預測信號可以藉由使用等於0.5的權重值來組合兩個單預測(uni-prediction)信號來形成，這對於組合單預測信號可能不是最佳的，尤其是在照度(illuminance)從一個參考圖像到另一個參考圖像快速變化的一些條件下。可以實現某些預測技術/操作和/或程序以藉由將一些全域/局部權重和/或偏移值應用於參考圖像中的樣本值(例如，參考圖像中的樣本值中的一些或每一個)來補償隨時間的照度變化。
在視訊編解碼器中使用雙向運動補償預測(MCP)使得能夠藉由利用圖片之間的時間相關性來去除時間冗餘。雙預測信號可以藉由使用權重值(例如，0.5)組合兩個單預測信號來形成。在某些視訊中，照度特性可從一個參考圖像到另一參考圖像快速改變。因此，預測技術可藉由將全域或局部權重和/或偏移值應用於參考圖像中的一個或複數樣本值來補償照度隨時間的變化(例如，衰落轉變)。
廣義雙預測(GBi)可改進雙預測模式的MCP。在雙預測模式中，如所給出的樣本x處的預測信號可由如下等式1計算：P [x] =
Figure 02_image003
(1)
在上述等式中，P [x]可以表示位於圖片位置x 的樣本x的結果預測信號。Pi [x +v i ]可以是使用第i個列表(例如列表0、列表1等)的運動向量(MV)v i 的x的運動補償預測信號。w 0和w 1可以是跨一塊中的樣本(例如，所有樣本)共用的兩個權重值。基於該等式，可以通過調整權重值w 0和w 1來獲得各種預測信號。w 0和w 1的一些配置可意味著與單預測和雙預測相同的預測。例如，(w 0,w 1) = (0, 1)可以用於利用參考列表L0的單預測。(w 0,w 1) = (0, 1)可以用於利用參考列表L1的單預測。(w 0,w 1) = (0.5, 0.5)可以用於利用兩個參考列表的雙預測。可在每一CU用信號發送該權重。為了減少傳訊負擔，可以應用一約束，諸如w 0+w 1=1，使得可以用信號發送一個權重。因此，等式1可以進一步簡化為如以下等式2中所闡述的：P [x ] =
Figure 02_image005
(2)
為了進一步減少權重傳訊負擔，w 1可以被離散化(例如，-2/8, 2/8, 3/8, 4/8, 5/8, 6/8, 10/8等)。然後，每個權重值可以由(例如，小的)有限範圍內的索引值來指示。
圖3是示出了具有GBi支援的代表性基於塊的視訊編碼器的框圖。
編碼器300可以包括模式決策模組304、空間預測模組306、運動預測模組308、變換模組310、量化模組312、逆量化模組316、逆變換模組318、迴路濾波器320、參考圖像儲存庫322和熵寫碼模組314。該編碼器的模組或組件(例如，空間預測模組306)中的一些或全部可以與結合圖1描述的那些相同或相似。另外，該空間預測模組306和該運動預測模組308可以是像素域預測模組。因此，輸入視訊位元串流302可以以與該輸入視訊位元串流102類似的方式被處理，儘管該運動預測模組308還可以包括GBi支援。因此，該運動預測模組308可以加權平均方式組合兩個各別的預測信號。此外，可在輸出視訊位元串流324中用信號發送選定權重索引。
該編碼器300可以使用提供上述各種元件/模組/單元的處理器、記憶體和傳輸器來實現。例如，本領域技術人員理解：(1)該傳輸器可以向解碼器發送位元串流324；以及(2)該處理器可以被配置為執行軟體以使得能夠接收輸入視訊302並執行與編碼器300的各個塊相關聯的功能。
圖4是示出了可在諸如運動預測模組308的編碼器的運動預測模組中採用的代表性GBi估計模組400的示意圖。該GBi估計模組400可以包括權重值估計模組402和運動估計模組404。這樣，該GBi估計模組400可以利用處理(例如，兩步操作/處理)來產生間預測信號，諸如最終間預測信號。該運動估計模組404可使用輸入視訊塊401和從參考圖像儲存庫406接收的一個或一個以上參考圖像且通過搜索指向(例如，兩個)參考塊的兩個最佳運動向量(MV)來執行運動估計。該權重值估計模組402可接收：(1)運動估計模組404的輸出(例如運動向量v0 和v1 )、來自參考圖像儲存庫406的一個或複數參考圖像、以及權重資訊W，並且可以搜索最佳權重索引以最小化目前視訊塊和雙預測之間的加權雙預測誤差。可以預期的是，權重資訊W可以描述可用權重值列表或權重集，使得所確定的權重索引和該權重資訊W可以一起用於指定在GBi中使用的權重w0 和w1 。該廣義雙預測的預測信號可被計算為兩個預測塊的加權平均。GBi估計模組400的輸出可以包括間預測信號、運動向量v0 和v1 、和/或權重索引weight_idx等)。
圖5是示出了具有GBi支援的代表性的基於塊的視訊解碼器的示意圖，該視訊解碼器可以對支援GBi的位元串流502 (例如，來自編碼器的位元串流)進行解碼，該位元串流諸如由結合圖3描述的編碼器300產生的位元串流324。如圖5所示，視訊解碼器500可以包括熵解碼器504、空間預測模組506、運動預測模組508、參考圖像儲存庫510、逆量化模組512、逆變換模組514和/或迴路濾波器模組518。該解碼器的一些或所有模組可以與結合圖2描述的那些相同或相似，儘管運動預測模組508還可以包括GBi支援。如此，寫碼模式和預測資訊被用於通過使用空間預測或MCP(有GBi支援)而導出預測信號。對於GBi，該塊運動資訊及權重值(例如，呈指示權重值的索引的形式)可被接收且被解碼以產生該預測塊。
該解碼器500可以使用處理器、記憶體和接收器來實現，其可以提供上面揭露的各種元件/模組/單元。例如，本領域技術人員理解：(1)該接收器可被配置以接收位元串流502；以及(2)該處理器可以被配置為執行軟體以使得能夠接收位元串流502和輸出重構視訊520以及執行與解碼器500的各個塊相關聯的功能。
圖6是示出了可在解碼器的運動預測模組(例如運動預測模組508)中採用的代表性GBi預測模組的示意圖。
參照圖6，該GBi預測模組可包括加權平均模組602和運動補償模組604，其可從參考圖像儲存庫606接收一個或複數參考圖像。該加權平均模組602可接收運動補償模組604的輸出、權重資訊W和權重索引(例如，weight_idx)。該運動補償模組604的輸出可包含可對應於該圖片的塊的運動資訊。GBi預測模組600可使用該塊運動資訊和權重值而將GBi的預測信號(例如，間預測信號608)計算為(例如，兩個)經運動補償預測塊的加權平均值。基於光流模型的代表性雙預測
圖7是示出了代表性雙向光流的示意圖。
參考圖7，雙預測可以基於光流模型。例如，與目前塊(例如，目前塊700)相關聯的預測可以基於與第一預測塊
Figure 02_image007
702 (例如，時間上在前的預測塊，例如在時間上移位
Figure 02_image009
)和第二預測塊
Figure 02_image011
704 (例如，時間上將來的塊，例如在時間上移位
Figure 02_image013
)相關聯的光流。視訊寫碼中的雙預測可為從已重構的參考圖像獲得的兩個時間預測塊702及704的組合。由於基於塊的運動補償(MC)的限制，可能存在可在兩個預測塊的樣本之間觀察到的剩餘的小運動，因此降低了運動補償預測的效率。可以應用雙向光流(BIO，或稱為BDOF)來減少一個塊內的每個樣本的這種運動的影響。BIO可以提供逐樣本的運動精化，當使用雙預測時，可以在基於塊的運動補償預測之頂部執行該運動精化。對於BIO，可以基於經典光流模型來導出一個塊中的每個樣本的精化的運動向量。例如，在
Figure 02_image015
是從參考圖像清單k (k = 0, 1 )導出的預測塊的座標(x, y) 處的樣本值並且
Figure 02_image017
和
Figure 02_image019
是該樣本的水平梯度和垂直梯度的情況下，給定光流模型，可以藉由如下等式3導出(x，y)處的運動精化
Figure 02_image021
：
Figure 02_image023
              (3)		  
在圖7中，與第一預測塊702相關聯的(MVx0 , MVy0 ) 和與第二預測塊704相關聯的(MVx1 , MVy1 ) 指示可用於產生兩個預測塊
Figure 02_image007
和
Figure 02_image025
的塊級運動向量。可以藉由最小化運動精化補償之後的樣本值(例如，圖7中的A 和B )之間的差
Figure 02_image027
來計算樣本位置(x, y) 處的運動精化
Figure 02_image021
，如下面的等式4所示：
Figure 02_image029
            (4)
例如，為了確保所導出的運動精化的規則性，可以設想，運動精化對於一個小單元(例如，4×4塊或其他小單元)內的樣本是一致的。在基準集(BMS) -2.0中，藉由最小化每個4×4塊周圍的6×6窗口
Figure 02_image031
內的
Figure 02_image027
來導出
Figure 02_image021
的值，如以下等式5中所闡述：
Figure 02_image033
                                  (5)		  
為了求解等式5中指定的最佳化，該BIO可以使用漸進方法/操作/程序，其可以最佳化水平方向和垂直方向(例如，然後垂直方向)上的運動精化。這可能導致如下的等式/不等式6和7：
Figure 02_image035
            (6)
Figure 02_image037
   (7)
其中
Figure 02_image039
可以是底函數，其可以輸出小於或等於輸入的最大值，並且
Figure 02_image041
可以是運動精化臨界值，例如以防止由於寫碼雜訊和/或不規則的局部運動而導致的誤差傳播，其等於
Figure 02_image043
。可以進一步按照下面的等式8-12中所闡述的來計算
Figure 02_image045
,
Figure 02_image047
,
Figure 02_image049
,
Figure 02_image051
和
Figure 02_image053
的值：
Figure 02_image055
,                                     (8)  
Figure 02_image057
                                   (9)
Figure 02_image059
                                     (10)
Figure 02_image061
                                  (11)
Figure 02_image063
                                 (12)		  
其中各種梯度可以在如下的等式13-15中闡述：
Figure 02_image065
                                   (13)  
Figure 02_image067
                                   (14)
Figure 02_image069
                                     (15)		  
例如，在BMS-2.0中，等式13-15中在水平和垂直方向上的BIO梯度可以藉由計算在每個L0/L1預測塊的一個樣本位置處的兩個相鄰樣本之間的差(例如，水平的或垂直的，這取決於被導出的梯度的方向)來直接獲得，如下面等式16和17中所述：
Figure 02_image071
                     (16)
Figure 02_image073
                     (17)  
Figure 02_image075
  
在等式8-12中，
Figure 02_image077
可以是內部BIO過程/程序的位元深度增加，以保持資料精確度，例如，在BMS-2.0中其可被設定為5。為了避免除以較小值，等式6和7中的調節參數
Figure 02_image079
和
Figure 02_image081
可以如下等式18和19而被定義：
Figure 02_image083
                                               (18)
Figure 02_image085
                                              (19)		 [1]  
其中BD 可以是輸入視訊的位元深度。基於由等式4和5導出的運動精化，可通過基於光流等式3沿著運動軌跡內插L0/L1預測樣本來計算目前CU的最終雙預測信號，如以下等式20和21中所規定的：
Figure 02_image087
                   (20)    
Figure 02_image089
         (21)
其中
Figure 02_image091
和
Figure 02_image093
可為可應用於組合L0和L1預測信號以用於雙預測的右移和偏移，例如其可分別設定為等於
Figure 02_image095
和
Figure 02_image097
。
Figure 02_image099
是可以將輸入值捨入到最接近的整數值的捨入函數。代表性仿射模式
在HEVC中，平移運動(僅平移運動)模型被應用於運動補償預測。在真實世界中，存在許多種運動(例如，放大/縮小、旋轉、透視運動和其它不規則運動)。在VVC測試模型(VTM) -2.0中，可應用仿射運動補償預測。該仿射運動模型是4參數的或6參數的。用信號發送用於每一經間編碼的CU的第一標誌以指示是平移運動模型還是仿射運動模型被應用於間預測。如果應用了該仿射運動模型，那麼發送第二標誌以指示該模型是4參數模型還是6參數模型。
該4參數仿射運動模型具有以下參數：用於水平和垂直方向上的平移運動的兩個參數、用於兩個方向上的縮放運動的一個參數、以及用於兩個方向上的旋轉運動的一個參數。水平縮放參數等於垂直縮放參數。水平旋轉參數等於垂直旋轉參數。使用在目前CU的左上角810和右上角820處界定的兩個控制點位置處的兩個運動向量在VTM中對四參數仿射運動模型進寫碼。其它控制點位置也是可能的，例如在該目前CU的其它角和/或邊緣處。
儘管上文描述了一個仿射運動模型，但其它仿射模型同樣是可能的且可用於本文中的各種實施例中。
圖8A和圖8B是示出了代表性四參數仿射模型和用於仿射塊的子塊級運動導出的示意圖。參考圖8A和圖8B，該塊的仿射運動場通過分別在第一控制點810 (在目前塊的左上角)和第二控制點820 (在目前塊的右上角)處的兩個控制點運動向量而被描述。基於該控制點運動，一個仿射寫碼塊的運動場(vx , vy )被描述為在如下的等式22和23中所闡述的：
Figure 02_image101
                               (22)
Figure 02_image103
                               (23)		  
其中(v0x , v0y )可以是左上角控制點810的運動向量，(v1x , v1y ) 可以是右上角控制點820的運動向量，如圖8A所示，且w 可以是CU的寬度。舉例來說，在VTM-2.0中，仿射寫碼CU的運動場可在4×4塊級別處被導出；也就是說，(vx , vy )可針對目前CU內的每一4×4塊而被導出且將被應用於對應的4×4塊。
4參數仿射模型的四個參數可被疊代地估計。步驟k中的MV對可以表示為{
Figure 02_image105
,
Figure 02_image107
，原始信號(例如，照度信號)可表示為
Figure 02_image109
，且預測信號(例如，照度信號)可表示為
Figure 02_image111
。空間梯度
Figure 02_image113
和
Figure 02_image115
可以例如分別利用在水平和/或垂直方向上應用於該預測信號
Figure 02_image111
的索貝爾(Sobel)濾波器來導出。等式3的導數可以表示為如以下等式24和25中所闡述的：
Figure 02_image117
    
其中(a，b)可以是差量(delta)平移參數，並且(c，d)可以是步驟k處的差量縮放和旋轉參數。控制點處的差量MV可以用其座標導出，如下面的等式26-29中所述。例如，(0, 0), (w , 0)可以分別是左上和右上控制點810和820的座標。
Figure 02_image119
  
Figure 02_image121
  
基於光流等式，在強度(例如，亮度)的變化與空間梯度和時間移動之間的關係在等式30中被等式化如下：
Figure 02_image123
          (30)		  
藉由用等式24和25替換
Figure 02_image125
和
Figure 02_image127
，參數(a，b，c，d)的等式31被獲得如下：
Figure 02_image129
Figure 02_image131
                                 (31)		  
由於CU中的樣本(例如，所有樣本)滿足等式31，因此可使用例如最小平方誤差法來求解參數集(例如，a、b、c、d)。在步驟(k +1)中，兩個控制點處的MV {
Figure 02_image133
,
Figure 02_image135
可用等式26-29求解，且其可被捨入到特定精度(例如，1/4像素精度(pel)或其它子像素精度等等)。藉由使用疊代，可以精化兩個控制點處的MV，例如直到收斂(例如，當參數(a，b，c，d)全為零或者疊代時間滿足預定限制時)。
圖9是示出了代表性六參數仿射模式的示意圖，其中例如：V0 , V1 ,和V2 分別是控制點910、920和930處的運動向量，而(MVx , MVy )是以位置(x，y)為中心的子塊的運動向量。
參看圖9，仿射運動模型(例如，具有6個參數)可具有以下參數中的任意者：(1)用於水平方向上的平移移動的參數；(2)用於在垂直方向上的平移移動的參數；(3)用於在水平方向上的縮放運動的參數；(4)用於水平方向上的旋轉運動的參數；(5)用於垂直方向上的縮放運動的參數；和/或(6)用於垂直方向上的旋轉運動的參數。該6參數仿射運動模型可利用在三個控制點910、920及930處的三個MV來寫碼。如圖9所示，6參數仿射寫碼的CU的三個控制點910、920和930分別定義在CU的左上角、右上角和左下角。左上控制點910處的運動可以與平移運動相關，並且右上控制點920處的運動可以與水平方向上的旋轉運動和/或水平方向上的縮放運動相關，並且左下控制點930處的運動可以與垂直方向上的旋轉和/或垂直方向上的縮放運動相關。對於6參數仿射運動模型，該水平方向上的旋轉運動和/或縮放運動可與垂直方向上的相同運動不同。每個子塊的運動向量(vx , vy )可以使用控制點910、920和930處的三個MV來導出，如下面的等式32和33中所闡述的：
Figure 02_image137
                      (32)
Figure 02_image139
                      (33)		  
其中(v2x , v2y ) 為左下控制點930的運動向量V2 ，(x ,y )可為子塊的中心位置，w 可為CU的寬度，且h 可為CU的高度。
可以類似方式估計該6參數仿射模型的該六個參數。等式24和25可以如等式34和35中所述的那樣改變如下。
Figure 02_image141
 [0001]  
其中在步驟k，(a，b)可以是差量平移參數，(c，d)可以是水平方向的差量縮放和旋轉參數，以及(e，f)可以是垂直方向的差量縮放和旋轉參數。等式31可以如等式36中該改變，如下：
Figure 02_image143
Figure 02_image145
                                       (36)		  
參數集(a，b，c，d，e，f)可例如使用最小平方法/程序/操作而藉由考慮CU內的樣本(例如，所有樣本)來求解。左上控制點的MV
Figure 02_image133
可以用等式26-29來計算。右上控制點的MV
Figure 02_image147
可以用如下闡述的等式37和38來計算。左下控制點的MV
Figure 02_image149
可以用如下所述的等式39和40來計算。
[1]
Figure 02_image151
[2]  [3]
Figure 02_image153
 [4]  
儘管在圖8A、圖8B和圖9中展示了4參數仿射模型和6參數仿射模型，但技術人員可以理解，具有不同數目的參數和/或不同控制點的仿射模型同樣是可能的。
儘管本文結合光流精化描述了仿射模型，但技術人員可以理解，結合光流精化的其它運動模型同樣是可能的。用於仿射運動補償的代表***織預測
利用仿射運動補償(AMC)，例如在VTM中，寫碼塊被分成小到4×4的子塊，每個子塊可以被指派由仿射模型導出的個別運動向量(MV)，例如如圖8A和圖8B或圖9所示。利用4參數或6參數仿射模型，該MV可以從兩個或三個控制點的MV而被導出。
AMC可能面臨與子塊的大小相關聯的兩難問題。使用較小的子塊，AMC可以實現更好的寫碼性能，但是可能遭受更高的複雜度負擔。
圖10是示出了代表性的交織預測程序的示意圖，該程序可以實現更細的MV之粒度，例如，以適度增加複雜度為交換。
在圖10中，寫碼塊1010可以被劃分為具有兩種不同劃分模式(例如，第一和第二模式0和1)的子塊。第一劃分模式0 (例如，第一子塊模式，例如4×4子塊模式)可以與VTM中的相同，並且第二劃分模式1 (例如，重疊和/或交織的第二子塊模式)可以將寫碼塊1010劃分為與第一劃分模式0具有2×2偏移的4×4子塊，如圖10所示。AMC可以利用該兩個劃分模式(例如，第一和第二劃分模式0和1)來產生數個輔助預測(例如，兩個輔助預測P0 和P1 )。劃分模式0和1中的每一者中的每一子塊的MV可藉由該仿射模型而被從控制點運動向量(CPMV)導出。
最終預測P可以被計算為輔助預測(例如，兩個輔助預測P0 和P1 )的加權和，其被等式化為等式41和42所示如下：
Figure 02_image155
  
圖11是示出了子塊中的代表性權重值(例如，與像素相關聯)的示意圖。參照圖11，位於子塊1100的中心(例如，中心像素)的輔助預測樣本可以與權重值3相關聯，並且位於子塊1100的邊界的輔助預測樣本可以與權重值1相關聯。
圖12是示出了應用交織預測的區域和不應用交織預測的其它區域的示意圖。參考圖12，區域1200可以包括應用交織預測的例如具有4×4子塊的第一區域1210 (在圖12中被示為非交叉陰影)以及例如其中不應用交織預測的第二區域1220 (在圖12中被示為交叉陰影)。為了避免微塊運動補償，例如，對於第一和第二劃分模式這兩者，該交織預測可以僅應用於子塊的大小滿足臨界值大小(例如，其為4×4)的區域。
在VTM-3.0中，子塊的大小對於色度分量可以是4×4，並且交織預測可以應用於色度分量和/或亮度分量。由於在AMC中可以將用於對子塊(例如，所有子塊)進行運動補償(MC)的區域作為一個整體一起被提取，所以交織預測不會增加頻寬。為了靈活性，可以在截割標頭中用信號通知一標誌，以指示交織預測被使用還是未被使用。對於交織預測，可以將該標誌作為1位元標誌(例如，可以總是被信號通知為0或1的第一邏輯等級)來用信號通知。用於基於子塊的時間運動向量預測 (SbTMVP) 的代表性過程
SbTMVP由VTM支援。類似於HEVC中的時間運動向量預測(TMVP)，SbTMVP可使用並位(collocated)圖片中的運動場，例如以改進目前圖片中的CU的合併模式和運動向量預測。TMVP所使用的相同並位圖片可用於SbTMVP。SbTMVP與TMVP的不同之處如下：(1)TMVP可預測CU級的運動，而SbTMVP可預測子CU級的運動；和/或(2) TMVP可從該並位圖片中的並位塊提取該時間運動向量(例如，該並位塊可為相對於該目前CU的右下或中心塊)，而SbTMVP可在從該並位圖片提取該時間運動資訊之前，應用運動移位(例如，該運動移位可從來自該目前CU的該空間相鄰塊中的一者的運動向量獲得)等等。
圖13A和圖13B是示出了SbTMVP過程的示意圖。圖13A示出了ATMVP所使用的空間相鄰塊，且圖13B示出了藉由應用來自空間相鄰者的運動移位並縮放來自相應的並位CU的運動資訊來導出子CU運動場。
參看圖13A和圖13B，SbTMVP可在目前CU操作內(例如，在兩個操作中)預測子CU的運動向量。在第一操作中，可以以A1、B1、B0和A0的順序檢查空間相鄰塊A1、B1、B0和A0。一旦識別出具有使用並位圖片作為其參考圖像的運動向量的第一空間相鄰塊和/或在識別出具有使用並位圖片作為其參考圖像的運動向量的第一空間相鄰塊之後，就可以將該運動向量選擇為要應用的運動移位。如果從空間相鄰塊中沒有識別出這樣的運動，則該運動移位可以被設定為(0，0)。在第二操作中，第一操作中識別的運動移位可被應用(例如，添加到目前塊的座標)以從並位圖片獲得子CU級運動資訊(例如，運動向量和參考索引)，如圖13B中所示。圖13B中的範例示出了設定為塊A1的運動的運動移位。對於每一子CU，該並位圖片中其對應塊(例如，覆蓋中心樣本的最小運動柵格)的運動資訊可用於導出針對該子CU的運動資訊。在識別出該並位CU的運動資訊之後，可以以與HEVC的TMVP過程類似的方式將該運動資訊轉換為目前子CU的運動向量和參考索引。舉例來說，可應用時間運動縮放，以將時間運動向量的參考圖像與目前CU的參考圖像對準。
組合的基於子塊的合併列表可以用於VTM-3中，並且可以包含或包括SbTMVP和仿射合併候選這兩者，例如用於發信號通知基於子塊的合併模式。該SbTMVP模式可由序列參數集(SPS)標誌來賦能/禁用。如果賦能SbTMVP模式，則可以添加SbTMVP預測器(predictor)作為基於子塊的合併候選的列表的第一條目，並且被跟隨有仿射合併候選。該基於子塊的合併列表的大小可以在SPS中用信號通知，並且該基於子塊的合併列表的最大允許大小可以是整數，例如在VTM3中為5。
在SbTMVP中使用的子CU大小可為固定的，例如，8×8或其他子CU大小，且如針對仿射合併模式所進行的，該SbTMVP模式可適用於(例如，可僅適用於)寬度和高度兩者可大於或等於8的CU。 額外SbTMVP合併候選的編碼邏輯可與用於其它合併候選的編碼邏輯相同。舉例來說，對於P或B截割中的每一CU，可執行額外速率失真(RD)檢查以決定是否使用該SbTMVP候選。代表性的基於迴歸的運動向量場
為了提供塊內運動向量的細的粒度，可以實現基於迴歸的運動向量場(RMVF)工具(例如在JVET-M0302中)，其可以嘗試基於空間相鄰的運動向量而在子塊級別上對每個塊的運動向量進行建模。
圖14是示出了可用於運動參數導出的相鄰運動塊(例如，4×4運動塊)的示意圖。在迴歸過程中，可以使用來自塊的每一側的以4×4子塊(以及它們的中心位置)為基礎的一列緊鄰運動向量1410和一行緊鄰運動向量1420。例如，該相鄰運動向量可用於RMVF運動參數導出。
圖15是示出了可用於運動參數導出以減少相鄰運動資訊(例如，可減少相對於圖14的迴歸過程中所使用的相鄰運動塊的數目)的相鄰運動塊的示意圖。用於相鄰4×4運動塊的RMVF參數導出的相鄰運動資訊的減少量可用於運動參數導出(例如，約一半，例如約每隔一個相鄰運動塊可用於運動參數導出)。可選擇、確定或預定該列1410和該行1420的某些相鄰運動塊以減少相鄰運動資訊。
雖然該列1410和該行1420的大約一半的相鄰運動塊被示出為是被選擇的，但是可以選擇其它百分比(具有其它運動塊位置)，例如以減少迴歸過程中要使用的相鄰運動塊的數量。
當收集運動資訊以用於運動參數導出時，可使用如圖中所示的五個區域(例如，左下、左、左上、上、右上)。可將右上參考運動區域和左下參考運動區域限制為目前塊的對應寬度或高度的一半(例如，僅一半)。
在RMVF模式中，該塊的運動可由6參數運動模型來定義。這些參數
Figure 02_image157
、
Figure 02_image159
、
Figure 02_image161
、
Figure 02_image163
、
Figure 02_image165
和
Figure 02_image167
可以藉由求解均方誤差(MSE)意義上的線性迴歸模型來計算。該迴歸模型的輸入可以由如上定義的可用相鄰4×4子塊的中心位置(x，y)和/或運動向量(
Figure 02_image169
和
Figure 02_image171
)組成，或者可以包括如上定義的可用相鄰4×4子塊的中心位置(x，y)和/或運動向量(
Figure 02_image169
和
Figure 02_image171
)。
中心位置在(
Figure 02_image173
,
Figure 02_image175
)處的8×8子塊的運動向量(
Figure 02_image177
,
Figure 02_image179
)可以如下面的等式43中該而被計算：
Figure 02_image181
(43) 		 
可以相對於子塊(例如，每個子塊)的中心位置而為8×8子塊計算該運動向量。例如，在RMVF模式中，可以以8×8子塊精度應用運動補償。為了對運動向量場進行有效的建模，僅在來自至少三個候選區域的至少一個運動向量可用的情況下，應用該RMVF工具。
仿射運動模型參數可用於導出CU中的某些像素(例如，每一像素)的運動向量。儘管產生基於像素的仿射運動補償預測的複雜性可能較高(例如，非常高)，且還因為此類基於樣本的MC的記憶體存取頻寬要求可能較高，可實施基於子塊的仿射運動補償過程/方法(例如，藉由VVC)。舉例來說，CU可被劃分成若干子塊(例如，4×4子塊、正方形子塊和/或非正方形子塊)。每一子塊可被指派有可從仿射模型參數導出的MV。該MV可以是在該子塊的中心(或子塊中的另一位置)處的MV。該子塊中的像素(例如，子塊中的所有像素)可共用該子塊MV。基於子塊的仿射運動補償可以是寫碼效率和複雜度之間的折衷。為了實現運動補償的更精細粒度，可以實現用於仿射運動補償的交織預測，並且可以藉由對兩個子塊運動補償預測進行加權平均來產生該用於仿射運動補償的交織預測。交織預測可能需要和/或使用每子塊兩個或更多運動補償預測，並且因此可能增加記憶體頻寬和複雜度。
在某些代表性實施例中，可以實現方法、裝置、程序和/或操作以利用光流(例如，使用和/或基於光流)精化基於子塊的仿射運動補償預測。例如，在執行基於子塊的仿射運動補償之後，可以藉由添加由光流等式導出的差值來精化像素強度，這被稱為利用光流的預測精化(PROF)。PROF可以實現像素級粒度而不顯著增加複雜度，並且可以保持與基於子塊的仿射運動補償相當的最壞情況記憶體存取頻寬。PROF可應用於除預測信號(例如，未精化運動預測信號和/或基於子塊的運動預測信號)之外還有可用(例如，可計算)像素級運動向量場的任何情形。除了該仿射模式之外，該預測PROF程序還可用於其它子塊預測模式中。可以實現PROF在子塊模式上的應用，例如SbTMVP和/或RMVF。本文描述了PROF在雙預測中的應用。用於仿射模式的代表性 PROF 程序
在某些代表性實施例中，方法、裝置和/或程序可被實施以例如藉由應用從光流(例如，光流等式)導出的像素強度的改變來改進基於子塊的仿射運動補償預測的粒度，且可針對每一子塊使用和/或需要一個運動補償操作(例如，針對每一子塊僅一個運動補償操作)，其與例如在VVC中的現有仿射運動補償相同。
圖16是示出了在基於子塊的仿射運動補償預測之後的子塊MV和像素級運動向量差
Figure 02_image001
(例如，其有時也被稱為像素的精化MV)的示意圖。
參看圖16，CU 1600可包含子塊1610、1620、1630和1640。每一子塊1610、1620、1630及1640可包含複數像素(例如，子塊1610中的16個像素)。圖中示出了與子塊1610的每個像素1660 (i，j)相關聯的子塊MV 1650 (例如作為粗略或平均子塊MV)。對於子塊1610中的每個相應像素(i，j)，可以確定精化MV 1670 (i，j) (其可以指示像素1660 (i，j)的實際MV與子塊MV 1650之間的差(其中，(i，j)定義了子塊1610中的像素位置))。為了圖16的清楚，僅標記了精化MV1670 (1，1)，儘管示出了其他個別的像素級運動。但是在某些代表性實施例中，可以將精化MV 1670 (i，j)確定為像素級運動向量差
Figure 02_image183
(有時稱為運動向量差)。
在某些代表性實施例中，可以實現包括以下操作中的任意操作的方法、裝置、程序和/或操作： (1)在第一操作中：可如本文所揭示來執行基於子塊的AMC以產生基於子塊的運動預測I(i,j) ； (2)在第二操作中：可計算每一樣本位置處的基於子塊的運動預測I(i,j) 的空間梯度
Figure 02_image113
和
Figure 02_image115
(在一個範例中，可使用與BDOF中所使用的梯度產生相同的過程來產生該空間梯度)。例如，可將樣本位置處的水平梯度計算為其右邊相鄰樣本與其左邊相鄰樣本之間的差，和/或可將樣本位置處的垂直梯度計算為其底部相鄰樣本與其頂部相鄰樣本之間的差。在另一範例中，可使用Sobel濾波器來產生空間梯度； (3)在第三操作中：使用和/或藉由光流等式可以計算CU中的每個像素的照度強度變化，例如，如下面的等式44中所闡述的：
Figure 02_image185
                    (44)		  
其中運動向量差
Figure 02_image001
的值是為樣本位置
Figure 02_image187
計算的像素級MV (由
Figure 02_image189
表示)與覆蓋像素1660
Figure 02_image187
的子塊的子塊級MV 1650之間的差1670，如圖16所示。可藉由用於4參數仿射模型的等式22和23或藉由用於6參數仿射模型的等式32和33從控制點MV導出該像素級MV
Figure 02_image191
。
在某些代表性實施例中，可藉由或使用等式24和25由仿射模型參數導出該運動向量差值
Figure 02_image193
，其中x和y可為從像素位置到子塊的中心的偏移。由於仿射模型參數和像素偏移在子塊之間不改變，因此可針對第一子塊計算運動向量差值
Figure 02_image193
，且在同一CU中的其它子塊中重用該運動向量差值
Figure 02_image193
。舉例來說，可使用如下等式45和46來計算像素級MV與子塊級MV之間的差，因為平移仿射參數(a，b)對於像素級MV和子塊MV來說可是相同的。(c，d，e，f)可以是四個額外仿射參數(例如，除了平移仿射參數之外的四個仿射參數)
Figure 02_image195
其中(i，j)可以是相對於子塊的左上位置的像素位置，而(
Figure 02_image197
,
Figure 02_image199
)可以是相對於子塊的左上位置的子塊的中心位置。
圖17A為示出用以確定對應於一子塊的實際中心的MV的代表性程序的示意圖。
請參照圖17A，圖中顯示的兩個子塊SB0 與SB1 為4×4子塊。如果子塊寬度是SW並且子塊高度是SH，則子塊中心位置可以被設定為((SW-1)/2，(SH-1)/2)。在其它範例中，該子塊中心位置可以基於如(SW/2，SH/2)該的位置而被估計。第一子塊SB0 的實際中心點為P0 ’，而第二子塊SB1 的實際中心點為P1 ’，其使用((SW-1)/2，(SH-1)/2)。藉由使用例如(SW/2，SH/2) (例如在VVC中)，第一子塊SB0 的估計中心點是P0 ，第二子塊SB1 的估計中心點是P1 。在某些代表性實施例中，子塊的MV可以更準確地基於實際中心位置而不是估計的中心位置(其在VVC中被使用)。
圖17B是示出4:2:0色度格式的色度樣本的位置的示意圖。參考圖17B，色度子塊MV可由亮度子塊的MV導出。舉例來說，在4:2:0色度格式中，一個4×4色度子塊可對應於8×8亮度區域。儘管結合4:2:0色度格式示出了代表性實施例，但是技術人員理解，可以等同地使用其他色度格式，諸如4:2:2色度格式。
該色度子塊MV可藉由平均左上4×4亮度子塊MV和右下亮度子塊MV而被導出。對於色度樣本位置類型0、2和/或3，所導出的色度子塊MV可位於或可不位於色度子塊的中心。對於色度樣本位置類型0、2和3，色度子塊中心位置
Figure 02_image201
可能或可能需要藉由偏移來調整。例如，對於4:2:0色度樣本位置類型0、2和3，可以如以下等式47-49中所闡述的那樣應用調整：
Figure 02_image203
； 如果色度位置類型為0；                                     (47)
Figure 02_image205
； 如果色度位置類型為2；         (48)
Figure 02_image207
； 如果色度位置類型為3。                                     (49)
可以藉由添加強度變化(例如，照度強度變化，例如，如等式44中所提供的)來精化基於子塊的運動預測I(i,j) 。最終(即，精化的)預測I’(i,j) 可以藉由或通過使用如下等式50來產生。
Figure 02_image209
                                      (50)		  
當應用該精化時，該基於子塊的仿射運動補償可以實現像素級粒度，而不增加最壞情況頻寬和/或記憶體頻寬。
為了保持預測和/或梯度計算的精度，基於子塊的AMC的操作相關性能中的位元深度可以是中間位元深度，其可以高於寫碼位元深度。
上述過程可用於精化色度強度(例如，除精化亮度強度之外或代替亮度強度精化)。在一個範例中，在等式50中使用的強度差可以在被加到該預測之前乘以權重因數w ，如在如下等式51中所示：
Figure 02_image211
                                   (51)		  
其中w 可以被設定為0到1之間的值，包括端值。w 可在CU級或圖片級中用信號通知。舉例來說，可藉由權重索引用信號發送w 。例如，索引表1可以用於用信號通知w 。
索引 0 1 2 3 4
權重 ½ 3/4 1/4 1 0
索引表1
編碼器演算法可以選擇導致最低速率失真成本的w 的值。
例如，可以不同的方式計算預測樣本的梯度，例如
Figure 02_image213
和/或
Figure 02_image215
。在某些代表性實施例中，預測樣本
Figure 02_image213
和
Figure 02_image215
可藉由應用2維Sobel濾波器來計算。用於水平和垂直梯度的3×3 Sobel濾波器的範例如下： 水平Sobel濾波器：
Figure 02_image217
垂直Sobel濾波器：
Figure 02_image219
在其它代表性實施例中，梯度可用一維3抽頭濾波器(tap filter)來計算。一個範例可以包括
Figure 02_image221
，其比Sobel濾波器更簡單(例如，簡單得多)。
圖17C是示出了擴展子塊預測的示意圖。陰影圓圈1710是4×4子塊(例如，非陰影圓圈1720)周圍的填充樣本。使用Sobel濾波器作為範例，框1730中的樣本可以用於計算中心處的樣本1740的梯度。儘管可以使用Sobel濾波器來計算該梯度，但是諸如3抽頭濾波器的其他濾波器也是可能的。
對於上述範例梯度濾波器，例如3x3 Sobel濾波器和一維濾波器，擴展的子塊預測可以被使用和/或需要用於子塊梯度計算。例如，可以填充子塊的頂部和底部邊界處的一列以及左部和右部邊界處的一行，以計算子塊邊界處的那些樣本的梯度。
可以有不同的方法/程序和/或操作來獲得該擴展子塊預測。在一個代表性實施例中，給定子塊大小為
Figure 02_image223
，可以藉由使用子塊MV執行
Figure 02_image225
塊運動補償來獲得
Figure 02_image225
擴展子塊預測。利用該實施例，可能會增加記憶體頻寬。為了避免記憶體頻寬增加，在某些代表性實施例中，在水平和垂直方向兩者上給定K 抽頭內插濾波器的情況下，可提取內插之前的
Figure 02_image227
整數參考樣本以用於
Figure 02_image223
子塊的內插，可從
Figure 02_image227
子塊的鄰近樣本複製該
Figure 02_image227
塊的邊界樣本，使得擴展區域可為
Figure 02_image229
。該擴展區域可用於該
Figure 02_image231
子塊的內插。如果子塊MV指向分數位置，則這些代表性實施例仍然可以使用和/或需要附加的內插操作來產生
Figure 02_image225
預測。
舉例來說，為了降低計算複雜度，在其它代表性實施例中，可藉由使用子塊MV的
Figure 02_image223
塊運動補償來獲得該子塊預測。
Figure 02_image225
預測的邊界可以在沒有內插的情況下藉由以下中的任意者來獲得：(1)整數運動補償，其中MV是子塊MV的整數部分；(2)整數運動補償，其中MV是子塊MV的最近整數MV；和/或(3)從
Figure 02_image223
子塊預測中的最近鄰近樣本進行複製。
像素級精化MV(例如，
Figure 02_image233
和
Figure 02_image235
)的精度和/或範圍可能影響PROF的準確度。在某些代表性實施例中，可以實現多位元分數分量(fractional component)和另一多位元整數分量的組合。例如，可以使用5位元分數分量和11位元整數分量。該5位元分數分量和11位元整數分量的組合可以利用總共16個位元來表示1/32像素精度的從-1024到1023的MV範圍。
該梯度(例如，
Figure 02_image213
和
Figure 02_image215
)的精度以及強度變化
Figure 02_image237
的精度可能會影響PROF的性能。在某些代表性實施例中，預測樣本精度可保持為或維持在預定數目或用信號通知的數目的位元(例如，在目前VVC草案中定義的內部樣本精度，其為14位元)。在某些代表性實施例中，該梯度和/或強度變化
Figure 02_image237
可以與預測樣本保持相同的精度。
該強度變化
Figure 02_image237
的範圍可能會影響PROF的性能。可將該強度變化
Figure 02_image237
剪切到一較小範圍，以避免由不準確的仿射模型產生的假值。在一個範例中，該強度變化
Figure 02_image237
可被剪切到
Figure 02_image239
。
Figure 02_image233
和
Figure 02_image235
的分數分量的位元數、梯度的分數分量的位元數以及強度變化
Figure 02_image237
的位元數的組合可以一起影響某些硬體或軟體實現的複雜性。在一個代表性實施例中，5位元可用於表示
Figure 02_image233
和
Figure 02_image235
的分數分量，2位元可用於表示梯度的分數分量，且12位元可用於表示
Figure 02_image237
，然而，它們可以是任何數量的位元。
為了降低計算複雜度，在某些情況下，可跳過PROF。例如，如果在4×4子塊內的所有基於像素的差量(例如，精化) MV (
Figure 02_image193
)的幅度小於臨界值，則對於整個仿射CU，可跳過PROF。如果4×4子塊內的所有樣本的梯度小於臨界值，則可跳過PROF。
該PROF可以應用於色度分量，例如Cb和/或Cr分量。子塊的Cb和/或Cr分量的差量MV可以重用子塊的差量MV (例如，可以重用針對相同CU中的不同子塊計算的差量MV)。
儘管本文揭露的梯度程序(例如，使用複製的參考樣本來擴展用於梯度計算的子塊)被示出為與PROF操作一起使用，但是梯度程序可以與諸如BDOF操作和/或仿射運動估計操作等的其他操作一起使用。用於其它子塊模式的代表性 PROF 程序
PROF可以應用於除了預測信號(例如，未精化的預測信號)之外還可用(例如，可以計算)像素級運動向量場的任何場景。例如，除了該仿射模式之外，利用光流的預測精化可以用於其它子塊預測模式中，例如，SbTMVP模式(例如，VVC中的ATMVP模式)、或者基於迴歸的運動向量場(RMVF)
在某些代表性實施例中，可以實施一種方法以將PROF應用於SbTMVP。例如，這樣的方法可以包括以下中的任意者： (1)在第一操作中，可基於本文所述的現有SbTMVP過程來產生子塊級MV及子塊預測； (2)在第二操作中，可通過使用線性迴歸方法/程序藉由子塊MV場來估計仿射模型參數； (3)在第三操作中，可藉由在第二操作中獲得的仿射模型參數來導出像素級MV，且可計算相對於子塊MV的相關聯的像素級運動精化向量
Figure 02_image241
；和/或 (4)在第四操作中，可以應用利用光流過程的預測精化來產生最終預測等。
在某些代表性實施例中，可以實現一種方法以將PROF應用於RMVF。例如，這樣的方法可以包括以下中的任意者： (1)在第一操作中，子塊級MV場、子塊預測和/或仿射模型參數
Figure 02_image157
、
Figure 02_image159
、
Figure 02_image161
,
Figure 02_image163
、
Figure 02_image165
和
Figure 02_image165
可以基於這裡描述的RMVF過程而被產生； (2)在第二操作中，從子塊級MV的像素級MV偏移(
Figure 02_image243
可藉由仿射模型參數
Figure 02_image157
、
Figure 02_image159
、
Figure 02_image161
、
Figure 02_image163
、
Figure 02_image165
和
Figure 02_image165
藉由如下等式52而被導出：
Figure 02_image245
(52) 		 
其中
Figure 02_image247
是從子塊中心的像素偏移。由於仿射參數和/或從子塊中心的像素偏移在子塊之間不改變，所以可針對第一子塊來計算像素MV偏移(例如，僅需要或將被計算)，且可針對CU中的其它子塊重用該像素MV偏移；和/或 (3)在第三操作中，可以應用PROF過程，以例如藉由應用等式44和50來產生最終預測。用於雙預測的代表性 PROF 程序
除了或代替在本文所述的單預測中使用PROF，該PROF技術可用於雙預測中。當在雙預測中使用時，該PROF可以用於產生L0預測和/或L1預測，例如在它們用權重而被組合之前。為了降低計算複雜度，PROF可以被應用(例如，可以僅被應用)到一個預測，諸如L0或L1。在某些代表性實施例中，PROF可被應用(例如，可僅被應用)到一列表(例如，目前圖片所接近(例如，在其臨界值內)和/或最接近所關聯或針對的參考圖像)。用於 PROF 賦能的代表性程序
PROF賦能可在序列參數集(SPS)標頭、圖片參數集(PPS)標頭和/或圖塊群組標頭處或在之中被用信號通知。在某些實施例中，可發信號通知一標誌以指示該PROF是否針對仿射模式而被賦能。如果該標誌被設定為第一邏輯等級(例如“真”)，則PROF可以用於單預測和雙預測。在某些實施例中，如果第一標誌設定為“真”，那麼可使用第二標誌以指示PROF針對雙預測仿射模式是被賦能還是未被賦能。如果第一標誌被設定為第二邏輯等級(例如，“假”)，那麼可推斷第二標誌被設定為“假”。如果該第一標誌設定為“真”，那麼可在SPS標頭、PPS標頭和/或圖塊群組標頭處或在SPS標頭、PPS標頭和/或圖塊群組標頭中用一標誌來用信號通知是否將PROF應用於色度分量，使得可將PROF對亮度分量和色度分量的控制分離。有條件賦能的 PROF 的代表性程序
例如，為了降低複雜性，PROF可以在滿足(例如，僅在滿足)某些條件時被應用。例如，對於小的CU大小(例如，低於臨界值水平)，仿射運動可能相對很小，使得應用PROF的好處可能受到限制。在某些代表性實施例中，當CU大小較小(例如，對於不大於16x16的CU大小，例如8x8、8x16、16x8)時或在該情況下，可在仿射運動補償中停用PROF以減少編碼器和/或解碼器這兩者的複雜性。在某些代表性實施例中，當CU大小較小(低於相同或不同的臨界值水平)時，在仿射運動估計中可跳過PROF (例如，僅在仿射運動估計中跳過)，例如以降低編碼器複雜性，且可在解碼器處執行PROF而不管CU大小如何。舉例來說，在編碼器側，在搜索仿射模型參數(例如，控制點MV)的運動估計之後，可調用運動補償(MC)程序且可執行PROF。對於運動估計期間的每次疊代，也可以調用該MC程序。在運動估計中的MC中，可跳過PROF以節省複雜性，並且在編碼器和解碼器之間將不存在預測失配，因為編碼器中的最終MC將運行PROF。即，編碼器可不應用PROF精化(當其搜索仿射模型參數(例如，仿射MV)以用於CU的預測時)，且一旦編碼器完成搜索或在編碼器完成搜索之後，編碼器接著可應用PROF以使用從搜索確定的仿射模型參數來精化對該CU的預測。
在一些代表性實施例中，CPMV之間的差可以用作確定是否賦能PROF的標準。當CPMV之間的差較小(例如，低於臨界值水平)使得仿射運動較小時，應用PROF的益處可受到限制，且可針對仿射運動補償和/或仿射運動估計，停用PROF。例如，對於4參數仿射模式，如果滿足以下條件(例如，滿足所有以下條件)，則PROF可被停用：
Figure 02_image249
Figure 02_image251
對於6參數仿射模式，除了或代替以上條件，如果滿足以下條件(例如，也滿足所有以下條件)，那麼可停用PROF：
Figure 02_image253
Figure 02_image255
其中T是預定義的臨界值，例如4。該CPMV或仿射參數為基礎的PROF跳過程序可以在編碼器處應用(例如，也僅應用於編碼器處)，並且解碼器可以或不可以跳過PROF。與去塊濾波器組合或代替去塊濾波器的 PROF 的代表性程序
由於PROF可以是可補償基於塊的MC的逐像素精化，因此可以減小(例如，可以大大減小)塊邊界之間的運動差異。當應用PROF時，編碼器和/或解碼器可跳過去塊濾波器的應用，和/或可對子塊邊界應用較弱的濾波器。對於被分割成複數變換單元(TU)的CU，塊化假影(blocking artifact)可能會出現在變換塊邊界上。
在某些代表性實施例中，除非子塊邊界與TU邊界一致，否則編碼器和/或解碼器可跳過去塊濾波器的應用或可在子塊邊界上應用一個或一個以上較弱濾波器。
當PROF應用於亮度(例如，僅應用於亮度)時或在PROF應用於亮度(例如，僅應用於亮度)的條件下，編碼器和/或解碼器可跳過去塊濾波器的應用和/或可在子塊邊界上為亮度(例如，僅亮度)應用一個或複數較弱濾波器。例如，邊界強度參數Bs可以用於應用較弱的去塊濾波器。
舉例來說，當應用PROF時，編碼器和/或解碼器可跳過對子塊邊界應用去塊濾波器，除非子塊邊界與TU邊界一致。在這種情況下，可應用去塊濾波器以減少或移除可能沿TU邊界產生的塊化假影(blocking artifact)。
作為另一範例，除非子塊邊界與TU邊界一致，否則當應用PROF時，編碼器和/或解碼器可對子塊邊界應用較弱的去塊濾波器。可以設想，“弱”的去塊濾波器可以是比在不應用PROF時通常應用於子塊邊界的去塊濾波器更弱的去塊濾波器。當子塊邊界與TU邊界一致時，可應用較強的去塊濾波器來減少或移除預期沿著與TU邊界一致的子塊邊界更可見的塊化假影。
在某些代表性實施例中，當將PROF應用(例如，僅應用)到亮度時或在將PROF應用(例如，僅應用)到亮度的條件下，編碼器和/或解碼器可例如儘管缺乏將PROF應用於色度，但出於設計統一目的而將針對色度的去塊濾波器的應用對準到亮度。舉例來說，如果PROF僅應用於亮度，那麼可基於是否應用PROF (且可能基於在子塊邊界處是否存在TU邊界)來改變用於亮度的去塊濾波器的正常應用。在某些代表性實施例中，可以將去塊濾波器應用於色度的子塊邊界，以匹配(和/或鏡像)亮度去塊的程序，而不是具有用於將去塊濾波器應用於對應的色度像素的各別/不同的邏輯。
圖18A是示出了第一代表性編碼和/或解碼方法的流程圖。
參考圖18A，用於編碼和/或解碼的代表性方法1800可以包括：在框1805處，編碼器100或300和/或解碼器200或500獲得針對例如視訊的目前塊的基於子塊的運動預測信號。在框1810處，編碼器100或300和/或解碼器200或500可獲得針對該目前塊的基於子塊的運動預測信號的一個或複數空間梯度或與該目前塊的子塊相關聯的一個或複數運動向量差值。在框1815處，編碼器100或300和/或解碼器200或500可基於該一個或複數所獲得的空間梯度或該一個或複數所獲得運動向量差值(與該目前塊的該子塊相關聯)，獲得該目前塊的精化信號。在框1820處，編碼器100或300和/或解碼器200或500可以基於該基於子塊的運動預測信號和該精化信號來獲得該目前塊的精化運動預測信號。在某些實施例中，編碼器100或300可基於該精化運動預測信號，對該目前塊進行編碼，或者解碼器200或500可基於該精化運動預測信號，對該目前塊進行解碼。該精化運動預測信號可以是(例如，由GBi編碼器300和/或GBi解碼器500)產生的一精化運動間預測信號，並且可以使用一個或複數PROF操作。
在某些代表性實施例中，例如與本文中描述的包含方法1850和1900的其它方法相關的代表性實施例中，該獲得該視訊的該目前塊的該基於子塊的運動預測信號可包含產生該基於子塊的運動預測信號。
在某些代表性實施例中，例如，關於本文中描述的尤其包含方法1850及1900的其它方法，該獲得該目前塊的該基於子塊的運動預測信號的一個或複數空間梯度或與該目前塊的子塊相關聯的一個或複數運動向量差值可包含：確定該基於子塊的運動預測信號的該一個或複數空間梯度(例如，與梯度濾波器相關聯)。
在某些代表性實施例中，例如，關於本文中描述的尤其包含方法1850及1900的其它方法的代表性實施例中，該獲得該目前塊的該基於子塊的運動預測信號的該一個或複數空間梯度或與該目前塊的子塊相關聯的該一個或複數運動向量差值可包含：確定與該目前塊的該子塊相關聯的該一個或複數運動向量差值。
在某些代表性實施例中，例如，與本文中描述的尤其包含方法1850和1900的其它方法相關的代表性實施例中，該基於該一個或複數所確定的空間梯度或該一個或複數所確定的運動向量差值而獲得該目前塊的該精化信號可包含：基於所確定的空間梯度，確定該目前塊的運動預測精化信號作為該精化信號。
在某些代表性實施例中，例如，與本文中描述的包括方法1850和1900等的其它方法相關的代表性實施例中，該基於該一個或複數所確定的空間梯度或該一個或複數所確定的運動向量差值來獲得該目前塊的該精化信號可包含：基於所確定的運動向量差值，確定該目前塊的運動預測精化信號作為該精化信號。
術語“確定(determine)”或“確定(determining)”在其涉及諸如資訊之類的某物時一般可以包括以下各項中的一個或複數：估計、計算、預測、獲得和/或檢索該資訊。例如，確定可以指從記憶體或位元串流等中檢索某些東西。
在某些代表性實施例中，例如，與本文描述的包括方法1850和1900等的其它方法相關的代表性實施例中，該基於子塊的運動預測信號和該精化信號來獲得該目前塊的該精化運動預測信號可包括：組合(例如，加或減等)該基於子塊的運動預測信號和該運動預測精化信號以產生該目前塊的該精化運動預測信號。
在某些代表性實施例中，例如，與本文中描述的包括方法1850和1900等的其它方法相關的代表性實施例中，該基於精化運動預測信號對該目前塊進行編碼和/或解碼可包括：使用該精化運動預測信號作為對該目前塊的預測來對該視訊進行編碼，和/或使用該精化運動預測信號作為對該目前塊的預測來對該視訊進行解碼。
圖18B是示出了第二代表性編碼和/或解碼方法的流程圖。
參考圖18B，用於對視訊進行編碼和/或解碼的代表性方法1850可以包括：在框1855處，編碼器100或300和/或解碼器200或500產生基於子塊的運動預測信號。在框1860處，編碼器100或300和/或解碼器200或500可確定該基於子塊的運動預測信號的一個或複數空間梯度(例如，與梯度濾波器相關聯)。在框1865處，編碼器100或300和/或解碼器200或500可以基於所確定的空間梯度來確定該目前塊的運動預測精化信號。在框1870處，編碼器100或300和/或解碼器200或500可以組合(例如，加上或減去，等等)該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的精化運動預測信號。在框1875處，編碼器100或300可使用該精化運動預測信號作為對該目前塊的預測來編碼該視訊，和/或解碼器200或500可使用該精化運動預測信號作為對該目前塊的預測來解碼該視訊。在某些實施例中，可以針對目前塊執行框1810、1820、1830和1840處的操作，該目前塊是通常指代目前正在被編碼或解碼的塊。該精化運動預測信號可以是(例如，由GBi編碼器300和/或GBi解碼器500)產生的精化運動間預測信號，並且可以使用一個或複數PROF操作。
舉例來說，由編碼器100或300和/或解碼器200或500對該基於子塊的運動預測信號的該一個或複數空間梯度的該確定可包含：對與第一參考圖像相關聯的第一組空間梯度及與第二參考圖像相關聯的第二組空間梯度的確定。由編碼器100或300和/或解碼器200或500進行的該目前塊的該運動預測精化信號的該確定可以基於所確定的空間梯度，並且可以包括：基於該第一和第二組空間梯度，確定該目前塊的運動間預測精化信號(例如，雙預測信號)，並且還可以基於加權資訊W (例如，指示或包括與一個或複數參考圖像相關聯的一個或複數加權值)。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，編碼器100或300可產生、使用和/或發送權重資訊W到解碼器200或500，和/或該解碼器200或500可接收或獲得該權重資訊W。例如，該目前塊的該運動間預測精化信號可以基於：(1)從該第一組空間梯度導出且根據由該權重資訊W指示的第一權重因數進行加權的第一梯度值，和/或(2)從該第二組空間梯度導出且根據由該權重資訊W指示的第二權重因數進行加權的第二梯度值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可進一步包括編碼器100或300和/或解碼器200或500確定該視訊的該目前塊的仿射運動模型參數，使得可使用所確定的仿射運動模型參數來產生該基於子塊的運動預測信號。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可包含由編碼器100或300和/或解碼器200或500確定該基於子塊的運動預測信號的一個或複數空間梯度，其可包含計算該基於子塊的運動預測信號的至少一個子塊中的一個分別樣本位置、部分分別樣本位置、或每一分別樣本位置的至少一個梯度值。例如，針對該基於子塊的運動預測信號的至少一個子塊中的一個分別樣本位置、部分分別樣本位置、或每個分別樣本位置的至少一個梯度值的計算可以包括：針對一個分別樣本位置、部分分別樣本位置、或每個分別樣本位置，將梯度濾波器應用於該基於子塊的運動預測信號的該至少一個子塊中的該分別樣本位置。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可進一步包括編碼器100或300和/或解碼器200或500確定與該基於子塊的運動預測信號的該目前塊的第一子塊的樣本位置相關聯的一組運動向量差值。在一些範例中，可針對子塊(例如，第一子塊)確定該差值且可針對目前塊中的其它子塊中的一些或全部而重用該差值。在某些範例中，可通過使用仿射運動模型或不同運動模型(例如，另一基於子塊的運動模型，例如SbTMVP模型)來確定該一組運動向量差值，並可產生該基於子塊的運動預測信號。作為範例，可針對該目前塊的第一子塊確定該一組運動向量差值，且可將其用於針對該目前塊的一個或一個以上進一步的子塊，確定該運動預測精化信號。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，該基於子塊的運動預測信號的該一個或複數空間梯度及該一組運動向量差值可用以確定該目前塊的該運動預測精化信號。
在包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，藉由使用該目前塊的仿射運動模型，可確定該一組運動向量差值，且可產生該基於子塊的運動預測信號。
在包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，該確定該基於子塊的運動預測信號的該一個或複數空間梯度可包含：對於該目前塊的一個或複數分別子塊：使用該基於子塊的運動預測信號和鄰接並圍繞該分別子塊的鄰近參考樣本來確定擴展子塊；以及使用所確定的擴展子塊來確定該分別子塊的空間梯度，以確定該運動預測精化信號。
圖19是示出了第三代表性編碼和/或解碼方法的流程圖。
參照圖19，用於編碼和/或解碼視訊的代表性方法1900可以包括：在框1910，編碼器100或300和/或解碼器200或500產生基於子塊的運動預測信號。在框1920處，編碼器100或300和/或解碼器200或500可確定與該目前塊的子塊相關聯的一組運動向量差值(例如，該組運動向量差值可與例如該目前塊的所有子塊相關聯)。在框1930，編碼器100或300和/或解碼器200或500可以基於所確定的一組運動向量差值，確定該目前塊的運動預測精化信號。在框1940處，編碼器100或300和/或解碼器200或500可以將該基於子塊的運動預測信號和該運動預測精化信號進行組合(例如，相加或相減等)，以產生或產生該目前塊的精化運動預測信號。在框1950處，編碼器100或300可使用該精化運動預測信號作為對該目前塊的預測來編碼視訊，和/或解碼器200或500可使用該精化運動預測信號作為對該目前塊的預測來解碼視訊。在某些實施例中，可以針對通常指代目前正被編碼或解碼的塊的目前塊執行在框1910、1920、1930和1940處的操作。在某些代表性實施例中，該精化運動預測信號可以是(例如，由GBi編碼器300或GBi解碼器500)產生的精化運動間預測信號，並且可以使用一個或複數PROF操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可包含由編碼器100或300和/或解碼器200或500確定該視訊的該目前塊的運動模型參數(例如，一個或複數仿射運動模型參數)，使得可使用所確定的運動模型參數(例如，仿射運動模型參數)產生該基於子塊的運動預測信號。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可包含由編碼器100或300和/或解碼器200或500確定該基於子塊的運動預測信號的一個或複數空間梯度。舉例來說，對該基於子塊的運動預測信號的該一個或複數空間梯度的該確定可包含：計算該基於子塊的運動預測信號的至少一個子塊中的一個分別樣本位置、一部分分別樣本位置或每一分別樣本位置的至少一個梯度值。例如，針對該基於子塊的運動預測信號的至少一個子塊中的一個分別樣本位置、一部分分別樣本位置或每個分別樣本位置的至少一個梯度值的該計算可以包括：針對一個分別樣本位置、一部分分別樣本位置或每個分別樣本位置，將梯度濾波器應用於該基於子塊的運動預測信號的該至少一個子塊中的該分別樣本位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可包括由編碼器100或300和/或解碼器200或500使用與該目前塊的一個分別樣本位置、一部分分別樣本位置或每個分別樣本位置的空間梯度相關聯的梯度值以及所確定的與該子塊運動預測信號的該目前塊的子塊(例如，任何子塊)的該樣本位置相關聯的一組運動向量差值來確定該目前塊的該運動預測精化信號。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，該目前塊的該運動預測精化信號的該確定可使用與該目前塊的一個或複數子塊的一個或複數分別樣本位置或每一樣本位置的空間梯度相關聯的梯度值和所確定的一組運動向量差值。
圖20是示出了***表性編碼和/或解碼方法的流程圖。
參考圖20，用於編碼和/或解碼視訊的代表性方法2000可以包括：在框2010，編碼器100或300和/或解碼器200或500使用用於該目前塊的第一子塊的至少第一運動向量和用於該目前塊的第二子塊的進一步的運動向量來產生基於子塊的運動預測信號。在框2020處，編碼器100或300和/或解碼器200或500可計算該基於子塊的運動預測信號的該第一子塊中的第一樣本位置的第一組梯度值及該基於子塊的運動預測信號的該第一子塊中的第二樣本位置的不同的第二組梯度值。在框2030處，編碼器100或300和/或解碼器200或500可以確定該第一樣本位置的第一組運動向量差值和該第二樣本位置的不同的第二組運動向量差值。舉例來說，該第一樣本位置的該第一組運動向量差值可指示該第一樣本位置處的運動向量與該第一子塊的運動向量之間的差，且該第二樣本位置的該第二組運動向量差值可指示該第二樣本位置處的運動向量與該第一子塊的運動向量之間的差。在框2040處，編碼器100或300和/或解碼器200或500可使用該第一及第二組梯度值及該第一及第二組運動向量差值來確定預測精化信號。在框2050處，編碼器100或300和/或解碼器200或500可以將該基於子塊的運動預測信號與該預測精化信號組合(例如，加或減，等等)以產生精化運動預測信號。在框2060處，編碼器100或300可使用該精化運動預測信號作為對該目前塊的預測來編碼視訊，和/或解碼器200或500可使用該精化運動預測信號作為對該目前塊的預測來解碼視訊。在某些實施例中，可以針對包括複數子塊的目前塊執行在框2010、2020、2030、2040和2050處的操作。
圖21是示出了第五代表性編碼和/或解碼方法的流程圖。
參考圖21，用於編碼和/或解碼視訊的代表性方法2100可以包括：在框2110，編碼器100或300和/或解碼器200或500產生用於目前塊的基於子塊的運動預測信號。在框2120處，編碼器100或300和/或解碼器200或500可以使用指示該基於子塊的運動預測信號的該目前塊中的複數樣本位置的精化運動的光流資訊來確定預測精化信號。在框2130，編碼器100或300和/或解碼器200或500可以將該基於子塊的運動預測信號與該預測精化信號組合(例如，加或減，等等)，以產生精化運動預測信號。在框2140，編碼器100或300可以使用該精化運動預測信號作為對該目前塊的預測來編碼視訊，和/或解碼器200或500可以使用該精化運動預測信號作為對該目前塊的預測來解碼視訊。例如，該目前塊可以包括複數子塊，並且該基於子塊的運動預測信號可以至少使用該目前塊的第一子塊的第一運動向量和該目前塊的第二子塊的進一步的運動向量來產生。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可以包括由編碼器100或300和/或解碼器200或500確定可以使用光流資訊的預測精化信號。此確定可包含由編碼器100或300和/或解碼器200或500計算用於該基於子塊的運動預測信號的該第一子塊中的第一樣本位置的第一組梯度值及用於該基於子塊的運動預測信號的該第一子塊中的第二樣本位置的不同的第二組梯度值。可以確定第一樣本位置的第一組運動向量差值和第二樣本位置的不同的第二組運動向量差值。舉例來說，第一樣本位置的第一組運動向量差值可指示第一樣本位置處的運動向量與第一子塊的運動向量之間的差，且第二樣本位置的第二組運動向量差值可指示第二樣本位置處的運動向量與第一子塊的運動向量之間的差。編碼器100或300和/或解碼器200或500可以使用該第一和第二組梯度值以及該第一和第二組運動向量差值來確定該預測精化信號。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可以包括由編碼器100或300和/或解碼器200或500確定可以使用光流資訊的該預測精化信號。此確定可包含計算該基於子塊的運動預測信號的第二子塊中的第一樣本位置的第三組梯度值及該基於子塊的運動預測信號的第二子塊中的第二樣本位置的第四組梯度值。編碼器100或300和/或解碼器200或500可以使用該第三和第四組梯度值以及第一和第二組運動向量差值來確定該第二子塊的預測精化信號。
圖22是示出了第六代表性編碼和/或解碼方法的流程圖。
參考圖22，用於編碼和/或解碼視訊的代表性方法2200可以包括：在框2210處，編碼器100或300和/或解碼器200或500確定視訊的目前塊的運動模型。該目前塊可以包括複數子塊。例如，該運動模型可以為目前塊中的複數樣本位置產生個別的(例如，每樣本)運動向量。在框2220處，編碼器100或300和/或解碼器200或500可使用所確定的運動模型來產生該目前塊的基於子塊的運動預測信號。所產生的基於子塊的運動預測信號可針對該目前塊的每一子塊使用一個運動向量。在框2230處，編碼器100或300和/或解碼器200或500可通過將梯度濾波器應用於該基於子塊的運動預測信號的該複數樣本位置的一部分來計算梯度值。在框2240處，編碼器100或300和/或解碼器200或500可確定該樣本位置的該部分的運動向量差值，該運動向量差值中的每一者可指示根據該運動模型針對分別樣本位置產生的運動向量(例如，個別運動向量)與用於產生針對包含該分別樣本位置的該子塊的該基於子塊的運動預測信號的該運動向量之間的差。在框2250處，編碼器100或300和/或解碼器200或500可以使用該梯度值和該運動向量差值來確定預測精化信號。在框2260，編碼器100或300和/或解碼器200或500可以將該基於子塊的運動預測信號與該預測精化信號組合(例如，加或減，等等)，以產生該目前塊的精化運動預測信號。在框2270，編碼器100或300可以使用該精化運動預測信號作為對該目前塊的預測來對視訊進行編碼，和/或解碼器200或500可以使用該精化運動預測信號作為對該目前塊的預測來對視訊進行解碼。
圖23是示出了第七代表性編碼和/或解碼方法的流程圖。
參考圖23，用於編碼和/或解碼視訊的代表性方法2300可以包括：在框2310，編碼器100或300和/或解碼器200或500執行基於子塊的運動補償以產生基於子塊的運動預測信號作為粗略運動預測信號。在框2320處，編碼器100或300和/或解碼器200或500可計算該基於子塊的運動預測信號在複數樣本位置處的一個或複數空間梯度。在框2330處，編碼器100或300和/或解碼器200或500可基於所計算的空間梯度來計算該目前塊中的每像素的強度變化。在框2340處，編碼器100或300和/或解碼器200或500可基於所計算的每像素的強度變化而確定基於每像素的運動預測信號，作為精化運動預測信號。在框2350處，編碼器100或300和/或解碼器200或500可使用該目前塊的每一子塊的該粗略運動預測信號和使用該目前塊的每一像素的該精化運動預測信號來預測該目前塊。在某些實施例中，可針對視訊中的至少一個塊(例如，目前塊)執行框2310、2320、2330、2340和2350處的操作。舉例來說，計算該目前塊中的每像素的強度變化可包含根據光流等式確定該目前塊中的每一像素的照度強度變化。該目前塊的預測可包括通過將包括相應像素的子塊的粗略運動預測向量與相對於該粗略運動預測向量並與該相應像素相關聯的精化運動預測向量組合，以預測該目前塊中的每個相應像素的運動向量。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300及2600的某些代表性實施例中，該基於子塊的運動預測信號的該一個或複數空間梯度可包含以下中的任意者：水平梯度和/或垂直梯度，且舉例來說，該水平梯度可被計算為子塊的樣本的右邊相鄰樣本與該子塊的該樣本的左邊相鄰樣本之間的亮度差或色度差，和/或該垂直梯度可被計算為該子塊的該樣本的底部相鄰樣本與該子塊的該樣本的頂部相鄰樣本之間的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300及2600的某些代表性實施例中，可使用Sobel濾波器產生該子塊預測的該一個或一個以上空間梯度。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，該粗略運動預測信號可使用以下之一：4參數仿射模型或6參數仿射模型。例如，該基於子塊的運動補償可以是以下之一：(1)基於仿射子塊的運動補償；或(2)另一補償(例如，基於子塊的時間運動向量預測(SbTMVP)模式運動補償；和/或基於迴歸的運動向量場(RMVF)模式基礎的補償)。在執行基於SbTMVP模式的運動補償的條件下，該方法可包含：藉由線性迴歸操作使用子塊運動向量場來估計仿射模型參數；以及使用所估計的仿射模型參數來導出像素級運動向量。在執行基於RMVF模式的運動補償的情況下，該方法可包含：估計仿射模型參數；以及使用該所估計仿射模型參數從子塊級運動向量導出像素級運動向量偏移。舉例來說，該像素運動向量偏移可相對於該子塊的中心(例如，實際中心或距該實際中心最近的樣本位置)。例如，該子塊的該粗略運動預測向量可以基於該子塊的實際中心位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，這些方法可以包括：編碼器100或300或解碼器200或500選擇以下之一作為與每一子塊的該粗略運動預測向量(例如，基於子塊的運動預測向量)相關聯的中心位置：(1)每一子塊的實際中心；或(2)最接近該子塊的中心的像素(例如，樣本)位置中的一者。舉例來說，使用該目前塊的該粗略運動預測信號(例如，基於子塊的運動預測信號)和使用該目前塊的每一像素(例如，樣本)的精化運動預測信號來預測該目前塊可基於每一子塊的選定中心位置。例如，編碼器100或300和/或解碼器200或500可以確定與該子塊的色度像素相關聯的中心位置；且可基於與該色度像素相關聯的色度位置樣本類型來確定到該子塊的該色度像素的該中心位置的偏移。用於該子塊的該粗略運動預測信號(例如，該基於子塊的運動預測信號)可基於該子塊的與通過該偏移調整的所確定的該色度像素的中心位置相對應的實際位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，這些方法可以包括編碼器100或300產生或解碼器200或500接收資訊，該資訊指示是否在以下之一中賦能了利用光流的預測精化(PROF)：(1)序列參數集SPS標頭，(2)圖片參數集PPS標頭，或(3)圖塊群組標頭。舉例來說，在賦能PROF的條件下，可執行精化運動預測操作，使得可使用該粗略運動預測信號(例如，基於子塊的運動預測信號)及該精化運動預測信號來預測該目前塊。作為另一範例，在該PROF未被賦能的條件下，不執行該精化運動預測操作，使得僅可使用該粗略運動預測信號(例如，基於子塊的運動預測信號)來預測該目前塊。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500基於該目前塊的屬性和/或仿射運動估計的屬性而確定是對該目前塊執行精化運動預測操作還是在該仿射運動估計中執行精化運動預測操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500基於該目前塊的屬性和/或仿射運動估計的屬性而確定是對該目前塊執行精化運動預測操作還是在該仿射運動估計中執行精化運動預測操作。舉例來說，基於目前塊的屬性確定是否對目前塊執行精化運動預測操作可包含基於以下任意者來確定是否對目前塊執行精化運動預測操作：(1)該目前塊的大小超過特別大小；和/或(2)控制點運動向量(CPMV)差超過臨界值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300和2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500將第一去塊濾波器應用於該目前塊的子塊的與變換單元邊界一致的一個或複數邊界，且將第二不同去塊濾波器應用於該目前塊的該子塊的不與任何變換單元邊界一致的其它邊界。例如，該第一去塊濾波器可以是比該第二去塊濾波器更強的去塊濾波器。
圖24是示出了第八代表性編碼和/或解碼方法的流程圖。
參考圖24，用於編碼和/或解碼視訊的代表性方法2400可以包括：在框2410，編碼器100或300和/或解碼器200或500執行基於子塊的運動補償以產生基於子塊的運動預測信號，作為粗略運動預測信號。在框2420處，編碼器100或300和/或解碼器200或500可針對該目前塊的子塊的每一分別邊界樣本，將對應於鄰近於該分別邊界樣本的樣本且圍繞該子塊的一個或複數參考樣本確定為圍繞參考樣本，且可使用該圍繞參考樣本及該子塊的鄰近於該分別邊界樣本的樣本，確定與該分別邊界樣本相關聯的一個或複數空間梯度。在框2430處，編碼器100或300和/或解碼器200或500可以針對該子塊中的每個分別的非邊界樣本，使用該子塊的與該分別的非邊界樣本鄰近的樣本來確定與該分別的非邊界樣本相關聯的一個或複數空間梯度。在框2440處，編碼器100或300和/或解碼器200或500可使用該子塊的所確定的空間梯度來計算該目前塊中的每像素的強度變化。在框2450處，編碼器100或300和/或解碼器200或500可以基於所計算的每像素的強度變化來確定基於每像素的運動預測信號，作為精化運動預測信號。在框2460處，編碼器100或300和/或解碼器200或500可使用與該目前塊的每一子塊相關聯的粗略運動預測信號和使用與該目前塊的每一像素相關聯的精化運動預測信號來預測該目前塊。在某些實施例中，可以針對視訊中的至少一個塊(例如，該目前塊)來執行框2410、2420、2430、2440、2450和2460處的操作。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300、2400和2600的某些代表性實施例中，該邊界樣本和該非邊界樣本的該一個或複數空間梯度的該確定可以包括：使用以下中的任意者來計算該一個或複數空間梯度：(1)垂直Sobel濾波器；(2)水平Sobel濾波器；或(3) 3抽頭濾波器。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2300、2400和2600的某些代表性實施例中，這些方法可包括編碼器100或300和/或解碼器200或500從參考儲存庫複製圍繞參考樣本而無需任何進一步的操作，並且與該分別邊界樣本相關聯的該一個或複數空間梯度的該確定可使用所複製的圍繞參考樣本來確定與該分別邊界樣本相關聯的該一個或複數空間梯度。
圖25是示出代表性梯度計算方法的流程圖。
參考圖25，使用與鄰近於子塊的邊界的樣本相對應的參考樣本(例如，在編碼和/或解碼視訊中使用的)來計算子塊的梯度的代表性方法2500可以包括：在框2510，編碼器100或300和/或解碼器200或500對於該目前塊的該子塊的每個分別邊界樣本，確定與鄰近該分別邊界樣本的樣本相對應並且圍繞該子塊的一個或複數參考樣本作為圍繞參考樣本，並且使用該圍繞參考樣本和該子塊的鄰近該分別邊界樣本的樣本來確定與該分別邊界樣本相關聯的一個或複數空間梯度。在框2520處，編碼器100或300和/或解碼器200或500針對該子塊中的每一分別非邊界樣本，可使用該子塊的與該分別非邊界樣本鄰近的樣本來確定與該分別非邊界樣本相關聯的一個或複數空間梯度。在某些實施例中，可以針對視訊中的至少一個塊(例如，該目前塊)來執行框2510和2520處的操作。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300、2400、2500及2600的某些代表性實施例中，所確定的一個或複數空間梯度可用於通過以下任一者來預測目前塊：(1)利用光流的預測精化(PROF)操作；(2)雙向光流操作；或(3)仿射運動估計操作。
圖26是示出了第九代表性編碼和/或解碼方法的流程圖。
參考圖26，用於編碼和/或解碼視訊的代表性方法2600可以包括：在框2610，編碼器100或300和/或解碼器200或500為視訊的目前塊產生基於子塊的運動預測信號。例如，該目前塊可以包括複數子塊。在框2620處，編碼器100或300和/或解碼器200或500可針對該目前塊的一個或複數或每一分別子塊，使用該基於子塊的運動預測信號和鄰接並圍繞該分別子塊的鄰近參考樣本，確定擴展子塊，並使用所確定的擴展子塊，確定該分別子塊的空間梯度。在框2630處，編碼器100或300和/或解碼器200或500可以基於所確定的空間梯度來確定該目前塊的運動預測精化信號。在框2640處，編碼器100或300和/或解碼器200或500可以組合(例如，加上或減去，等等)該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的精化運動預測信號。在框2650處，編碼器100或300可以使用該精化運動預測信號作為對該目前塊的預測來編碼視訊，和/或解碼器200或500可以使用該精化運動預測信號作為對該目前塊的預測來解碼視訊。在某些實施例中，可以針對視訊中的至少一個塊(例如，該目前塊)來執行在框2610、2620、2630、2640和2650處的操作。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可包括編碼器100或300和/或解碼器200或500從參考儲存庫複製該鄰近參考樣本而無需任何進一步的操縱。例如，該分別子塊的該空間梯度的該確定可使用所複製的鄰近參考樣本來確定與該分別子塊的邊界上的樣本位置相關聯的梯度值。可從包含該目前塊的參考圖像中的最近整數位置複製該擴展塊的該鄰近參考樣本。在某些範例中，該擴展塊的該鄰近參考樣本具有從原始精度捨入的最近整數運動向量。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500確定該視訊的該目前塊的仿射運動模型參數，使得可使用所確定仿射運動模型參數來產生該基於子塊的運動預測信號。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2300、2500及2600的某些代表性實施例中，該分別子塊的該空間梯度的該確定可包含：計算該分別子塊中的每一分別樣本位置的至少一個梯度值。例如，針對該分別子塊中的該每個分別樣本位置的該至少一個梯度值的該計算可以包括：針對每個分別樣本位置，將梯度濾波器應用於該分別子塊中的該分別樣本位置。作為另一範例，該計算該分別子塊中的每個分別樣本位置的該至少一個梯度值可以包括：根據光流等式確定該分別子塊中的每個分別樣本位置的強度變化。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500確定與該分別子塊的該樣本位置相關聯的一組運動向量差值。舉例來說，通過使用該目前塊的仿射運動模型，可產生該基於子塊的運動預測信號，且可確定該一組運動向量差值。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，可針對該目前塊的該分別子塊確定該一組運動向量差值，且可使用該一組運動向量差值，確定該目前塊的其它剩餘子塊的運動預測精化信號。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，該分別子塊的該空間梯度的該確定可包含：使用以下任意者來計算該空間梯度：(1)垂直Sobel濾波器；(2)水平索貝爾濾波器；和/或(3) 3抽頭濾波器。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，鄰接及圍繞該分別子塊的鄰近參考樣本可使用整數運動補償。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，該分別子塊的該空間梯度可包含以下各項中的任意者：水平梯度或垂直梯度。舉例來說，該水平梯度可被計算為分別樣本的右邊相鄰樣本與該分別樣本的左邊相鄰樣本之間的亮度差或色度差；和/或該垂直梯度可以被計算為該分別樣本的底部相鄰樣本與該分別樣本的頂部相鄰樣本之間的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，可使用以下任意者來產生該基於子塊的運動預測信號：(1) 4參數仿射模型；(2) 6參數仿射模型；(3)基於子塊的時間運動向量預測(SbTMVP)模式運動補償；或(4)基於迴歸的運動補償。舉例來說，在執行SbTMVP模式運動補償的條件下，該方法可包含：通過線性迴歸操作使用子塊運動向量場來估計仿射模型參數；和/或使用所估計的仿射模型參數來導出像素級運動向量。作為另一範例，在執行基於RMVF模式的運動補償的條件下，該方法可以包括：估計仿射模型參數；和/或使用所估計的仿射模型參數從子塊級運動向量導出像素級運動向量偏移。該像素運動向量偏移可相對於該分別子塊的中心。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，用於該分別子塊的精化運動預測信號可基於該分別子塊的實際中心位置或可基於最接近該分別子塊的該實際中心的樣本位置。
例如，這些方法可以包括編碼器100或300和/或解碼器200或500選擇以下之一作為與每個分別子塊的運動預測向量相關聯的中心位置：(1)每個分別子塊的實際中心，或(2)最接近該分別子塊的該實際中心的樣本位置。該精化運動預測信號可以基於每個子塊的所選中心位置。
在至少包含代表性方法1800、1850、1900、2000、2100、2200及2600的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500確定與該分別子塊的色度像素相關聯的中心位置；以及基於與該色度像素相關聯的色度位置樣本類型，確定到該分別子塊的該色度像素的該中心位置的偏移。用於該分別子塊的精化運動預測信號可基於該子塊的實際位置，其對應於通過該偏移調整的該色度像素的所確定中心位置。
在至少包括代表性方法1800、1850、1900、2000、2100、2200和2600的某些代表性實施例中，編碼器100或300可以在以下各項之一中產生並傳送指示是否賦能了利用光流的預測精化(PROF)的資訊：(1)序列參數集SPS標頭，(2)圖片參數集PPS標頭，或(3)圖塊群組標頭，和/或解碼器200或500可以在以下之一中接收指示PROF是否被賦能的資訊：(1)該SPS標頭，(2) 該PPS標頭，或(3)圖塊群組標頭。
圖27是示出了第十代表性編碼和/或解碼方法的流程圖。
參考圖27，用於編碼和/或解碼視訊的代表性方法2700可包括：在框2710，編碼器100或300和/或解碼器200或500確定該目前塊的每個分別子塊的實際中心位置。在框2720，編碼器100或300和/或解碼器200或500可以使用該目前塊的每個分別子塊的該實際中心位置來產生基於子塊的運動預測信號或精化運動預測信號。在框2730，(1)編碼器100或300可使用該基於子塊的運動預測信號或所產生的精化運動預測信號作為對該目前塊的預測來對該視訊進行編碼，或者(2)解碼器200或500可使用該基於子塊的運動預測信號或所產生的精化運動預測信號作為對該目前塊的預測來對該視訊進行解碼。在某些實施例中，可以針對視訊中的至少一個塊(例如，該目前塊)來執行在框2710、2720和2730處的操作。舉例來說，該目前塊的每一分別子塊的該實際中心位置的該確定可包含：基於色度像素的色度位置樣本類型，確定與分別子塊的色度像素相關聯的色度中心位置及該色度中心位置相對於該分別子塊的該中心位置的偏移。用於該分別子塊的該基於子塊的運動預測信號或該精化運動預測信號可以基於該分別子塊的該實際中心位置，其對應於通過該偏移調整的所確定的色度中心位置。儘管該目前塊的每個分別子塊的實際中心被描述為被確定/用於各種操作，但是可以設想，可以確定/使用這樣的子塊的中心位置中的一個、一部分或全部。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性實施例中，該精化運動預測信號的該產生可通過以下來使用該基於子塊的運動預測信號：針對該目前塊的每一分別子塊，確定該基於子塊的運動預測信號的一個或複數空間梯度、基於該所確定空間梯度來確定該目前塊的運動預測精化信號、和/或組合該基於子塊的運動預測信號與該運動預測精化信號以產生該目前塊的該精化運動預測信號。舉例來說，對該基於子塊的運動預測信號的該一個或複數空間梯度的該確定可包含：使用該基於子塊的運動預測信號和鄰接並圍繞該分別子塊的鄰近參考樣本，確定擴展子塊，和/或使用該確定的擴展子塊，確定該分別子塊的該一個或複數空間梯度。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700及2800的某些代表性實施例中，該分別子塊的空間梯度的該確定可包含：計算該分別子塊中的每一分別樣本位置的至少一個梯度值。例如，該計算該分別子塊中的每個分別樣本位置的該至少一個梯度值可以包括：對於每個分別樣本位置，將梯度濾波器應用於該分別子塊中的該分別樣本位置。
作為另一範例，該計算該分別子塊中的每個分別樣本位置的該至少一個梯度值可以包括：根據光流等式，確定該分別子塊中的一個或複數分別樣本位置的強度變化。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性實施例中，這些方法可包含編碼器100或300和/或解碼器200或500確定與該分別子塊的該樣本位置相關聯的一組運動向量差值。通過使用該目前塊的仿射運動模型，可產生該基於子塊的運動預測信號，且可確定該一組運動向量差值。在某些範例中，可以針對該目前塊的該分別子塊，確定該一組運動向量差值，並且可以使用(例如，重用)該一組運動向量差值來確定該目前塊的該子塊和其他剩餘子塊的運動預測精化信號。舉例來說，該確定該分別子塊的該空間梯度可包含使用以下各項中的任意者來計算該空間梯度：(1)垂直Sobel濾波器；(2)水平Sobel濾波器；和/或(3) 3抽頭濾波器。鄰接和圍繞該分別子塊的鄰近參考樣本可使用整數運動補償。
在一些實施例中，該分別子塊的該空間梯度可包含以下各項中的任意者：水平梯度或垂直梯度。舉例來說，該水平梯度可被計算為該分別樣本的右邊相鄰樣本與該分別樣本的左邊相鄰樣本之間的亮度差或色度差。作為另一範例，該垂直梯度可被計算為該分別樣本的底部相鄰樣本與該分別樣本的頂部相鄰樣本之間的亮度差或色度差。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性實施例中，可使用以下任意者來產生該基於子塊的運動預測信號：(1) 4參數仿射模型；(2) 6參數仿射模型；(3)基於子塊的時間運動向量預測(SbTMVP)模式運動補償；和/或(4)基於迴歸的運動補償。舉例來說，在執行SbTMVP模式運動補償的條件下，該方法可包含：藉由線性迴歸操作使用子塊運動向量場來估計仿射模型參數；和/或使用所估計的仿射模型參數來導出像素級運動向量。作為另一範例，在執行基於迴歸運動向量場(RMVF)模式的運動補償的條件下，該方法可以包括：估計仿射模型參數；和/或使用該所估計仿射模型參數從子塊級運動向量導出像素級運動向量偏移，其中該像素運動向量偏移是相對於該分別子塊的中心的。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性實施例中，可使用與該目前塊的控制點相關聯的複數運動向量來產生該精化運動預測信號。
在至少包括代表性方法1800、1850、1900、2000、2100、2200、2600、2700和2800的某些代表性實施例中，編碼器100或300可以在以下之一中產生、編碼和傳輸一資訊，並且解碼器200或500可以在以下之一中接收和解碼該資訊，該資訊指示了是否賦能了利用光流的預測精化(PROF)：(1)序列參數集SPS標頭，(2)圖片參數集PPS標頭，或(3)圖塊群組標頭。
圖28是示出了第十一代表性編碼和/或解碼方法的流程圖。
參考圖28，用於編碼和/或解碼視訊的代表性方法2800可以包括：在框2810，編碼器100或300和/或解碼器200或500選擇以下中的一個作為與每個分別子塊的運動預測向量相關聯的中心位置：(1)每個分別子塊的實際中心，或(2)最接近該分別子塊的該實際中心的樣本位置。在框2820處，編碼器100或300和/或解碼器200或500可確定該目前塊的每一分別子塊的選定中心位置。在框2830處，編碼器100或300和/或解碼器200或500可使用該目前塊的每一分別子塊的選定中心位置來產生基於子塊的運動預測信號或精化運動預測信號。在框2840處，(1)編碼器100或300可使用該基於子塊的運動預測信號或所產生的精化運動預測信號作為對該目前塊的預測來編碼該視訊，或(2)解碼器200或500可使用該基於子塊的運動預測信號或所產生的精化運動預測信號作為對該目前塊的預測來解碼該視訊。在某些實施例中，可以針對該視訊中的至少一個塊(例如，該目前塊)來執行框2810、2820、2830和2840處的操作。儘管關於該目前塊的每個分別子塊描述了中心位置的選擇，但是可以設想，在各種操作中可以選擇/使用這樣的子塊的中心位置的一個、一部分或全部。
圖29是示出代表性編碼方法的流程圖。
參看圖29，用以編碼視訊的代表性方法2900可包含：在框2910處，編碼器100或300對視訊的目前塊執行運動估計，其包含使用疊代運動補償操作確定該目前塊的仿射運動模型參數，以及使用所確定的仿射運動模型參數來產生該目前塊的基於子塊的運動預測信號。在框2920處，在對該目前塊執行運動估計之後，該編碼器100或300可以執行利用光流的預測精化(PROF)操作以產生精化運動預測信號。在框2930，編碼器100或300可以使用該精化運動預測信號作為對該目前塊的預測來對該視訊進行編碼。例如，該PROF操作可以包括：確定該基於子塊的運動預測信號的一個或複數空間梯度；基於所確定的空間梯度來確定用於該目前塊的運動預測精化信號；和/或組合該基於子塊的運動預測信號和該運動預測精化信號以產生該目前塊的精化運動預測信號。
在至少包含代表性方法1800、1850、1900、2000、2100、2200、2600及2900的某些代表性實施例中，可在疊代運動補償操作完成之後(例如，僅在其之後)執行該PROF操作。例如，在該目前塊的運動估計期間，不執行該PROF操作。
圖30是示出另一代表性編碼方法的流程圖。
參看圖30，用以編碼視訊的代表性方法3000可包含：在框3010處，編碼器100或300，在該目前塊的運動估計期間，使用疊代運動補償操作來確定仿射運動模型參數，並使用所確定的仿射運動模型參數來產生基於子塊的運動預測信號。在框3020，在該目前塊的運動估計之後，在目前塊的大小滿足或超過臨界值大小的條件下，編碼器100或300可以執行利用光流的預測精化(PROF)操作以產生一精化運動預測信號。在框3030處，編碼器100或300可以通過以下來編碼視訊：(1)在該目前塊滿足或超過該臨界值大小的條件下，使用該精化運動預測信號作為對該目前塊的預測，或者(2)在該目前塊不滿足該臨界值大小的條件下，使用該基於子塊的運動預測信號作為對該目前塊的預測。
圖31是示出了第十二代表性編碼/解碼方法的流程圖。
參考圖31，用於編碼和/或解碼視訊的代表性方法3100可以包括：在框3110，編碼器100或300確定或獲得指示目前塊的大小的資訊，或者解碼器200或500接收指示目前塊的大小的資訊。在框3120處，編碼器100或300或者解碼器200或500可以產生基於子塊的運動預測信號。在框3130處，在該目前塊的大小滿足或超過臨界值大小的條件下，編碼器100或300或者解碼器200或500可以執行利用光流的預測精化(PROF)操作以產生精化運動預測信號。在框3140處，編碼器100或300可以通過以下來編碼視訊：(1)在該目前塊滿足或超過臨界值大小的條件下，使用該精化運動預測信號作為對該目前塊的預測，或者(2)在該目前塊不滿足該臨界值大小的條件下，使用該基於子塊的運動預測信號作為對該目前塊的預測，或者解碼器200或500可以通過以下來解碼視訊：(1)在該目前塊滿足或超過該臨界值大小的條件下，使用該精化運動預測信號作為對該目前塊的預測，或者(2)在該目前塊不滿足該臨界值大小的條件下，使用該基於子塊的運動預測信號作為對該目前塊的預測。
圖32是示出了第十三代表性編碼/解碼方法的流程圖。
參考圖32，編碼和/或解碼視訊的代表性方法3200可以包括：在框3210，編碼器100或300確定是否要執行像素級運動補償，或者解碼器200或500接收指示是否要執行像素級運動補償的標誌。在框3220處，編碼器100或300或者解碼器200或500可以產生基於子塊的運動預測信號。在框3230處，在要執行該像素級運動補償的條件下，編碼器100或300或者解碼器200或500可以：確定該基於子塊的運動預測信號的一個或複數空間梯度，基於所確定的空間梯度來確定該目前塊的運動預測精化信號，以及組合該基於子塊的運動預測信號和該運動預測精化信號以產生該目前塊的精化運動預測信號。在框3240，根據確定是否要執行該像素級運動補償，編碼器100或300可以使用該基於子塊的運動預測信號或該精化運動預測信號作為對該目前塊的預測來編碼該視訊，或者解碼器200或500可以根據該標誌的指示而使用該基於子塊的運動預測信號或該精化運動預測信號作為對該目前塊的預測來解碼該視訊。在某些實施例中，可以針對該視訊中的塊(例如，該目前塊)來執行在框3220和3230處的操作。
圖33是示出了第十四代表性編碼/解碼方法的流程圖。
參考圖33，用於編碼和/或解碼視訊的代表性方法3300可以包括：在框3310，編碼器100或300確定或獲得或解碼器200或500接收間預測權重資訊，其指示與第一和第二參考圖像相關聯的一個或複數權重。在框3320處，編碼器100或300或解碼器200或500針對視訊的目前塊，可以產生基於子塊的運動間預測信號，可以確定與第一參考圖像相關聯的第一組空間梯度和與第二參考圖像相關聯的第二組空間梯度，可以基於該第一組空間梯度和該第二組空間梯度以及該間預測權重資訊來確定該目前塊的運動間預測精化信號，並且可以將該基於子塊的運動間預測信號和該運動間預測精化信號進行組合以產生該目前塊的精化運動間預測信號。在框3330，編碼器100或300可以使用該精化運動間預測信號作為對該目前塊的預測來對該視訊進行編碼，或者解碼器200或500可以使用該精化運動間預測信號作為對該目前塊的預測來對該視訊進行解碼。例如，該間預測權重資訊是以下中的任意者：(1)指示符，其指示將應用於該第一參考圖像的第一加權因數和/或將應用於該第二參考圖像的第二加權因數；或(2)權重索引。在某些實施例中，該目前塊的該運動間預測精化信號可以基於：(1)從該第一組空間梯度導出且根據由該間預測權重資訊指示的第一權重因數加權的第一梯度值，及(2)從該第二組空間梯度導出且根據由該間預測權重資訊指示的第二權重因數加權的第二梯度值。用於實施例的實現的範例網路
圖34A是示出了可以實施所揭露的一個或複數實施例的範例性通信系統3400的示意圖。該通信系統3400可以是為複數無線使用者提供諸如語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統3400可以通過共用包括無線頻寬在內的系統資源而使複數無線使用者能夠存取此類內容。舉例來說，通信系統3400可以使用一種或多種通道存取方法，例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)、零尾唯一字DFT-擴展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、資源塊過濾OFDM以及濾波器組多載波(FBMC)等等。
如圖34A所示，通信系統3400可以包括無線傳輸/接收單元(WTRU)3402a、3402b、3402c、3402d、RAN 3404/3413、CN 3406/3415、公共交換電話網路(PSTN)3408、網際網路3410以及其他網路3412，然而應該瞭解，所揭露的實施例設想了任意數量的WTRU、基地台、網路和/或網路元件。WTRU 3402a、3402b、3402c、3402d每一者可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉例來說，WTRU 3402a、3402b、3402c、3402d任何一者都可以被稱為“站”和/或“STA”，其可以被配置成傳輸和/或接收無線信號，並且可以包括使用者設備(UE)、移動站、固定或移動用戶單元、基於訂閱的單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(IoT)裝置、手錶或其他可穿戴裝置、頭戴顯示器(HMD)、車輛、無人機、醫療裝置和應用(例如遠端手術)、工業裝置和應用(例如機器人和/或在工業和/或自動處理鏈環境中操作的其他無線裝置)、消費類電子裝置、以及在商業和/或工業無線網路上操作的裝置等等。WTRU 3402a、3402b、3402c、3402d中的任何一者可被可交換地稱為UE。
該通信系統3400還可以包括基地台3414a和/或基地台3414b。基地台3414a、3414b的每一者可以是被配置成通過以無線方式與WTRU 3402a、3402b、3402c、3402d中的至少一者有介面來促成存取一個或複數通信網路(例如CN 3406/3415、網際網路3410、和/或其他網路3412)的任何類型的裝置。例如，基地台3414a、3414b可以是基地收發台(BTS)、節點B、e節點B(終端)、本地節點B(HNB)、本地e節點B(HeNB)、gNB、NR節點B、網站控制器、存取點(AP)、以及無線路由器等等。雖然基地台3414a、3414b的每一者都被描述成了單個元件，然而應該瞭解，基地台3414a、3414b可以包括任何數量的互連基地台和/或網路元件。
基地台3414a可以是RAN 3404/3413的一部分，並且其還可以包括其他基地台和/或網路元件(未顯示)，例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台3414a和/或基地台3414b可被配置成在名為胞元(未顯示)的一個或複數載波頻率上傳輸和/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合之中。胞元可以為相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如，與基地台3414a相關聯的胞元可被分為三個扇區。由此，在一個實施例中，基地台3414a可以包括三個收發器，也就是說，胞元的每一個扇區有一個。在實施例中，基地台3414a可以使用多輸入多輸出(MIMO)技術，並且可以為胞元的每一個扇區使用複數收發器。例如，通過使用波束成形，可以在期望的空間方向上傳輸和/或接收信號。
基地台3414a、3414b可以經由空中介面3416來與WTRU 3402a、3402b、3402c、3402d中的一者或多者進行通信，其中該空中介面可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、釐米波、微米波、紅外線(IR)、紫外線(UV)、可見光等等)。空中介面3416可以使用任何適當的無線電存取技術(RAT)來被建立。
更具體地說，如上所述，通信系統3400可以是多重存取系統，並且可以使用一種或多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 3404/3413中的基地台3414a與WTRU 3402a、3402b、3402c可以實施無線電技術，例如通用移動電信系統(UMTS)陸地無線電存取(UTRA)，其可以使用寬頻CDMA(WCDMA)來建立空中介面3415/3416/3417。WCDMA可以包括如高速封包存取(HSPA)和/或演進型HSPA(HSPA+)之類的通信協定。HSPA可以包括高速下鏈(DL)封包存取(HSDPA)和/或高速UL封包存取(HSUPA)。
在實施例中，基地台3414a和WTRU 3402a、3402b、3402c可以實施某種無線電技術，例如演進型UMTS陸地無線電存取(E-UTRA)，其可以使用長期演進(LTE)和/或先進LTE(LTE-A)和/或先進LTE Pro(LTE-A Pro)來建立空中介面3416。
在實施例中，基地台3414a和WTRU 3402a、3402b、3402c可以實施可以使用新無線電(NR)建立空中介面3416的無線電技術，例如NR無線電存取。
在實施例中，基地台3414a和WTRU 3402a、3402b、3402c可以實施多種無線電存取技術。例如，基地台3414a和WTRU 3402a、3402b、3402c可以共同實施LTE無線電存取和NR無線電存取(例如使用雙連接(DC)原理)。由此，WTRU 3402a、3402b、3402c使用的空中介面可以多種類型的無線電存取技術和/或向/從多種類型的基地台(例如，終端和gNB)發送的傳輸為特徵。
在其他實施例中，基地台3414a和WTRU 3402a、3402b、3402c可以實施以下的無線電技術，例如IEEE 802.11(即，無線保真度(WiFi))、IEEE 802.16(全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球移動通信系統(GSM)、用於GSM演進的增強資料速率(EDGE)、以及GSM EDGE(GERAN)等等。
圖34A中的基地台3414b可以例如是無線路由器、本地節點B、本地e節點B或存取點，並且可以使用任何適當的RAT來促成局部區域中的無線連接，例如營業場所、住宅、車輛、校園、工業設施、空中走廊(例如供無人機使用)以及道路等等。在一個實施例中，基地台3414b與WTRU 3402c、3402d可以通過實施IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在實施例中，基地台3414b與WTRU 3402c、3402d可以通過實施IEEE 802.15之類的無線電技術來建立無線個人區域網路(WPAN)。在再一個實施例中，基地台3414b和WTRU 3402c、3402d可通過使用基於蜂巢的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)來建立微微胞元或毫微微胞元。如圖34A所示，基地台3414b可以直連到網際網路3410。由此，基地台3414b不需要經由CN 3406/3415來存取網際網路3410。
RAN 3404/3413可以與CN 3406/3415進行通信，其可以是被配置成向WTRU 3402a、3402b、3402c、3402d的一者或多者提供語音、資料、應用和/或網際網路協定上的語音(VoIP)服務的任何類型的網路。該資料可以具有不同的服務品質(QoS)需求，例如不同的輸送量需求、潛時需求、容錯需求、可靠性需求、資料輸送量需求、以及移動性需求等等。CN 3406/3415可以提供呼叫控制、記帳服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等等，和/或可以執行使用者認證之類的高級安全功能。雖然在圖34A中沒有顯示，然而應該瞭解，RAN 1084/3413和/或CN 3406/3415可以直接或間接地和其他那些與RAN 3404/3413使用相同RAT或不同RAT的RAN進行通信。例如，除了與使用NR無線電技術的RAN 3404/3413相連之外，CN 3406/3415還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的別的RAN(未顯示)通信。
CN 3406/3415還可以充當供WTRU 3402a、3402b、3402c、3402d存取PSTN 3408、網際網路3410和/或其他網路3412的閘道。PSTN 3408可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路3410可以包括使用了共同通信協定(例如傳輸控制協定/網際網路協定(TCP/IP)網際網路協定族中的TCP、使用者資料包協定(UDP)和/或IP)的全球性互聯電腦網路及裝置之系統。該網路3412可以包括由其他服務操作者擁有和/或操作的有線或無線通訊網路。例如，該網路3412可以包括與一個或複數RAN相連的另一個CN，其可以與RAN 3404/3413使用相同RAT或不同RAT。
通信系統3400中的一些或所有WTRU 3402a、3402b、3402c、3402d可以包括多模式能力(例如WTRU 3402a、3402b、3402c、3402d可以包括在不同無線鏈路上與不同無線網路通信的複數收發器)。例如，圖34A所示的WTRU 3402c可被配置成與使用基於蜂巢的無線電技術的基地台3414a通信，以及與可以使用IEEE 802無線電技術的基地台3414b通信。
圖34B是示出了範例性WTRU 3402的系統圖式。如圖34B所示，WTRU 3402可以包括處理器3418、收發器3420、傳輸/接收元件3422、揚聲器/麥克風3424、小鍵盤3426、顯示器/觸控板3428、非可移記憶體3430、可移記憶體3432、電源3434、全球定位系統(GPS)晶片組3436和/或其他週邊設備3438等等。應該瞭解的是，在保持符合實施例的同時，WTRU 3402還可以包括前述元件的任何子組合。
處理器3418可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)以及狀態機等等。處理器3418可以執行信號寫碼、資料處理、功率控制、輸入/輸出處理、和/或其他任何能使WTRU 3402在無線環境中操作的功能。處理器3418可以耦合至收發器3420，收發器3420可以耦合至傳輸/接收元件3422。雖然圖34B將處理器3418和收發器3420描述成各別組件，然而應該瞭解，處理器3418和收發器3420也可以一起整合在一電子元件或晶片中。該處理器3418可被配置為編碼或解碼視訊(例如，視訊訊框)。
傳輸/接收元件3422可被配置成經由空中介面3416來傳輸或接收往或來自基地台(例如，基地台3414a)的信號。舉個例子，在一個實施例中，傳輸/接收元件3422可以是被配置成傳輸和/或接收RF信號的天線。作為範例，在另一實施例中，傳輸/接收元件3422可以是被配置成傳輸和/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施例中，傳輸/接收元件3422可被配置成傳輸和/或接收RF和光信號。應該瞭解的是，傳輸/接收元件3422可以被配置成傳輸和/或接收無線信號的任何組合。
雖然在圖34B中將傳輸/接收元件3422描述成是單個元件，但是WTRU 3402可以包括任何數量的傳輸/接收元件3422。更具體地說，WTRU 3402可以使用MIMO技術。由此，在一個實施例中，WTRU 3402可以包括兩個或複數經由空中介面3416來傳輸和接收無線信號的傳輸/接收元件3422(例如複數天線)。
收發器3420可被配置成對傳輸/接收元件3422所要傳送的信號進行調變，以及對傳輸/接收元件3422接收的信號進行解調。如上所述，WTRU 3402可以具有多模式能力。因此，收發器3420可以包括使WTRU 3402能借助多種RAT(例如NR和IEEE 802.11)來進行通信的複數收發器。
WTRU 3402的處理器3418可以耦合到揚聲器/麥克風3424、小鍵盤3426和/或顯示器/觸控板3428(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)，並且可以接收來自揚聲器/麥克風3424、小鍵盤3426和/或顯示器/觸控板3428(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)的使用者輸入資料。處理器3418還可以向揚聲器/麥克風3424、小鍵盤3426和/或顯示器/觸控板3428輸出使用者資料。此外，處理器3418可以從諸如非可移記憶體3430和/或可移記憶體3432之類的任何適當的記憶體中存取資訊，以及將資訊存入這些記憶體。非可移記憶體3430可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是其他任何類型的記憶存放裝置。可移記憶體3432可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他實施例中，處理器3418可以從那些並非實體位於WTRU 3402的記憶體存取資訊，以及將資料存入這些記憶體，作為範例，此類記憶體可以位於伺服器或家用電腦(未顯示)。
處理器3418可以接收來自電源3434的電力，並且可被配置分發和/或控制用於WTRU 3402中的其他組件的電力。電源3434可以是為WTRU 3402供電的任何適當裝置。例如，電源3434可以包括一個或複數乾電池組(如鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池以及燃料電池等等。
處理器3418還可以耦合到GPS晶片組3436，該GPS晶片組3436可被配置成提供與WTRU 3402的目前位置相關的位置資訊(例如經度和緯度)。除了或將GPS晶片組3436資訊取而代之的是，WTRU 3402可以經由空中介面3416接收來自基地台(例如基地台3414a、3414b)的位置資訊，和/或根據從兩個或複數附近基地台接收的信號定時來確定其位置。應該瞭解的是，在保持符合實施例的同時，WTRU 3402可以借助任何適當的定位方法來獲取位置資訊。
處理器3418還可以耦合到其他週邊設備3438，其中該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或複數軟體和/或硬體模組。例如，該週邊設備3438可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片和/或視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境和/或增強實境(VR/AR)裝置、以及活動跟蹤器等等。該週邊設備3438可以包括一個或複數感測器，該感測器可以是以下的一者或多者：陀螺儀、加速度計、霍爾效應感測器、磁力計、方位感測器、鄰近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸控感測器、磁力計、氣壓計、手勢感測器、生物測定感測器和/或濕度感測器等。
該WTRU 3402的處理器3418可以可操作地與各種週邊設備3438通信，該週邊設備3438包括例如以下中的任一者：該一個或複數加速計、該一個或複數陀螺儀、該USB埠、其他通信介面/埠、該顯示器和/或其他視訊/音訊指示器，以實現本文揭露的代表性實施例。
WTRU 3402可以包括全雙工無線電裝置，其中對於該無線電裝置來說，一些或所有信號(例如與用於UL(例如對傳輸而言)和下鏈(例如對接收而言)的特別子訊框相關聯)的接收或傳輸可以是並行和/或同時的。全雙工無線電裝置可以包括借助於硬體(例如扼流圈)或是憑藉處理器(例如各別的處理器(未顯示)或是憑藉處理器3418)的信號處理來減小和/或實質消除自干擾的干擾管理單元。在實施例中，WTRU 3402可以包括傳送和接收一些或所有信號(例如與用於UL(例如對傳輸而言)或下鏈(例如對接收而言)的特別子訊框相關聯)的半雙工無線電裝置。
圖34C是示出了根據實施例的RAN 3404和CN 3406的系統圖式。如上所述，RAN 3404可以經由空中介面3416使用E-UTRA無線電技術來與WTRU 3402a、3402b、3402c進行通信。該RAN 3404還可以與CN 3406進行通信。
RAN 3404可以包括e節點B 3460a、3460b、3460c，然而應該瞭解，在保持符合實施例的同時，RAN 3404可以包括任何數量的e節點B。e節點B 3460a、3460b、3460c每一者都可以包括經由空中介面3416與WTRU 3402a、3402b、3402c通信的一個或複數收發器。在一個實施例中，e節點B 3460a、3460b、3460c可以實施MIMO技術。由此，舉例來說，e節點B 3460a可以使用複數天線來向WTRU 3402a傳輸無線信號，和/或接收來自WTRU 3402a的無線信號。
e節點B 3460a、3460b、3460c每一者都可以關聯於一個特別胞元(未顯示)，並且可被配置成處理無線電資源管理決策、交接決策、UL和/或DL中的使用者排程等等。如圖34C所示，e節點B 3460a、3460b、3460c彼此可以經由X2介面進行通信。
圖34C所示的CN 3406可以包括移動性管理實體(MME)3462、服務閘道(SGW)3464以及封包資料網路(PDN)閘道(或PGW)3466。雖然每一前述元件都被描述成是CN 3406的一部分，然而應該瞭解，這其中的任一元件都可以由CN操作者之外的實體擁有和/或操作。
MME 3462可以經由S1介面連接到RAN 3404中的e節點B 3460a、3460b、3460c的每一者，並且可以充當控制節點。例如，MME 3462可以負責認證WTRU 3402a、3402b、3402c的使用者，承載啟動/去啟動處理，以及在WTRU 3402a、3402b、3402c的初始附著過程中選擇特別的服務閘道等等。MME 3462可以提供用於在RAN 3404與使用其他無線電技術(例如GSM和/或WCDMA)的其他RAN(未顯示)之間進行切換的控制平面功能。
SGW 3464可以經由S1介面連接到RAN 3404中的e節點B 3460a、3460b、3460c的每一者。SGW 3464通常可以路由和轉發往/來自WTRU 3402a、3402b、3402c的使用者資料封包。並且，SGW 3464還可以執行其他功能，例如在e節點B間的交接過程中錨定使用者平面，在DL資料可供WTRU 3402a、3402b、3402c使用時觸發尋呼處理，以及管理並儲存WTRU 3402a、3402b、3402c的上下文等等。
SGW 3464可以連接到PGW 146，其可以為WTRU 3402a、3402b、3402c提供封包交換網路(例如網際網路3410)存取，以便促成WTRU 3402a、3402b、3402c與賦能IP的裝置之間的通信。
CN 3406可以促成與其他網路的通信。例如，CN 3406可以為WTRU 3402a、3402b、3402c提供對電路切換式網路(例如PSTN 3408)的存取，以便促成WTRU 3402a、3402b、3402c與傳統的陸線通信裝置之間的通信。例如，CN 3406可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)或與之進行通信，並且該IP閘道可以充當CN 3406與PSTN 3408之間的介面。此外，CN 3406可以為WTRU 3402a、3402b、3402c提供針對該其他網路3412的存取，其可以包括其他服務操作者擁有和/或操作的其他有線和/或無線網路。
雖然在圖34A至圖34D中將WTRU描述成了無線終端，然而應該想到的是，在某些代表性實施例中，此類終端與通信網路可以使用(例如臨時或永久性)有線通信介面。
在代表性實施例中，該其他網路3412可以是WLAN。
採用基礎架構基本服務集(BSS)模式的WLAN可以具有用於該BSS的存取點(AP)以及與該AP相關聯的一個或複數站(STA)。該AP可以存取或是有介面到分散式系統(DS)或是將訊務送入和/或送出BSS的別的類型的有線/無線網路。源於BSS外部往STA的訊務可以通過AP到達並被遞送至STA。源自STA往BSS外部的目的地的訊務可被發送至AP，以便遞送到分別的目的地。處於BSS內部的STA之間的訊務可以通過AP來發送，例如在源STA可以向AP發送訊務並且AP可以將訊務遞送至目的地STA的情況下。處於BSS內部的STA之間的訊務可被認為和/或稱為點到點訊務。該點到點訊務可以在源與目的地STA之間(例如在其間直接)用直接鏈路建立(DLS)來發送。在某些代表性實施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。舉例來說，使用獨立BSS(IBSS)模式的WLAN不具有AP，並且處於該IBSS內部或是使用該IBSS的STA(例如所有STA)彼此可以直接通信。在這裡，IBSS通信模式有時可被稱為“特定(Ad-hoc)”通信模式。
在使用802.11ac基礎設施操作模式或類似的操作模式時，AP可以在固定通道(例如主通道)上傳送信標。該主通道可以具有固定寬度(例如20 MHz的頻寬)或是經由傳訊動態設定的寬度。主通道可以是BSS的操作通道，並且可被STA用來與AP建立連接。在某些代表性實施例中，所實施的可以是具有衝突避免的載波感測多重存取(CSMA/CA)(例如在802.11系統中)。對於CSMA/CA來說，包括AP在內的STA(例如每一個STA)可以感測主通道。如果特別STA感測到/偵測到和/或確定主通道繁忙，那麼該特別STA可以回退。在指定的BSS中，在任何指定時間都有一個STA(例如只有一個站)進行傳輸。
高輸送量(HT)STA可以使用寬度為40 MHz的通道來進行通信(例如借助於將20 MHz的主通道與20 MHz的相鄰或不相鄰通道相結合來形成寬度為40 MHz的通道)。
超高輸送量(VHT)STA可以支援寬度為20 MHz、40 MHz、80 MHz和/或160 MHz的通道。40 MHz和/或80 MHz通道可以藉由組合連續的20 MHz通道來形成。160 MHz通道可以藉由組合8個連續的20 MHz通道或者通過組合兩個不連續的80 MHz通道(這種組合可被稱為80+80配置)來形成。對於80+80配置來說，在通道編碼之後，資料可被傳遞並經過一個分段解析器，該分段解析器可以將資料非成兩個串流。在每一個串流上可以各別執行逆快速傅利葉變換(IFFT)處理以及時域處理。該串流可被映射在兩個80 MHz通道上，並且資料可以由執行傳輸的STA來傳輸。在執行接收的STA的接收器上，用於80+80配置的上述操作可以是相反的，並且組合資料可被發送至媒體存取控制(MAC)。
802.11af和802.11ah支援1 GHz以下的操作模式。相對於802.11n和802.11ac中使用的，在802.11af和802.11ah中通道操作頻寬和載波有所縮減。802.11af在TV白空間(TVWS)頻譜中支援5 MHz、10 MHz和20 MHz頻寬，並且802.11ah支援使用非TVWS頻譜的1 MHz、2 MHz、4 MHz、8 MHz和16 MHz頻寬。依照代表性實施例，802.11ah可以支援儀錶類型控制/機器類型通信(MTC)(例如巨集覆蓋區域中的MTC裝置)。MTC裝置可以具有能力，例如包含了支援(例如只支援)某些和/或有限頻寬在內的受限能力。MTC裝置可以包括電池，並且該電池的電池壽命高於臨界值(例如用於保持很長的電池壽命)。
可以支援複數通道和通道頻寬的WLAN系統(例如802.11n、802.11ac、802.11af以及802.11ah)包含了可被指定成主通道的通道。該主通道的頻寬可以等於BSS中的所有STA所支援的最大共同操作頻寬。主通道的頻寬可以由STA設定和/或限制，其中該STA源自在支援最小頻寬操作模式的BSS中操作的所有STA。在關於802.11ah的範例中，即使BSS中的AP和其他STA支援2  MHz、4  MHz、8  MHz、16  MHz和/或其他通道頻寬操作模式，但對支援(例如只支援)1 MHz模式的STA(例如MTC類型的裝置)來說，主通道的寬度可以是1 MHz。載波感測和/或網路分配向量(NAV)設定可以取決於主通道的狀態。如果主通道繁忙(例如因為STA(其只支援1 MHz操作模式)對AP進行傳輸)，那麼即使大多數的可用頻帶保持空閒並且可供使用，也可以認為整個可用頻帶繁忙。
在美國，可供802.11ah使用的可用頻帶是902  MHz到928  MHz。在韓國，可用頻帶是917.5 MHz到923.5 MHz。在日本，可用頻帶是916.5 MHz到927.5 MHz。依照國家碼，可用於802.11ah的總頻寬是6 MHz到26 MHz。
圖34D是示出了根據實施例的RAN 3413和CN 3415的系統圖式。如上所述，RAN 3413可以經由空中介面3416使用NR無線電技術來與WTRU 3402a、3402b、3402c進行通信。RAN 3413還可以與CN 3415進行通信。
RAN 3413可以包括gNB 3480a、3480b、3480c，但是應該瞭解，在保持符合實施例的同時，RAN 3413可以包括任何數量的gNB。gNB 3480a、3480b、3480c每一者都可以包括一個或複數收發器，以便經由空中介面3416來與WTRU 3402a、3402b、3402c通信。在一個實施例中，gNB 3480a、3480b、3480c可以實施MIMO技術。例如，gNB 3480a、3480b可以使用波束成形處理來向和/或從gNB 3480a、3480b、3480c傳輸和/或接收信號。由此，舉例來說，gNB 3480a可以使用複數天線來向WTRU 3402a傳輸無線信號，以及/或接收來自WTRU 3402a的無線信號。在實施例中，gNB 3480a、3480b、3480c可以實施載波聚合技術。例如，gNB 3480a可以向WTRU 3402a(未顯示)傳輸複數分量載波。這些分量載波的子集可以處於無授權頻譜上，而剩餘分量載波則可以處於授權頻譜上。在實施例中，gNB 3480a、3480b、3480c可以實施協作多點(CoMP)技術。例如，WTRU 3402a可以接收來自gNB 3480a和gNB 3480b(和/或gNB 3480c)的協作傳輸。
WTRU 3402a、3402b、3402c可以使用與可縮放參數配置相關聯的傳輸來與gNB 3480a、3480b、3480c進行通信。例如，對於不同的傳輸、不同的胞元和/或不同的無線傳輸頻譜部分來說，OFDM符號間距和/或OFDM子載波間距可以是不同的。WTRU 3402a、3402b、3402c可以使用具有不同或可縮放長度的子訊框或傳輸時間間隔(TTI)(例如包含了不同數量的OFDM符號和/或持續不同的絕對時間長度)來與gNB 3480a、3480b、3480c進行通信。
gNB 3480a、3480b、3480c可被配置成與採用獨立配置和/或非獨立配置的WTRU 3402a、3402b、3402c進行通信。在獨立配置中，WTRU 3402a、3402b、3402c可以在不存取其他RAN(例如，e節點B 3460a、3460b、3460c)的情況下與gNB 3480a、3480b、3480c進行通信。在獨立配置中，WTRU 3402a、3402b、3402c可以使用gNB 3480a、3480b、3480c中的一者或多者作為移動錨點。在獨立配置中，WTRU 3402a、3402b、3402c可以使用無授權頻帶中的信號來與gNB 3480a、3480b、3480c進行通信。在非獨立配置中，WTRU 3402a、3402b、3402c會在與別的RAN(例如e節點B 3460a、3460b、3460c)進行通信/相連的同時與gNB 3480a、3480b、3480c進行通信/相連。舉例來說，WTRU 3402a、3402b、3402c可以通過實施DC原理而以實質同時的方式與一個或複數gNB 3480a、3480b、3480c以及一個或複數e節點B 3460a、3460b、3460c進行通信。在非獨立配置中，e節點B 3460a、3460b、3460c可以充當WTRU 3402a、3402b、3402c的移動錨點，並且gNB 3480a、3480b、3480c可以提供附加的覆蓋和/或輸送量，以便為WTRU 3402a、3402b、3402c提供服務。
gNB 3480a、3480b、3480c每一者都可以關聯於特別胞元(未顯示)，並且可以被配置成處理無線電資源管理決策、交接決策、UL和/或DL中的使用者排程、支援網路截割、雙連接、實施NR與E-UTRA之間的交互工作、路由往使用者平面功能(UPF)3484a、3484b的使用者平面資料、以及路由往存取和移動性管理功能(AMF)3482a、3482b的控制平面資訊等等。如圖34D所示，gNB 3480a、3480b、3480c彼此可以經由Xn介面通信。
圖34D所示的CN 3415可以包括至少一個AMF 3482a、3482b，至少一個UPF 3484a、3484b，至少一個對話管理功能(SMF)3483a、3483b，並且有可能包括資料網路(DN)3485a、3485b。雖然每一前述元件都被描述成CN 3415的一部分，但是應該瞭解，這其中的任一元件都可以被CN操作者之外的實體擁有和/或操作。
AMF 3482a、3482b可以經由N2介面連接到RAN 3413中的gNB 3480a、3480b、3480c的一者或多者，並且可以充當控制節點。例如，AMF 3482a、3482b可以負責認證WTRU 3402a、3402b、3402c的使用者，支援網路截割(例如處理具有不同需求的不同協定資料單元(PDU)對話)，選擇特別的SMF 3483a、3483b，管理註冊區域，終止非存取層(NAS)傳訊，以及移動性管理等等。AMF 3482a、3482b可以使用網路截割處理，以便基於WTRU 3402a、3402b、3402c使用的服務類型來定制為WTRU 3402a、3402b、3402c提供的CN支援。作為範例，針對不同的用例，可以建立不同的網路截割，例如依賴於超可靠低潛時通信(URLLC)存取的服務、依賴於增強型移動(例如，大規模移動)寬頻(eMBB)存取的服務、和/或用於機器類通信(MTC)存取的服務等等。AMF 3462可以提供用於在RAN 3413與使用其他無線電技術(例如，LTE、LTE-A、LTE-A Pro和/或諸如WiFi之類的非3GPP存取技術)的其他RAN(未顯示)之間切換的控制平面功能。
SMF 3483a、3483b可以經由N11介面連接到CN 3415中的AMF 3482a、3482b。SMF 3483a、3483b還可以經由N4介面連接到CN 3415中的UPF 3484a、3484b。SMF 3483a、3483b可以選擇和控制UPF 3484a、3484b，並且可以通過UPF 3484a、3484b來配置訊務路由。SMF 3483a、3483b可以執行其他功能，例如管理和分配UE IP位址、管理PDU對話、控制策略實施和QoS，以及提供下鏈資料通知等等。PDU對話類型可以是基於IP的、不基於IP的，以及基於乙太網路的等等。
UPF 3484a、3484b可以經由N3介面連接RAN 3413中的gNB 3480a、3480b、3480c的一者或多者，這樣可以為WTRU 3402a、3402b、3402c提供對封包交換網路(例如網際網路3410)的存取，以便促成WTRU 3402a、3402b、3402c與賦能IP的裝置之間的通信。UPF 3484、3484b可以執行其他功能，例如路由和轉發封包、實施使用者平面策略、支援多連接(multi-homed)PDU對話、處理使用者平面QoS、緩衝下鏈封包、以及提供移動性錨定處理等等。
CN 3415可以促成與其他網路的通信。例如，CN 3415可以包括或者可以與充當CN 3415與PSTN 3408之間的介面的IP閘道(例如IP多媒體子系統(IMS)伺服器)進行通信。此外，CN 3415可以為WTRU 3402a、3402b、3402c提供針對其他網路3412的存取，其可以包括其他服務操作者擁有和/或操作的其他有線和/或無線網路。在一個實施例中，WTRU 3402a、3402b、3402c可以經由到UPF 3484a、3484b的N3介面以及介於UPF 3484a、3484b與資料網路(DN) 3485a、3485b之間的N6介面並通過UPF 3484a、3484b連接到本地DN 3485a、3485b。
有鑒於圖34A至圖34D以及關於圖34A至圖34D的相應描述，在這裡對照以下的一項或多項描述的一個或複數或所有功能可以由一個或複數模擬裝置(未顯示)來執行：WTRU 3402a-d、基地台3414a-b、e節點B 3460a-c、MME 3462、SGW 3464、PGW 3466、gNB 3480a-c、AMF 3482a-b、UPF 3484a-b、SMF 3483a-b、DN 3485a-b和/或這裡描述的一個或複數其他任何裝置。這些模擬裝置可以是被配置成模擬這裡描述的一個或複數或所有功能的一個或複數裝置。舉例來說，這些模擬裝置可用於測試其他裝置和/或模擬網路和/或WTRU功能。
模擬裝置可被設計成在實驗室環境和/或操作者網路環境中實施關於其他裝置的一項或多項測試。例如，該一個或複數模擬裝置可以在被完全或部分作為有線和/或無線通訊網路一部分實施和/或部署的同時執行一個或複數或所有功能，以便測試通信網路內部的其他裝置。該一個或複數模擬裝置可以在被臨時作為有線和/或無線通訊網路的一部分實施/部署的同時執行一個或複數或所有功能。該模擬裝置可以直接耦合到別的裝置以執行測試，和/或可以使用空中無線通訊來執行測試。
一個或複數模擬裝置可以在未被作為有線和/或無線通訊網路一部分實施/部署的同時執行包括所有功能在內的一個或複數功能。例如，該模擬裝置可以在測試實驗室和/或未被部署(例如測試)的有線和/或無線通訊網路的測試場景中使用，以便實施關於一個或複數組件的測試。該一個或複數模擬裝置可以是測試設備。該模擬裝置可以使用直接的RF耦合和/或借助RF電路(例如，該RF電路可以包括一個或複數天線)的無線通訊來傳輸和/或接收資料。
與前一代視訊寫碼標準H.264/MPEG AVC相比，HEVC標準為等效的感知品質提供了大約50%的位元速率節省。儘管該HEVC標準與其前身相比提供顯著的寫碼改進，但額外寫碼效率改進可用額外寫碼工具實現。聯合視訊探索小組(JVET)發起了開發新一代視訊寫碼標準(稱為通用視訊寫碼(VVC))的專案，例如以提供這種編碼寫碼改進，並且稱為VVC測試模型(VTM)的參考軟體代碼庫被建立，以用於演示VVC標準的參考實現。為了便於評估新的寫碼工具，還產生了稱為基準集(BMS)的另一個參考軟體庫。在該BMS代碼庫中，提供較高寫碼效率和中等實現複雜度的附加寫碼工具的清單被包括在該VTM之頂部上，並且在VVC標準化過程期間評估類似寫碼技術時被用作基準。除了整合在BMS-2.0中的JEM寫碼工具(例如，4×4不可分離的二次變換(NSST)、廣義雙預測(GBi)、雙向光流(BIO)、解碼器側運動向量精化(DMVR)和目前圖片參考(CPR))之外，它還包括柵狀寫碼量化工具(trellis coded quantization tool)。
根據代表性實施例的用於處理資料的系統和方法可由執行包含在記憶體裝置中的指令序列的一個或一個以上處理器來執行。這些指令可以從諸如輔助資料存放裝置(一個或複數)的其它電腦可讀媒體讀入該記憶體裝置。包含在該記憶體裝置中的指令序列的執行使得該處理器例如如上所述地操作。在替代實施例中，可以使用硬線電路來代替軟體指令或與軟體指令組合來實現一個或複數實施例。這樣的軟體可以在處理器上運行，該處理器被遠端地容納在機器人輔助/裝置(RAA)和/或另一移動裝置內。在後一種情況下，資料可以經由有線或無線方式在該RAA或包含感測器的其它移動裝置與包含該處理器的遠端裝置之間傳輸，該處理器運行執行如上所述的縮放估計和補償的軟體。根據其它代表性實施例，上文關於局部化(localization)描述的一些處理可在含有感測器/相機的裝置中執行，而其餘處理可在從含有該感測器/相機的該裝置接收經部分處理的資料之後在第二裝置中執行。
儘管上述按照特定組合描述了特徵和元件，但是本領域技術人員將理解的是每個特徵或元件可以被單獨使用或以與其它特徵和元件的任何組合來使用。此外，於此描述的方法可以在嵌入在電腦可讀媒體中由電腦或處理器執行的電腦程式、軟體或韌體中實施。非暫態電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、諸如內部硬碟和可移除磁片之類的磁媒體、磁光媒體、以及諸如CD-ROM碟片和數位多用途碟片(DVD)之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU 3402、UE、終端、基地台、RNC或任意主機電腦中使用的射頻收發器。
此外，在上述的實施方式中，提及了處理平臺、計算系統、控制器以及包含處理器的其他裝置。這些裝置可以包含至少一個中央處理單元(“CPU”)和記憶體。根據電腦程式設計領域的技術人員的實踐，對動作和操作或指令的符號描述的引用可以由各種CPU和記憶體執行。這些動作和操作或指令可以稱為“被執行”、“電腦執行”或“CPU執行”。
本領域技術人員可以理解動作和符號描述的操作或指令包括CPU對電信號的操縱。電氣系統表示可以代表資料位元，其使得電信號產生變換或還原以及資料位元在記憶體系統中的記憶體位置的維持由此以重新配置或其他方式改變CPU的操作以及信號的其他處理。維持資料位元的記憶體位置是具有對應於或代表資料位元的特定電、磁、光或有機屬性的實體位置。應當理解，代表性實施方式不限於上述的平臺或CPU且其他平臺和CPU可以支援提供的方法。
該資料位元也可以被維持在電腦可讀媒體上，其包括磁片、光碟以及任意其他揮發性(例如隨機存取記憶體(“RAM”))或非揮發性(例如唯讀記憶體(“ROM”))CPU可讀的大量儲存系統。電腦可讀媒體可以包括協作或互連的電腦可讀媒體，其專門存在於處理器系統上或分佈在可以是處理系統本地的或遠端的複數互連處理系統間。可以理解代表性實施方式不限於上述的記憶體且其他平臺和記憶體可以支援所描述的方法。應該理解的是，該代表性實施例並不限於上述平臺或CPU，及其他平臺及CPU也可支援所提供的方法。
在示出的實施方式中，這裡描述的操作、處理等的任意者可以被實施為儲存在電腦可讀媒體上的電腦可讀指令。該電腦可讀指令可以由移動單元、網路元件和/或任意其他計算裝置的處理器執行。
系統方面的硬體和軟體實施之間有一點區別。硬體或軟體的使用一般(但不總是，因為在某些環境中硬體與軟體之間的選擇可以是很重要的)是代表成本與效率折中的設計選擇。可以有影響這裡描述的過程和/或系統和/或其他技術的各種載體(例如，硬體、軟體、和/或韌體)，且優選的載體可以隨著部署的過程和/或系統和/或其他技術的上下文而改變。例如，如果實施方確定速度和精度是最重要的，則實施方可以選擇主要是硬體和/或韌體工具。如果靈活性是最重要的，則實施方可以選擇主要是軟體實施。可替換地，實施方可以選擇硬體、軟體和/或韌體的某種組合。
上述詳細描述通過使用框圖、流程圖和/或範例已經提出了裝置和/或過程的各種實施方式。在這些框圖、流程圖和/或範例包含一個或複數功能和/或操作的範圍內，本領域技術人員可以理解這些框圖、流程圖或範例內的每個功能和/或操作可以被寬範圍的硬體、軟體或韌體或實質上的其任意組合方式個別實施和/或一起實施。合適的處理器包括例如通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、複數微處理器、與DSP核心相關聯的一個或複數微處理器、控制器、微控制器、專用積體電路(ASIC)、專用標準產品(ASSP)；場可程式設計閘陣列(FPGA)電路、任意其他類型的積體電路(IC)和/或狀態機。
雖然以上以特定組合提供了特徵及元件，但本領域技術人員可以理解，每一特徵或元件可以被單獨使用或者與其他特徵及元件相組合而被使用。本揭露不限於本申請描述的特定實施方式，這些實施方式旨在作為各種方面的範例。在不背離其實質和範圍的情況下可以進行許多修改和變形，這些對本領域技術任意是所知的。本申請的描述中使用的元件、動作或指令不應被理解為對實施例是關鍵或必要的除非顯式說明。除了本文中列舉的這些方法和裝置本領域技術人員根據以上描述還可以知道在本揭露範圍內的功能上等同的方法和裝置。這些修改和變形也應落入所附申請專利範圍的範圍。本揭露僅由所附申請專利範圍限定，包括其等同的全面的範圍。應當理解本揭露不限於特定的方法或系統。
還應理解，本文所用的術語僅是為了描述特別實施例的目的，而不是旨在限制。如這裡所使用的，當這裡提及術語“站”及其縮寫“STA”、“使用者設備”及其縮寫“UE”時可以表示：(i)無線傳輸和/或接收單元(WTRU)，例如下面所描述的；(ii)WTRU的複數實施方式中的任一個，例如下文所描述的；(iii)一種具無線能力和/或具有線能力(例如可接線的)裝置，其配置有WTRU的一些或所有結構和功能，例如下文該；(iii)一種具有無線能力和/或有線能力的裝置，其被配置為具有少於WTRU的所有結構和功能的結構和功能，例如下文所描述的；或(iv)類似物。下面參考圖34A至圖34D提供了範例WTRU的細節，該範例WTRU可以代表這裡該的任何UE。
在某些代表性實施方式中，這裡描述的主題的一些部分可以經由專用積體電路(ASIC)、場可程式設計閘陣列(FPGA)、數位訊號處理器(DSP)和/或其他整合格式來實施。但是，本領域技術人員可以理解這裡揭露的實施方式的一些方面，其整體或部分，可以同等地由積體電路實施，作為在一個或複數電腦上運行的一個或複數電腦程式(例如作為在一個或複數電腦系統上運行的一個或複數程式)、作為在一個或複數處理器上運行的一個或複數程式(例如作為在一個或複數微處理器上運行的一個或複數程式)、作為韌體、或作為實質上地這些的任意組合，以及根據本揭露針對該軟體和/或韌體設計電路和/或寫代碼是本領域技術人員所知的。此外，本領域技術人員可以理解這裡描述的主題的機制可以被分佈為各種形式的程式產品，以及這裡描述的主題的範例性實施方式適用，不管用於實際執行該分佈的信號承載媒體的特別類型如何。信號承載媒體的範例包括但不限於以下：可記錄類型的媒體，例如軟碟、硬碟、CD、DVD、數位帶、電腦記憶體等，以及傳輸類型的媒體，例如數位和/或模擬通信媒體(例如光纖電纜、波導、有線通信鏈路、無線通訊鏈路等)。
這裡描述的主題有時示出了不同組件，其包含在或連接到不同的其他組件。可以理解這些描繪的架構僅是範例，且實際中實施相同的功能的許多其他架構可以被實施。在概念上，實施相同功能更的元件的任何安排有效地“相關聯”由此可以實施期望的功能。因此，這裡組合以實施特定功能的任意兩個組件可以視為彼此“相關聯”由此實施期望的功能，不管架構或中間組件如何。同樣地，相關聯的任意兩個元件也可以被視為彼此“操作上連接”或“操作上耦合”以實施期望的功能，以及任意兩個能夠這樣相關聯的組件也可以被視為彼此“操作上可耦合”以實施期望的功能。操作上可耦合的特定範例包括但不限於物理上可配對和/或物理上交互的組件和/或無線可交互的和/或無線交互的元件和/或邏輯上交互和/或邏輯上可交互的組件。
關於這裡使用基本上任何複數和/或單數術語，本領域技術人員可以在適合上下文和/或應用時從複數轉義到單數和/或從單數轉義到複數。為了清晰，這裡可以顯式提出各種單數/複數置換。
本領域技術人員可以理解一般地這裡使用的術語以及尤其在申請專利範圍中使用的術語(例如申請專利範圍的主體部分)一般是“開放性”術語(例如術語“包括”應當理解為“包括但不限於”，術語“具有”應當理解為“至少具有”，術語“包括”應當理解為“包括但不限於”等)。本領域技術人員還可以理解如果申請專利範圍要描述特定數量，則在申請專利範圍中會顯式描述，且在沒有這種描述的情況下不存在這種意思。例如，如果要表示僅一個項，則可以使用術語“單個”或類似的語言。為幫助理解，以下的申請專利範圍和/或這裡的描述可以包含前置短語“至少一個”或“一個或複數”的使用以引出申請專利範圍描述。但是，這些短語的使用不應當理解為暗示被不定冠詞“一”引出的申請專利範圍描述將包含這樣的被引出的申請專利範圍描述的任意特定申請專利範圍限定到包含僅一個這樣的描述的實施方式，即使在同一個申請專利範圍包括前置短語“一個或複數”或“至少一個”以及不定冠詞(例如“一”)(例如“一”應當被理解為表示“至少一個”或“一個或複數”)。對於用於引出申請專利範圍描述的定冠詞的使用也是如此。此外，即使引出的申請專利範圍描述的特定數量被顯式描述，但是本領域技術人員可以理解這種描述應當被理解為表示至少被描述的數量(例如光描述“兩個描述”沒有其他修改符，表示至少兩個描述，或兩個或更複數描述)。此外，在使用類似於“A、B和C等中的至少一者”的慣例的這些範例中，一般來說這種慣例是本領域技術人員理解的慣例(例如“系統具有A、B和C中的至少一者”可以包括但不限於系統具有僅A、僅B、僅C、A和B、A和C、B和C和/或A、B和C等)。在使用類似於“A、B或C等中的至少一者”的慣例的這些範例中，一般來說這種慣例是本領域技術人員理解的慣例(例如“系統具有A、B或C中的至少一者”可以包括但不限於系統具有僅A、僅B、僅C、A和B、A和C、B和C和/或A、B和C等)。本領域技術人員還可以理解表示兩個或更複數可替換項的實質上任何分隔的字和/或短語，不管是在說明書中、申請專利範圍還是附圖中，應當被理解為包括包含兩個項之一、任意一個或兩個項的可能性。例如，短語“A或B”被理解為包括“A”或“B”或“A”和“B”的可能性。此外，這裡使用的術語“任意”之後接列舉的複數項和/或多種項旨在包括該複數項和/或多種項的“任意”、“任意組合”、“任意複數”和/或“複數的任意組合”，單獨或與其他項和/或其他種項結合。此外，這裡使用的術語“集合”或“群組”旨在包括任意數量的項，包括零。此外，這裡使用的術語“數量”旨在包括任意數量，包括零。
此外，如果按照馬庫什組描述本揭露的特徵或方面，本領域技術人員可以理解也按照馬庫西組的任意單獨成員或成員子組來描述本揭露。
本領域技術人員可以理解，出於任意和所有目的，例如為了提供書面描述，這裡揭露的所有範圍還包括任意和所有可能的子範圍以及其子範圍的組合。任意列出的範圍可以容易被理解為足以描述和實施被分成至少相等的兩半、三份、四份、五份、十份等的相同範圍。作為非限制性範例，這裡描述的每個範圍可以容易被分成下三分之一、中三分之一和上三分之一等。本領域技術人員還可以理解諸如“多至”、“至少”、“大於”、“小於”等的所有語言包括描述的數位並至可以隨之被分成上述的子範圍的範圍。最後，本領域技術人員可以理解，範圍包括每個單獨的成員。因此，例如具有1-3個胞元的群組和/或集合指具有1、2、或3個胞元的群組/集合。類似地，具有1-5個胞元的群組/集合指具有1、2、3、4或5個胞元的群組/集合等等。
此外，申請專利範圍不應當理解為限制到提供的順序或元件除非描述有這種效果。此外，在任意申請專利範圍中術語“用於…的裝置” 的使用旨在援引35 U.S.C. §112, ¶ 6或手段功能用語的申請專利範圍格式，沒有術語“用於…的裝置”的任意申請專利範圍不具有此種意圖。
與軟體相關聯的處理器可以用於實施在無線傳輸/接收單元(WTRU)、使用者設備(UE)、終端、基地台、移動管理實體(MME)或演進封包核心(EPC)或任何主機電腦中使用的射頻收發器。WTRU可以結合以硬體和/或軟體實施的模組(包括軟體定義無線電(SDR))和其他組件，該組件例如是相機、視訊相機模組、視訊電話、對講電話、振動裝置、揚聲器、麥克風、電視收發器、免持耳機、小鍵盤、藍牙®模組、調頻(FM)無線電單元、近場通信(NFC)模組、液晶顯示(LCD)顯示單元、有機發光二極體(OLED)顯示單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器和/或任意無線區域網路(WLAN)或超寬頻(UWB)模組。
在整個揭露中，技術人員理解，某些代表性實施例可以替代地或與其它代表性實施例組合地使用。
另外，在此所述的方法可以在結合在電腦可讀媒體中的電腦程式、軟體或韌體中實施，以由電腦或處理器執行。非暫態電腦可讀儲存媒體的範例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、諸如內部硬碟和可移除磁片之類的磁媒體、磁光媒體、以及諸如CD-ROM碟片和數位多用途碟片(DVD)之類的光媒體。與軟體相關聯的處理器可用於實施用於WTRU、UE、終端、基地台、RNC和任何主機電腦的射頻收發器。
100:編碼器 102:輸入視訊訊號 104、310:變換 106、312:量化 108:熵寫碼單元 110、210、316、512:逆量化 112、212、318、514:逆變換 116:目前視訊塊 120、202、324:輸出視訊位元串流 160、260、306、506:空間預測 162、262:時間預測 164、264、322、406、510、606:參考圖像儲存庫 166、266、320、518:迴路濾波器 200:視訊解碼器 208:熵解碼單元 300:編碼器 314:熵寫碼模組 400:GBi估計模組 401:輸入視訊塊 502:位元串流 504:熵解碼器 600:GBi預測模組 602:加權平均模組 604:運動補償模組 608:間預測信號 700:目前塊 702、704:預測塊 810、820、910、920、930:控制點 1010:寫碼塊 1100、1610、1620、1630、1640:子塊 1200、1210、1220:區域 1410、1420:緊鄰運動向量 1600:寫碼單元(CU) 1650:子塊MV 1670:精化MV 1710:陰影圓圈 1720:非陰影圓圈 1730:框 1740:樣本 3400:通信系統 3402、3402a、3402b、3402c、3402d:無線傳輸/接收單元(WTRU) 3404、3413:無線電存取網路(RAN) 3406、3415:核心網路(CN) 3408:公共交換電話網路(PSTN) 3410:網際網路 3412:其他網路 3414a、3414b:基地台 3416:空中介面 3418:處理器 3420:收發器 3422:傳輸/接收元件 3424:揚聲器/麥克風 3426:小鍵盤 3428:顯示器/觸控板 3430:非可移記憶體 3432:可移記憶體 3434:電源 3436:全球定位系統(GPS)晶片組 3438:週邊設備 3460a、3460b、3460c:e節點B 3462:移動性管理實體(MME) 3464:服務閘道 3466:封包資料網路(PDN)閘道 3480a、3480b、3480c:gNB 3482a、3482b:移動性管理功能(AMF) 3483a、3483b:對話管理功能(SMF) 3484a、3484b:路由往使用者平面功能(UPF) 3485a、3485b:資料網路(DN) GBi:廣義雙預測 MV:運動向量 RMVF:迴歸的運動向量場 SbTMVP:子塊的時間運動向量預測 VVC:通用視訊寫碼
從以下結合附圖以範例方式給出的詳細描述中可以獲得更詳細的理解。說明書中的附圖中是範例。因此，附圖和詳細描述不應被認為是限制性的，並且其它等效的範例是可行的並且是可能的。此外，圖中的相同參考標號指示相同元件，且其中： 圖1是示出了代表性的基於塊的視訊編碼系統的框圖； 圖2是示出了代表性的基於塊的視訊解碼器的框圖； 圖3是示出了具有廣義雙預測(generalized bi-prediction, GBi)支援的代表性基於塊的視訊編碼器的框圖； 圖4是示出了用於編碼器的代表性GBi模組的示意圖； 圖5是示出了具有GBi支援的代表性基於塊的視訊解碼器的示意圖； 圖6是示出了用於解碼器的代表性GBi模組的示意圖； 圖7是示出了代表性雙向光流的示意圖； 圖8A和圖8B是示出了代表性四參數仿射模式的示意圖； 圖9是示出了代表性六參數仿射模式的示意圖； 圖10是示出了代表***織預測程序的示意圖； 圖11是示出了子塊中的代表性權重值(例如，與像素相關聯)的示意圖； 圖12是示出了應用交織預測的區域和不應用該交織預測的其他區域的示意圖； 圖13A和圖13B是示出了SbTMVP過程的示意圖； 圖14是示出了可用於運動參數導出的相鄰運動塊(例如，4×4運動塊)的示意圖； 圖15是示出了可用於運動參數導出的相鄰運動塊的示意圖； 圖16是示出了在基於子塊的仿射運動補償預測之後的子塊MV與像素級MV的差異
Figure 02_image001
的示意圖； 圖17A為示出了確定對應於子塊的實際中心的MV的代表性過程的示意圖； 圖17B是示出了4:2:0色度格式的色度樣本的位置的示意圖； 圖17C是示出了一擴展預測子塊的示意圖； 圖18A是示出了第一代表性編碼/解碼方法的流程圖； 圖18B是示出了第二代表性編碼/解碼方法的流程圖； 圖19是示出了第三代表性編碼/解碼方法的流程圖； 圖20是示出了***表性編碼/解碼方法的流程圖； 圖21是示出了第五代表性編碼/解碼方法的流程圖； 圖22是示出了第六代表性編碼/解碼方法的流程圖； 圖23是示出了第七代表性編碼/解碼方法的流程圖； 圖24是示出了第八代表性編碼/解碼方法的流程圖； 圖25是示出了代表性梯度計算方法的流程圖； 圖26是示出了第九代表性編碼/解碼方法的流程圖； 圖27是示出了第十代表性編碼/解碼方法的流程圖； 圖28是示出了第十一代表性編碼/解碼方法的流程圖； 圖29是示出了代表性編碼方法的流程圖； 圖30是示出了另一代表性編碼方法的流程圖； 圖31是示出了第十二代表性編碼/解碼方法的流程圖； 圖32是示出了第十三代表性編碼/解碼方法的流程圖； 圖33是示出了第十四代表性編碼/解碼方法的流程圖； 圖34A是示出了可以實施所揭露的一個或複數實施例的範例性通信系統的系統圖式； 圖34B是示出了根據實施例的可以在圖34A所示的通信系統內部使用的範例性無線傳輸/接收單元(WTRU)的系統圖式； 圖34C是示出了根據實施例的可以在圖34A所示的通信系統內部使用的範例性無線電存取網路(RAN)和範例性核心網路(CN)的系統圖式；以及 圖34D是示出了根據實施例的可以在圖34A所示的通信系統內部使用的另一個範例性RAN和另一個範例性CN的系統圖式。

Claims (35)

  1. 一種解碼方法，該方法包括： 針對該視訊的一目前塊，獲得一基於子塊的運動預測信號； 獲得一個或複數運動向量差值或該基於子塊的運動預測信號的一個或複數空間梯度； 基於該一個或複數所獲得的空間梯度或該一個或複數所獲得的運動向量差值，獲得該目前塊的一精化信號； 基於該基於子塊的運動預測信號和該精化信號，獲得該目前塊的精化運動預測信號；以及 基於該精化運動預測信號，該目前塊進行解碼。
  2. 一種對一視訊進行解碼的方法，該方法包括： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定該基於子塊的運動預測信號的一個或複數空間梯度， 基於該所確定的空間梯度，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來解碼該視訊。
  3. 一種對一視訊進行編碼的方法，該方法包括： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定該基於子塊的運動預測信號的一個或複數空間梯度， 基於該所確定的空間梯度，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來對該視訊進行編碼。
  4. 如請求項2或請求項3所述的方法，其進一步包括確定與該基於子塊的運動預測信號的該目前塊的一子塊的樣本位置相關聯的一組運動向量差值。
  5. 一種對一視訊進行解碼的方法，該方法包括： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定與該目前塊的一子塊相關聯的一組運動向量差值， 基於該所確定的一組運動向量差值，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來解碼該視訊。
  6. 一種對一視訊進行編碼的方法，該方法包括： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定與該目前塊的一子塊相關聯的一組運動向量差值， 基於該所確定的一組運動向量差值，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來對該視訊進行編碼。
  7. 如請求項5或請求項6所述的方法，其進一步包括確定該基於子塊的運動預測信號的一個或複數空間梯度。
  8. 如請求項4所述的方法，其中該基於子塊的運動預測信號的該所確定一個或複數空間梯度和該所確定的一組運動向量差值用於確定該目前塊的該運動預測精化信號。
  9. 如請求項5或請求項6所述的方法，其中通過使用針對該目前塊的一仿射運動模型，該基於子塊的運動預測信號被產生，並且該一組運動向量差值被確定。
  10. 如請求項5或請求項6所述的方法，其中該一組運動向量差值是針對該目前塊的一子塊而被確定的，並且被用於確定針對該目前塊的一個或複數進一步的子塊的該運動預測精化信號。
  11. 如請求項2或請求項3所述的方法，其中該基於子塊的運動預測信號的該一個或複數空間梯度的該確定包括計算該基於子塊的運動預測信號的至少一個子塊中的每一分別樣本位置的至少一個梯度值。
  12. 如請求項2或請求項3所述的方法，其中該確定該基於子塊的運動預測信號的該一個或複數空間梯度包括： 對於該目前塊的一個或複數分別子塊： 使用該基於子塊的運動預測信號和鄰接並圍繞該分別子塊的鄰近參考樣本來確定一擴展子塊；以及 使用該所確定的擴展子塊來確定該分別子塊的空間梯度，以確定該運動預測精化信號。
  13. 如請求項2或請求項3所述的方法，其中： 該確定該基於子塊的運動預測信號的一個或複數空間梯度包括：確定與一第一參考圖像相關聯的一第一組空間梯度以及與一第二參考圖像相關聯的一第二組空間梯度；以及 基於該所確定的空間梯度之該目前塊的該運動預測精化信號之該確定包括：基於該第一和第二組空間梯度和權重資訊，確定該目前塊的一運動間預測精化信號。
  14. 請求項3、請求項5或請求項6所述的方法，其中該精化運動預測信號是使用一個或複數利用光流的預測精化(PROF)操作而產生的一精化運動間預測信號。
  15. 請求項3、請求項5或請求項6所述的方法，其進一步包括確定該視訊的該目前塊的仿射運動模型參數，使得該基於子塊的運動預測信號通過使用該所確定仿射運動模型參數而被產生。
  16. 請求項3、請求項5或請求項6所述的方法，其中該計算該基於子塊的運動預測信號的至少一個子塊中的每一分別樣本位置的該至少一個梯度值包括：針對每一分別樣本位置，將一梯度濾波器應用於該基於子塊的運動預測信號的該至少一個子塊中的該分別樣本位置。
  17. 如請求項5或請求項6所述的方法，其中針對該目前塊的該運動預測精化信號的該確定使用針對該目前塊的一個或複數子塊的每個分別樣本位置的至少一個梯度值和該所確定的一組運動向量差值。
  18. 一種編碼或解碼一視訊的方法，包括： 對於包括複數子塊的一目前塊： 使用至少用於該目前塊的一第一子塊的一第一運動向量和用於該目前塊的一第二子塊的一進一步的運動向量，產生一基於子塊的運動預測信號， 計算用於該基於子塊的運動預測信號的該第一子塊中的一第一樣本位置的一第一組梯度值和用於該基於子塊的運動預測信號的該第一子塊中的一第二樣本位置的一不同的第二組梯度值，以及 確定用於該第一樣本位置的一第一組運動向量差值和用於該第二樣本位置的一不同的第二組運動向量差值，其中用於該第一樣本位置的該第一組運動向量差值指示該第一樣本位置處的一運動向量與該第一子塊的該運動向量之間的一差，且用於一第二樣本位置的該第二組運動向量差值指示該第二樣本位置處的一運動向量與該第一子塊的該運動向量之間的一差； 使用該第一和第二組梯度值以及該第一和第二組運動向量差值，確定一預測精化信號； 將該基於子塊的運動預測信號與該預測精化信號組合以產生一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來對該視訊進行編碼或解碼。
  19. 一種被配置為解碼一視訊的解碼器，包括： 一處理器，其被配置為： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定該基於子塊的運動預測信號的一個或複數空間梯度， 基於該所確定的空間梯度，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來解碼該視訊。
  20. 一種被配置以編碼一視訊的編碼器，其包括： 一處理器，其被配置為： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定該基於子塊的運動預測信號的一個或複數空間梯度， 基於該所確定的空間梯度，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來編碼該視訊。
  21. 如請求項19或請求項20所述的解碼器或編碼器，其中該處理器被配置為確定與該基於子塊的運動預測信號的該目前塊的一子塊的樣本位置相關聯的一組運動向量差值。
  22. 一種被配置為解碼一視訊的解碼器，包括： 一處理器，其被配置為： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定與該目前塊的一子塊相關聯的一組運動向量差值； 基於該一組運動向量差值，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來解碼該視訊。
  23. 一種被配置為編碼一視訊的編碼器，其包括： 一處理器，其被配置為： 對於該視訊的一目前塊： 產生一基於子塊的運動預測信號， 確定與該目前塊的一子塊相關聯的一組運動向量差值； 基於該一組運動向量差值，確定該目前塊的一運動預測精化信號，以及 組合該基於子塊的運動預測信號和該運動預測精化信號，以產生該目前塊的一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來編碼該視訊。
  24. 如請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為確定該基於子塊的運動預測信號的一個或複數空間梯度。
  25. 如請求項21所述的解碼器或編碼器，其中該處理器被配置為確定該目前塊的該子塊的該一組運動向量差值，其被用於確定該目前塊的一個或複數進一步的子塊的該運動預測精化信號。
  26. 如請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為使用用於該目前塊的一仿射運動模型來產生該基於子塊的運動預測信號，並且確定該一組運動向量差值。
  27. 如請求項19或請求項20所述的解碼器或編碼器，其中該處理器被配置為針對該基於子塊的運動預測信號的至少一個子塊中的每個分別樣本位置，計算至少一個梯度值。
  28. 如請求項19或請求項20所述的解碼器或編碼器，其中該處理器被配置為： 對於該目前塊的一個或複數分別子塊： 使用該基於子塊的運動預測信號和鄰接並圍繞該分別子塊的鄰近參考樣本，確定一擴展子塊；以及 使用該所確定的擴展子塊來確定該分別子塊的空間梯度，以確定該運動預測精化信號。
  29. 如請求項19或請求項20所述的解碼器或編碼器，其中該處理器被配置為： 確定與一第一參考圖像相關聯的一第一組空間梯度以及與一第二參考圖像相關聯的一第二組空間梯度；以及 基於該第一和第二組空間梯度及權重資訊，確定該目前塊的一運動間預測精化信號。
  30. 如請求項19、請求項20、請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為使用一個或複數利用光流的預測精化(PROF)操作來產生一精化運動間預測信號。
  31. 如請求項19、請求項20、請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為確定該視訊的該目前塊的仿射運動模型參數，使得該基於子塊的運動預測信號通過使用該所確定的仿射運動模型參數而被產生。
  32. 如請求項19、請求項20、請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為：針對每個分別樣本位置，將一梯度濾波器應用於該基於子塊的運動預測信號的該至少一個子塊中的該分別樣本位置。
  33. 如請求項22或請求項23所述的解碼器或編碼器，其中該處理器被配置為使用該目前塊的一個或複數子塊的每個分別樣本位置的至少一個梯度值和該一組運動向量差值，確定該目前塊的該運動預測精化信號。
  34. 如請求項21所述的解碼器或編碼器，其中該處理器被配置為使用該基於子塊的運動預測信號的該一個或複數空間梯度和該一組運動向量差值，確定該目前塊的該運動預測精化信號。
  35. 一種被配置為編碼或一解碼視訊的編碼器或解碼器，包括： 一處理器，其被配置為： 對於包括複數子塊的一目前塊： 使用至少用於該目前塊的一第一子塊的一第一運動向量和用於    該目前塊的一第二子塊的一另一運動向量，產生一基於子塊的運動預測信號， 計算針對該基於子塊的運動預測信號的該第一子塊中的一第一樣本位置的一第一組梯度值和針對該基於子塊的運動預測信號的該第一子塊中的一第二樣本位置的一不同的第二組梯度值，以及 確定針對該第一樣本位置的一第一組運動向量差值和針對該第二樣本位置的一不同的第二組運動向量差值，其中針對一第一樣本位置的該第一組運動向量差值指示該第一樣本位置處的一運動向量與該第一子塊的該運動向量之間的一差，且針對一第二樣本位置的該第二組運動向量差值指示該第二樣本位置處的一運動向量與該第一子塊的該運動向量之間的一差； 使用該第一和第二組梯度值以及該第一和第二組運動向量差值，確定一預測精化信號； 將該基於子塊的運動預測信號與該預測精化信號組合，以產生一精化運動預測信號；以及 使用該精化運動預測信號作為對該目前塊的該預測來編碼或解碼該視訊。
TW109103650A 2019-02-07 2020-02-06 光流相互預測精化裝置及方法 TWI846813B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962802428P 2019-02-07 2019-02-07
US62/802,428 2019-02-07
US201962814611P 2019-03-06 2019-03-06
US62/814,611 2019-03-06
US201962833999P 2019-04-15 2019-04-15
US62/833,999 2019-04-15

Publications (2)

Publication Number Publication Date
TW202046736A true TW202046736A (zh) 2020-12-16
TWI846813B TWI846813B (zh) 2024-07-01

Family

ID=

Also Published As

Publication number Publication date
JP2022519358A (ja) 2022-03-23
MX2021009333A (es) 2021-10-13
SG11202108295YA (en) 2021-08-30
DK3922025T3 (da) 2023-07-24
US20230291927A1 (en) 2023-09-14
WO2020163319A1 (en) 2020-08-13
CN114666582A (zh) 2022-06-24
CN113383551A (zh) 2021-09-10
US11695950B2 (en) 2023-07-04
IL285212A (en) 2021-09-30
IL285212B2 (en) 2024-06-01
HUE062450T2 (hu) 2023-11-28
IL285212B1 (en) 2024-02-01
ES2950165T3 (es) 2023-10-05
IL309973A (en) 2024-03-01
JP7307184B2 (ja) 2023-07-11
FI3922025T3 (fi) 2023-07-07
ZA202105444B (en) 2023-12-20
PL3922025T3 (pl) 2023-09-11
BR112021015598A2 (pt) 2021-10-05
KR102612975B1 (ko) 2023-12-11
EP3922025A1 (en) 2021-12-15
JP2023130415A (ja) 2023-09-20
US20220210462A1 (en) 2022-06-30
EP4221223A1 (en) 2023-08-02
AU2020219836A1 (en) 2021-08-26
EP3922025B1 (en) 2023-05-24
KR20230170987A (ko) 2023-12-19
KR20210133956A (ko) 2021-11-08
CA3129080A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
TWI785188B (zh) 基於區域照明補償運動補償預測
KR102653715B1 (ko) 양방향 광학 흐름에 기반한 모션 보상 예측
US20230108208A1 (en) Complexity reduction of overlapped block motion compensation
JP7398442B2 (ja) ビデオコーディングのための双予測
US20230188748A1 (en) Bi-directional optical flow method with simplified gradient derivation
US11425418B2 (en) Overlapped block motion compensation
JP7307184B2 (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
TWI835958B (zh) 對稱運動向量差寫碼的裝置及方法
TW201724854A (zh) 使用交叉平面濾波增強色度編碼
US20220191502A1 (en) Methods and apparatus for prediction refinement for decoder side motion vector refinement with optical flow
JP7495433B2 (ja) オプティカルフローを用いたブロック境界予測リファインメント
TWI846813B (zh) 光流相互預測精化裝置及方法
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока