TW201841507A - 基於幾何填充360度視訊預測編碼 - Google Patents

基於幾何填充360度視訊預測編碼 Download PDF

Info

Publication number
TW201841507A
TW201841507A TW107109184A TW107109184A TW201841507A TW 201841507 A TW201841507 A TW 201841507A TW 107109184 A TW107109184 A TW 107109184A TW 107109184 A TW107109184 A TW 107109184A TW 201841507 A TW201841507 A TW 201841507A
Authority
TW
Taiwan
Prior art keywords
block
sub
face
sample
current block
Prior art date
Application number
TW107109184A
Other languages
English (en)
Inventor
修小玉
何玉文
言 葉
Original Assignee
美商Vid衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Vid衡器股份有限公司 filed Critical 美商Vid衡器股份有限公司
Publication of TW201841507A publication Critical patent/TW201841507A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

視訊編碼系統(例如,編碼器及/或解碼器)可針對360度視訊執行基於面的子塊運動補償以對樣本(例如,子塊的樣本)進行預測。該視訊編碼系統可接收360度視訊內容。該360度視訊內容可包括目前塊。該目前塊可包括多個子塊。該系統可確定子塊模式是否被用於該目前塊。該系統可基於子塊級面關聯而對目前塊中的樣本進行預測。對於目前塊中的第一子塊,該系統可識別該第一子塊的第一位置。該系統可基於所識別的該第一子塊的第一位置而將該第一子塊與第一面相關聯。該系統可基於與該第一子塊相關聯的第一面而對該第一子塊中的第一樣本進行預測。

Description

基於幾何填充360度視訊預測編碼
相關申請案的交叉引用 本申請案要求2017年3月17日提出的美國臨時申請案No. 62/473,105的權益,該申請案的內容作為參考而被結合於此。
虛擬實境(VR)已開始進入我們的日常生活。例如,VR已在許多領域存在許多應用,包括但不限於醫療健康、教育、社交網路、工業設計/訓練、遊戲、電影、購物、及/或娛樂。VR可藉由在觀看者周圍創建虛擬環境而帶來沉浸式觀看體驗。VR可為觀看者產生身臨其境的真實感受。使用者的體驗可依賴於例如在VR環境中提供完全真實的感受。例如,VR系統可支援經由姿勢、手勢、眼睛注視及/或聲音的交互作用。該VR系統可向使用者提供觸覺回饋以允許使用者以自然方式與VR世界中的物件進行交互作用。VR系統可使用360度視訊以向使用者提供例如從水平方向上的360度角度及/或垂直方向上的180度觀看場景的能力。該VR系統及/或360度視訊可為超出例如超高畫質(UHD)服務之外的媒體消費。
視訊編碼系統可執行針對360度視訊的基於面的子塊運動補償,以預測子塊的一個或多個樣本。該視訊編碼系統可包括編碼器及/或解碼器。該視訊編碼系統可接收360度視訊內容。該360度視訊內容可包括多個面。例如,該360度視訊內容可包括被佈置在訊框打包(frame-packed)圖像中的多個面。該360度視訊內容可包括目前塊。該目前塊可包括一個或多個子塊。例如,該目前塊可被分割為一個或多個子塊。可針對該360度視訊內容執行子塊級面關聯。例如,當子塊模式被用於該目前塊時,可基於與該360度視訊內容相關聯的該訊框封裝圖像中的子塊(一個或多個)的位置(一個或多個)來執行子塊級面關聯。
在範例中,該子塊模式可包括以下至少一者:高級時間運動向量預測(ATMVP)模式、空間時間運動向量預測(STMVP)模式、訊框率上轉換(FRUC)模式、或仿射模式。
該視訊編碼系統可確定該目前塊是否包括位於與該360度視訊內容相關聯的多個面上的樣本。該系統可預測該目前塊中的一個或多個樣本。例如,該系統可基於子塊級面關聯預測該目前塊中的一個或多個樣本。該系統可在該多個面上執行幾何填充(geometry padding)。該面可包括與該面相關聯的填充區域。例如,第一面可包括與該第一面相關聯的填充區域。
在範例中,對於該目前塊中的第一子塊,該系統可識別該第一子塊的第一位置。該系統可將該第一子塊與第一面相關聯。例如,該系統可基於該第一子塊的所識別的第一位置,將該第一子塊與該第一面相關聯。該系統可預測該第一子塊中的第一樣本。例如,該系統可基於與該第一子塊相關聯的該第一面來預測該第一子塊中的第一樣本。
該系統可藉由識別與該第一面相關聯的參考樣本來預測與該第一子塊相關聯的該第一樣本。例如,該系統可使用運動向量來識別與該第一面相關聯的參考樣本。該系統可基於所識別的參考樣本來預測該第一子塊中的該第一樣本。例如,該系統可使用所識別的參考樣本來預測該第一子塊中的該第一樣本。所識別的參考樣本可與該第一面或該第一面的填充區域相關聯。例如,所識別的參考樣本可位於該第一面、或該第一面的填充區域中。
在範例中,對於該目前塊的第二子塊,該系統可識別該第二子塊的第二位置。該系統可將該第二子塊與第二面相關聯。例如,該系統可基於所識別的該第二子塊的第二位置以將該第二子塊與該第二面相關聯。該系統可預測該第二子塊中的第二樣本。例如,該系統可基於與該第二子塊相關聯的第二面來預測該第二子塊中的第二樣本。在此所述的第二面不同於該第一面。
如果該第一子塊與該第一面相關聯且第二子塊與第二面相關聯且該第一面不同於該第二面,則該系統可使用與該第一面相關聯的第一參考樣本來預測該第一樣本、並且可使用與該第二面相關聯的第二參考樣本來預測該第二樣本。
現將參考多種附圖描述說明性實施例的詳細描述。雖然本說明書提供了可能實施的詳細範例,但應該注意的是,這些細節是出於範例的目的而非限制本申請案的範圍。
改善VR中的360度視訊品質及/或針對用戶端互用性而標準化處理鏈已受一個或多個小組的關注。例如,已在ISO/IEC/MPEG中設立了屬於MPEG-A(多媒體應用格式)Part-19的專案小組以致力於針對全向媒體應用格式的需求及/或技術。例如,特設小組免費觀看TV(FTV)以針對360度3D視訊應用進行了開發性實驗。FTV以針對基於360度視訊(例如,全向視訊)的系統及/或基於多視角的系統進行了測試。例如,來自MPEG及ITU-T的聯合視訊開發團隊(JVET)已測試了包括針對視訊編碼標準的VR的序列。聯合開發模型(JEM)(其被設計為增強高效視訊編碼(HEVC)以外的2D視訊的編碼效率)可用於360度視訊編碼的開發操作。計畫通過視訊壓縮技術來發佈初步證據請求(cfE),其中VR及/或360度視訊可作為視訊源內容類別而被包括。
可對VR處理鏈中的一個或多個方面(包括擷取、處理、顯示、及/或應用)的品質及/或使用者體驗進行改善。例如,在擷取側,VR系統可使用一個或多個攝影機以從一個或多個不同視圖(例如,6-12個視圖)擷取場景。該不同的視圖可被拼接在一起以形成高解析度(例如,4K或8K)360度視訊。例如,在用戶端或使用者側,該VR系統可包括計算平臺、頭戴式顯示器(HMD)、及/或頭部追蹤感測器。該計算平臺可接收及/或解碼該360度視訊、並且可產生用於顯示的視埠。兩個圖像(一個圖像針對一個眼睛)可針對該視埠而被呈現。該兩個圖像可在HMD中被顯示以用於立體觀看。可使用透鏡來放大在該HMD中顯示的圖像,例如以達到更好的觀看。該頭部追蹤感測器可保持(例如,持續保持)追蹤觀看者的頭部朝向。頭部追蹤感測器可將該朝向資訊饋送到該系統以顯示針對該朝向的視埠圖像。VR系統可為觀看者提供觸摸式裝置(例如,專用觸摸式裝置),例如以與虛擬世界中的物件進行交互作用。在範例中,VR系統可由具有GPU支援的工作站來驅動。在範例中,VR系統可使用智慧手機作為計算平臺、HMD顯示器、及/或頭部追蹤感測器。空間HMD解析度可為2160x1200。復新率可為90 Hz,且視場(FOV)可為110度。頭部追蹤感測器的取樣速率可為1000 Hz,其可擷取快速(例如,非常快)運動。VR系統的範例可使用智慧手機作為計算平臺、並可包括透鏡及/或卡板。可存在360度視訊流服務。
360度視訊傳遞可使用球面幾何結構來展示360度資訊。例如,一個或多個攝影機所擷取的同步的一個或多個視圖可在球面上被拼接為完整結構。可使用幾何轉換過程以將球面資訊投影到2D平面表面上。例如,可使用等距柱狀投影(ERP)及/或立方體貼圖投影(CMP)來說明投影格式。
ERP可將球體的經度及/或緯度座標映射到(例如,直接映射到)網格的水平及/或垂直座標上。第1A圖描繪了在經度(ϕ)及緯度(θ)進行球面取樣的範例。第1B圖描繪了使用例如ERP將球面投影至2D平面的範例。第1C圖描繪了利用ERP的投影圖像的範例。在航空學中,範圍[-π,π]中的經度ϕ可被稱為偏航(yaw),範圍[-π/2,π/2]中的緯度θ可被稱為俯仰(pitch)。π可以是圓的圓周與其直徑的比率。在第1A圖至第1B圖中,(x, y, z)可以代表3D空間中的點的座標,以及(ue, ve)可以代表2D平面中的點的座標。如等式1及/或2所示,ERP可以用數學方式來表示: ue = (ϕ/(2* π)+0.5)*W (1) ve = (0.5 - θ/π)*H (2) 其中W和H可以是2D平面圖像的寬度和高度。如第1A圖所示,可以使用等式1及/或2,作為球面上的經度L4與緯度A1之間的交叉點的點P可被映射到2D平面中的點q(例如,第1B圖中)。2D平面中的點q可例如經由逆向投影而被反向投影到球面上的點P。第1B圖中的視場(FOV)顯示了這樣一個範例,其中球面中的FOV被映射到2D平面,並且沿X軸上的視角大約是110度。
如第1C圖所示,與例如ERP圖像的中間部分(例如,赤道)相比,該ERP圖像的頂部及/或底部(例如,分別為北極及/或南極)是可以拉伸的。該ERP圖像的頂部及/或底部的拉伸可以表明球面取樣密度對於ERP格式有可能是不均勻的。運動場(其可描述相鄰ERP圖像之間的時間相關性)可能變得比2D視訊更為複雜。視訊編解碼器(諸如,MPEG-2、H.264或HEVC)可使用轉換模型來對運動場進行描述。該視訊編解碼器可能不會展現(例如,有效展現)平面ERP圖像中的形狀變化運動。可使用一個或多個幾何投影格式來將360度視訊映射到多個面上。
該CMP可以是壓縮友好格式。第2A圖描繪了針對CMP的3D幾何結構的範例。該CMP可以包括6個方形面。該方形面可被標記為PX、PY、PZ、NX、NY及/或NZ,其中P可表示正,N可表示負,而X、Y及Z可表示軸。可使用編號(例如,0-5)來標記該方形面:PX (0)、NX (1)、PY (2)、NY (3)、PZ (4)及/或NZ (5)。切球面半徑可被設定為1,一個或多個面的側向長度可被設定為2。針對CMP格式的6個方形面可被打包到圖像(例如,單一圖像)中,因為視訊編解碼器不會被設計為處理(例如,直接處理)球面視訊。為了最大化相鄰面之間的連續性,可將一個或多個面旋轉某一角度。第2B圖描繪了將6個面置入矩形圖像的封裝範例,其中一個或多個面索引被置於可能與該面的對應旋轉對準的方向上。例如,如第2B圖所示,面#3及面#1可被分別逆時針旋轉270及180度。其他面(例如,面#0、#2、#4及/或#5)可不被旋轉。第2C圖描繪了利用CMP的投影圖像的範例。
第3圖描繪了針對360度視訊系統的範例性工作流程。該工作流程可使用一個或多個攝影機來擷取覆蓋整個球面的視訊。所擷取的視訊可在幾何結構中(例如,自然幾何結構)被拼接在一起,例如按照ERP格式。該幾何結構可被轉換為另一幾何結構(例如,CMP格式或其他投影格式)以使用視訊編解碼器進行編碼。在接收器處,該視訊可被解碼,且解壓後的訊框可被轉換至該幾何以用於顯示。該視訊可經由視埠投影根據使用者的視角而被呈現且可被顯示到HMD中。
考慮在平面上擷取的2D視訊,可以設計一個或多個視訊編解碼器。當運動補償預測使用位於參考圖像邊界之外的樣本時,可藉由複製來自圖像邊界的樣本值而執行填充。例如,可藉由複製來自圖像邊界的樣本值而執行重複填充。第4A圖及第4B圖描繪了藉由針對ERP(例如第4A圖)及CMP(例如,第4B圖)的重複填充而產生的擴展圖像的範例。在第4A圖及第4B圖中,原始圖像可在虛線框中,而擴展邊界可位於該虛線框外側。360度視訊可不同於2D視訊。例如,該360度視訊可包括關於整個球面的視訊資訊,且360度視訊可具有循環屬性。考慮360度視訊的循環屬性,360度視訊的圖像(例如,用於展現的投影格式可能是不相關的)可能不具有“邊界”,因為360度視訊的圖像所包含的資訊可被包裹在球面周圍。可針對360度視訊編碼使用幾何填充。例如,可藉由填充樣本及/或藉由考慮360度視訊中展現的3D幾何結構而針對360度視訊編碼使用幾何填充。可基於例如被應用於該360度視訊的投影格式,將一個或多個不同的填充方法用於運動補償預測。
針對ERP的幾何填充可在具有經度及/或維度的球面上被定義。例如,對於將被填充的點(u, v)(例如,位於ERP圖像外側),用於推導出填充樣本的點(u’, v’)可使用一個或多個等式3-5而被計算。 如果 (u < 0 或u ≥ W) 且 (0 ≤ v < H), u' = u%W, v' = v; (3) 如果 (v < 0), v' = -v – 1, u' = (u + W/2)%W; (4) 如果 (v ≥ H), v' = 2*H – 1 – v, u' = (u + W/2)%W; (5) 其中W和H可為該ERP圖像的寬度及高度。第5A圖描繪了針對ERP的幾何填充過程的範例。在左及/或右邊界,A、B、C、D、E及/或F處的樣本可分別被填充A’、B’、C’、D’、E’及/或F’處的樣本。在頂部邊界,G、H、I及/或J處的樣本可分別被填充G’、H’、I’及/或J’處的樣本。在底部邊界,K、L、M及/或N處的樣本可分別被填充K’、L’、M’及/或N’處的樣本。第5B圖描繪了使用幾何填充的擴展ERP圖像的範例。第5B圖中的幾何填充可提供有意義的樣本、及/或可改善ERP圖像邊界外側區域的相鄰樣本的連續性。
當投影格式為CMP時,CMP的面可藉由幾何填充並經由將相鄰面的樣本投影到目前面的擴展區域而被擴展。第6A圖描繪了如何針對給定CMP面執行該幾何填充的範例。在第6A圖中,點P可位於面F1上、但位於面F1的邊界的外側。點O可位於球面中心。R可為最接近於點P的左邊界點,而R可位於面F1內側。點Q可為從中心點O到相鄰面F2上的點P的投影點。幾何填充可被配置為使用點Q處的樣本值來對點P處的樣本值進行填充、並可不使用點R處的樣本值來對點P處的樣本值進行填充(例如,使用重複填充)。第6B圖描繪了通過針對CMP格式的幾何填充而擴展的6個面的範例。第6B圖中所示的幾何填充可在面邊界外側提供有意義的參考樣本、及/或可改善時間預測的效率。
第7圖描繪了編碼過程的範例圖,以及第8圖描繪了解碼過程的範例圖。編碼及/或解碼過程可依賴於例如HEVC編碼及/或解碼工作流程,且可基於包括空間預測(例如,訊框內預測)、時間預測(例如,訊框間預測)、轉換、量化、熵編碼、及/或環路濾波器的功能塊(例如,相同功能塊)。與訊框間編碼相關聯的一個或多個模組(諸如,運動補償預測、殘差轉換、環路濾波器及/或熵編碼)可被擴展(例如,被進一步擴展)。
第7圖式出了範例性基於塊的混合視訊編碼系統600。輸入視訊訊號602可逐塊地被處理。可使用擴展後的塊大小(例如,可被稱為編碼單元或CU)來壓縮高解析度(例如,1080p及/或1080p之上)視訊訊號。CU可具有高達64x64個像素。CU可被分割為預測單元或PU,可針對該PU應用單獨的預測。對於輸入視訊塊(例如,巨集塊(MB)或CU),可執行空間預測660或時間預測662。空間預測(例如,訊框內預測)可使用來自同一視訊圖像及/或切片中的已編碼相鄰塊的像素來預測目前視訊塊。空間預測可減小視訊訊號中固有的空間冗餘。時間預測(例如,被稱為訊框間預測或運動補償預測)可使用來自已編碼視訊圖像的像素來預測目前視訊塊。時間預測可減小視訊訊號中固有的時間冗餘。針對給定視訊塊的時間預測信號可由表明了目前塊與其參考塊之間的運動量及/或運動方向的運動向量來傳訊。如果支援多參考圖像,則可將視訊塊的參考圖像索引傳訊給解碼器。可使用該參考索引來識別該時間預測信號可能來自參考圖像儲存器664中的哪一參考圖像。
在空間及/或時間預測之後,編碼器中的模式決策680可例如基於速率失真最佳化來選擇預測模式。在616處,可從目前視訊塊減去預測塊。預測殘差可使用變換模組604及量化模組606而被解相關,以實現目標位元速率。量化後的殘差係數可在610處被逆量化、並在612處被逆變換以形成重建後的殘差。該重建後的殘差可在626處被加回該預測塊以形成重建後的視訊塊。環內濾波器(諸如,解塊濾波器及/或適應性環路濾波器)可在該重建後的視訊塊被置入該參考圖像儲存器664之前在666處被應用至該重建後的視訊塊。參考圖像儲存器664中的參考圖像可被用於編碼未來的視訊塊。輸出視訊位元流620可被形成。編碼模式(例如,訊框間或訊框內編碼模式)、預測模式資訊、運動資訊、及/或量化後的殘差係數可被發送至熵編碼單元608以被壓縮並打包以形成位元流620。
第8圖式出了範例性的基於塊的混合視訊解碼器。第8圖中的解碼器可對應於第7圖中的編碼器。視訊位元流202可在熵解碼單元208處被接收、解封裝、及/或熵解碼。編碼模式及/或預測資訊可被發送至空間預測單元260(例如,如果被訊框內編碼)及/或時間預測單元262(例如,如果被訊框間編碼)。空間預測單元260及/或時間預測單元262可形成預測塊。殘差變換係數可被發送至逆量化單元210及逆變換單元212以重建殘差塊。預測塊與殘差塊可在226處被相加。重建後的塊可經過環內濾波266、並可被儲存在參考圖像儲存器264中。該參考圖像儲存器264中的重建後的視訊可用於驅動顯示裝置及/或預測未來的視訊塊。
視訊塊可具有用於預測方向的運動向量(例如,至多為運動向量)。可應用子塊級運動向量預測。塊(例如,大塊)可被分為多個子塊(例如,多個小子塊)。可推導出針對一個或多個(例如,所有)子塊的運動資訊。可基於時間運動向量預測(TMVP)建立高級時間運動向量預測(ATMVP)。ATMVP可允許編碼塊從來自其時間相鄰圖像(例如,共位參考圖像)的多個小塊取得其子塊的運動資訊。空間時間運動向量預測(STMVP)可例如藉由將時間相鄰者的運動向量及空間相鄰者的運動向量進行平均而推導出(例如,遞迴地推導出)該子塊的運動資訊。
在ATMVP中,TMVP可允許塊從目前圖像的時間相鄰圖像的一個或多個(例如,多)小塊推導出針對該塊中的子塊的多運動資訊(例如,包括運動向量及/或參考索引)。該ATMVP可如在此該那樣推導出塊的子塊的運動資訊。該ATMVP可識別目前塊在時間參考圖像中的對應塊(其可被稱為共位塊)。所選的時間參考圖像可被稱為共位圖像。該ATMVP可將目前塊分為一個或多個子塊、並可從共位圖像中的對應小塊推導出該子塊(例如,每一該子塊)的運動資訊,如第9圖所示。
該共位塊及/或該共位圖像可藉由目前塊的空間相鄰塊的運動資訊而被識別。在ATMVP設計中,可考慮合併候選列表中的可用(例如,第一可用)候選。第9圖描繪了ATMVP的範例。例如,第9圖可假設塊A可例如基於合併候選列表的掃描順序而被識別為目前塊的第一可用合併候選。塊A的對應運動向量(例如,MVA )及其參考索引可被用於識別共位圖像及/或共位塊。共位圖像中的共位塊的位置可藉由將塊A的運動向量(例如,MVA )加上目前塊的座標而被確定。
對於目前塊中的子塊,共位塊中的對應小塊的運動資訊(例如,第9圖中的箭頭所示)可被用於推導出該目前塊中的對應子塊的運動資訊。在例如HEVC中的TMVP中(其中可應用時間運動向量縮放),在識別共位塊中的小塊的運動資訊之後,共位塊中的小塊可被轉換為目前塊中的對應子塊的運動向量及/或參考索引。
在STMVP中,可以以例如遞迴的方式推導出編碼塊中的子塊的運動資訊。第10圖描繪了STMVP的範例。第10圖可假設目前塊可包括一個或多個子塊(例如,四個子塊),例如‘A’、‘B’、‘C’及/或‘D’。為該目前塊的空間相鄰者的相鄰小塊可被分別標為‘a’、‘b’、‘c’及/或‘d’。子塊‘A’的運動推導可識別空間相鄰者(例如,兩個空間相鄰者)。例如,子塊‘A’的相鄰者可為上述相鄰者‘c’。如果小塊‘c’不可用或並非被訊框內編碼,則可按順序(例如,從左到右)對目前塊之上的以下相鄰小塊進行檢查。子塊‘A’的其他相鄰者可為左相鄰者‘b’。如果小塊‘b’不可用或並非被訊框內編碼,則可按順序(例如,從上到下)對目前塊左側的以下相鄰小塊進行檢查。在取得空間相鄰者的運動資訊之後,子塊‘A’的時間相鄰者的運動資訊可藉由例如HEVC中的TMVP過程而被確定。可用空間及/或時間相鄰者(例如,多達3個)的一些或所有運動資訊可被平均及/或可被用作子塊‘A’的運動資訊。基於光柵掃描順序,該STMVP過程可被重複以推導出目前視訊塊中的一些或所有其他子塊的運動資訊。
在運動補償階段,可使用重疊塊運動補償(OBMC)來移除塊效應(blocking artifact)。該OBMC可針對一個或多個(例如,所有)訊框間塊邊界而被執行,除了例如塊的右邊界及/或底邊界。當以子塊模式對視訊塊進行編碼時(例如,ATMVP及/或STMVP),該OBMC可針對子塊的邊界而被執行。第11圖描繪了OBMC的範例。例如,當OBMC被應用至子塊(例如,第11圖中的子塊‘A’)時,除了目前子塊的運動向量之外,相鄰子塊(例如,多達4個)的運動向量也可被用於推導出該目前子塊的預測信號。使用相鄰子塊的運動向量的該一個或多個預測塊可被平均,以產生該目前子塊的預測信號(例如,最終預測信號)。
在OBMC中可使用加權平均來產生塊的預測信號。使用相鄰子塊的運動向量的預測信號可被表示為PN。使用目前子塊的運動向量的預測信號可被表示為PC。當應用OBMC時,PN的前及/或最後4列及/或行中的樣本可與PC中相同位置處的樣本被加權平均。該加權平均所應用至的樣本可根據例如對應相鄰子塊的位置而被確定。例如,當相鄰子塊在相鄰者之上時(例如,第11圖中的子塊‘b’),可調整目前子塊的前四列中的樣本。當相鄰子塊在相鄰者之下時(例如,第11圖中的子塊‘d’),可調整目前子塊的最後四列中的樣本。當相鄰子塊為左相鄰者時(例如,第11圖中的子塊‘a’),可調整目前子塊的前四行中的樣本。當相鄰子塊為右相鄰者時(例如,第11圖中的子塊‘c’),可調整目前子塊的最後四行中的樣本。當目前子塊未以子塊模式被編碼時,可將加權因數{1/4, 1/8, 1/16, 1/32}用於PN的前四列及/或行,且可將加權因數{3/4, 7/8, 15/16, 31/32}用於PC的前四列及/或行。當目前子塊以子塊模式被編碼時,可對PN及PC的前兩列及/或行進行平均。可將加權因數{1/4, 1/8}用於PN,且可將加權因數{3/4, 7/8}用於PC。
在HEVC中,一個或多個(例如,所有)訊框間預測參數(例如,運動向量、參考索引、及/或加權預測參數)可在編碼器處藉由速率失真(R-D)最佳化而被確定、且可被傳訊給解碼器。編碼訊框間預測參數可產生開銷(例如,顯著的開銷)。可例如使用JEM中基於模板的編碼來避免傳訊開銷。該基於模板的編碼可在解碼器處藉由使用該模板(該模板可能是目前塊的已經被重建的相鄰樣本)。局部光照補償(IC)可基於例如使用該模板的線性模型而推導出局部加權參數、及/或可使用例如所推導出的加權參數而應用加權運動補償預測。畫面播放速率上轉換(FRUC)可在解碼器處使用模板匹配或雙邊匹配推導出運動資訊。
使用縮放因數‘a’及/或偏移‘b’,IC可基於針對光照改變的線性模型。該工具可針對一個或多個訊框間編碼塊而被適應地賦能及/或禁用。第12圖描繪了局部IC過程的範例。在第12圖中,當IC被應用於塊時,可採用最小均方差(LMSE)以藉由最小化目前塊的相鄰樣本(例如,模板)與時間參考圖像中它們的對應參考樣本之間的失真而推導出參數‘a’及‘b’。如第12圖所示,可對該模板進行升取樣(例如,2:1升取樣)。例如,第12圖中被陰影化的樣本可被用於推導出‘a’及‘b’。基於所推導出的縮放因數‘a’及/或偏移‘b’,可例如基於線性模式而對目前塊的預測樣本進行如下調整:其中,可為座標處的目前塊的預測信號,而可為運動向量vx vy 所指的參考塊。
FRUC模式可針對訊框間編碼塊而被支援(例如,以節省傳訊運動資訊的開銷)。當FRUC模式被賦能時,可不傳訊該塊的運動資訊(例如,包括運動向量及/或參考索引)。該運動資訊可在解碼器處藉由例如模板匹配或雙邊匹配而被推導出。在該解碼器處的運動推導過程期間,該塊的合併候選列表及/或針對該塊使用ATMVP類似的預測而產生的初級運動向量集合可被檢查(例如,首先被檢查)。可導致最小絕對差異總和(SAD)的候選可被選作為起始點。基於該起始點周圍的模板匹配或雙邊匹配的局部搜尋可被執行,及/或可導致該最小SAD的運動向量(MV)可被作為整個塊的MV。該運動資訊可以子塊級而被細化(例如,被進一步細化)。
第13A圖及第13B圖描繪了範例性RFUC過程。如第13A圖所示,模板匹配可被用於藉由尋找目前圖像中的模板(例如,目前塊的頂部及/或左側相鄰塊)與參考圖像中的塊(例如,與模板相同大小)之間的匹配(例如,最佳匹配)而推導出目前塊的運動資訊。在第13B圖中,可使用雙邊匹配以沿著在兩個不同參考圖像中目前塊的運動軌跡尋找兩個塊之間的匹配(例如,最佳匹配)而推導出目前塊的運動資訊。該雙邊匹配的運動搜尋過程可基於運動軌跡。例如,指向該兩個參考塊的運動向量MV0及MV1可與目前圖像與該兩個參考圖像中的一者或多者之間的時間距離(例如,T0及T1)成比例。
可應用四叉樹加二叉樹(QTBT)塊分割結構。在QTBT結構中,為四叉樹的根節點的編碼樹單元(CTU)可以用四叉樹方式被分割(例如,首先被分割),其中節點的四叉樹分割可被迭代直至節點達到所允許的四叉樹大小的最小值(MinQTSize)。如果四叉樹節點大小不大於所允許的二叉樹大小的最大值(MaxBTSize),則可在水平或垂直方向中使用二叉樹對該四叉樹節點進行分割(例如,進一步分割)。該二叉樹的分割可被迭代,直至二叉樹節點達到所允許的二叉樹節點大小的最小值(MinBTSize)或所允許的二叉樹深度的最大值。該二叉樹節點可被用作預測及/或變換的基本單元,而無需進一步分割(例如,可能不存在HEVC測試模型(HM)中的預測單元(PU)及/或變換單元(TU)的概念)。可在此描述QTBT分割結構的範例。CTU大小可為128x128,MinQTSize可為16x16,MaxBTSize可為64x64,以及MinBTSize可為4。該四叉樹分割可被應用(例如,首先被應用)至該CTU以產生四叉樹葉節點。該四叉樹葉節點大小的範圍可為從例如128x128至16x16。如果四叉樹節點為128x128,則該四叉樹節點可不藉由二叉樹而被分割,因為四叉樹節點超過了最大二叉樹大小(例如MaxBTSize可為64x64)。如果四叉樹節點並非128x128,則該四叉樹節點可藉由二叉樹而被分割(例如,被進一步分割)。該四叉樹節點可為該二叉樹的根節點。該二叉樹深度可等於0。該二叉樹分割可被迭代,直至該二叉樹深度達到MaxBTDepth或者二叉樹節點具有等於MinBTSize的寬度或高度。第14圖描繪了QTBT塊分割的範例,其中實線可表示四叉樹分割,而虛線可表示二叉樹分割。
一個或多個視訊編解碼器可考慮(例如,僅考慮)可在同一平面上被擷取的2D視訊訊號。當考慮360度視訊時(例如,其可包括一個或多個投影面),面之間的連續性可能會被破壞,因為一個或多個面是基於例如不同的投影平面而被產生的。面之間的不連續性可針對各種訊框封裝而被增大。對於360度視訊編碼的運動補償預測,可應用幾何填充。幾何填充可針對位於面邊界之外的圖像區域提供時間參考。可執行使用幾何填充的針對360度視訊編碼的運動補償預測。
基於模板的編碼(例如,IC及/或FRUC)可被用於使用來自相鄰區的重建後的樣本而推導出訊框間預測參數(例如,針對IC的權重及/或偏移、及/或針對FRUC的運動資訊)。當應用基於模板的編碼以及幾何填充(例如,聯合應用)時,可能會提高複雜度。在幾何填充中,參考圖像中的面可被填充,且正被編碼的目前圖像中的面可能不被填充。當使用基於模板的編碼時,如果目前塊位於面邊界處,則IC及/或FRUC所使用的模板可能位於目前面的外側。如果作為一範例而使用幾何填充,則目前塊的模板可能來自相鄰面或來自目前圖像的外側。參考圖像中的模板的參考可位於參考圖像中的目前面的填充區域中。該模板及該模板的參考可能會彼此失配(例如,較差地匹配)。第15圖描繪了在將幾何填充應用於360度視訊編碼時進行基於模板的編碼的範例。在第15圖中,目前塊(例如,在時間T0時)可位於面F1的頂部邊界處。目前塊的頂部模板可位於面F0中(例如,位於不同的面)。由於幾何填充,參考塊(例如,在時間T1時)的頂部模板的參考可從面F1的填充區域獲得。頂部模板中的樣本及該頂部模板的參考中的樣本可能不具有強相關性。
空間及/或時間相鄰塊的運動資訊可使用一個或多個訊框間編碼工具來預測目前塊的運動資訊(例如,高級運動向量預測(AMVP)、TMVP、合併模式、ATMVP及/或STMVP)、或產生目前塊的預測信號(例如,OBMC)。如果目前塊位於面邊界上,目前塊的空間及/或時間相鄰者可從其他面取得。面內所定義的運動向量可用於預測運動向量或產生在其他面中定義的塊的預測信號。360度視訊的一個或多個面可在訊框封裝過程期間被旋轉、翻轉、及/或無序化。來自不同面的運動向量可能不具有強相關性。
當幾何填充被賦能時,目前塊的參考樣本可來自(例如,總是來自)目前面的填充區域。由於360度視訊的內在對稱特性,幾何填充可確保參考塊(其可與目前塊相關(例如,高度相關))可在填充區域中被識別,以預測該目前塊。當QTBT分割結構被應用至(例如,被直接應用至)360度視訊編碼時,目前圖像中的四叉樹/二叉樹(QT/BT)葉節點可以跨(span)一個或多個面且可包括來自一個或多個面的樣本(例如,面邊界可位於QT/BT葉節點內)。在3D空間中,訊框封裝圖像中的相鄰面(例如,兩個相鄰面)可不再連續。相鄰面(例如,兩個相鄰面)邊界周圍的樣本可顯示出不同的特性(例如,屬於不同的物件)。參考圖像中的目前面的填充區域可能不能夠提供具有與目前塊具有強相關性的參考塊。
可執行基於幾何填充的針對360度視訊的運動補償預測。針對基於模板的編碼的參考樣本推導過程可取得模板樣本。例如,針對基於模板的編碼的參考樣本推導過程可取得來自上方及/或左側相鄰者的模板樣本。該模板樣本(例如,來自上方及/或左側相鄰者)可來自不同的面、及/或可包括不連續資訊。當推導出可能超出目前面的區域的模板樣本時,針對基於模板的編碼的不同過程的範例可考慮3D幾何。
基於幾何的參考塊推導及/或基於幾何的運動向量投影可用於針對360度視訊編碼的運動預測。360度視訊的幾何特性可被考慮。
在考慮幾何填充的影響(例如,禁用跨面QT/BT葉節點)下,QTBT塊分割可對訊框封裝的360度視訊的面邊界處的塊進行分割。
如果視訊塊位於面邊界處且使用基於模板的編碼(即,IC及/或FRUC)而被編碼,視訊塊的一個或多個模板樣本可從來自另一面的上方及/或左側相鄰者而被獲取,而該模板的參考樣本可從時間圖像中的目前面的填充區域被獲得(參考第15圖)。可能會發生未對準。
該模板樣本可基於360度視訊的3D幾何而被取得。例如,如果該目前圖像的目前塊在面邊界上,則該模板樣本可能位於目前面的邊界外側。如果該目前圖像的目前塊在面邊界上,則可在推導出該目前塊的模板樣本時應用3D幾何資訊。使用3D幾何資訊以推導出目前塊的模板樣本可提供可與目前塊相關的(例如,更為相關)的模板樣本。使用CMP作為範例,第16A圖至第16C圖描繪了用於基於模板的編碼的不同參考樣本推導的範例。例如,第16A圖描繪了目前塊的位置與其模板樣本在3D空間中的位置之間的範例性關係。第16B圖描繪了基於左側及/或上方相鄰者(例如,正好左側及/或上方相鄰者)的樣本推導的範例。第16C圖描繪了基於3D幾何資訊的推導的範例。在第16A圖至第16C圖中,目前塊可位於面#1的頂部邊界處。如第16B圖及第16C圖所示,左側模板的樣本可從相鄰塊(其可與該目前塊處於同一面)的重建後的樣本推導出。為了推導出該頂部模板,如第16C圖所示,來自面#5的樣本(例如,其可基於幾何投影而被推導出)可被使用。根據該3D幾何(例如,如第16A圖所示),面#1及面#5可為相鄰面。使用幾何資訊(例如,3D幾何資訊)推導出該模板樣本可提供可顯示與目前塊的相關性(例如,更好的相關性)的模板樣本。當幾何資訊被使用時,模板的樣本可從在目前圖像中被解碼(例如,已被解碼)的樣本推導出。當使用幾何資訊時且如果目前圖像包括一個或多個切片及/或圖塊,如果使用幾何資訊推導出的模板樣本不與目前塊位於同一切片及/或圖塊中,那麼該模板樣本可能是不可用的。該模板樣本可被視為不可用,因為該切片及/或圖塊可被解碼(例如,被獨立解碼)。
該目前塊的模板參考樣本可基於3D幾何資訊從例如幾何相鄰者推導出。使用幾何資訊(例如,3D幾何資訊)可最大化目前塊與模板的樣本之間的相關性。當使用幾何資訊時,解碼器可維持(例如,臨時維持)之前重建的面的樣本。為了減小線緩衝器大小,如果模板樣本位於目前面的外側,則該模板樣本可被禁用(例如,可被視為不可用)。例如,當目前塊位於面邊界上,可禁用基於模板的編碼工具。禁用基於模板的編碼工具可在對性能影響有限的情況下減小線緩衝器大小,因為面邊界上的塊的數量可以很小。如第16A圖至第16C圖所示,根據所使用的訊框封裝,基於該3D幾何,該訊框封裝佈局中的一些相鄰面可以是連續的。例如,面#4與面#5及/或面#3與面#1在訊框封裝格式中可以是相鄰的及/或在3D空間中可以是相鄰的。從空間相鄰者推導出的樣本可提供候選(例如,很好的候選)以用於基於模板的編碼。如果模板樣本來自可能不與目前面幾何上相鄰的相鄰面,可禁用模板樣本。例如,如果模板來自目前面或來自幾何上相鄰的面,該模板可被視為是有效的(例如,可用的)以用於基於模板的編碼。在此描述的基於模板的編碼可能需要較少的線緩衝器,因為左CTU的樣本及/或上CTU列的樣本可不被快取。
第17圖描繪了基於CMP投影格式的使用來自連接的相鄰面的模板樣本的塊以及使用來自未連接的相鄰面的模板樣本的塊的範例。在第17圖中,帶點塊(dotted block)1704可表示位於目前面與3D空間中的幾何上相鄰的面之間的邊界上的編碼塊。該帶點塊的左側及上方模板中的樣本可被標記為可用。第17圖中的帶條塊(striped block)1702可表示位於目前面與3D空間中的幾何上不連續面之間的邊界上的編碼塊。該帶條塊的左側模板(例如,並非頂部樣本)的樣本可用於所基於的模板。
編碼器及/或解碼器可針對基於模板的編碼而確定模板像素的位置及/或朝向。
對於位於多面投影格式的第一面中的目前塊,可確定目前塊的模板是否位於該第一面中。如果目前塊的模板未位於該第一面中,則可確定該目前塊的該模板的位置及/或朝向。例如,可使用該多面投影格式的面之間幾何關係來識別第二面。該第二面可不同於該第一面、且該目前塊的該模板可位於該第二面中。可使用面封裝關係來識別該多面投影格式內的第二面中的目前塊的模板的位置及/或朝向。根據該基於模板的編碼,可使用用於預測該目前塊的模板。
該基於模板的編碼可為IC、FRUC、或可與編碼像素(例如,已經被編碼的及/或被解碼的)的一個或多個模板(其可與目前訊框或編碼(例如,已經被編碼的及/或被解碼的)參考訊框中的目前塊的位置相鄰接)相關聯的其他預測。該模板可為位於該目前塊上方的“頂部”模板、位於該目前塊左側的“左”模板、位於該目前塊下方的“底部”模板、位於該目前塊右側的“右”模板、或所定義的與位於相對位置處的目前塊相鄰接的其他模板。該多面投影格式可為立方體貼圖格式、八面體格式、二十面體格式、或其他多面投影格式,其中面可被封裝至2D訊框以用於壓縮。幾何關係可限定3D幾何內的面之間的關係,如第16A圖所示。面封裝關係可指定面封裝2D投影格式中的一個或多個面的位置及/或朝向。例如,第16C圖式出了封裝面的佈置。
當幾何填充被用於編碼360度視訊時,如果塊涉及位於目前面的區域外側的樣本,則可產生參考樣本值。例如,該參考樣本值可藉由使用例如3D幾何將相鄰面的對應樣本投影至目前面而被產生。面中的一個或多個塊的運動向量可能不涉及可能超出了參考圖像中的面的填充區域的參考樣本。空間及/或時間相鄰塊的運動資訊可用於預測運動資訊、或可用於產生目前塊的運動補償信號。如果目前塊的位置位於一個或多個面邊界,則目前塊的空間及/或時間相鄰者可能來自相鄰面。如果目前面及其相鄰面在3D空間中不連續,則目前塊及其空間及/或時間相鄰者的運動可能不具備相關性(例如,明顯相關性)。運動向量可基於3D幾何而被預測。
3D幾何可被應用以推導出參考塊的運動向量。例如,當參考塊的位置在目前塊屬於的面的外側時,該參考塊的運動向量可基於3D幾何而被推導出。基於3D幾何的運動向量預測可針對可能位於面邊界上的塊提供有效的運動向量預測器。第18圖描繪了使用合併模式的基於幾何的運動預測的範例。如第18圖所示,可使用五個空間相鄰者候選(例如,左(L)、上(A)、左下 (BL)、右上 (AR)、以及左上 (AL))。在目前塊位於面#1且面#1及面#3為3D幾何中的相鄰面時,對應的左相鄰者及左下相鄰者可從面#3推導出(例如,使用3D幾何資訊推導出的相鄰塊可能對於該L及/或BL候選是相同的)。對於上、右上、及/或左上相鄰者,可分別使用面#5(例如,根據3D幾何,其為相對於面#1的連續面)的面邊界上的塊,也就是,第18圖中的塊A’、AR’以及AL’。假定面#1與面#5之間存在3D連續性,則基於幾何的推導可提供可與目前塊的運動向量相關的運動向量預測器。在訊框封裝過程期間,一個或多個面可被旋轉(例如,第18圖中的面#3及/或3)。當對應參考塊從不同面被推導出時,運動向量可被旋轉。例如,在第18圖中,當面#1可在訊框封裝CMP圖像中被旋轉180度(例如,逆時針方向旋轉),從面#5中的A’、AR’及/或AL’推導出的運動向量可被旋轉180度(例如,逆時針方向旋轉),以與面#1中的目前塊的運動向量的座標對準。
例如,在第18圖中,為了預測面#1中的目前塊的運動向量,編碼器及/或解碼器可維持面#5的右邊界上的塊的一個或多個(例如,所有)運動資訊。如果對應相鄰塊在目前面的邊界外側,運動向量候選可被禁用(例如,運動向量候選可被認為不可用)。例如,第18圖中的五個運動向量候選(例如,L、A、BL、AR及/或AL)中的一者或多者可被當作對於合併過程無效,因為運動向量候選可能與目前塊不在同一面。如果運動向量候選來自在3D空間中可能不與目前面幾何相鄰的相鄰面,則運動向量候選可被禁用。例如,如果參考塊位於與目前面幾何相鄰的面中,則對應運動可被視為對於目前塊的運動向量預測有效。例如,在第18圖中,當預測目前塊的運動向量時,參考塊L及/或BL可被視為是有效候選,而參考塊A、AR及/或AL可被視為無效候選。
編碼器及/或解碼器可確定運動向量候選的位置及/或朝向以用於運動向量預測。對於目前塊,可確定提供運動向量候選的塊是否與目前塊位於同一面中。如果提供運動向量候選的塊與目前塊並非位於同一面中,則例如可基於幾何關係,確定提供運動向量候選的塊的位置及/或朝向。可使用多面投影格式的面之間的幾何關係來識別提供運動向量候選的塊所在的面(例如,該面不同於包括目前塊的面)。可使用面封裝關係來識別提供運動向量候選的塊在多面投影格式的所識別的面中的位置及/或朝向。可基於所識別的該塊的位置及/或朝向,擷取該運動向量候選。所擷取的運動向量候選可根據運動向量預測來預測目前塊的運動。
可確定提供運動向量候選的塊是否與目前塊位於同一面中。例如,使用提供運動向量候選的塊相對於目前塊的位置的位置,可確定提供運動向量候選的塊是否與目前面位於同一面中。第18圖式出了此類相對位置(例如,AL、A、AR、L及/或BL)的範例。在對目前塊的運動進行預測的過程中,可使用一個或多個候選運動向量。當一個或多個候選運動向量位於各種相對位置時,用於在此所述的運動向量預測的運動向量候選的位置及/或朝向的確定可針對有關的一個或多個候選運動向量位置而被重複。如果提供運動向量候選的塊的所識別的朝向不同於多面投影格式內的目前塊的朝向,則運動向量可被旋轉以對該朝向差異進行補償。該多面投影格式可為立方體貼圖格式、八面體格式、二十面體格式、或其他多面投影格式,其中面可被封裝至2D訊框以用於壓縮。幾何關係可定義3D幾何中的面之間的關係,例如,如第18圖的左側所畫的3D立方體中所示。該面封裝關係可指定在面封裝2D投影格式內的一個或多個面的位置及/或朝向,如第18圖右側的面的佈置所示。
編碼器及/或解碼器可確定運動向量候選是否可用於運動向量預測。對於目前塊,可確定提供運動向量候選的塊是否與目前塊位於同一面中。如果提供運動向量候選的塊未與目前塊位於同一面中,則可使用多面投影格式的面之間的幾何關係來識別提供運動向量候選的塊所在的面(例如,該面不同於包括目前塊的面)。可使用面封裝關係來確定提供運動向量候選的塊在多面投影格式內是否處於其相對於目前塊的合適相鄰位置。由於目前塊所處的相同面與所識別的面之間的界線處的不連續,提供運動向量候選的塊是否未在其相對於目前塊的合適相鄰位置可被確定。如果提供運動向量候選的塊被確定為在其相對於目前塊的合適相鄰位置處,則該運動向量候選可被標記為可用於預測。如果該運動向量候選可用於預測,則運動向量候選可例如根據運動向量預測來預測目前塊的運動。如果提供運動向量候選的塊未在其相對於目前塊的合適相鄰位置處,則該運動向量候選可被標記為不可用於預測。
編碼器及/或解碼器可確定運動向量候選是否可用於運動向量預測。對於目前塊,可確定提供運動向量候選的塊是否與目前塊位於同一面中。如果提供運動向量候選的塊與目前塊位於同一面中,則該運動向量候選可被標記為可用於預測。如果該運動向量候選可用於預測,則運動向量候選可基於在此所述的運動向量預測來預測目前塊的運動。如果提供運動向量候選的塊未與目前塊位於同一面中,則該運動向量候選可被標記為不可用於預測。
當360度視訊(例如,使用CMP)被投影至多個面時,一個或多個面圖像可看起來類似於2D圖像。直線投影(Rectilinear projection)可能會導致形狀失真(例如,對於靠近面邊界的對象)。當連續結構跨訊框封裝2D圖像上的面邊界時,在3D空間中,該連續結構可能是不連續的。例如,跨兩個相鄰面的直線可能會變成該兩個相鄰面的邊界處的不同方向的兩個線段。跨面邊界的運動可能會變成不連續的。例如,在越過面邊界之後,行動物件可改變其運動方向。在於此描述的基於幾何的運動向量預測中,基於例如3D幾何所推導出的參考塊的運動向量(例如,如果必要,該參考塊可被旋轉)可被用作運動向量預測器以預測目前塊的運動向量。當越過面邊界時,運動方向可改變。使用來自相鄰面的運動向量來預測面邊界上的塊的運動向量可能是困難的。運動向量投影的範例可應用於360度視訊的運動向量預測。如果目前塊及其參考塊來自不同的面,則可在應用運動向量預測之前,使用運動向量域中的幾何資訊可將參考塊的運動向量投影至目前塊屬於的面上。在此所述的運動向量投影可類似於幾何填充、且可基於3D點與2D投影平面上的對應點之間的直線投影。
基於CMP格式,第19圖描繪了不同面之間基於幾何的運動向量投影的範例。在第19圖中,面F1可為目前面,而面F2可為包括點Q及Q’的參考面。點O可為球面的中心。點Q及Q’可為面F2上的兩個點、且可用於指定參考運動向量MV。為了將MV投影至面F1,運動向量投影可基於例如源自中心O的直線投影而推導出Q及Q’在面F1上的對應投影點(例如,P及P’)。所投影的運動向量MV’可藉由使用P及P’作為例如初始點及終點而被指定。如第19圖所示,所投影的運動向量MV’可確定3D幾何對運動軌跡的影響。所投影的運動向量MV’可估計面F1中的運動向量。在第19圖中,該參考運動向量MV的起始點及終點(例如,Q及Q’)可指定塊的位置、且可提供運動向量候選及其在相同面中的參考塊。當應用運動向量投影時,可使用塊中的不同位置來定義對應運動向量預測器。使用不同的位置可能會由於直線投影導致的投影失真而影響所投影的運動向量的值。例如,運動向量可在塊的左上角開始並可結束於其參考塊的左上角。例如,運動向量可在塊的中心開始並可結束於其參考塊的中心。
在此描述的基於幾何的參考塊推導及/或在此描述的基於幾何的運動向量投影可***作(例如,一起或單獨操作)。該基於幾何的參考塊推導可與例如該基於幾何的運動向量投影相結合以用於360度視訊的運動向量預測。目前塊的一個或多個運動向量候選可被推導出。例如,對應幾何相鄰塊的運動向量可根據在此所述的基於幾何的參考塊推導而被取得。該運動向量可使用在此所述的基於幾何的運動向量投影而被投影。所投影的運動向量可被用作目前塊的運動向量預測器。該基於幾何的參考塊推導可被用於360度視訊的運動向量預測。例如,在禁用該基於幾何的運動向量投影下,該基於幾何的參考塊推導可用於360度視訊的運動向量預測。該幾何相鄰塊的運動向量可被用作運動向量預測的候選。該參考塊推導(例如,依賴於空間及/或時間相鄰者)可與該基於幾何的運動向量投影相結合以預測360度視訊的運動向量。運動候選可從目前塊的空間及/或時間相鄰塊而被取得,並在被用於預測該目前塊的運動向量之前,根據運動向量投影方案而被調整(例如,如果參考塊來自不同的面)。
CMP格式及/或合併模式可用於論述在此所述的基於幾何的參考塊推導及/或基於幾何的運動向量投影。該基於幾何的參考塊推導及/或基於幾何的運動向量投影可適用於其他360度視訊投影格式及/或訊框間編碼工具。在不失一般性下,第20圖描繪了用於OBMC的基於幾何的參考塊推導的範例。在第20圖中,目前塊中的子塊A的預測信號可使用例如4個相鄰子塊的運動向量被計算作為運動補償預測信號的加權平均。在第20圖中,子塊A可位於面#1的頂部邊界。如第20圖所示,左相鄰者‘a’、右相鄰者‘c’以及底部相鄰者‘d’可從空間相鄰者推導出。基於該基於幾何的參考塊推導,上相鄰者‘b’可從面#5獲得。例如,該上相鄰者‘b’可從面#5獲得。
視訊編碼器及/或視訊解碼器可確定與目前塊在同一面中的針對目前塊的運動向量預測候選。該塊(其提供運動向量候選)的位置(例如,相對於目前塊的位置)可被確定。該塊(其提供運動向量候選)的位置可基於該塊的位置是否在與該目前塊相同的面中而被確定。如果該塊的位置不在與該目前塊相同的面中,則可如於此所述確定該運動向量候選。可使用多面投影格式的面之間的幾何關係來識別提供該運動向量候選的塊所在的面(例如,不同於包括該目前塊的面)。在所識別的面中提供該運動向量候選的塊可被識別。在所識別的面中的該運動向量的表示可被確定。該運動向量的表示可從所識別的面被投影至與該目前塊相同的面的平面上。所投影的運動向量可被用作該目前塊的運動向量預測候選。
該多面投影格式可為立方體貼圖格式、八面體格式、二十面體格式、或其他多面投影格式,其中面可被封裝至2D訊框以用於壓縮。幾何關係可定義3D幾何中的面之間的關係,如第16A圖所示。對於在所識別的面中的提供該運動向量候選的塊的識別可使用與該多面投影格式相關聯的面封裝關係。確定所識別的面中的該運動向量的表示可包括確定所識別的面中的該運動向量的一對終點的位置。在此情況下,該運動向量從所識別的面至與該目前塊相同的面的平面的投影可包括該一對終點中的一個或多個終點從所識別的面至與該目前塊相同的面的平面的投影。該運動向量預測候選可以是用於對目前塊的運動向量進行預測的預測候選。該運動向量預測候選可以是被考慮用於或將被用於預測該目前塊的多個運動向量預測候選之一。
當QT/BT節點跨兩個面之間的邊界時,可跳過對應的QT/BT分割指示(例如,旗標)。值(例如,1)可被推測(例如,以被進一步分割)。當QT/BT節點在面內時,可應用QT/BT傳訊。例如,該QT/BT傳訊可傳訊一指示以表明目前節點是否可被進一步分割(例如,旗標)。針對跨面邊界的QT/BT節點被設定為值(例如,1)的指示(例如,分割旗標)可推測出面邊界可能與QT/BT葉節點的邊界對準。QT/BT葉節點可包括例如應用在此所述的QTBT分割之後來自面的樣本。
(例如,在QTBT設計中)參數MaxBTDepth可指定所允許的二叉樹分割的最大深度。當目前二叉樹的深度未達到MaxBTDepth時,QT/BT節點可被分割(例如,被水平或垂直分割)。跨多個面的QT/BT節點可能不能夠提供足夠的分割粒度以支援使用BT分割的面邊界的分離。四叉樹(QT)分割(例如,僅QT分割而非QT及二叉樹(BT)分割)可用於與面邊界對準。例如,CTU可以用QT方式被分割(例如,首先被分割),如果QT節點覆蓋了一個或多個面邊界,則可對該QT節點進行強制分割。該QT分割可被迭代直至對應派生QT節點中的一者或多者可能被包含在面中(例如,被完全包含在面中)。QT節點可藉由BT而被分割(例如,被進一步分割)。可用於與面邊界對準的一個或多個(例如,所有)強制BT分割可被計入對應BT結構的總深度。當QT/BT節點跨越了一個或多個面時,對應BT指示(例如,分割旗標)可被推測為進一步分割(例如,該旗標被設定為1)而不必被傳訊。如果該指示(例如,旗標)未被傳訊,則當計算目前BT結構的總深度時,對應BT分割(例如,其可被用於與面邊界對準)可不被考慮。BT可被分割(例如,被進一步分割)以與面邊界對準,而不必受到MaxBTDepth的約束。
在這裡描述的受約束的QTBT分割中,QT/BT葉節點可被用作與面邊界對準的基本單元。一個或多個面的大小可為該基本單元的大小中的一者或多者,以確保足夠的塊分割粒度。例如,對於在此所述的當QT/BT節點跨兩個面之間的邊界時跳過傳訊QT/BT分割指示(例如旗標)的方法,面大小可為最小BT大小(例如,MinBTSize)的倍數。對於在此所述的使用QT分割以與面邊界對準的方法,面大小可為最小QT大小(例如,MinQTSize)的倍數。在此所述的受約束的QTBT分割可被應用於訊框間編碼圖像,其中可應用幾何填充。在此所述的受約束的QTBT分割可被應用於訊框間編碼圖像(例如,B及/或P圖像)、且被禁用於訊框中編碼圖像(例如,I圖像)。該受約束的QTBT分割可被應用至360度(例如,整個360度)視訊序列的視訊塊。在360度(例如,整個360度)視訊塊內,均質區可跨面邊界(例如,天空、地面及/或水)而存在。均質區(例如,其可跨越面邊界)可被置入編碼塊(例如,大編碼塊)、且可節省編碼模式、運動相關資訊、及/或殘差的傳訊開銷。指示(例如,旗標)可被用於在高等級(例如,視訊參數集合(VPS)、序列參數集合(SPS)、圖像參數集合(PPS)及/或切片標頭)被傳訊以賦能及/或禁用QTBT分割。基於區域的賦能及/或禁用可適用於在此所述的受約束的QTBT分割。該受約束的QTBT分割可被應用至呈現非均質特性的面邊界區,而被禁用於均質面邊界。例如,如果訊框封裝圖像包括總共6個面,則可針對一個或多個面傳訊位元以表明受約束的QTBT分割方法是否被應用於該面。在此所述的受約束的QTBT分割結構可適用於其他塊分割框架,該其他塊分割框架包括但不限於HM中的基於四叉樹的分割、非對稱塊分割、及/或多類型樹分割。
該QTBT分割約束可用於確保目前塊包括面(例如,單一面)中的一個或多個樣本。例如,可避免由於幾何填充而導致的失配的參考塊。可支援一個或多個子塊級運動補償技術(例如,ATMVP及/或STMVP)。該一個或多個子塊級運動補償技術可允許大塊被分割成一個或多個小的子塊、及/或可推導出有關一個或多個子塊的自己的運動資訊。該大塊可以是與360度視訊相關聯的目前塊。在此所述的基於面的子塊運動補償可增加QTBT塊分割結構的大型編碼塊(例如,QT/BT葉節點)的使用。當視訊塊跨越一個或多個面(例如,其可能在3D空間中不是連續的)的邊界時,使用QTBT塊分割結構的編碼塊(例如,大型編碼塊)的方法可用於360度視訊編碼,因為可使用不同的運動資訊來預測目前塊內的子塊(例如,其可表示來自各種面的不同物件)。當將幾何填充與子塊級運動補償技術結合應用(例如,聯合應用)時,可應用一個或多個不同方法以在運動補償階段推導出針對一個或多個子塊的參考樣本。例如,目前塊中的一個或多個(例如,所有)子塊的參考樣本可從面(例如,單一面)的填充區域推導出。例如,如第21圖所示,目前塊的左上樣本可位於面F0。可從面F0的填充區域產生目前塊的子塊的一個或多個(例如,所有)運動補償預測信號。在第21圖中,目前塊的左上樣本的座標可用於選擇用於運動補償預測的面。可應用目前塊中的不同位置處的樣本。例如,可應用目前塊的中心處的樣本。如果兩個面根據3D幾何並不相鄰(例如,其在訊框封裝圖像中可能是相鄰的),則跨面邊界的視訊樣本可能不會顯現相關性(例如,強相關性)。例如,如第21圖所示,子塊C及/或D可能不能藉由使用F0的填充區域中的樣本而被預測(例如,被很好地預測)。
當應用幾何填充以編碼360度視訊時,可使用基於面的子塊運動補償。可在編碼面邊界上的視訊塊時使用子模組細粒度運動模式,且可在沒有在此所述的使用QT分割以對準面邊界的約束下,應用QTBT塊分割。可允許QTBT葉節點佔用一個或多個面的該區域。使用來自子塊屬於的對應面的填充區域的運動補償預測信號,該基於面的子塊運動補償可預測一個或多個子塊的樣本。第22圖描繪了利用面內運動補償來進行無約束QTBT塊分割的範例。在第22圖中,可從面F0的填充區域預測子塊A及/或B,且可從面F1的填充區域預測子塊C及/或D。在此所述及如第22圖所示的方法可提供針對子塊C及/或D的相關(例如,更為相關的)預測信號。
在此所述的子塊運動補償可被應用至一個或多個子塊級運動補償模式。該子塊級運動補償模式可包括但不限於ATMVP模式、STMVP模式、FRUC模式及/或仿射模式。當該子塊級運動補償被賦能時,面邊界處的視訊塊可藉由該一個或多個子塊級補償模式而被編碼。如果尋找到跨一個或多個面邊界的視訊塊,那麼該視訊塊將藉由該一個或多個編碼模式而被編碼。該一個或多個編碼模式可用於推導出子塊級的運動資訊。
例如,如果子塊模式被用於目前塊且如果該目前塊包括位於與360度視訊內容相關聯的多個面上的樣本,則該目前塊中的一個或多個樣本可基於子塊級面關聯而被預測。對於目前塊中的子塊(例如,第一子塊及/或第二子塊),該子塊的位置可被識別。該子塊可基於所識別的該子塊的位置而與面相關聯。該子塊中的樣本可基於與該子塊相關聯的面而被預測。
可跳過用於表明編碼模式的指示(例如,旗標)的傳訊。例如,在編碼器處的速率失真處理期間,該編碼模式(例如,其可關聯針對整個塊的方向的單一運動向量)可不被檢查。一個或多個(例如,所有)允許的編碼模式(例如,具有子塊級運動或不具有子塊級運動)可被允許對面邊界處的視訊塊進行編碼。對語法(例如,額外的傳訊語法)進行傳訊可被應用以表明選擇了哪個編碼模式。
第23A圖是示出了可以實施所揭露的一個或多個實施例的範例性通信系統100的圖式。該通信系統100可以是為多個無線使用者提供語音、資料、視訊、消息傳遞、廣播等內容的多重存取系統。該通信系統100可以經由包括無線頻寬的系統資源的共用而使多個無線使用者能夠存取此類內容。舉例來說,通信系統100可以使用一種或多種通道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)、零尾唯一字DFT擴展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、資源塊過濾OFDM、以及濾波器組多載波(FBMC)等等。
如第23A圖所示,通信系統100可以包括無線傳輸/接收單元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交換電話網路(PSTN)108、網際網路110以及其他網路112,然而應該瞭解,所揭露的實施例設想了任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d中的每一者可以是被配置為在無線環境中操作及/或通信的任何類型的裝置。例如,WTRU 102a、102b、102c、102d中的任一者都可被稱為“站”及/或“STA”,其可以被配置為傳輸及/或接收無線信號、並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、基於訂用的單元、呼叫器、行動電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、小筆電、個人電腦、無線感測器、熱點或Mi-Fi裝置、物聯網(IoT)裝置、手錶或其他可穿戴設備、頭戴顯示器(HMD)、車輛、無人機、醫療設備和應用(例如遠端外科手術)、工業設備和應用(例如在工業及/或自動處理鏈環境中操作的機器人及/或其他無線裝置)、消費類電子裝置、以及在商業及/或工業無線網路上操作的裝置等等。WTRU 102a、102b、102c、102d中的任一者都可以被可交換地稱為UE。
通信系統100還可以包括基地台114a及/或基地台114b。基地台114a、114b中的每一者可以是被配置為無線地與WTRU 102a、102b、102c、102d中的至少一個WTRU無線介接來促使其存取一個或多個通信網路(例如CN 106/115、網際網路110、及/或其他網路112)的任何類型的裝置。舉例來說,基地台114a、114b可以是基地收發站(BTS)、節點B、e節點B、本地節點B、本地e節點B、gNB、NR節點B、網站控制器、存取點(AP)、以及無線路由器等等。雖然基地台114a、114b各自都被描述為單一元件,然而應該瞭解基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 104/113的一部分,並且該RAN還可以包括其他基地台及/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a及/或基地台114b可被配置為在稱為胞元(未顯示)的一個或多個載波頻率上傳輸及/或接收無線信號。這些頻率可以處於授權頻譜、無授權頻譜或是授權與無授權頻譜的組合中。胞元可以針對無線服務為相對固定或者有可能隨時間變化的特定地理區域提供無線服務覆蓋。胞元可被進一步分成胞元扇區。例如,與基地台114a相關聯的胞元可被分為三個扇區。因此,在一個實施例中,基地台114a可以包括三個收發器,也就是說,每一個收發器都對應於胞元的一個扇區。在一個實施例中,基地台114a可以使用多輸入多輸出(MIMO)技術、並且可以為胞元的每一個扇區使用多個收發器。舉例來說,可以使用波束成形以在期望的空間方向上傳輸及/或接收信號。
基地台114a、114b可以經由空中介面116以與WTRU 102a、102b、102c、102d中的一個或多個進行通信,其中該空中介面可以是任何適當的無線通訊鏈路(例如射頻(RF)、微波、釐米波、毫米波、紅外線(IR)、紫外線(UV)、可見光等等)。可以使用任何適當的無線電存取技術(RAT)來建立空中介面116。
更具體地說,如上所述,通信系統100可以是多重存取系統、並且可以使用一種或多種通道存取方案,例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如,RAN 104/113中的基地台114a與WTRU 102a、102b、102c可以實施無線電技術,例如通用行動電信系統(UMTS)陸地無線電存取(UTRA),其中該技術可以使用寬頻CDMA(WCDMA)來建立空中介面115/116/117。WCDMA可以包括諸如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)之類的通信協定。HSPA可以包括高速下鏈(DL)封包存取(HSDPA)及/或高速UL封包存取(HSUPA)。
在一個實施例中,基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如演進型UMTS陸地無線電存取(E-UTRA),其中該技術可以使用長期演進(LTE)及/或先進LTE(LTE-A)及/或先進LTA Pro(LTE-A Pro)來建立空中介面116。
在一個實施例中,基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如NR無線電存取,其中該無線電技術可以使用新型無線電(NR)來建立空中介面116。
在一個實施例中,基地台114a和WTRU 102a、102b、102c可以實施多種無線電存取技術。例如,基地台114a和WTRU 102a、102b、102c可以一起實施LTE無線電存取和NR無線電存取(例如使用雙連接(DC)原理)。因此,WTRU 102a、102b、102c使用的空中介面可以藉由多種類型的無線電存取技術及/或向/從多種類型的基地台(例如eNB和gNB)發送的傳輸來表徵。
在其他實施例中,基地台114a和WTRU 102a、102b、102c可以實施以下的無線電技術,例如IEEE 802.11(即,無線高保真(WiFi))、IEEE 802.16(即,全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時標準2000(IS-2000)、臨時標準95(IS-95)、臨時標準856(IS-856)、全球行動通信系統(GSM)、用於GSM演進的增強資料速率(EDGE)以及GSM EDGE(GERAN)等等。
第23A圖中的基地台114b例如可以是無線路由器、本地節點B、本地e節點B或存取點、並且可以使用任何適當的RAT來促成局部區域中的無線連接,例如營業場所、住宅、車輛、校園、工業設施、空中走廊(例如供無人機使用)以及道路等等。在一個實施例中,基地台114b與WTRU 102c、102d可以實施例如IEEE 802.11之類的無線電技術來建立無線區域網路(WLAN)。在一個實施例中,基地台114b與WTRU 102c、102d可以實施例如IEEE 802.15之類的無線電技術來建立無線個人區域網(WPAN)。在再一個實施例中,基地台114b和WTRU 102c、102d可使用基於蜂巢的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)來建立微微胞元或毫微微胞元。如第23A圖所示,基地台114b可以具有與網際網路110的直接連接。因此,基地台114b並不是必然要經由CN 106/115來存取網際網路110。
RAN 104/113可以與CN 106/115進行通信,其中該CN 106/115可以是被配置為向一個或多個WTRU 102a、102b、102c、102d提供語音、資料、應用及/或經由網際網路協定語音(VoIP)服務的任何類型的網路。該資料可以具有不同的服務品質(QoS)需求,例如不同的輸送量需求、潛時需求、容錯需求、可靠性需求、資料輸送量需求、以及行動性需求等等。CN 106/115可以提供呼叫控制、記帳服務、基於行動位置的服務、預付費呼叫、網際網路連接、視訊分發等等、及/或可以執行例如使用者驗證之類的高階安全功能。雖然在第23A圖中沒有顯示,然而應該瞭解,RAN 104/113及/或CN 106/115可以直接或間接地和與RAN 104/113使用相同RAT或不同RAT的其他RAN進行通信。例如,除了與使用NR無線電技術的RAN 104/113相連之外,CN 106/115還可以與使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi無線電技術的另一RAN(未顯示)通信。
CN 106/115還可以充當供WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供簡易老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用了公共通信協定(例如TCP/IP網際網路協定族中的傳輸控制協定(TCP)、使用者資料報通訊協定(UDP)及/或網際網路協定(IP))的全球性互連電腦網路和裝置系統。網路112可以包括由其他服務供應者擁有及/或操作的有線及/或無線通訊網路。例如,網路112可以包括與一個或多個RAN相連的另一個CN,其中該一個或多個RAN可以與RAN 104/113使用相同RAT或不同RAT。
通信系統100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如,WTRU 102a、102b、102c、102d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器)。例如,第23A圖所示的WTRU 102c可被配置為與使用基於蜂巢的無線電技術的基地台114a通信,以及與可以使用IEEE 802無線電技術的基地台114b通信。
第23B圖是示出了範例性WTRU 102的系統圖。如第23B圖所示,WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、小鍵盤126、顯示器/觸控板128、非可移記憶體130、可移記憶體132、電源134、全球定位系統(GPS)晶片組136及/或其他週邊設備138。應該瞭解的是,在保持符合實施例的同時,WTRU 102還可以包括前述元件的任何子組合。
處理器118可以是通用處理器、專用處理器、常規處理器、數位訊號處理器(DSP)、多個微處理器、與DSP核心關聯的一個或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)電路、其他任何類型的積體電路(IC)以及狀態機等等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、及/或其他任何能使WTRU 102在無線環境中操作的功能。處理器118可以耦合至收發器120,收發器120可以耦合至傳輸/接收元件122。雖然第23B圖將處理器118和收發器120描述為單獨的元件,然而應該瞭解,處理器118和收發器120也可以集成在一個電子元件或晶片中。
傳輸/接收元件122可被配置為經由空中介面116來傳輸信號至基地台(例如基地台114a)或從基地台(例如基地台114a)接收信號。舉個例子,在一個實施例中,傳輸/接收元件122可以是被配置為傳輸及/或接收RF信號的天線。作為範例,在另一個實施例中,傳輸/接收元件122可以是被配置為傳輸及/或接收IR、UV或可見光信號的放射器/偵測器。在再一個實施例中,傳輸/接收元件122可被配置為傳輸及/或接收RF和光信號。應該瞭解的是,傳輸/接收元件122可以被配置為傳輸及/或接收無線信號的任何組合。
雖然在第23B圖中將傳輸/接收元件122描述為是單一元件,但是WTRU 102可以包括任何數量的傳輸/接收元件122。更具體地說,WTRU 102可以使用MIMO技術。因此,在一個實施例中,WTRU 102可以包括經由空中介面116以傳輸和接收無線電信號的兩個或多個傳輸/接收元件122(例如多個天線)。
收發器120可被配置為對傳輸/接收元件122要傳送的信號進行調變、以及對傳輸/接收元件122接收的信號進行解調。如上所述,WTRU 102可以具有多模能力。因此,收發器120可以包括用於使WTRU 102經由例如NR和IEEE 802.11之類的多種RAT來進行通信的多個收發器。
WTRU 102的處理器118可以耦合到揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)、並且可以接收來自這些元件的使用者輸入資料。處理器118還可以向揚聲器/麥克風124、小鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外,處理器118可以從諸如非可移記憶體130及/或可移記憶體132之類的任何適當的記憶體中存取訊號、以及將資料儲存在這些記憶體。非可移記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或是其他任何類型的記憶儲存裝置。可移記憶體132可以包括用戶身份模組(SIM)卡、記憶條、以及安全數位(SD)記憶卡等等。在其他實施例中,處理器118可以從那些並非實際位於WTRU 102的記憶體存取資訊、以及將資料儲存在這些記憶體,作為範例,此類記憶體可以位於伺服器或家用電腦(未顯示)。
處理器118可以接收來自電源134的電力、並且可被配置分發及/或控制用於WTRU 102中的其他元件的電力。電源134可以是為WTRU 102供電的任何適當裝置。例如,電源134可以包括一個或多個乾電池組(如鎳鎘(Ni-Cd)、鎳鋅(Ni-Zn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)、太陽能電池、以及燃料電池等等。
處理器118還可以耦合到GPS晶片組136,該晶片組可被配置為提供與WTRU 102的目前位置相關的位置資訊(例如經度和緯度)。作為來自GPS晶片組136的資訊的補充或替代,WTRU 102可以經由空中介面116接收來自基地台(例如基地台114a、114b)的位置資訊、及/或基於從兩個或多個附近基地台接收的信號時序來確定其位置。應該瞭解的是,在保持符合實施例的同時,WTRU 102可以用任何適當的定位方法來獲取位置資訊。
處理器118還可以耦合到其他週邊設備138,其中該週邊設備可以包括提供附加特徵、功能及/或有線或無線連接的一個或多個軟體及/或硬體模組。例如,週邊設備138可以包括加速度計、電子指南針、衛星收發器、數位相機(用於照片及/或視訊)、通用序列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、虛擬實境及/或增強現實(VR/AR)裝置、以及活動追蹤器等等。週邊設備138可以包括一個或多個感測器,該感測器可以是以下的一個或多個:陀螺儀、加速度計、霍爾效應感測器、磁強計、方位感測器、鄰近感測器、溫度感測器、時間感測器、地理位置感測器、高度計、光感測器、觸摸感測器、磁力計、氣壓計、手勢感測器、生物測定感測器、及/或濕度感測器。
WTRU 102可以包括全雙工無線電設備,其中對於該無線電設備來說,一些或所有信號(例如與用於UL(例如對傳輸)和下鏈(例如對接收)的特定子訊框相關聯)的接收或傳輸可以是並行及/或同時的。全雙工無線電設備可以包括經由硬體(例如扼流圈)或是經由處理器(例如單獨的處理器(未顯示)或是經由處理器118)的信號處理來減小及/或基本消除自干擾的介面管理單元。在一個實施例中,WTRU 102可以包括半雙工無線電設備,其中對於該設備,一些或所有信號(例如與用於UL(例如用於傳輸)和下鏈(例如用於接收)的特定子訊框相關聯)的傳輸和接收。
第23C圖是示出了根據一個實施例的RAN 104和CN 106的系統圖。如上所述,RAN 104可以通過空中介面116使用E-UTRA無線電技術來與WTRU 102a、102b、102c進行通信。並且,RAN 104還可以與CN 106進行通信。
RAN 104可以包括e節點B 160a、160b、160c,然而應該瞭解,在保持符合實施例的同時,RAN 104可以包括任何數量的e節點B。每一個e節點B 160a、160b、160c都可以包括用於經由空中介面116以與WTRU 102a、102b、102c通信的一個或多個收發器。在一個實施例中,e節點B 160a、160b、160c可以實施MIMO技術。因此,舉例來說,e節點B 160a可以使用多個天線來向WTRU 102a傳輸無線信號、及/或接收來自WTRU 102a的無線信號。
每一個e節點B 160a、160b、160c都可以關聯於特定胞元(未顯示)、並且可被配置為處理無線電資源管理決策、切換決策、UL及/或DL中的使用者排程等等。如第23C圖所示,e節點B 160a、160b、160c可以經由X2介面彼此通信。
第23C圖所示的CN 106可以包括行動性管理實體(MME)162、服務閘道(SGW)164以及封包資料網路(PDN)閘道(或PGW)166。雖然前述的每一個元件都被描述為是CN 106的一部分,然而應該瞭解,這其中的任一元件都可以由CN操作者之外的實體所擁有及/或操作。
MME 162可以經由S1介面被連接到RAN 104中的每一個e節點B 160a、160b、160c、並且可以充當控制節點。例如,MME 162可以負責驗證WTRU 102a、102b、102c的使用者、執行承載啟動/停用、以及在WTRU 102a、102b、102c的初始連結期間選擇特定的服務閘道等等。MME 162還可以提供一個用於在RAN 104與使用其他無線電技術(例如GSM及/或WCDMA)的其他RAN(未顯示)之間進行切換的控制平面功能。
SGW 164可以經由S1介面被連接到RAN 104中的每一個e節點B 160a、160b、160c。SGW 164通常可以路由和轉發使用者資料封包至WTRU 102a、102b、102c/路由和轉發來自WTRU 102a、102b、102c的使用者資料封包。並且,SGW 164還可以執行其他功能,例如在e節點B間的切換期間錨定使用者平面、在DL資料可供WTRU 102a、102b、102c使用時觸發傳呼、以及管理和儲存WTRU 102a、102b、102c的上下文等等。
SGW 164可以連接到PGW 166,該PGW 166可以為WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)存取,以便促成WTRU 102a、102b、102c與IP賦能裝置之間的通信。
CN 106可以促成與其他網路的通信。例如,CN 106可以為WTRU 102a、102b、102c提供對電路切換式網路(例如PSTN 108)的存取,以促成WTRU 102a、102b、102c與傳統的陸線通信裝置之間的通信。例如,CN 106可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)或與之進行通信,並且該IP閘道可以充當CN 106與PSTN 108之間的介面。此外,CN 106可以為WTRU 102a、102b、102c提供針對其他網路112的存取,其中該網路可以包括其他服務供應者擁有及/或操作的其他有線及/或無線網路。
雖然在第23A圖至第23D圖中將WTRU描述為無線終端,然而應該想到的是,在某些典型實施例中,此類終端可以使用(例如臨時或永久性)有線通信介面與通信網路。
在典型的實施例中,其他網路112可以是WLAN。
採用基礎架構基本服務集(BSS)模式的WLAN可以具有用於該BSS的存取點(AP)以及與該AP相關聯的一個或多個站(STA)。該AP可以存取或是介接到分散式系統(DS)或是將訊務攜入及/或攜出BSS的另一類型的有線/無線網路。源於BSS外部且至STA的訊務可以經由AP到達並被遞送至STA。源自STA且至BSS外部的目的地的訊務可被發送至AP,以遞送到各自的目的地。BSS內的STA之間的訊務可以經由AP來發送,例如源STA可以向AP發送訊務並且AP可以將訊務遞送至目的地STA。BSS內的STA之間的訊務可被認為及/或稱為點到點訊務。該點到點訊務可以在源與目的地STA之間(例如在其間直接)用直接鏈路設置(DLS)來發送。在某些典型實施例中,DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。使用獨立BSS(IBSS)模式的WLAN不具有AP,並且該IBSS內或是使用該IBSS的STA(例如所有STA)彼此可以直接通信。在這裡,IBSS通信模式有時可被稱為“特定(ad-hoc)”通信模式。
在使用802.11ac基礎設施操作模式或類似操作模式時,AP可以在固定通道(例如主通道)上傳送信標。該主通道可以具有固定寬度(例如20 MHz頻寬)或是經由傳訊動態設定的寬度。主通道可以是BSS的操作通道、並且可被STA用來與AP建立連接。在某些典型實施例中,(例如在802.11系統中)可以實施具有衝突避免的載波感測多重存取(CSMA/CA)。對於CSMA/CA,包括AP的STA(例如每一個STA)可以感測主通道。如果特定STA感測到/偵測到及/或確定主通道繁忙,那麼該特定STA可以回退。在指定的BSS中,一個STA(例如只有一個站)可以在任何指定時間進行傳輸。
高輸送量(HT)STA可以使用40 MHz寬的通道來進行通信(例如經由將20 MHz寬的主通道與相鄰或不相鄰的20 MHz寬的通道組合以形成40 MHz寬的通道)。
甚高輸送量(VHT)STA可以支援20 MHz、40 MHz、80 MHz及/或160 MHz寬的通道。可以藉由組合連續的20 MHz通道來形成40 MHz及/或80 MHz通道。可以藉由組合8個連續的20 MHz通道或者藉由組合兩個不連續的80 MHz通道(這種組合可被稱為80+80配置)來形成160 MHz通道。對於80+80配置,在通道編碼之後,資料可經由分段解析器被傳遞,該分段解析器可以將資料分成兩個流。在每一個流上可以分別完成逆快速傅立葉逆變換(IFFT)處理以及時域處理。該流可被映射在兩個80 MHz通道上,並且資料可以由一傳輸STA來傳送。在一接收STA的接收器上,用於80+80配置的上述操作可以是相反的,並且組合資料可被發送至媒體存取控制(MAC)。
802.11af和802.11ah支援次1GHz操作模式。相對於802.11n和802.11ac中使用的通道操作頻寬和載波,在802.11af和802.11ah中的通道操作頻寬和載波有所縮減。802.11af支援在TV白空間(TVWS)頻譜中的5 MHz、10 MHz和20 MHz頻寬,並且802.11ah支援使用非TVWS頻譜的1 MHz、2 MHz、4 MHz、8 MHz和16 MHz頻寬。依照典型實施例,802.11ah可以支援儀錶類型控制/機器類型通信(例如巨集覆蓋區域中的MTC裝置)。MTC裝置可以具有某種能力,例如包括了支援(例如只支援)某些及/或有限頻寬的受限能力。MTC裝置可以包括電池,並且該電池的電池壽命高於臨界值(例如維持很長的電池壽命)。
可以支援多個通道和通道頻寬(例如802.11n、802.11ac、802.11af以及802.11ah)的WLAN系統包括可被指定成主通道的通道。該主通道可以具有的頻寬等於BSS中的所有STA所支援的最大公共操作頻寬。主通道的頻寬可以由STA設定及/或限制,該STA來自在支援最小頻寬操作模式的BSS中操作的所有STA。在802.11ah的範例中,即使BSS中的AP和其他STA支援2 MHz、4 MHz、8 MHz、16 MHz及/或其他通道頻寬操作模式,但支援(例如只支援)1 MHz模式的STA(例如MTC類型的裝置),主通道可以是1 MHz寬。載波感測及/或網路分配向量(NAV)設定可以取決於主通道的狀態。如果主通道忙於(例如因為STA(其只支援1MHz操作模式)向AP傳送),那麼即使大多數的頻帶保持空閒並且可供使用,也可以認為整個可用頻帶繁忙。
在美國,可供802.11ah使用的可用頻帶是從902 MHz到928 MHz。在韓國,可用頻帶是從917.5MHz到923.5 MHz。在日本,可用頻帶是從916.5 MHz到927.5 MHz。依照國家碼,可用於802.11ah的總頻寬是6 MHz到26 MHz。
第23D圖是示出了根據一個實施例的RAN 113和CN 115的系統圖。如上所述,RAN 113可以使用NR無線電技術以經由空中介面116而與WTRU 102a、102b、102c進行通信。此外,RAN 113還可以與CN 115進行通信。
RAN 113可以包括gNB 180a、180b、180c,但是應該瞭解,在保持符合實施例的同時,RAN 113可以包括任何數量的gNB。gNB 180a、180b、180c中的每一個都可以包括一個或多個收發器,以經由空中介面116來與WTRU 102a、102b、102c通信。在一個實施例中,gNB 180a、180b、180c可以實施MIMO技術。例如,gNB 180a、180b可以使用波束成形以向及/或從gNB 180a、180b、180c傳輸及/或接收信號。因此,舉例來說,gNB 180a可以使用多個天線來向WTRU 102a傳輸無線信號、及/或從WTRU 102a接收無線信號。在一個實施例中,gNB 180a、180b、180c可以實施載波聚合技術。例如,gNB 180a可以向WTRU 102a(未顯示)傳送多個分量載波。這些分量載波的子集可以處於無授權頻譜上,而剩餘分量載波則可以處於授權頻譜上。在一個實施例中,gNB 180a、180b、180c可以實施協作多點(CoMP)技術。例如,WTRU 102a可以從gNB 180a和gNB 180b(及/或gNB 180c)接收協作傳輸。
WTRU 102a、102b、102c可以使用與可縮放參數集(scalable numerology)相關聯的傳輸以與gNB 180a、180b、180c進行通信。舉例來說,對於不同的傳輸、不同的胞元及/或不同的無線傳輸頻譜部分,OFDM符號間距及/或OFDM子載波間距可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可縮放長度的子訊框或傳輸時間間隔(TTI)(例如包含了不同數量的OFDM符號及/或持續不同的絕對時間長度)以與gNB 180a、180b、180c進行通信。
gNB 180a、180b、180c可被配置為與採用獨立配置及/或非獨立配置的WTRU 102a、102b、102c進行通信。在獨立配置中,WTRU 102a、102b、102c可以在不存取其他RAN(例如e節點B 160a、160b、160c)下與gNB 180a、180b、180c進行通信。在獨立配置中,WTRU 102a、102b、102c可以使用gNB 180a、180b、180c中的一個或多個作為行動錨點。在獨立配置中,WTRU 102a、102b、102c可以使用無授權頻帶中的信號以與gNB 180a、180b、180c進行通信。在非獨立配置中,在與另一RAN(例如e節點B 160a、160b、160c)進行通信/連接的同時,WTRU 102a、102b、102c可以與gNB 180a、180b、180c進行通信/相連。舉例來說,WTRU 102a、102b、102c可以實施DC原理而以基本同時地與一個或多個gNB 180a、180b、180c以及一個或多個e節點B 160a、160b、160c進行通信。在非獨立配置中,e節點B 160a、160b、160c可以充當WTRU 102a、102b、102c的行動錨點,並且gNB 180a、180b、180c可以提供附加的覆蓋及/或輸送量,以便為WTRU 102a、102b、102c提供服務。
每一個gNB 180a、180b、180c都可以關聯於特定胞元(未顯示)、並且可以被配置為處理無線電資源管理決策、切換決策、UL及/或DL中的使用者排程、支援網路切片、實施雙連線性、NR與E-UTRA之間的互通、路由朝向使用者平面功能(UPF)184a、184b的使用者平面資料、以及路由朝向存取和行動性管理功能(AMF)182a、182b的控制平面資訊等等。如第23D圖所示,gNB 180a、180b、180c可以經由Xn介面進行通信。
第23D圖顯示的CN 115可以包括至少一個AMF 182a、182b、至少一個UPF 184a、184b、至少一個對話管理功能(SMF)183a、183b、並且有可能包括資料網路(DN)185a、185b。雖然每一個前述元件都被描述了CN 115的一部分,但是應該瞭解,這其中的任一元件都可以被CN操作者之外的其他實體擁有及/或操作。
AMF 182a、182b可以經由N2介面被連接到RAN 113中的一個或多個gNB 180a、180b、180c、並且可以充當控制節點。例如,AMF 182a、182b可以負責驗證WTRU 102a、102b、102c的使用者、支援網路截割(例如處理具有不同需求的不同PDU對話)、選擇特定的SMF 183a、183b、管理註冊區域、終止NAS傳訊、以及行動性管理等等。AMF 182a、182b可以使用網路截割,以基於正在被使用的WTRU 102a、102b、102c服務類型來定制為WTRU 102a、102b、102c提供的CN支援。作為範例,可以針對不同的用例建立不同的網路切片,例如依賴於超可靠低潛時(URLLC)存取的服務、依賴於增強型大規模行動寬頻(eMBB)存取的服務、及/或用於機器類型通信(MTC)存取的服務等等。AMF 162可以提供用於在RAN 113與使用其他無線電技術(例如LTE、LTE-A、LTE-A Pro及/或如WiFi之類的非3GPP存取技術)的其他RAN(未顯示)之間切換的控制平面功能。
SMF 183a、183b可以經由N11介面被連接到CN 115中的AMF 182a、182b。SMF 183a、183b還可以經由N4介面被連接到CN 115中的UPF 184a、184b。SMF 183a、183b可以選擇和控制UPF 184a、184b、並且可以經由UPF 184a、184b來配置訊務路由。該SMF 183a、183b可以執行其他功能,諸如管理及分配UE IP位址、管理PDU對話、控制策略執行及QoS、提供下鏈資料通知等等。PDU對話類型可以是基於IP的、基於非IP的、基於乙太網路的等等。
UPF 184a、184b可以經由N3介面被連接到RAN 113中的gNB 180a、180b、180c中的一個或多個,這可以為WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)存取,以促成WTRU 102a、102b、102c與IP賦能裝置之間的通信。UPF 184、184b可以執行其他功能,例如路由和轉發封包、實施使用者平面策略、支援多宿主PDU對話、處理使用者平面QoS、緩衝下鏈封包、以及提供行動性錨定等等。
CN 115可以促成與其他網路的通信。例如,CN 115可以包括或者可以與充當CN 115與PSTN 108之間的介面的IP閘道(例如IP多媒體子系統(IMS)伺服器)進行通信。此外,CN 115可以為WTRU 102a、102b、102c提供對其他網路112的存取,網路112可以包括其他服務供應者擁有及/或操作的其他有線及/或無線網路。在一個實施例中,WTRU 102a、102b、102c可以經由介接到UPF 184a、184b的N3介面以及介於UPF 184a、184b與DN 185a、185b之間的N6介面以經由UPF 184a、184b而連接到本地資料網路(DN)185a、185b。
鑒於第23A圖至第23D圖以及第23A圖至第23D圖的對應描述,在這裡對照以下的一項或多項描述的一個或多個或所有功能可以由一個或多個仿真裝置(未顯示)來執行:WTRU 102a-d、基地台114a-b、e節點B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185 a-b及/或這裡描述的其他任一個或多個裝置。這些仿真裝置可以是被配置為仿真這裡一個或多個或所有功能的一個或多個裝置。舉例來說,這些仿真裝置可用於測試其他裝置及/或仿真網路及/或WTRU功能。
該仿真裝置可被設計為在實驗室環境及/或操作者網路環境中實施其他裝置的一項或多項測試。舉例來說,該一個或多個仿真裝置可以在作為有線及/或無線通訊網路一部分被完全或部分實施及/或部署的同時執行一個或多個或所有功能,以測試通信網路內的其他裝置。該一個或多個仿真裝置可以在作為有線及/或無線通訊網路的一部分被臨時實施/部署的同時執行一個或多個或所有功能。該仿真裝置可以直接耦合到另一裝置以執行測試、及/或可以使用空中無線通訊來執行測試。
一個或多個仿真裝置可以執行包括所有功能的一個或多個功能,而不是作為有線及/或無線通訊網路的一部分被實施/部署。舉例來說,該仿真裝置可以在測試實驗室及/或未被部署(例如測試)的有線及/或無線通訊網路的測試場景中使用,以便實施關於一個或多個元件的測試。該一個或多個仿真裝置可以是測試裝置。該仿真裝置可以使用直接的RF耦合及/或借助了RF電路(作為範例,該電路可以包括一個或多個天線)的無線通訊來傳輸及/或接收資料。
100‧‧‧通信系統
102、102a、102b、102c、102d‧‧‧無線傳輸/接收單元(WTRU)
104/113‧‧‧無線電存取網路(RAN)
106/115‧‧‧核心網路(CN)
108‧‧‧公共交換電話網路(PSTN)
110‧‧‧網際網路
112‧‧‧其他網路
114a、114b‧‧‧基地台
116‧‧‧空中介面
118‧‧‧處理器
120‧‧‧收發器
122‧‧‧傳輸/接收元件
124‧‧‧揚聲器/麥克風
126‧‧‧小鍵盤
128‧‧‧顯示器/觸控板
130‧‧‧非可移記憶體
132‧‧‧可移記憶體
134‧‧‧電源
136‧‧‧全球定位系統(GPS)晶片組
138‧‧‧週邊設備
160a、160b、160‧‧‧e節點B
162‧‧‧行動性管理實體(MME)
164‧‧‧服務閘道(SGW)
166‧‧‧封包資料網路(PDN)閘道(或PGW)
180a、180b、180c‧‧‧gNB
182a、182b‧‧‧存取和行動性管理功能(AMF)
183a、183b‧‧‧對話管理功能(SMF)
184a、184b‧‧‧使用者平面功能(UPF)
185a、185b‧‧‧資料網路(DN)
202‧‧‧視訊位元流
208、608‧‧‧熵編碼單元
210‧‧‧逆量化單元
212‧‧‧逆變換單元
260‧‧‧空間預測單元
262‧‧‧時間預測單元
264、664‧‧‧參考圖像儲存器
266‧‧‧環內濾波
600‧‧‧混合視訊編碼系統
602‧‧‧輸入視訊訊號
604‧‧‧變換模組
606‧‧‧量化模組
620‧‧‧輸出視訊位元流
660‧‧‧空間預測
662‧‧‧時間預測
680‧‧‧模式決策
1702‧‧‧帶條塊(striped block)
1704‧‧‧帶點塊(dotted block)
A、、A’、AL、AL’、AR、AR’、 BL、L‧‧‧塊
F0、F1、F2‧‧‧面
FOV‧‧‧視場
OBMC‧‧‧重疊塊運動補償
N2、N3、N4、N6、N11、S1、X2、Xn‧‧‧介面
SAD‧‧‧絕對差異總和
T0、T1‧‧‧時間
第1A圖至第1C圖描繪了使用等距柱狀投影(ERP)將球面幾何投影至2D平面的範例。 第2A圖至第2C圖描繪了立方體貼圖(cubemap)投影(CMP)的範例。 第3圖描繪了360度視訊系統的範例性工作流程。 第4A圖及第4B圖描繪了藉由使用(a) ERP及(b) CMP重複填充邊界而產生的擴展圖像的範例。 第5A圖及第5B圖描繪了針對ERP的幾何填充的範例,(a)填充幾何;以及(b)填充後的ERP圖像。 第6A圖及第6B圖描繪了針對CMP的幾何填充的範例。 第7圖描繪了基於塊的視訊編碼器的範例性示意圖。 第8圖描繪了基於塊的視訊解碼器的範例性示意圖。 第9圖描繪了範例性高級時間運動向量預測(ATMVP)。 第10圖描繪了範例性空間時間運動向量預測(STMVP)。 第11圖描繪了範例性重疊塊運動補償(OBMC)。 第12圖描繪了範例性局部光照補償(IC)。 第13A圖及第13B圖描繪了在(a)模板匹配及(b)雙邊匹配中的訊框率上轉換(FRUC)的範例。 第14圖描繪了範例性四叉樹加二叉樹(QTBT)塊分割。 第15圖描繪了當將幾何填充應用於360度視訊編碼時的範例性基於模板的編碼。 第16A圖至第16C圖描繪了在(a)3D幾何、(b)緊靠左側及/或緊靠上側的相鄰者、以及(c)基於幾何的模板推導中的用於基於模板的編碼的不同參考樣本推導的範例。 第17圖描繪了可使用來自相連及/或不相連相鄰面的模板樣本的塊的範例。 第18圖描繪了使用合併模式的範例性的基於幾何的運動預測。 第19圖描繪了不同面之間的範例性的基於幾何的運動向量投影。 第20圖描繪了針對OBMC的範例性基於幾何的參考塊推導。 第21圖描繪了應用了幾何填充的無約束QTBT塊分割的範例。 第22圖描繪了利用了面中運動補償的無約束QTBT塊分割的範例。 第23A圖是可以實施所揭露的一個或多個實施例的範例性通信系統的系統圖。 第23B圖是根據實施例的可以在第23A圖所示的通信系統中使用的範例性無線傳輸/接收單元(WTRU)的系統圖。 第23C圖是根據實施例的可以在第23A圖所示的通信系統中使用的範例性無線電存取網路(RAN)和範例性核心網路(CN)的系統圖。 第23D圖是根據實施例的可以在第23A圖所示的通信系統中使用的另一個範例性RAN和另一個範例性CN的系統圖。

Claims (20)

  1. 一種視訊編碼方法,包括: 接收包括一目前塊的一360度視訊內容; 確定一子塊模式被用於該目前塊,該目前塊包括多個子塊; 確定該目前塊包括位於與該360度視訊內容相關聯的多個面上的樣本;以及 基於子塊級面關聯,預測該目前塊中的至少一樣本,其中針對該目前塊中的一第一子塊: 識別該第一子塊的一第一位置; 基於該第一子塊的該識別的第一位置,將該第一子塊與一第一面相關聯;以及 基於與該第一子塊相關聯的該第一面,預測該第一子塊中的一第一樣本。
  2. 如申請專利範圍第1項所述的方法,其中基於該子塊級面關聯預測該目前塊中的至少一樣本進一步包括: 對於該目前塊中的一第二子塊: 識別該第二子塊的一第二位置; 基於該第二子塊的該識別的第二位置,將該第二子塊與一第二面相關聯;以及 基於與該第二子塊相關聯的該第二面,預測該第二子塊中的一第二樣本。
  3. 如申請專利範圍第2項所述的方法,其中該第二面不同於該第一面。
  4. 如申請專利範圍第1項所述的方法,其中預測與該第一子塊相關聯的該第一樣本進一步包括: 使用一運動向量識別與該第一面相關聯的一參考樣本;以及 基於所識別的參考樣本,預測該第一子塊中的該第一樣本。
  5. 如申請專利範圍第4項所述的方法,其中預測該第一子塊中的該第一樣本進一步包括使用所識別的參考樣本預測該第一樣本。
  6. 如申請專利範圍第4項所述的方法,其中所識別的參考樣本位於該第一面、或該第一面的一填充區域內。
  7. 如申請專利範圍第1項所述的方法,其中該360度視訊內容包括設置在一訊框封裝圖像中的該多個面,且該子塊級面關聯是基於該訊框封裝圖像中的該多個子塊的該位置而被執行。
  8. 如申請專利範圍第1項所述的方法,其中基於該子塊級關聯預測該目前塊中的至少一樣本進一步包括: 在該第一子塊與該第一面相關聯且一第二子塊與一第二面相關聯且該第一面不同於該第二面的情況下,使用與該第一面相關聯的一第一參考樣本預測該第一樣本、以及使用與該第二面相關聯的一第二參考樣本預測一第二樣本。
  9. 如申請專利範圍第1項所述的方法,其中該子塊模式包括以下至少一者:一高級時間運動向量預測(ATMVP)模式、一空間時間運動向量預測(STMVP)模式、一訊框率上轉換(FRUC)模式、或一仿射模式。
  10. 如申請專利範圍第1項所述的方法,進一步包括: 在該多個面上執行幾何填充、且該第一面包括與該第一面相關聯的一填充區域。
  11. 一種用於視訊編碼的無線傳輸/接收單元(WTRU),包括: 一處理器,被配置為: 接收包括一目前塊的一360度視訊內容; 確定一子塊模式被用於該目前塊,該目前塊包括多個子塊; 確定該目前塊包括位於與該360度視訊內容相關聯的多個面上的樣本;以及 基於子塊級面關聯,預測該目前塊中的至少一樣本,其中針對該目前塊中的一第一子塊: 識別該第一子塊一的第一位置; 基於該第一子塊的該識別的第一位置,將該第一子塊與一第一面相關聯;以及 基於與該第一子塊相關聯的該第一面,預測該第一子塊中的一第一樣本。
  12. 如申請專利範圍第11項所述的WTRU,其中用於基於該子塊級面關聯預測該目前塊中的至少一樣本的該處理器被進一步配置為: 對於該目前塊中的一第二子塊: 識別該第二子塊的一第二位置; 基於該第二子塊的該識別的第二位置,將該第二子塊與一第二面相關聯;以及 基於與該第二子塊相關聯的該第二面,預測該第二子塊中的一第二樣本。
  13. 如申請專利範圍第12項所述的WTRU,其中該第二面不同於該第一面。
  14. 如申請專利範圍第11項所述的WTRU,其中用於預測與該第一子塊相關聯的該第一樣本的該處理器被進一步配置為: 使用一運動向量識別與該第一面相關聯的一參考樣本;以及 基於所識別的參考樣本,預測該第一子塊中的該第一樣本。
  15. 如申請專利範圍第14項所述的WTRU,其中用於預測該第一子塊中的該第一樣本的該處理器被進一步配置為使用所識別的參考樣本預測該第一樣本。
  16. 如申請專利範圍第14項所述的WTRU,其中所識別的參考樣本位於該第一面、或該第一面的一填充區域內。
  17. 如申請專利範圍第11項所述的WTRU,其中該360度視訊內容包括設置在一訊框封裝圖像中的該多個面,且該子塊級面關聯是基於該訊框封裝圖像中的該多個子塊的該位置而被執行。
  18. 如申請專利範圍第11項所述的WTRU,其中用於基於該子塊級關聯預測該目前塊中的至少一樣本的該處理器被進一步配置為: 在該第一子塊與該第一面相關聯且一第二子塊與一第二面相關聯且該第一面不同於該第二面的情況下,使用與該第一面相關聯的一第一參考樣本預測該第一樣本,以及使用與該第二面相關聯的一第二參考樣本預測一第二樣本。
  19. 如申請專利範圍第11項所述的WTRU,其中該子塊模式包括以下至少一者:一高級時間運動向量預測(ATMVP)模式、一空間時間運動向量預測(STMVP)模式、一訊框率上轉換(FRUC)模式、或一仿射模式。
  20. 如申請專利範圍第11項所述的WTRU,其中該處理器被進一步配置為: 在該多個面上執行幾何填充、且該第一面包括與該第一面相關聯的一填充區域。
TW107109184A 2017-03-17 2018-03-17 基於幾何填充360度視訊預測編碼 TW201841507A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762473105P 2017-03-17 2017-03-17
US62/473,105 2017-03-17

Publications (1)

Publication Number Publication Date
TW201841507A true TW201841507A (zh) 2018-11-16

Family

ID=61874003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109184A TW201841507A (zh) 2017-03-17 2018-03-17 基於幾何填充360度視訊預測編碼

Country Status (7)

Country Link
US (1) US11825116B2 (zh)
EP (1) EP3596926A1 (zh)
JP (1) JP7249948B2 (zh)
CN (2) CN110651476B (zh)
RU (1) RU2019128700A (zh)
TW (1) TW201841507A (zh)
WO (1) WO2018170279A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019060443A1 (en) * 2017-09-20 2019-03-28 Vid Scale, Inc. HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING
US11706408B2 (en) 2018-11-15 2023-07-18 Electronics And Telecommunications Research Institute Method and apparatus for performing encoding/decoding by using region-based inter/intra prediction technique
WO2020034509A1 (en) * 2018-12-14 2020-02-20 Zte Corporation Immersive video bitstream processing
KR20210152475A (ko) * 2019-03-11 2021-12-15 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 프로파일 및 레벨 의존적 코딩 옵션을 가지는 인코더 및 디코더, 인코딩 방법 및 디코딩 방법
WO2021130357A1 (en) * 2019-12-27 2021-07-01 Koninklijke Kpn N.V. Motion vector prediction for video coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO951297A0 (en) 1997-09-29 1997-10-23 Canon Information Systems Research Australia Pty Ltd Method and apparatus for digital data compression
JP4276420B2 (ja) * 2002-11-05 2009-06-10 三菱電機株式会社 動き補償方法
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
JP5982734B2 (ja) 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
KR101618672B1 (ko) 2012-04-19 2016-05-18 인텔 코포레이션 깊이 기반 변이 벡터 교정을 포함하는 3d 비디오 코딩
CN105637874B (zh) * 2013-10-18 2018-12-07 Lg电子株式会社 解码多视图视频的视频解码装置和方法
US9967592B2 (en) * 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
US10477238B2 (en) 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US10652553B2 (en) 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest

Also Published As

Publication number Publication date
CN110651476A (zh) 2020-01-03
EP3596926A1 (en) 2020-01-22
JP2020517133A (ja) 2020-06-11
JP7249948B2 (ja) 2023-03-31
CN117560504A (zh) 2024-02-13
JP2023093440A (ja) 2023-07-04
US20220201327A1 (en) 2022-06-23
WO2018170279A1 (en) 2018-09-20
RU2019128700A (ru) 2021-03-15
US11825116B2 (en) 2023-11-21
CN110651476B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US11277635B2 (en) Predictive coding for 360-degree video based on geometry padding
JP7357747B2 (ja) 面連続性を使用する360度ビデオコーディング
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
US11432010B2 (en) Face discontinuity filtering for 360-degree video coding
TWI822863B (zh) 360度視訊寫碼樣本導出
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
WO2020185842A1 (en) Methods and apparatus for sub-picture adaptive resolution change
CN110651476B (zh) 基于几何图形填充的用于360度视频的预测编码
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
JP7518230B2 (ja) ジオメトリパディングに基づいた360度ビデオのための予測符号化