TW201946448A - 用於三百六十度視訊寫碼之環路濾波器填補 - Google Patents

用於三百六十度視訊寫碼之環路濾波器填補 Download PDF

Info

Publication number
TW201946448A
TW201946448A TW108104479A TW108104479A TW201946448A TW 201946448 A TW201946448 A TW 201946448A TW 108104479 A TW108104479 A TW 108104479A TW 108104479 A TW108104479 A TW 108104479A TW 201946448 A TW201946448 A TW 201946448A
Authority
TW
Taiwan
Prior art keywords
video data
degree video
reconstructed image
image
video
Prior art date
Application number
TW108104479A
Other languages
English (en)
Inventor
德 艾瓦拉 吉特 范
穆漢麥德 傑德 柯本
伏努 亨利
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201946448A publication Critical patent/TW201946448A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種實例方法包括：接收三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以該等封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。

Description

用於三百六十度視訊寫碼之環路濾波器填補
本發明係關於編碼及解碼視訊資料。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265 (亦被稱作高效視訊寫碼(HEVC))所定義之標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼，視訊截塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹型單元(CTU)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)截塊中之視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
近年來，已開發出用於寫碼及傳輸三百六十度視訊，例如，用於虛擬實境(VR)應用之技術。根據VR視訊技術之最新進展，由使用者體驗之視訊環境已變得恰好與視訊自身之主題一樣重要。此類VR視訊技術可使用三百六十度視訊技術，該三百六十度視訊技術涉及將三百六十度視訊圖形即時串流至VR頭戴式(head-mount)顯示器(HMD)及/或將三百六十度視訊自三百六十度視訊攝影機或網站即時串流至即時視訊顯示器，諸如VR頭戴式顯示器(HMD)。VR HMD允許使用者藉由運用頭部之轉動改變觀看角度來體驗其周圍發生的所有動作。為了建立三百六十度視訊，一組特定攝影機可用於同時記錄所有三百六十度場景，或多個視圖(例如視訊及/或電腦產生之影像)可經拼接在一起以形成影像。
一般而言，本發明係關於用於編碼及解碼三百六十度視訊資料之技術。舉例而言，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可對配置成封裝面(例如，其自三百六十度視訊資料之球體之投影獲得)之三百六十度視訊資料之圖像寫碼(例如，編碼或解碼)。當觀看三百六十度視訊資料之圖像時，呈現器可產生匹配於觀看者頭部定向的三百六十度視訊資料之檢視區。根據此定向及視場，檢視區可包括在封裝面之間的一或多個邊界(例如，位於圖像內鄰近區或非鄰近區之間的邊界)。
雖然將三百六十度視訊資料之圖像配置成封裝面可提供各種優點，諸如能夠利用通常針對視訊資料之矩形圖像設計的視訊編碼解碼器，但此配置可能會出現一或多種技術問題。舉例而言，將三百六十度視訊資料之圖像配置成封裝面會導致圖像邊界及鄰近區及非鄰近區之間的邊界處之呈現檢視區內的可見假影(例如，可見的接縫假影)。假影可由運動補償或環路內濾波中之一者或兩者產生。
根據本發明之一或多種技術，視訊寫碼器可在解碼過程期間向圖像添加填補。舉例而言，視訊寫碼器可在應用環路內濾波之前向重建構圖像添加額外樣本。以此方式，視訊寫碼器可減輕由封裝面之間的邊界處之變形及不連續性引起的失真及寫碼效率問題。因此，本發明描述具有改良視訊寫碼之技術操作的實際應用之技術解決方案的實例。
在一個實例中，一種解碼三百六十度視訊資料之方法包括：接收三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
在另一實例中，一種用於解碼三百六十度視訊資料之器件包括：一記憶體；一或多個處理器，其實施於電路中且經組態以：自經寫碼視訊位元串流獲得三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於該記憶體中以用於預測三百六十度視訊資料之後續圖像。
在另一實例中，一種用於解碼三百六十度視訊資料之器件包括：用於接收三百六十度視訊資料之一經編碼圖像的構件，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；用於解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像的構件，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；用於填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像的構件；用於對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像的構件；及用於將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像的構件。
在另一實例中，一種電腦可讀儲存媒體儲存指令，該等指令在被執行時使得一視訊解碼器之一或多個處理器進行以下操作：獲得三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
在另一實例中，一種用於解碼三百六十度視訊資料之器件包括：一記憶體；一或多個處理器，其實施於電路中且經組態以：自經寫碼視訊位元串流獲得三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；識別該三百六十度視訊資料之該經解碼圖像之一檢視區中包括該等封裝面之間的接縫的一或多個區；及將一濾波器應用於該一或多個識別區。
在另一實例中，一種編碼三百六十度視訊資料之方法包括：獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
在另一實例中，一種用於編碼三百六十度視訊資料之器件，該方法包含：一記憶體；一或多個處理器，其實施於電路中且經組態以：獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於該記憶體中以用於預測三百六十度視訊資料之後續圖像。
在另一實例中，一種用於編碼三百六十度視訊資料之器件包括：用於獲得三百六十度視訊資料之一重建構圖像的構件，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；用於填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像的構件；用於對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像的構件；及用於將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像的構件。
在另一實例中，一種電腦可讀儲存媒體儲存指令，該等指令在被執行時使得一視訊編碼器之一或多個處理器進行以下操作：獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於記憶體中以用於預測三百六十度視訊資料之後續圖像。
在隨附圖式及以下描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式以及申請專利範圍而顯而易見。
本申請案主張2018年2月14日申請之美國臨時申請案第62/630,624號的優先權，該美國臨時申請案之全部內容以引用之方式併入本文中。
圖1係說明可利用用於填補三百六十度視訊資料之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，源器件12提供待在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下，源器件12及目的地器件14可經配備以用於無線通信。
目的地器件14可經由電腦可讀媒體16來接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存器件。相似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在一另外實例中，儲存器件可對應於檔案伺服器或另一中間儲存器件，其可儲存由源器件12產生之經編碼視訊。目的地器件14可經由串流或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等等)，或兩者適於存取儲存於檔案伺服器上之經編碼視訊資料的組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30、顯示器件32及區判定單元34。在其他實例中，源器件及目的地裝置可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所說明系統10僅係一個實例。用於參考圖像導出及運動補償之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器(CODEC)」)執行。源器件12及目的地器件14僅僅為此等寫碼器件之實例，其中源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中，器件12、14可以實質上對稱方式而操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊檔案庫，及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18係視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一狀況下，經捕捉、經預捕捉或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。
在本發明之實例中，視訊源18可經組態以捕捉三百六十度視訊資料。舉例而言，視訊源18可為攝影機集，其通常由指向不同方向並理想地共同涵蓋圍繞該攝影機集之所有視點的多個個別攝影機組成。視訊源18可經進一步組態以執行影像拼接，其中由多個個別攝影機拍攝之視訊及/或靜態圖像在時域中同步並在空間域中拼接成球體視訊或影像，但映射至矩形格式，諸如等矩形圖(例如世界地圖)或立方圖。
電腦可讀媒體16可包括：瞬時媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，例如，經由網路傳輸，網路伺服器(未展示)可自源器件12接收經編碼視訊資料並將經編碼視訊資料提供至目的地器件14。相似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，其亦由視訊解碼器30使用，其包括描述區塊及其他經寫碼單元之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準操作，諸如高效視訊寫碼(HEVC)標準，亦被稱作ITU-T H.265。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準操作，諸如ITU-T H.264標準(替代地被稱作MPEG-4，第10部分)、進階視訊寫碼(AVC)或此等標準之擴展。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與一音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料流或單獨資料流中之音訊及視訊兩者之編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。一般而言，視訊解碼器30執行儘管與由視訊編碼器20執行之程序互逆但與其實質上相似的程序，以解碼經編碼資料。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器及/或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。
視訊編碼器20可進一步例如在圖像標頭、區塊標頭、截塊標頭中將語法資料(諸如基於區塊之語法資料)、基於圖像之語法資料及基於序列之語法資料發送至視訊解碼器30，或發送其他語法資料，諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS)。
根據本發明之技術，輸出介面22及輸入介面28可對應於網路介面，諸如實施一或多個網路協定(諸如，乙太網路)之網路介面卡(NIC)。電腦可讀媒體16可對應於網路連接，其可跨越私人或公用網路，諸如網際網路。
顯示器件32可對應於全景顯示器。舉例而言，顯示器件32可對應於頭戴式顯示器(HMD)或實質上或完全包封使用者之一或多個螢幕。區判定單元34可經組態以判定顯示器件32之複數個區。舉例而言，顯示器件32可包括複數個圖像塊，例如，對應於球體顯示器(或可模擬球體顯示器之顯示器，諸如HMD)的立方體面之一或多個部分。
如本文中所論述，區判定單元34可判定引導使用者之視覺焦點(圖1中未展示)所藉以的區中之一或多者。區判定單元34可促使輸入介面28擷取用於使用者之視覺焦點指向的顯示器件32之區之第一子集的視訊資料。
在一些實例中，源器件12及目的地器件14可經組態以同時實施多解析度(SMR)技術。SMR係部分解碼技術之新方法。根據SMR，與用於傳統的部分解碼方案中之可縮放寫碼方法相比，可傳送獨立寫碼之多個解析度流。SMR可允許在逐漸遠離使用者之當前視點定位的一系列區或圖像塊上逐漸降低質量。
在一個實例中，視訊編碼器20可以多個解析度，例如，6k、4k、8k、HD (1080p)及720p編碼完整全景之資料。亦即，視訊編碼器20可以此等多個解析度中之每一者編碼每一區(或「圖像塊」)之視訊資料。以此方式，圖像塊粒度可對於每一解析度係相同的。視訊編碼器20可在編碼各種解析度時避免層間依賴性。因此，視訊解碼器30可以選擇性方式(例如如由區判定單元34所選擇)以不同解析度解碼圖像塊之視訊資料。舉例而言，區判定單元34可選擇最高可用解析度用於在使用者之當前視點之中心處的區。遠離當前視點之中心，經解碼解析度可逐漸下降。亦即，區判定單元34可選擇按比例降低之解析度用於更遠離當前視點之中心的區(圖像塊)。因此，視訊解碼器30可以最低可用解析度解碼用於在使用者之當前視點後方之圖像塊的視訊資料。
如上文所提及，視訊編碼器20、視訊解碼器30及/或區判定單元34各自可實施為適用的多種合適的固定及/或可程式化電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。當以軟體或韌體實施功能性時，用於軟體或韌體之指令通常儲存於基於硬體之電腦可讀儲存媒體中並由一或多個處理器執行，該一或多個處理器再次使用邏輯電路來實施。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20、視訊解碼器30及/或區判定單元34之器件可包含積體電路、微處理器及/或無線通信器件，諸如蜂巢式電話。
目的地器件14可包括經組態以儲存所擷取視訊資料之記憶體，諸如硬碟及/或緩衝器。此記憶體可包括於視訊解碼器30、區判定單元34或目的地器件14內之別處內。
以下內容描述關於HEVC標準之各種視訊寫碼技術。然而，本發明之技術可與任何與三百六十度視訊資料一起使用之視訊寫碼技術一起使用，包括未來視訊寫碼標準，諸如H.266 (亦稱為多功能視訊寫碼(VVC))。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，標示為SL 、SCb 及SCr 。SL 係明度樣本之二維陣列(亦即，區塊)。SCb 係Cb色訊(chrominance)樣本之二維陣列。SCr 係Cr色訊樣本之二維陣列。色訊樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生一組寫碼樹型單元(coding tree unit；CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。截塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。但寫碼單元(CU)可與CTB具有相同大小，且可為小如8×8。每一寫碼單元係用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)或當不應用另外分割時變為僅一個PU。當兩個PU存在於一個CU中時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
為了產生經寫碼的CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用於寫碼該等區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊及用以預測該預測區塊之語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯的圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯的圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。當CU經框間寫碼時，可針對每一PU提供一組運動資訊。另外，每一PU可用唯一框間預測模式來寫碼以導出該組運動資訊。
在視訊編碼器20產生CU之一或多個在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中的對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割以將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解為一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為供應用相同變換之樣本的矩形(例如，正方形或非正方形)區塊。CU之變換單元(transform unit；TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以使變換區塊樣本變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯的明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用以使變換區塊之樣本變換的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊，以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化通常係指對變換係數進行量化以可能地減少用以表示變換係數的資料之量，從而提供進一步壓縮之程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化轉變係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(Context-Adaptive Binary Arithmetic Coding；CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含NAL單元序列。NAL單元為含有NAL單元中之資料之類型之指示的語法結構及含有呈視需要穿插有模擬阻止位元之RBSP形式之資料的位元組。NAL單元中之每一者包括NAL單元標頭，且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封PPS之RBSP，第二類型之NAL單元可囊封經寫碼截塊之RBSP，第三類型之NAL單元可囊封SEI訊息之RBSP，等等。囊封視訊寫碼資料之RBSP (與參數集及SEI訊息之RBSP相對)的NAL單元可被稱作VCL NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。用以重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反向變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
投影及映射可用以表示二維(2D)圖上之三維(3D)表面。舉例而言，在三百六十度視訊應用中，投影及映射用以將球體上表示之三百六十度視訊映射至二維視訊圖框上。投影及映射之實例包括：等矩形投影(ERP)、立方圖投影(CMP)、調整立方圖投影(ACP)及赤道圓柱投影(ECP)。圖2A至圖2D分別說明運用ERP、CMP、ACP及ECP投影獲得的「極柱」序列之圖像的實例投影。
在ERP格式中，藉由將球體上之點的緯度及經度線性映射至圖像上之x-y座標，將球體上之點映射至2D圖。圖2A說明呈ERP格式之三百六十度視訊的實例圖像。
在CMP格式中，將球體表面上之點投影至與球體表面正切的平面(立方體之面)上之點。CMP將球體表面投影至與球體表面正切的平面(立方體之六個面)上。圖2B說明呈CMP格式之三百六十度視訊的實例圖像。
ACP格式係CMP格式之增強。在ACP格式中，立方體面上之取樣被調整為幾乎均一。圖2C說明呈ACP格式之三百六十度視訊的實例圖像。
除了立方體幾何形狀以外，圓柱形幾何形狀已用以達成球體表面至經投影圖像上的相等區域映射。舉例而言，在ECP格式中，將赤道球體區段映射至圓柱體上。在一個實例中，ECP格式用於將球體在緯度±sin- 1 (2/3) ≈ ±41.81°之間的赤道區投影至圓柱體幾何形狀上，而圓形球體極區在經投影圖像中被扭曲成正方形區。圖2D說明呈ECP格式之三百六十度視訊的實例圖像。
經由變換二維(2D)圖上之三維(3D)表面的已知投影及映射技術，呈現三百六十度視訊存在各種問題。舉例而言，使用此等技術產生之接縫假影。當經投影圖像由鄰近之非連續區組成或由於圖像邊界時，接縫假影傾向於出現。
在投影程序之後，視訊圖像運用視訊編碼器(AVC、HEVC等等)壓縮、儲存或傳輸，並在接收器側處解碼，其中呈現器產生匹配於觀看者頭部定向的檢視區。取決於此定向及視場，檢視區可跨越圖像邊界或位於圖像內鄰近區或非鄰近區之間的邊界。
圖3A至圖3E分別說明檢視區如何可跨越圖像邊界或位於圖像內鄰近區或非鄰近區之間的邊界的實例。呈現檢視區所需之圖像內的區由陰影矩形表示(但形狀可為矩形或可並非矩形)。另外，呈現所需之區內的邊界由粗線區段表示。
在ERP狀況下，左右圖像邊界環繞球體背部，因此，朝向球體背部定向之檢視區可跨越左右圖像邊界。圖4中說明在ERP中跨越左右圖像邊界之檢視區的實例。
在如圖2B及圖2C中所說明的CMP或ACP立方體面之3×2圖框封裝的狀況下，檢視區可跨越各種邊界，如圖3B及圖3C中所描繪。儘管左立方體面、前立方體面及右立方體面在頂部圖像半部中相鄰置放，但在左面與前面之間且在前面與右面之間仍然存在邊界，其中例如如在圖2B及圖2C中可見，線斷裂，且相似地對於底部圖像半部，其中在頂部面與背部面與之間且在底部面與背部面之間存在邊界。鄰近立方體面之間的此等邊界比實際圖像邊界及圖像之上半部與下半部之間的邊界更不連續。圖3B及圖3C說明具有呈現所需之區的跨越各種邊界的兩個檢視區。在此等實例中，選擇立方體面之3×2封裝，然而，存在具有不同邊界之替代封裝方案。舉例而言，底部圖像半部可具有呈不同次序之面，諸如頂部/背部/底部。3×2封裝具有封裝方案之最少邊界中之一者。
圖3D及圖3E中說明ECP邊界，其中封裝與CMP及ACP之3×2封裝等效。主要差異在於頂部圖像半部係連續區，其對應於四分之三之展開的圓柱體，其用於投影球體之赤道區。在此封裝中，四分之一之展開的圓柱體被置放於背部位置中。舉例而言，與CMP及ACP相比較，線在前部區內之任何邊界處未斷裂，然而，由於圓柱投影，線係彎曲的。其他邊界與CMP及ACP邊界等效。諸如6×1或1×6之替代封裝方案使展開之圓柱體區保持連接，然而，在圓柱形區與極區之間存在額外邊界。
圖像邊界及位於圖像內鄰近區與非鄰近區之間的邊界可能會導致呈現檢視區內出現可見的接縫假影。接縫假影之兩個潛在原因係運動及環路內濾波。
關於作為潛在原因之運動，在橫越指向區之圖像邊界之運動的狀況下，運動估計程序可選擇部分地包括編碼器添加之填補樣本的區塊以擴展參考圖像。在較高量化參數(QP)值下，彼等填補樣本出現在檢視區中之邊界的一側，而邊界之另一側係不同的。圖4A說明由於運動而呈現之檢視區接縫的實例。在圖4A中，可在兩個虛線之間識別接縫假影。在較高QP值下，此類型之接縫假影可能較強(例如，對於呈現視點之觀看者高度可見)。在一些實例中，當運動估計選擇定位成部分地橫越中間圖像邊界之區塊時，CMP或ACP圖像(3×2封裝)內部會發生相似問題。
關於環路內濾波(例如，解區塊、樣本自適應偏移及/或自適應環路)作為潛在原因，在圖像邊界上禁用濾波的情況下，在呈現檢視區中可能會看到清晰的未經濾波接縫，尤其是在較高QP值下。在CMP或ACP圖像(3×2封裝)中，可橫越中間圖像邊界發生濾波，從而產生可見(例如，對呈現視點之觀看者可見)的接縫假影。圖4B說明由於濾波而呈現之檢視區接縫的實例。在圖4B中，可在兩個虛線之間識別接縫假影。
本文中描述了解決上述問題之技術。根據本發明之一或多種技術，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可將填補應用於三百六十視訊之重建構圖像。此技術可被稱作三百六十填補。視訊寫碼器可在重建構三百六十視訊之圖像之後的任何點處應用填補。作為一個實例，視訊寫碼器可將三百六十填補僅應用於重建構圖像一次，並將環路濾波器依序應用於經填補圖像，視訊寫碼器可將經填補圖像儲存於參考圖像記憶體緩衝器中而不移除該填補。在此等實例中，填補區可用於(1)減少呈現之接縫假影，及(2)改良運動估計及補償程序中之預測效率。作為另一實例，視訊寫碼器可在每一環路濾波器之前應用三百六十填補，並在每一環路濾波器之後移除三百六十填補，除了最後一個環路濾波器。在最後一個環路濾波器之後，視訊寫碼器可將濾波的經填補圖像儲存至參考圖像記憶體中。第一實例(在應用環路濾波器之前應用三百六十填補)之複雜度可低於第二實例。
在一些實例中，填補區中之樣本可為額外的投影樣本，亦即，運用相同投影程序，例如，CMP、ACP或ECP程序在投影區周圍獲得的樣本。填補樣本存在其他選項，諸如在經投影圖像中自一個區過渡至第二區之梯度樣本，或其中投影區之邊界樣本被複製至填補區中的複製樣本。一般而言，視訊寫碼器可獲得填補樣本，使得在接縫假影減少同時保持壓縮效率。
填補區可由圖像中投影區周圍的寬度及部位定義。舉例而言，填補區可沿著立方體面之所有側存在，此可被稱作對稱狀況，或填補區可沿著對檢視區中之假影減少貢獻最大的一些側置放，此可被稱作不對稱狀況。
圖5A至圖5C說明根據本發明之一或多種技術的用於3×2封裝CMP及ACP圖像之各種填補方案，該等填補方案係基於具有六個面之立方體幾何形狀。在圖5A中，每一立方體正面(cube face side)具有沿頂部、底部、左側及右側之填補。在圖5B中，在頂部及底部3×1圖像半部周圍存在填補。在圖5C中，存在用於3×2 CMP或ACP之替代封裝。
在圖5A及圖5C中，沿著每一立方體正面(虛線外側之區)存在填補，使得立方體面區保持正方形。此係對稱的填補狀況。一般而言，填補區寬度可取決於立方體正面而變化，此為圖5B中所描繪之不對稱的填補狀況。圖5B說明沿著經投影圖像之頂部及底部3×1半部添加填補區的狀況。此可能為有利的，此係因為頂部及底部半部內之立方體面相鄰以避免非連續邊緣。支援此類型之區的假定為：與鄰近立方體面邊緣對應之接縫假影在呈現檢視區中較不可見，因此可能不需要填補。
圖6A至圖6C說明用於ECP圖像之填補區。圖6A說明根據本發明之一或多種技術的頂部圖像半部周圍以及頂部、底部及背部區周圍的填補。圖6b說明頂部及底部3×1圖像半部周圍的填補。圖6C說明具有填補區之6×1封裝的ECP。
在3×2 ECP封裝中，與立方體幾何形狀之填補相比較，存在被分成一個前部區及一個背部區之一個圓柱體區。圖6A描繪對稱的填補區狀況，而圖6B描繪不對稱的狀況。替代地，ECP可經1×6或6×1封裝，如圖6C中所描繪，其中圓柱體區未被分開。根據封裝類型，填補區之數目可以不同。舉例而言，(b)具有16個區(每正面計數一個區)，而(d)具有18個區。因此，對於相似保護，在此狀況下，3×2封裝類型可能更有利。
視訊寫碼器可用信號發送填補區及其寬度之使用情況，例如，以檔案格式、SEI訊息等等之形式。作為一個實例，視訊編碼器可編碼且視訊解碼器可解碼一或多個語法元素，該一或多個語法元素指定是否使用三百六十填補及填補之任何特徵(例如，寬度)。
圖7係說明可實施本發明之技術的視訊編碼器20之實例的方塊圖。視訊編碼器20可執行視訊截塊內的視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中之任一者。
圖7之各種單元經說明以輔助理解由視訊編碼器20執行之操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且預設可被執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可被執行之操作中提供彈性功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊編碼器20可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在使用由可程式化電路執行之軟體來執行視訊編碼器20之操作的實例中，記憶體可儲存視訊編碼器20接收並執行之軟體的目標程式碼，或視訊編碼器20內之另一記憶體可儲存此等指令。
如圖7中所展示，視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖7之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱作經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了達成視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。視訊編碼器20亦包括濾波器單元63，該濾波器單元63可執行一或多種類型之濾波(例如，環路內濾波)。在下文參考圖12論述濾波器單元63之一個實例的另外細節。
在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或截塊。可將該圖框或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地使用與待寫碼區塊相同的圖框或截塊中之一或多個相鄰區塊的像素對所接收之視訊區塊進行框內預測以提供空間預測。視訊編碼器20可執行多個寫碼遍次，例如以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料區塊分割成子區塊。舉例而言，分割單元48可最初將圖框或截塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化)而將LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割成子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可例如基於錯誤結果而選擇預測模式(框內或框間)中之一者，且將所得預測區塊提供至求和器50以產生殘餘資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計係產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊係就像素差而言被發現緊密地匹配於待寫碼區塊之區塊，該像素差可由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中的參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼截塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30在解碼視訊截塊之視訊區塊時使用。
此外，運動補償單元44可經組態以執行本發明技術中之任一者或全部(單獨或以任何組合方式)。儘管關於運動補償單元44論述，但應理解，模式選擇單元40、運動估計單元42、分割單元48及/或熵編碼單元56亦可經組態以單獨或與運動補償單元44組合執行本發明之某些技術。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可例如在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46 (或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始、未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式之後，框內預測單元46可將指示用於區塊之所選框內預測的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上相似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換代替DCT。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數區塊。變換可將殘餘資訊自像素域轉換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化程序可減小與係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化程度。
在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或將其存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊。詳言之，求和器62將重建構殘餘區塊添加至由運動補償單元44或框內預測單元46產生之運動補償預測區塊，以產生用於儲存於參考圖像記憶體64中之重建構視訊區塊。該重建構視訊區塊可由運動估計單元42及運動補償單元44使用，作為參考區塊以對後續視訊圖框中之區塊進行框間寫碼。
圖8係說明可實施本發明之技術的視訊解碼器30之實例的方塊圖。在圖8之實例中，視訊解碼器30包括熵解碼單元70、移動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20 (圖7)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
圖8之各種單元經說明以輔助理解由視訊解碼器30執行之操作。諸單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且預設可被執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可被執行之操作中提供彈性功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊解碼器30可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在使用由可程式化電路執行之軟體來執行視訊解碼器30之操作的實例中，記憶體可儲存視訊解碼器30接收並執行之軟體的目標程式碼，或視訊解碼器30內之另一記憶體可儲存此等指令。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及相關聯之語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流進行以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級接收語法元素。
當視訊截塊經寫碼為經框內寫碼(I)截塊時，框內預測處理單元74可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊截塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，運動補償單元72基於自熵解碼單元70接收到之運動向量及其他語法元素而產生當前視訊截塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的一個參考圖像產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些以判定用於寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、截塊之一或多個參考圖像清單之建構資訊、截塊之每一經框間編碼視訊區塊之運動向量、截塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊的其他資訊。
運動補償單元72亦可針對子像素精確度基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
此外，運動補償單元72可經組態以執行本發明技術中之任一者或全部(單獨或以任何組合方式)。舉例而言，運動補償單元72可經組態以執行本文中所論述之BIO技術。
反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼的經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊截塊中之每一視訊區塊所計算的量化參數QPY 以判定應被應用之量化程度且同樣地判定應被應用之反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或概念上相似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之組件。
在求和器80重建構經解碼視訊區塊或圖像之後，濾波器單元81可執行一或多個濾波活動(例如，環路內濾波)以產生濾波的重建構區塊或圖像。在下文參考圖12論述濾波器單元81之一個實例的另外細節。
接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體82儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1之顯示器件32)上。舉例而言，參考圖像記憶體82可儲存經解碼圖像。
根據本發明之一或多種技術，視訊編碼器20及視訊解碼器30可包括經組態以將填補應用於三百六十視訊之圖像的填補單元。舉例而言，視訊編碼器20可包括填補單元65且視訊解碼器30可包括填補單元83。
如上文所論述，可在環路濾波之前或之後應用三百六十填補。舉例而言，如圖7中所展示，填補單元65可定位於濾波器單元63之後及參考圖像記憶體64之前。在圖7之架構中，與諸如圖像邊界周圍之樣本複製的傳統填補相比較，運動估計及補償程序可更高效地預測來自填補區之區塊。圖8說明對應的解碼器架構。詳言之，如圖8中所展示，填補單元83可定位於濾波器單元81之後及參考圖像記憶體82之前。在圖7及圖8兩者中，各別濾波器單元(亦即，濾波器單元63及濾波器單元81)可含有環路濾波器，諸如解區塊濾波器、樣本自適應偏移(SAO)濾波器，及/或自適應環路濾波器(ALF)，其對重建構區塊或圖像濾波以產生濾波的重建構區塊或圖像。此等濾波器中之每一者可需要某一形式之填補，例如，圖像邊界周圍之樣本複製，可在將三百六十填補應用於濾波的重建構圖像之前移除該填補。
因為填補可為環路濾波器所需要，所以在一些實例中，在依序應用環路濾波器並將經填補並濾波的重建構圖像儲存至參考圖像記憶體中之前，將三百六十填補應用於重建構圖像一次可為更高效的。舉例而言，如圖9中所展示，填補單元65可定位於濾波器單元63之前。圖10說明對應的解碼器架構。詳言之，如圖10中所展示，填補單元83可定位於濾波器單元81之前。
後一架構可需要調適環路濾波器以考慮例如ACP之立方體面周圍的各種填補區。在2018年7月3日申請並作為US-2019-0014347-A1公佈之美國專利申請第16/026,350號描述了解區塊環路濾波器之調適，以用於適當地濾波三百六十度視訊圖像。相似地，SAO及ALF環路濾波器需要調適，使得其僅濾波立方體面區域，包括每一立方體面之邊界。一種調適由以下組成：在三百六十填補圖像內對每一立方體面之濾波應用偏移。圖11說明根據本發明之一或多種技術的在三百六十填補圖像內對每一立方體面之濾波應用偏移的實例。一個目標可為限制對立方體面及四個立方體正面之濾波，而濾波使用三百六十填補樣本(若需要)。以此方式，視訊編碼器20及視訊解碼器30可減少呈現檢視區中之接縫假影。
圖12係說明可實施本發明之技術的濾波器單元之實例的方塊圖。可將濾波器單元101視為視訊編碼器20之濾波器單元63或視訊解碼器30之濾波器單元81的實例。如圖12中所展示，濾波器單元101可包括經組態以對區塊邊界濾波從而自重建構視訊移除區塊效應假影之解區塊濾波器103、樣本自適應偏移(SAO)濾波器105及自適應環路濾波器107。在其他實例中，濾波器單元101可包括比圖12中所展示更少或更多之濾波器。
作為在視訊編碼解碼器環路中應用三百六十填補之替代例，2017年6月29日申請之美國臨時申請案第62/526,700號描述了藉由在視訊編碼器之前對視訊圖像應用填補來減少接縫假影，例如，作為自ERP至CMP、ACP或ECP之投影程序的一部分。此方法可減少具有低運動內容之三百六十度視訊序列的接縫假影，而對於高運動內容，相對狹窄之填補(例如，寬度為八個樣本)可能不夠寬以減少接縫假影。
本發明中提出之三百六十填補可以較寬。舉例而言，所添加之填補的寬度可大於8個樣本。舉例而言，根據本發明添加之填補的寬度可為32個、64個、128個或更多個樣本。因此，可更有效地減少接縫假影(例如，在高運動狀況下)。仍然，對於三百六十度視訊圖像中之極大運動，可能會出現一些接縫假影。因此，根據本發明之一或多種技術，後處理單元可應用額外濾波。後處理單元可包括於上文所描述之各種視訊編碼解碼器架構中。舉例而言，後處理單元或後處理器件可對視訊編碼器20之輸出或視訊解碼器30之輸出應用額外濾波。此後處理濾波可應用於填補方法或沒有任何填補。
後處理濾波之一個實例可由以下組成：將低通濾波器應用於呈現檢視區之區域，其中接縫假影位於該區域中以使過渡平滑化。在另一實例中，例如，藉由根據與立方體面邊界相隔之距離應用加權，對應的填補區可混合在一起或「摻合」。
圖13係說明本發明之實例編碼方法的流程圖。包括填補單元65之視訊編碼器20可經組態以執行圖13之技術。
在本發明之一個實例中，視訊編碼器20可經組態以接收三百六十度視訊資料之球體(1300)，且將三百六十度視訊資料之球體配置成自三百六十度視訊資料之球體之投影獲得的封裝面之圖像(1302)。舉例而言，視訊編碼器20可經組態以使用等矩形投影(ERP)、立方圖投影(CMP)、調整立方圖投影(ACP)、赤道圓柱投影(ECP)或任何其他投影技術中之任一者，將三百六十度視訊資料之球體配置成封裝面之圖像。作為一個實例，視訊編碼器20可將三百六十度視訊資料之球體配置成封裝面之圖像，如圖2A至圖2D中之任一者中所展示。
視訊編碼器20可經進一步組態以編碼封裝面之圖像(1304)。舉例而言，運動補償單元44可針對封裝面之圖像區塊產生預測區塊，求和器50可針對圖像區塊計算殘餘區塊，且變換處理單元52及量化單元54可分別變換及量化殘餘區塊之係數。
視訊編碼器20可重建構經編碼三百六十度視訊資料之圖像以獲得三百六十度視訊資料之重建構圖像，三百六十度視訊資料之重建構圖像係以封裝面配置(1306)。舉例而言，反量化單元58及反變換單元60可分別反量化及反變換殘餘區塊之經量化係數以產生重建構殘餘區塊，且求和器62可將重建構殘餘區塊添加至由運動補償單元44或框內預測單元46產生之對應的經運動補償之預測區塊，以產生重建構視訊區塊。
視訊編碼器20可填補三百六十度視訊資料之重建構圖像以產生三百六十度視訊資料之經填補重建構圖像(1308)。舉例而言，填補單元65可在三百六十度視訊資料之重建構圖像的投影區(例如，封裝面)周圍添加額外樣本，如圖5A至圖5C及圖6A至圖6C之實例中所展示。
在一些實例中，為了添加額外樣本，填補單元65可在封裝面周圍對稱地添加額外樣本。舉例而言，在圖5A、圖5C、圖6A及圖6C之實例中，填補單元65可在每一面(虛線外側之區)周圍添加樣本。
在一些實例中，為了添加額外樣本，填補單元65可在封裝面周圍不對稱地添加額外樣本。舉例而言，在圖5B及圖6B之實例中，填補單元65可在每一面(虛線外側之區)周圍添加樣本。
填補單元65可以多種方式獲得額外樣本。作為一個實例，填補單元65可將投影區之邊界樣本複製至填補區中。作為另一實例，填補單元65可執行投影程序以將封裝面轉換成三百六十度視訊資料之球體，並自球體獲得額外樣本。
視訊編碼器20可對三百六十度視訊資料之經填補重建構圖像進行環路內濾波(1310)，並儲存三百六十度視訊資料之經填補並濾波的重建構圖像(1312)。舉例而言，濾波器單元63可將諸如解區塊、SAO及ALF之濾波器的任何組合應用於三百六十度視訊資料之經填補重建構圖像，以產生三百六十度視訊資料之經填補並濾波的重建構圖像。濾波器單元63可將三百六十度視訊資料之經填補並濾波的重建構圖像儲存於參考圖像記憶體64中。以此方式，視訊編碼器20可減輕由封裝面之間的邊界處之變形及不連續性引起的失真及寫碼效率問題。
在一些實例中，濾波器單元63可基於三百六十度視訊資料之經填補重建構圖像之包括於封裝面中的樣本及三百六十度視訊資料之經填補重建構圖像的添加的額外樣本，對三百六十度視訊資料之經填補重建構圖像之包括於封裝面中的樣本進行濾波。在此等實例中之一些中，濾波器單元63可能不會對三百六十度視訊資料之經填補重建構圖像的添加的額外樣本進行濾波。以此方式，濾波器單元63可將濾波限於封裝面(例如，立方體面)。
視訊編碼器20可基於三百六十度視訊資料之經填補並濾波的重建構圖像來編碼三百六十度視訊資料之後續圖像(1314)。舉例而言，運動估計單元42及/或運動補償單元44可將三百六十度視訊資料之經填補並濾波的重建構圖像的一或多個區塊用作預測器區塊以執行框間預測。
圖14係說明本發明之實例解碼方法的流程圖。包括濾波器單元81之視訊解碼器30可經組態以執行圖14之技術。
在本發明之一個實例中，視訊解碼器30可經組態以接收三百六十度視訊資料之經編碼圖像，三百六十度視訊資料之經編碼圖像係以自三百六十度視訊資料之球體之投影獲得的封裝面配置(1400)。可使用等矩形投影(ERP)、立方圖投影(CMP)、調整立方圖投影(ACP)、赤道圓柱投影(ECP)或任何其他投影技術中之任一者自投影獲得封裝面。
視訊解碼器30可重建構經編碼三百六十度視訊資料之圖像以獲得三百六十度視訊資料之重建構圖像，三百六十度視訊資料之重建構圖像係以封裝面配置(1402)。舉例而言，反量化單元76及反變換單元78可分別反量化及反變換殘餘區塊之經量化係數(例如，自熵解碼單元70獲得)以產生重建構殘餘區塊，且求和器80可將重建構殘餘區塊添加至由運動補償單元72產生之對應的經運動補償之預測區塊，以產生重建構視訊區塊。
視訊解碼器30可填補三百六十度視訊資料之重建構圖像以產生三百六十度視訊資料之經填補重建構圖像(1404)。舉例而言，填補單元83可在三百六十度視訊資料之重建構圖像的投影區(例如，封裝面)周圍添加額外樣本，如圖5A至圖5C及圖6A至圖6C之實例中所展示。
在一些實例中，為了添加額外樣本，填補單元83可在封裝面周圍對稱地添加額外樣本。舉例而言，在圖5A、圖5C、圖6A及圖6C之實例中，填補單元83可在每一面(虛線外側之區)周圍添加樣本。
在一些實例中，為了添加額外樣本，填補單元83可在封裝面周圍不對稱地添加額外樣本。舉例而言，在圖5B及圖6B之實例中，填補單元83可在每一面(虛線外側之區)周圍添加樣本。
填補單元83可以多種方式獲得額外樣本。作為一個實例，填補單元83可將投影區之邊界樣本複製至填補區中。作為另一實例，填補單元83可執行投影程序以將封裝面轉換成三百六十度視訊資料之球體，並自球體獲得額外樣本。
視訊解碼器30可對三百六十度視訊資料之經填補重建構圖像進行環路內濾波(1406)，並儲存三百六十度視訊資料之經填補並濾波的重建構圖像(1408)。舉例而言，濾波器單元81可將諸如解區塊、SAO及ALF之濾波器的任何組合應用於三百六十度視訊資料之經填補重建構圖像，以產生三百六十度視訊資料之經填補並濾波的重建構圖像。濾波器單元81可將三百六十度視訊資料之經填補並濾波的重建構圖像儲存於參考圖像記憶體82中。以此方式，視訊解碼器30可減輕由封裝面之間的邊界處之變形及不連續性引起的失真及寫碼效率問題。
在一些實例中，濾波器單元81可基於三百六十度視訊資料之經填補重建構圖像之包括於封裝面中的樣本及三百六十度視訊資料之經填補重建構圖像的添加的額外樣本，對三百六十度視訊資料之經填補重建構圖像之包括於封裝面中的樣本進行濾波。在此等實例中之一些中，濾波器單元81可能不會對三百六十度視訊資料之經填補重建構圖像的添加的額外樣本進行濾波。以此方式，濾波器單元81可將濾波限於封裝面(例如，立方體面)。
視訊解碼器30可基於三百六十度視訊資料之經填補並濾波的重建構圖像來重建構三百六十度視訊資料之後續圖像(1410)。舉例而言，運動補償單元72可將三百六十度視訊資料之經填補並濾波的重建構圖像的一或多個區塊用作預測器區塊以執行框間預測。
視訊解碼器30或另一呈現器可呈現三百六十度視訊資料之檢視區。舉例而言，視訊解碼器30可產生匹配於觀看者頭部定向的檢視區。
在一些實例中，可應用後處理。舉例而言，視訊解碼器30可包括後處理器，後處理器經組態以應用濾波從而減少或消除接縫假影。舉例而言，後處理器可識別呈現檢視區中包括封裝面之間的接縫的一或多個區；及將濾波器應用於一或多個識別區。如上文所論述，在一些實例中，濾波器可包括低通濾波器。
以下編號實例可說明本發明之一或多個態樣：
實例1。 一種解碼三百六十度視訊資料之方法，該方法包含：接收三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該經解碼圖像係以該等封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
實例2。 如實例1之方法，其中填補三百六十度視訊資料之該重建構圖像包含：在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
實例3。 如實例2之方法，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中在該投影區周圍添加該等額外樣本包含在該等封裝面周圍對稱地添加額外樣本。
實例4。 如實例2之方法，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中在該投影區周圍添加該等額外樣本包含在該等封裝面周圍不對稱地添加額外樣本。
實例5。 如實例2至4之任何組合之方法，其中該等額外樣本包含額外投影樣本。
實例6。 如實例2至5之任何組合之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含：基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
實例7。 如實例6之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含：不對三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本進行濾波。
實例8。 如實例1至7之任何組合之方法，其中該投影係該三百六十度視訊資料之該球體的一立方圖投影。
實例9。 如實例1至8之任何組合之方法，其進一步包含：自三百六十度視訊資料之該經填補並濾波的重建構圖像移除該填補，以產生三百六十度視訊資料之一濾波的重建構圖像。
實例10。 如實例9之方法，其進一步包含：基於三百六十度視訊資料之該濾波的重建構圖像呈現該三百六十度視訊資料之一檢視區。
實例11。 如實例10之方法，其中呈現該三百六十度視訊資料之該檢視區包含：識別該呈現檢視區中包括該等封裝面之間的接縫的一或多個區；及將一濾波器應用於該一或多個識別區。
實例12。 一種用於解碼三百六十度視訊資料之器件，該器件包含：一記憶體；及一或多個處理器，其實施於電路中且經組態以執行如實例1至11之任何組合之方法。
實例13。 一種用於解碼三百六十度視訊資料之器件，該器件包含用於執行如實例1至11之任何組合之方法的構件。
實例14。 一種儲存指令之電腦可讀儲存媒體，該等指令在被執行時使得一視訊解碼器之一或多個處理器執行如實例1至11之任何組合之方法。
實例15。 一種編碼三百六十度視訊資料之方法，該方法包含：獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置；填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像；對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
實例16。 如實例15之方法，其中填補三百六十度視訊資料之該重建構圖像包含：在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
實例17。 如實例16之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含：基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
實例18。 如實例15至17之任何組合之方法，其進一步包含：輸出包括該三百六十度視訊資料之一表示的一經寫碼視訊位元串流。
實例19。 一種用於解碼三百六十度視訊資料之器件，該器件包含：一記憶體；及一或多個處理器，其實施於電路中且經組態以執行如實例15至18之任何組合之方法。
實例20。 一種用於解碼三百六十度視訊資料之器件，該器件包含用於執行如實例15至18之任何組合之方法的構件。
實例21。 一種儲存指令之電腦可讀儲存媒體，該等指令在被執行時使得一視訊解碼器之一或多個處理器執行如實例15至18之任何組合之方法。
實例22。 一種實例1至21之任何組合。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件皆為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟運用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可經提供於經組態以供編碼及解碼或併入於組合式編碼解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手持機、積體電路(IC)或一組IC(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。實情為，如上文所描述，各種單元可結合合適的軟體及/或韌體而組合於編碼解碼器硬體單元中或由互操作性硬體單元之集合提供，該等硬體單元包括如上文所描述之一或多個處理器。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧區判定單元
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧參考圖像記憶體
65‧‧‧填補單元
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
81‧‧‧濾波器單元
82‧‧‧參考圖像記憶體
83‧‧‧填補單元
101‧‧‧濾波器單元
103‧‧‧解區塊濾波器
105‧‧‧樣本自適應偏移濾波器
107‧‧‧自適應環路濾波器
1300‧‧‧步驟
1302‧‧‧步驟
1304‧‧‧步驟
1306‧‧‧步驟
1308‧‧‧步驟
1310‧‧‧步驟
1312‧‧‧步驟
1314‧‧‧步驟
1400‧‧‧步驟
1402‧‧‧步驟
1404‧‧‧步驟
1406‧‧‧步驟
1408‧‧‧步驟
1410‧‧‧步驟
圖1係說明經組態以執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。
圖2A至圖2D分別說明運用等矩形投影(ERP)、立方圖投影(CMP)、調整立方圖投影(ACP)及赤道圓柱投影(ECP)獲得的「極柱(PoleVault)」序列之圖像的實例投影。
圖3A至圖3E分別說明檢視區如何可跨越圖像邊界或位於圖像內鄰近區或非鄰近區之間的邊界的實例。
圖4A說明由於運動而呈現之檢視區接縫的實例。
圖4B說明由於濾波而呈現之檢視區接縫的實例。
圖5A至圖5C說明根據本發明之一或多種技術的用於3×2封裝CMP及ACP圖像之各種填補方案，該等填補方案係基於具有六個面之立方體幾何形狀。
圖6A至圖6C說明用於ECP圖像之填補區。
圖7係說明經組態以執行本發明之技術之實例視訊編碼器的方塊圖。
圖8係說明經組態以執行本發明之技術之實例視訊解碼器的方塊圖。
圖9係說明經組態以執行本發明之技術之實例視訊編碼器的方塊圖。
圖10係說明經組態以執行本發明之技術之實例視訊解碼器的方塊圖。
圖11說明根據本發明之一或多種技術的在三百六十填補圖像內對每一立方體面之濾波應用偏移的實例。
圖12係說明可實施本發明之技術的濾波器單元之實例的方塊圖。
圖13係說明本發明之實例編碼方法的流程圖。
圖14係說明本發明之實例解碼方法的流程圖。

Claims (30)

  1. 一種解碼三百六十度視訊資料之方法，該方法包含： 接收三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置； 解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以該等封裝面配置； 填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像； 對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及 將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
  2. 如請求項1之方法，其中填補三百六十度視訊資料之該重建構圖像包含： 在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
  3. 如請求項2之方法，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中在該投影區周圍添加該等額外樣本包含在該等封裝面周圍對稱地添加額外樣本。
  4. 如請求項2之方法，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中在該投影區周圍添加該等額外樣本包含在該等封裝面周圍不對稱地添加額外樣本。
  5. 如請求項2之方法，其中該等額外樣本包含額外投影樣本。
  6. 如請求項2之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含： 基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
  7. 如請求項6之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含： 不對三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本進行濾波。
  8. 如請求項1之方法，其中該投影係該三百六十度視訊資料之該球體的一立方圖投影。
  9. 如請求項1之方法，其進一步包含： 自三百六十度視訊資料之該經填補並濾波的重建構圖像移除該填補，以產生三百六十度視訊資料之一濾波的重建構圖像；及 基於三百六十度視訊資料之該濾波的重建構圖像呈現該三百六十度視訊資料之一檢視區。
  10. 如請求項1之方法，其進一步包含： 基於三百六十度視訊資料之該濾波的重建構圖像呈現該三百六十度視訊資料之一檢視區。
  11. 如請求項10之方法，其中呈現該三百六十度視訊資料之該檢視區包含： 識別該呈現檢視區中包括該等封裝面之間的接縫的一或多個區；及 將一濾波器應用於該一或多個識別區。
  12. 如請求項1之方法，其進一步包含： 藉由至少使用三百六十度視訊資料之該經填補並濾波的重建構圖像來執行運動補償，預測三百六十度視訊資料之後續圖像。
  13. 一種用於解碼三百六十度視訊資料之器件，該器件包含： 一記憶體；及 一或多個處理器，其實施於電路中且經組態以： 自經寫碼視訊位元串流獲得三百六十度視訊資料之一經編碼圖像，三百六十度視訊資料之該經編碼圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置； 解碼經編碼三百六十度視訊資料之該圖像以獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以該等封裝面配置； 填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像； 對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及 將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於該記憶體中以用於預測三百六十度視訊資料之後續圖像。
  14. 如請求項13之器件，其中，為了填補三百六十度視訊資料之該重建構圖像，該一或多個處理器經組態以在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
  15. 如請求項14之器件，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中，為了在該投影區周圍添加該等額外樣本，該一或多個處理器經組態以在該等封裝面周圍對稱地添加額外樣本。
  16. 如請求項14之器件，其中三百六十度視訊資料之該重建構圖像的該投影區包含該等封裝面，且其中，為了在該投影區周圍添加該等額外樣本，該一或多個處理器經組態以在該等封裝面周圍不對稱地添加額外樣本。
  17. 如請求項14之器件，其中該等額外樣本包含額外投影樣本。
  18. 如請求項14之器件，其中，為了對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波，該一或多個處理器經組態以： 基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
  19. 如請求項18之器件，其中，為了對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波，該一或多個處理器經組態以： 不對三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本進行濾波。
  20. 如請求項13之器件，其中該投影係該三百六十度視訊資料之該球體的一立方圖投影。
  21. 如請求項13之器件，其中該一或多個處理器經進一步組態以： 自三百六十度視訊資料之該經填補並濾波的重建構圖像移除該填補，以產生三百六十度視訊資料之一濾波的重建構圖像；及 基於三百六十度視訊資料之該濾波的重建構圖像呈現該三百六十度視訊資料之一檢視區。
  22. 如請求項21之器件，其中該一或多個處理器經進一步組態以： 基於三百六十度視訊資料之該濾波的重建構圖像呈現該三百六十度視訊資料之一檢視區。
  23. 如請求項22之器件，其中，為了呈現該三百六十度視訊資料之該檢視區，該一或多個處理器經組態以： 識別該呈現檢視區中包括該等封裝面之間的接縫的一或多個區；及 將一濾波器應用於該一或多個識別區。
  24. 一種編碼三百六十度視訊資料之方法，該方法包含： 獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置； 填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像； 對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及 將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於一參考圖像記憶體中以用於預測三百六十度視訊資料之後續圖像。
  25. 如請求項24之方法，其中填補三百六十度視訊資料之該重建構圖像包含： 在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
  26. 如請求項25之方法，其中對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波包含： 基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
  27. 如請求項24之方法，其進一步包含： 輸出包括該三百六十度視訊資料之一表示的一經寫碼視訊位元串流。
  28. 一種用於編碼三百六十度視訊資料之器件，該器件包含： 一記憶體；及 一或多個處理器，其實施於電路中且經組態以： 獲得三百六十度視訊資料之一重建構圖像，三百六十度視訊資料之該重建構圖像係以自該三百六十度視訊資料之一球體之一投影獲得的封裝面配置； 填補三百六十度視訊資料之該重建構圖像以產生三百六十度視訊資料之一經填補重建構圖像； 對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波以產生三百六十度視訊資料之一經填補並濾波的重建構圖像；及 將三百六十度視訊資料之該經填補並濾波的重建構圖像儲存於該記憶體中以用於預測三百六十度視訊資料之後續圖像。
  29. 如請求項28之器件，其中，為了填補三百六十度視訊資料之該重建構圖像，該一或多個處理器經組態以： 在三百六十度視訊資料之該重建構圖像的一投影區周圍添加額外樣本。
  30. 如請求項29之器件，其中，為了對三百六十度視訊資料之該經填補重建構圖像進行環路內濾波，該一或多個處理器經組態以： 基於三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本及三百六十度視訊資料之該經填補重建構圖像的該等添加的額外樣本，對三百六十度視訊資料之該經填補重建構圖像之包括於該等封裝面中的樣本進行濾波。
TW108104479A 2018-02-14 2019-02-11 用於三百六十度視訊寫碼之環路濾波器填補 TW201946448A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862630624P 2018-02-14 2018-02-14
US62/630,624 2018-02-14
US16/270,275 2019-02-07
US16/270,275 US11212438B2 (en) 2018-02-14 2019-02-07 Loop filter padding for 360-degree video coding

Publications (1)

Publication Number Publication Date
TW201946448A true TW201946448A (zh) 2019-12-01

Family

ID=67541308

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108104479A TW201946448A (zh) 2018-02-14 2019-02-11 用於三百六十度視訊寫碼之環路濾波器填補

Country Status (4)

Country Link
US (1) US11212438B2 (zh)
CN (1) CN111713113B (zh)
TW (1) TW201946448A (zh)
WO (1) WO2019160763A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10715832B2 (en) * 2018-03-16 2020-07-14 Mediatek Inc. Method and apparatus of block partition for VR360 video coding
EP3850841A1 (en) * 2018-09-14 2021-07-21 Vid Scale, Inc. Methods and apparatus for flexible grid regions
EP3895425A4 (en) * 2018-12-14 2021-12-15 ZTE Corporation PROCESSING AN IMMERSIVE VIDEO BITSTREAM
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
KR20220003113A (ko) * 2019-06-21 2022-01-07 삼성전자주식회사 제한된 예측 모드에서 복원후 필터링을 수행하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
CN114868393A (zh) 2019-12-17 2022-08-05 阿里巴巴集团控股有限公司 执行环绕运动补偿的方法
US20230054523A1 (en) * 2020-02-17 2023-02-23 Intel Corporation Enhancing 360-degree video using convolutional neural network (cnn)-based filter
JP2023521295A (ja) 2020-03-26 2023-05-24 アリババ グループ ホウルディング リミテッド 映像符号化データをシグナリングするための方法
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548660B2 (en) * 2005-09-30 2009-06-16 Intel Corporation System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
KR102432085B1 (ko) * 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US10368067B2 (en) * 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
CN109417632B (zh) * 2016-07-08 2023-08-04 Vid拓展公司 使用几何图形投影的360度视频编码
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
JP2019530311A (ja) * 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド ３６０度ビデオ情報をシグナリングするための方法およびシステム
CN117041600A (zh) * 2016-10-04 2023-11-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US20180098090A1 (en) * 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20180192074A1 (en) * 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US10915986B2 (en) 2017-03-20 2021-02-09 Qualcomm Incorporated Adaptive perturbed cube map projection
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
WO2018191224A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
US10764582B2 (en) 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10798417B2 (en) 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding

Also Published As

Publication number Publication date
US20190253622A1 (en) 2019-08-15
WO2019160763A1 (en) 2019-08-22
US11212438B2 (en) 2021-12-28
CN111713113A (zh) 2020-09-25
CN111713113B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
US11212438B2 (en) Loop filter padding for 360-degree video coding
US10484682B2 (en) Reference picture derivation and motion compensation for 360-degree video coding
US10915986B2 (en) Adaptive perturbed cube map projection
US10904531B2 (en) Adaptive parameters for coding of 360-degree video
TW201911864A (zh) 減少360度視訊中之接縫假影
CN110754091B (zh) 用于360度视频编码的解块滤波
US10721465B2 (en) Motion compensation for cubemap packed frames
CA3135143A1 (en) Method for signaling output layer set with sub picture
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
CN113678457A (zh) 视频流中的具有子区域划分的填充处理方法
TW201939952A (zh) 用於360度視訊之框內預測
CN113874875A (zh) 用于已编码视频码流中的自适应参数集参考和约束的方法
TW202110180A (zh) 跨逐線掃描切片之適應性迴圈濾波
US20230013085A1 (en) Region-wise scalability with adaptive resolution change
AU2023204650A1 (en) Method for alignment across layers in coded video stream
KR102548327B1 (ko) 코딩된 이미지 또는 화상을 디코딩하기 위한 방법, 장치 및 매체
KR20240032181A (ko) 코딩된 비디오 스트림에서의 파라미터 세트 참조를 위한 방법
CN116438793B (zh) 一种进行视频解码的方法、装置及存储介质