TW202420814A

TW202420814A - 視訊編碼中用以填充圖片的方法與裝置

Info

Publication number: TW202420814A
Application number: TW112126938A
Authority: TW
Inventors: 林郁晟; 莊子德; 徐志瑋; 陳慶曄
Original assignee: 聯發科技股份有限公司
Priority date: 2022-07-22
Filing date: 2023-07-19
Publication date: 2024-05-16

Abstract

公開了一種用於填充邊界外像素的方法和裝置。根據該方法，接收與位於圖片邊界處或附近的當前塊相關聯的輸入資料，其中輸入資料包括與當前塊相關的預測資料和重建殘差資料。基於預測資料和重建殘差資料產生當前塊的擴展的運動補償重建塊，其中當前塊的擴展的運動補償重建塊被幀間編解碼並且包括位於圖片邊界之外的填充區域以及重建的當前塊。將至少一個環路濾波器應用於擴展的運動補償重建塊。

Description

視訊編碼中用以填充圖片的方法與裝置

本發明涉及填充視訊編解碼系統中超出邊界的像素（out-of-boundary pixel）。具體地，本發明涉及在像素或區塊重建階段期間產生填充樣本的有效方法。

通用視訊編解碼(VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準(MPEG)。該標準已作為 ISO 標準發佈：ISO/IEC 23090-3:2021，Information technology - Coded representation of immersive media - Part 3: Versatile video coding，2021 年 2 月發佈。通過基於其前身HEVC(High Efficiency Video coding)，添加更多編解碼工具來提高編解碼效率，並處理各種類型的視訊源，包括 3 維(3D)視訊訊號，發展出VVC。

第1A圖說明了包含迴圈處理的示例性適應性幀間/幀內(adaptive Inter/Intra)視訊編解碼系統。對於幀內預測，預測資料是根據當前圖片(在後文中也稱為畫面)中先前編解碼的視訊資料導出的(derived)。對於幀間預測112，在編碼器側執行運動估計(Motion Estimation，簡寫為ME)並且基於ME的結果執行運動補償(Motion Compensation，簡寫為MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差(residual)。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後，與變換係數相關聯的位元流將與輔助資訊(side information)(例如與幀內預測和幀間預測相關聯的運動和解碼模式)以及其他資訊(例如與應用於底層圖像區域(underlying image area)的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化(IQ)124和逆變換(IT)126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視訊資料在編碼系統中經過一系列處理。由於一系列處理，來自 REC 128 的重建的視訊資料可能會受到各種損害。因此，環路濾波器130經常在重建的視訊資料被存儲在參考圖片緩衝器134中之前應用於重建的視訊資料以提高視訊品質。例如，可以使用去塊濾波器(deblocking filter，簡寫為DF)、採樣適應性偏移(Sample Adaptive Offset，簡寫為SAO)和適應性環路濾波器(Adaptive Loop Filter，簡寫為ALF)。可能需要將環路濾波器資訊合併到位元流中，以便解碼器可以正確地恢復所需的資訊。因此，環路濾波器資訊也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重建採樣被存儲在參考圖片緩衝器134中之前被應用於重建的視訊。第1A圖中的系統旨在說明典型視訊編碼器的示例性結構。它可能對應於高效視訊編解碼(HEVC)系統、VP8、VP9、H.264或VVC。

如第1B圖所示，除了變換 118 和量化 120 之外，解碼器可以使用與編碼器相似或相同的功能塊，因為解碼器只需要逆量化 124 和逆變換 126。取代熵編碼器122，解碼器使用熵解碼器140將視訊位元流解碼為量化的變換係數和需要的編解碼資訊(例如ILPF資訊、幀內預測資訊和幀間預測資訊)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測資訊生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測資訊執行運動補償(MC 152)而無需運動估計。

根據 VVC，與 HEVC 類似，輸入圖片被劃分(partition)為稱為 CTU(編解碼樹單元)的非重疊方形塊區域。每個 CTU 可以劃分為一個或多個更小的編解碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測處理的單元，例如幀間預測、幀內預測等。

在HEVC中，參考圖片透過圖片邊界樣本的垂直填充來擴展。在 VVC 標準化過程中，研究了邊界填充的新方法，這些方法使用基於幀間預測的技術或基於幀內預測的技術。在本發明中，公開了一種透過在重建階段期間填充邊界外像素的有效填充技術。

在一個實施例中，當前塊對應於圖片邊界處或附近的4x4塊，且擴展運動補償重建塊包含超出圖片邊界的M條填充線，其中M是正整數。在另一個實施例中，當前塊對應於在圖片邊界處或附近的WxH塊，並且如果當前塊在水平圖片邊界處或附近，則擴展運動補償重建塊包括超出水平圖片邊界的M條填充線。如果當前塊在垂直圖片邊界處或附近，則擴展運動補償重建塊包括超出垂直圖片邊界的M條填充線，其中M、W和H是正整數。在另一個實施例中，當前塊包括在圖片邊界處或附近的wxh子塊，並且該擴展的運動補償重建塊包括擴展的運動補償重建wxh子塊，並且其中如果wxh子塊位於或接近水平圖片邊界，則該擴展的運動補償重建wxh子塊包括超出該水平圖片邊界的M條填充線，或者如果該wxh子塊位於或接近垂直圖片邊界，則該擴展的運動補償重建wxh子塊包括超出該垂直圖片邊界的M條填充線，其中M、w和h是正整數。

在一個實施例中，與運動補償過程相關聯的相同插值濾波器被用於產生填充區域和重建的當前塊內部的區域。在一個實施例中，與運動補償過程相關聯的用於產生填充區域的第一插值濾波器具有比與運動補償過程相關聯的用於產生重建的當前塊內部的區域的第二插值濾波器更短的抽頭數量。

在一個實施例中，與運動補償過程相關聯的相同插值濾波器被用於產生圖片邊界之外的所有填充樣本。在一個實施例中，所述相同的插值濾波器對應於預先定義的插值濾波器。

在一個實施例中，用於產生圖片邊界之外的填充樣本的與運動補償過程相關聯的預測模式被設定為預定義值。在一個實施例中，預定義值對應於LIC、BDOF、BCW、濾波器類型、多重假設或幀間預測方向。

在一個實施例中，與運動補償過程相關聯的相同預測模式被用於產生填充區域和重建的當前塊內部的區域。在一個實施例中，所述相同的預測模式對應於LIC、BDOF、BCW、濾波器類型或多重假設。

容易理解的是，如本文附圖中一般描述和示出的，本發明的部件可以以多種不同的配置來佈置和設計。因此，如圖所示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。在整個說明書中對“一個實施例”、“一實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以被包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語“在一個實施例中”或“在一實施例中”不一定都指同一實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，所屬領域具有通常知識者將認識到，本發明可以在沒有一個或多個具體細節的情況下或者利用其他方法、組件等來實踐。在其他情況下，未示出或詳細描述出公知的結構或操作以避免模糊本發明的各方面。參考附圖將更好地理解本發明所示的實施例，其中相同的部件始終由相同的附圖標記表示。以下描述僅旨在通過示例的方式，並且簡單地說明與本文要求保護的本發明一致的裝置和方法的某些選定實施例。

多方向邊界填充 (Multi-directional boundary padding ，簡寫為 MDBP)

在JVET-J0014 (M. Albrecht等人，“Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI”，ITU-T SG 16 WP 3以及ISO /IEC JTC 1/SC 29/WG 11的聯合視訊專家小組(JVET)，第10 次會議：美國聖地牙哥，2018 年4 月10-20 日，文件：JVET-J0014)中，公開了多方向邊界填充(MDBP)。基於編解碼塊形狀、給定的運動向量和插值濾波器抽頭(tap)的數量，參考幀的特定區域用於運動補償的預測。在 HEVC 和 JEM(視訊壓縮聯合探索模型(Joint Exploration Model，簡寫為JEM))中，如果該參考樣本區域部分或全部位於重建參考幀的區域之外，則使用幀邊界像素的垂直擴展，這可能無法最佳地近似預測塊。透過利用不同的空間預測模式來擴展參考幀邊界，可以實現更好的連續性。因此，每當參考像素區域部分或全部位於重建參考幀的區域之外時，多方向邊界填充(MDBP)就會使用角度幀內預測來擴展參考幀邊界。

為了減少所使用的角度預測模式的傳訊成本，在編碼器和解碼器側都估計最佳擬合模式。為了進行估計，定義了模板區域，該模板區域位於重建的參考幀內，如第2圖所示。在第2圖中，示出了位於幀頂側的幀邊界線210和參考區域220，其中，幀邊界線210下方的像素位於幀內，幀邊界線210上方的像素位於幀外。

此外，對於每種可能的角度幀內預測模式，預測方向旋轉180°以指向參考幀內的可用邊界像素。然後從相鄰邊界像素預測模板區域，並根據 SAD 測量與重建的參考幀像素進行比較。最後，選擇具有最小基於模板的SAD測量的角度預測模式，以預測參考幀之外的參考像素區域。

為了使用MDBP的可用角度幀內預測，必須應用一些修改。首先，對於 MDBP 幀內預測，邊界像素僅在預測區域的單側可用。因此，根據預測方向，僅使用一半的角度幀內預測模式，例如水平或垂直模式。其次，對於參考幀的頂部和左側邊界，在應用於 MDBP 邊界擴展之前，角度幀內預測模式必須旋轉 180°。

第3圖示出了提供參考幀外部的整個參考像素區域320的完整估計的範例，以及在JVET-J0014中使用的兩個模板區域(330和332)。基於平行於參考幀邊界的最外面的像素線來決定第一模板區域330。如第3圖所示，基於參考幀邊界之外的第一像素線來決定第二模板區域332，其中示出了幀邊界線310。

在參考幀的邊緣處，參考像素區域與幀邊界的兩側重疊。這裡 MDBP 僅應用於一側(與幀邊框重疊最多像素的一側)。剩餘的一側用已經可用的垂直框架幀邊界填充進行填充。

幀間 / 幀內邊界填充 ( Inter/Intra Boundary Padding )

在HEVC中，透過圖片邊界樣本的垂直填充來擴展參考圖片。

基於幀間預測的邊界填充使用運動補償的預測來擴展參考圖片的區域。邊界擴展區域被分成 4xM 或 Mx4 樣本塊。使用相鄰參考塊的運動資訊透過運動補償來填充每個塊。對於沒有關聯運動資訊的邊界擴展塊以及運動資訊指向參考圖片外部的邊界擴展區域，應用回退(fall-back)垂直填充。 JVET-K0363中的填充方法(Yan Zhang等人，““CE4.5.2: Motion compensated boundary pixel padding”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC的聯合視訊專家組(JVET) 29/ WG 11，第11 次會議：盧布爾雅那，SI，2018 年7 月10-18 日，文件：JVET-K0363)需要在邊界擴展樣本中添加平均殘差偏移，而JVET-K0117 中的填充方法(Minsoo Park 等人，“CE4: Results on Reference picture boundary padding in J0025”，ITU-T SG 16 WP 3 和ISO/IEC JTC 1/SC 29/WG 11 聯合視訊專家組(JVET)，第11 次會議：盧布爾雅那，SI ，2018 年 7 月 10-18 日，文件：JVET-K0117)支持邊界擴展樣本的雙向預測。

如JVET-J0012 (Rickard Sjöberg等人，“Description of SDR and HDR video coding technology proposal by Ericsson and Nokia”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組(JVET)，第 10 次會議：美國聖地牙哥，2018 年 4 月 10-20 日，文件：JVET-J0012))中提出的基於幀內預測的邊界填充使用角度幀內預測來填充參考塊位於參考圖片之外的區域。使用解碼圖像樣本的探測方法在編碼器和解碼器中選擇所應用的角度幀內預測模式。

在JVET-K0195中，公開了使用基於幀間預測和幀內預測的邊界填充的協調邊界填充方法，並且報告了實驗結果。

基於幀間 / 幀內的 邊界填充

JVET-K0195提出了基於幀間/幀內預測的邊界填充，將基於每個圖片幀間預測(per-picture inter-prediction)的邊界填充與基於每個參考幀內預測(per-reference intra-prediction)的邊界填充組合。在產生基於幀間預測的邊界填充之後，對於需要邊界填充樣本的每個參考塊，評估源自垂直邊界填充的邊界填充樣本的數量。如果該數量超過閾值(例如，邊界填充樣本的 50%)，則對參考塊使用基於幀內預測的邊界填充。

在VVC中，透過推斷圖片的邊緣像素來填充參考圖片的外部區域。在JVET-K0117中，揭露了一種根據圖片邊緣像素的運動資訊對圖片外部區域進行運動補償的填充方法，如第4圖所示。在第4圖中，示出了當前幀410中的邊界塊412並且示出了該邊界塊周圍的填充430的細節。參考圖片420中的對應邊界塊422在第4圖的右下角示出，並且對應邊界塊440的細節在第4圖的右上角示出。在該邊界塊周圍的填充430的細節中，示出了邊界線434。參考區域432的邊界線左側的像素不可用且需要被填充。對應的參考區域442被定位並用於導出參考區域432，如第4圖中的箭頭所示。

為了使用邊緣像素的運動訊息，在圖片的邊界處檢查每個4x4塊。如果塊中存在運動訊息，則在該塊的參考圖片中檢查該塊的位置。如果該位置位於影像區域內，則檢查參考區域的鄰近區域是否可用。

鄰近區域的位置可以位於上、下、左、右四個方向。相鄰區域的方向與填充區域的位置相同。例如，如果填充區域位於圖片的左側，則檢查區域(inspection area)也在像素的左側。這裡的「檢查區域」是指參考樣本位於參考塊周圍。例如，如果要執行左圖片邊界填充，則檢查參考塊左側的參考樣本。另外，填充區域的不面向圖片的邊的長度由參考圖片的像素位置與邊緣像素的位置之間的距離或填充區域的尺寸來決定。選擇其中較短的一個。如果預定長度短於填充區域的尺寸，則用外部圖片的外插邊緣像素來填充該區域的其餘部分。

可用相鄰區域是透過運動補償導出的。然而，當相鄰區域不可用或不存在關於邊界塊中的運動的資訊時，執行傳統的填充方法。該塊可以有兩條關於運動的資訊。在這種情況下，每個資訊都用於創建填充圖像並將兩個圖像集成為一個。另外，推斷每個位置的最後一個像素以產生左上部分、右上部分、左下部分和右側填充區域。

運動補償邊界像素填充

在JVET-K0363中，公開了運動補償的邊界像素填充。當在解碼器側進行運動補償時，運動向量有可能指向部分或全部位於參考切片之外的參考塊。如果沒有邊界填充，這些像素將不可用。傳統上，參考切片使用重複填充方法來填充，該方法根據填充大小在四個方向中的每一個方向上重複最外面的像素一定次數。這些填充像素只能提供非常有限的信息，因為與邊界內的像素相比，填充區域很可能不包含任何有意義的內容。

在JVET-K0363中，引入了新的邊界像素填充方法，使得參考切片中的填充區域可以提供更多資訊。首先從當前幀內的邊界 4x4 塊導出運動向量，如第5圖所示，其中左側顯示填充 (510)，右側顯示根據 JVET-K0363 的 MC 填充 (520) 。如果邊界 4x4 塊是幀內編解碼的或運動向量不可用，則將使用重複填充。如果使用單向幀間預測來預測邊界 4x4 塊，則該塊內的唯一運動向量將用於運動補償邊界像素填充。使用邊界 4x4 塊的位置及其運動向量，可以在參考幀中計算出對應的起始位置。從該起始位置到給定填充方向上的參考切片的邊界，可以獲取 4xM 或 Mx4 圖像資料，其中 M 是邊界像素位置的水平/垂直坐標與起始位置之間的距離，具體取決於填充方向。這裡在CE測試中，M被迫小於64。在雙向幀間預測的情況下，僅運動向量，其在填充方面指向參考切片中距離幀邊界較遠的像素位置方向，用於運動補償的邊界像素填充。當前切片中的邊界4x4 塊與其在參考切片中對應的參考4x4 塊的DC 值之間的差值用作偏移量，以在將擷取的運動補償的影像資料複製到影像邊界之外的填充區域之前對其進行濾波。

在ECM-5.0中，如果可能的話，以避免依賴參考圖片邊界以外(OOB)的參考樣本的方式來執行雙向預測。

為此，在兩個參考圖片之一中具有OOB參考塊的雙向預測塊的情況下，不使用OOB預測樣本。如果在其他參考圖片中可用，則塊的相關部分基於非 OOB 預測樣本進行單向預測的。

然而，對於具有OOB參考塊的單向預測塊或對於兩個方向的參考圖片均具有OOB參考樣本的雙向預測塊，使用重複填充像素而不是MC。

也就是說，在ECM-5.0中，在圖片邊界的每個方向上將圖片擴展了圍繞圖片的尺寸為(maxCUwidth+16)的區域。擴展區域中的像素是透過重複的邊界填充得到的。當用於單向預測的參考塊部分或完全位於圖片邊界(OOB)之外時，使用重複填充像素而不是運動補償(MC)。

在JVET-Z0130(Zhi Zhang等人，“EE2-related: Motion compensation boundary padding”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29的聯合視訊專家小組(JVET) /WG 11，第26 次會議，透過電話會議，2022 年4 月20-29 日，文件：JVET-Z0130)中，一種稱為運動補償的邊界填充的方法取代了重複邊界填充，以提高編解碼效率。

在 JVET-AA0096 (Fabrice Le Léannec 等人，“EE2-2.2: Motion compensated picture boundary padding”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/ SC 29/WG 11 的聯合視訊專家組(JVET))，第27 次會議，透過電話會議，2022 年7 月13-22 日，文件：JVET-AA0096)中，影像邊界之外的樣本透過運動補償導出，而不是像ECM 僅使用重複填充。在實作中，與 ECM(增強壓縮模型)相比，總填充區域大小增加了 64(測試 2.2a)或 16(測試 2.2b)。這是為了保持 MV 裁切(實現重複填充)，并不規範。

對於運動補償的填充，利用4×4邊界塊的MV來導出M×4或4×M填充塊。值M被導出為參考塊到圖片邊界的距離，如第6圖所示，其中MC填充區域630被加入到當前圖片610並且示出了參考圖片620。對於4x4邊界塊612，根據運動向量616來定位對應的參考塊622。示出了當前圖片的Mx4填充塊614和參考圖片的Mx4填充塊624。此外，一旦運動向量指向參考圖片邊界內部的位置，M就被設定為至少等於4。如果邊界塊是幀內編碼的，則MV不可用，並且M被設定為等於0。如果M小於64，則填充區域的其餘部分被重複的填充樣本填充。

在雙向幀間預測的情況下，在MC邊界填充中僅使用一個預測方向，其運動向量指向參考圖片中在填充方向上遠離圖片邊界的像素位置。

以偏移量來校正MC填充塊中的像素，該偏移量等於重建邊界塊與其對應參考塊的DC值之間的差。

為了進一步提高編解碼性能，提出了新的填充方法用於圖片邊界填充。與HEVC和VVC中的重複填充不同，在根據本發明的圖片邊界填充中允許基於幀內預測、基於幀間預測或兩者的組合的填充和重複填充。對於基於幀內預測的填充方法，可以利用傳統的幀內預測方法來產生邊界填充樣本，或者也可以執行編碼器和解碼器側推導方法或其他傳訊方法的隱式方法。基於幀內預測的填充方法在環路濾波之前應用(例如，在CU重建階段)。對於基於幀間預測的填充方法，在編碼和解碼期間，不是在環路濾波之後執行運動補償，而是產生包括填充樣本的更大的運動補償塊。在運動補償期間還可以調用進一步的操作。此外，在填充樣本產生期間也可以使用當前圖片的參考圖片的參考圖片。

在一個實施例中，填充樣本是基於某一幀內預測模式(例如平面模式)導出的。為了產生這樣的填充樣本，可能需要參考樣本的兩側，但其中一側可能無法使用。參考樣本填充也可以應用於參考樣本，並且執行幀內預測以導出填充樣本。

在一個實施例中，如果圖片內的當前塊是幀內模式編解碼塊，則可以使用相同的幀內模式(例如，相同的幀內角度模式)來產生圖片邊界之外的樣本的填充結果。邊界外塊的幀內預測的參考樣本可以是重建的當前樣本，也可以是當前塊的幀內預測的參考樣本。在一個範例中，色度幀內預測也可以以與亮度塊類似的方式應用。

在一個實施例中，如果當前塊使用幀內模板匹配預測(Intra-TMP)、幀內塊複製(intra block copy，簡寫為IBC)或具有模板匹配的幀內塊複製(intra block copy with template matching，簡寫為IBC-TM)，則還可以對邊界外塊(OOB 塊)應用幀內塊複製。例如，當前塊的塊向量(block vector，簡寫為BV)用於產生預測子作為OOB塊的填充樣本。

在另一個實施例中，執行基於模板的幀內模式導出(template-based intra mode derivation ，簡寫為TIMD)以導出填充樣本。與 JVET-J0014 中使用由某些外部像素線確定的兩個模板區域不同，使用一個模板區域併計算預測的填充樣本和模板區域之間的 SAD。還可以執行對預測的填充樣本的混合處理。

在另一個實施例中，執行解碼器側幀內模式導出(DIMD)以導出填充樣本。為了產生填充樣本，首先利用索貝爾濾波器基於當前重建樣本計算直方圖資料。根據直方圖資料確定預測模式索引，並使用重建樣本根據選擇的預測模式索引產生最終預測的填充樣本。在一個範例中，當前塊的邊界樣本被用來透過DIMD導出幀內預測模式。當前塊的重建樣本可以用作參考樣本來產生OOB塊的填充樣本。

在另一個實施例中，在填入樣本和重建樣本之間，可以應用位置相關幀內預測組合(position dependent intra-prediction combination，簡寫為PDPC)來解決不連續性。 PDPC的過程可以像VVC中那樣應用，或者以更少的行或更多的行、在填充樣本處較弱的權重或較強的權重來不同地應用。

在另一個實施例中，在編碼和解碼期間，對於圖片邊界處的那些塊，產生較大的運動補償塊，例如(M+4)x4塊或4x(M+4)塊，其中M是填充樣本的長度。在另一個範例中，填充樣本可以用整個CU生成，作為(M+H)xW塊或Wx(M+H)塊，其中M是填充樣本的長度，W和H是塊寬度和高度。在另一個範例中，填充樣本可以用當前塊的子塊來生成，如(M+h)xw塊或wx(M+h)塊，其中M是填充樣本的長度，w和h是的寬度和高度。子塊大小可以是預先定義的，或者對於不同的模式可以是不同的值。

在一個實施例中，當進行運動補償時，執行檢查以查看當前塊/當前子塊是否在圖片邊界中。如果是，則載入附加參考樣本(例如，(M+h)xw 塊或 wx(M+h) 塊的參考樣本)。 OOB塊樣本是在當前塊/當前子塊重建的樣本階段產生的。

在另一個實施例中，在對填充樣本的運動補償期間，相同的插值濾波器被用於填充樣本和圖片內的塊兩者。另一個實施例是插值濾波器對於圖片之外的所有填充樣本是相同的(例如，預定義濾波器用於填充樣本)。

在一個實施例中，在運動補償期間，用於OOB塊的預測模式被設定為預定義值。預測模式可以是LIC、BDOF、BCW、濾波器類型、多重假設、幀間預測方向等。

在另一個實施例中，在運動補償期間，用於圖片內部的塊的預測模式也被應用於OOB塊。預測模式可以是LIC、BDOF、BCW、濾波器類型、多重假設等。

在另一個實施例中，在運動補償期間，如果局部照明補償(local illumination compensation，簡寫為LIC)被應用於圖片內部的塊，則對填充樣本也應用局部照明補償。另一個實施例是，如果雙向光流(BDOF)被應用於圖片內的塊，則對填充樣本也應用BDOF。

在一個實施例中，較短的濾波器抽頭插值可以用於OOB樣本MC。例如，整數MC、或2抽頭、或4抽頭、或6抽頭、或8抽頭濾波器用於OOB樣本MC。 OOB 塊 MC 的 MV 也可以捨入到更粗的粒徑(granularity)。

在另一實施例中，OOB樣本只能透過使用圖片邊界內的當前塊/當前子塊的相同參考樣本(用於MC處理或用於解碼器側模式/MV推導)來產生。不允許添加額外的參考樣品。

在另一個實施例中，OOB樣本只能透過使用相同的參考樣本(用於MC處理或用於解碼器側模式/MV推導)加上位於圖片邊界內的當前塊/當前子塊的小預定義或自適應（small predefined or adaptive）數量的樣本來產生。

在另一個實施例中，在產生填充樣本之後，進一步的偏移或補償被應用於填充樣本。一種方法是計算圖片的整個邊界塊與整個生成的填充樣本之間的差來導出偏移量。另一種方法是計算邊界一側的邊界塊與邊界另一側產生的填充樣本之間的差異，以導出偏移量。

在另一個實施例中，對於如第7圖所示的角像素(corner pixel)(A、B、C和D)，可以根據不同的方法產生填充樣本。例如，可以根據分別圖片的左上角樣本、圖片的右上角樣本、圖片的左下角樣本和圖片的右下角樣本產生A、B、C、D處的填充樣本。另一個例子是，產生第7圖中的填充樣本後，根據對應的鄰域填充樣本(即兩個矩形灰色填充樣本區域710)的加權和生成A、B、C、D處的填充樣本。另一個例子是，在產生第7圖中的填充樣本之後，直接從鄰近填充樣本生成A、B、C、D中的填充樣本(例如，區域A是從其右相鄰的填充樣本生成) 。

在另一個實施例中，在產生填充樣本之後，應用進一步的填充操作以使得填充幀為矩形尺寸，如第7圖中的區域E所示。進一步的填充操作可以根據不同的方法在區域E中產生填充樣本。一個例子是，區域E中的填充樣本是直接從圖片邊界產生的，或是從第7圖中的填充樣本產生的。

在另一個實施例中，當使用邊界塊進行運動補償時，參考圖片上的參考塊有可能部分位於圖片之外，如第8圖所示。此時，如果參考圖片中的參考塊被幀間編解碼，則可以使用參考圖片的參考中的參考塊。在一個範例中，只有圖片外部的部分使用參考圖片的參考中的參考塊。在另一個範例中，當參考圖片中的參考塊超出圖片邊界時，參考圖片的參考中的參考塊被用來產生填充樣本。

在另一實施例中，如第8圖所示，三個圖片中可能存在兩個MV(MV0和MV1)，其中圖片810對應於當前圖片，圖片820對應於參考圖片，圖片830對應於參考圖片的參考圖片。塊812對應於當前圖片中的邊界塊。與塊812相關聯的運動向量MV0指向參考圖片820中的參考塊822(參考塊的一部分在參考圖片之外)。與參考塊822相關聯的運動向量MVl指向參考圖片820的參考圖片830中的另一個參考塊832。在填充樣本產生期間，可以考慮另一個參考塊。在一個範例中，我們將兩個 MV(例如 MV0 和 MV1)相加，以獲得另一個參考圖片或參考圖片的參考圖片中的另一個參考塊。在另一個例子中，我們將兩個 MV 平均以獲得參考圖片或參考圖片的參考圖片中的另一個參考塊。

任何前述提出的用於邊界外像素的樣本填充方法可以在編碼器和/或解碼器中實現。例如，任何所提出的樣本填充方法可以在編碼器的預測子推導模組(例如第1A圖中的幀間預測112和/或幀內預測110)和重建階段(例如第1A圖中的REC 128)中實現、和/或解碼器的預測子推導模組(例如，第1B圖中的MC 152和/或幀內預測150)和重建階段(例如，第1A圖中的REC 128)。或者，任何所提出的方法可以實現為耦合到編碼器的預測子推導模組和重建階段和/或解碼器的預測子推導模組和重建階段的電路，以便提供預測子推導模組所需的資訊。填充方法還可以使用儲存在媒體(例如硬碟或快閃記憶體)上的可執行軟體或韌體程式碼來實現，用於CPU(中央處理單元)或可編程設備(例如DSP(數位訊號處理器)或FPGA(現場可程式)門陣列))。

第9圖示出了根據本發明實施例的在重建階段期間產生圖片邊界之外的填充樣本的示例性視訊編解碼系統的流程圖。流程圖中所示的步驟可以實作為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟910中接收與位於圖片邊界處或附近的當前塊相關聯的輸入資料，其中輸入資料包括與當前塊相關的預測資料和重建殘差資料。在步驟920中，基於預測資料和重建殘差資料來產生當前塊的擴展的運動補償重建塊，其中當前塊的擴展的運動補償重建塊被幀間編解碼並且包括位於圖片邊界外部的填充區域和重建的當前塊。在步驟930中，將至少一個環路濾波器應用於擴展的運動補償重建塊。

所示流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定的語法和語義來說明實現本發明的實施例的示例。技術人員可以通過用等效語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。

給出上述描述以使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是應被賦予與本文所公開的原理和新穎特徵一致的最寬範圍。在上面的詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解，可以實踐本發明。

如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或者集成到視訊壓縮軟體中的程式代碼以執行本文描述的處理。本發明的實施例還可以是在數位信號處理器(DSP)上執行以執行本文描述的處理的程式代碼。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列(FPGA)執行的多種功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的程式化語言和不同的格式或風格來開發。軟體代碼還可以針對不同的目標平台進行編譯。然而，不同的代碼格式、軟體代碼的風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。

本發明可以以其他具體形式來實施而不背離其精神或基本特徵。所描述的示例在所有方面都應被視為僅是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍的等同物的含義和範圍內的所有改變均被包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 130:環路濾波器 124:逆量化 126:逆變換 128:重建 134:參考圖片緩衝器 136:預測資料 140:熵解碼器 150:幀內預測 152:MC 210、310、434:邊界線 220、423、442:參考區域 320:參考像素區域 330、332:模板區域 410:當前幀 412、612:邊界塊 420、620:參考圖片 422:邊界塊 430、510、520:填充 610:當前圖片 616:運動向量 622、822、832:參考塊 630:填充區域 614、624:填充塊 710:填充樣本區域 810、820、830:圖片 812:塊 910~930:步驟

第1A圖示出了結合環路處理的示例性自適應幀間/幀內視訊編碼系統。第1B圖示出了第1A圖中的編碼器的對應解碼器。第2圖顯示了用於估計MDBP(多方向邊界填充)角度模式的模板區域的範例。第3圖顯示了分別基於位於參考幀之外的最外面和第一像素線的兩個MDBP模板區域T _l和T ₂的範例。第4圖示出了根據JVET-K0117的使用運動補償的邊界像素填充的範例。第5圖示出了運動補償邊界填充方法的範例。第6圖顯示了導出具有左填充方向的M×4填充塊的範例。第7圖示出了根據本發明實施例的圖片中的填充區域的範例。第8圖示出了當前圖片、參考圖片和參考圖片的參考圖片的範例。第9圖示出了根據本發明實施例的在重建階段期間在圖片邊界之外產生填充樣本的示例性視訊編解碼系統的流程圖。

910~930:步驟

Claims

一種視訊編解碼方法，該方法包括：接收與位於圖片邊界處或圖片邊界附近的當前塊相關聯的輸入資料，其中該輸入資料包括與該當前塊相關的預測資料和重建殘差資料；基於該預測資料和該重建殘差資料產生該當前塊的擴展的運動補償重建塊，其中該當前塊的該擴展的運動補償重建塊被幀間編解碼並且包括位於該圖片邊界之外的填充區域和重建的當前塊；在所述產生該擴展的運動補償重建塊之後，應用至少一個環路濾波器來產生濾波的重建塊。
如請求項1所述之方法，其中該當前塊對應於在該圖片邊界處或該圖片邊界附近的4×4塊，並且該擴展的運動補償重建塊包括超出該圖片邊界的M條填充線，其中M是正整數。
如請求項1所述之方法，其中，該當前塊對應於在該圖片邊界處或該圖片邊界附近的WxH塊，並且如果該當前塊位於或接近水平圖片邊界，則該擴展的運動補償重建塊包括超出水平圖片邊界的M條填充線，如果該當前塊位於或接近垂直圖片邊界，則該擴展的運動補償重建塊包括超出垂直圖片邊界的M條填充線，其中M、W和H是正整數。
如請求項1所述之方法，其中該當前塊包括在該圖片邊界處或該圖片邊界附近的wxh子塊，並且該擴展的運動補償重建塊包括擴展的運動補償重建wxh子塊，並且其中如果wxh子塊位於或接近水平圖片邊界，則該擴展的運動補償重建wxh子塊包括超出該水平圖片邊界的M條填充線，或者如果該wxh子塊位於或接近垂直圖片邊界，則該擴展的運動補償重建wxh子塊包括超出該垂直圖片邊界的M條填充線，其中M、w和h是正整數。
如請求項1所述之方法，其中與運動補償處理相關聯的相同插值濾波器被用於產生該填充區域和該重建的當前塊內部的區域。
如請求項1所述之方法，其中與運動補償過程相關聯的用於生成該填充區域的第一插值濾波器具有比與該運動補償過程相關聯的用於生成該重建的當前塊內的區域的第二插值濾波器較短的抽頭數量。
如請求項1所述之方法，其中與運動補償過程相關聯的相同插值濾波器被用於產生該圖片邊界之外的所有填充樣本。
如請求項7所述之方法，其中該相同插值濾波器對應於預先定義的插值濾波器。
如請求項1所述之方法，其中與運動補償過程相關聯的、用於產生該圖片邊界之外的填充樣本的預測模式被設定為預定義值。
如請求項9所述之方法，其中該預定義值對應於LIC、BDOF、BCW、濾波器類型、多假設或幀間預測方向。
如請求項1所述之方法，其中與運動補償處理相關聯的相同預測模式被用於產生該填充區域和該重建的當前塊內部的區域。
如請求項11所述之方法，其中該相同預測模式對應於LIC、BDOF、BCW、濾波器類型或多假設。
一種用於視訊編解碼的裝置，該裝置包括一個或多個電子裝置或處理器，被佈置為：接收與位於圖片邊界處或圖片邊界附近的當前塊相關聯的輸入資料，其中該輸入資料包括與該當前塊相關的預測資料和重建殘差資料；基於該預測資料和該重建殘差資料產生該當前塊的擴展的運動補償重建塊，其中該當前塊的該擴展的運動補償重建塊被幀間編解碼並且包括位於該圖片邊界之外的填充區域和重建的當前塊；在產生該擴展的運動補償重建塊之後，應用至少一個環路濾波器來產生濾波的重建塊。