TW202110180A - 跨逐線掃描切片之適應性迴圈濾波 - Google Patents

跨逐線掃描切片之適應性迴圈濾波 Download PDF

Info

Publication number
TW202110180A
TW202110180A TW109123083A TW109123083A TW202110180A TW 202110180 A TW202110180 A TW 202110180A TW 109123083 A TW109123083 A TW 109123083A TW 109123083 A TW109123083 A TW 109123083A TW 202110180 A TW202110180 A TW 202110180A
Authority
TW
Taiwan
Prior art keywords
block
slice
pixel
pixels
video
Prior art date
Application number
TW109123083A
Other languages
English (en)
Inventor
楠 胡
法迪姆 塞瑞金
阿達許 克里許納 瑞瑪蘇布雷蒙尼安
穆漢麥德 傑德 柯本
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202110180A publication Critical patent/TW202110180A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供用於跨逐線掃描切片之迴圈濾波的系統、方法及媒體。一個實例包括獲得包含一或多個圖像之資料，包括獲得位於該等圖像中之一者的一第一切片中的一第一區塊。隨後，該實例包括判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素；及判定跨切片邊界的迴圈濾波停用。基於此停用，該實例判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，及複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。

Description

跨逐線掃描切片之適應性迴圈濾波
本發明大體上係關於視訊寫碼。在一些實例中，本發明之態樣係關於適應性迴圈濾波器(ALF)操作且係關於跨逐線掃描切片之ALF濾波。
許多裝置及系統允許處理並輸出視訊資料以供消耗。數位視訊資料包括大量資料以滿足消費者及視訊提供者之需求。舉例而言，視訊資料之消費者需要具有最優品質(具有高保真度、解析度、圖框速率及其類似者)之視訊。結果，滿足此等需求所需之大量視訊資料對處理及儲存視訊資料之通信網路及裝置造成負擔。
各種視訊寫碼技術可用於壓縮視訊資料。根據一或多個視訊寫碼標準來執行視訊寫碼。舉例而言，視訊寫碼標準包括通用視訊寫碼(VVC)、高效視訊寫碼(HEVC)、進階視訊寫碼(AVC)、活動圖像專家組(MPEG)寫碼、VP9、開放媒體聯盟(AOMedia)視訊1 (AV1)外加其他者。視訊寫碼通常使用利用存在於視訊影像或序列中之冗餘的預測方法(例如，框間預測、框內預測或其類似者)。視訊寫碼技術之重要目標為將視訊資料壓縮成使用較低位元速率之形式，同時避免視訊品質之降級或使視訊品質之降級最小化。隨著不斷演進的視訊服務變得可用，需要具有較佳寫碼效率之編碼技術。
本發明揭示了用於執行適應性迴圈濾波器(ALF)操作之系統、設備、方法及電腦可讀媒體。舉例而言，本文中描述用於執行跨逐線掃描切片(亦被稱作L形切片)之改良ALF濾波的技術。在一個說明性實例中，提供一種處理視訊資料之方法。該方法包括：獲得包含一或多個圖像之視訊資料；自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中；判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
在另一實例中，提供一種包括一記憶體及耦接至該記憶體之一或多個處理器(例如，組態於電路中)的設備。該一或多個處理器經組態以：獲得包含一或多個圖像之視訊資料；自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中；判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
在另一實例中，提供一種包括儲存於其上之指令的非暫時性電腦可讀儲存媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作：獲得包含一或多個圖像之視訊資料；自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中；判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
在另一實例中，提供一種設備，其包括：用於獲得包含一或多個圖像之視訊資料的構件；用於自該一或多個圖像獲得一圖像之一第一區塊的構件，該第一區塊位於該圖像之一第一切片中；用於判定一第二區塊位於該圖像之一第二切片中的構件，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素；用於判定跨切片邊界之迴圈濾波停用的構件；用於基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波的構件；及用於基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波的構件。
在一些態樣中，使用一適應性迴圈濾波器(ALF)執行該第一區塊之迴圈濾波。
在一些態樣中，該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含最接近該第二區塊之一切片的一或多個像素。
在一些態樣中，該第一切片為一逐線掃描切片，且該第二區塊位於該第一區塊的一右下角處。在一些態樣中，該第一切片為一逐線掃描切片，且該第二區塊位於該第一區塊的一左下角處。在其他態樣中，該第二區塊位於該第一區塊之一左上角處。在其他態樣中，該第二區塊位於該第一區塊之一右上角或該第一區塊之一左下角處。
在該第二區塊位於該第一區塊之一右下角處的一些態樣中，該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左方相鄰區塊的最接近該第二區塊之一或多個像素。
在一些情況下，該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
在一些態樣中，該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左方相鄰區塊的最接近該第二區塊之一或多個像素及該第二區塊之該第一切片中的一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
在一些態樣中，該第一區塊包含一第一寫碼樹型單元(CTU)，且該第二區塊包含一第二CTU。
在一些態樣中，該第一切片及該第二切片係獲自該圖像之逐線掃描分割。
在一些態樣中，上文所描述的該方法、設備及電腦可讀媒體包括產生包含該一或多個圖像的一經編碼視訊位元串流。
在一些態樣中，基於該視訊資料及將至少一個濾波器應用於該第一區塊之一結果而產生該經編碼視訊位元串流。
在一些態樣中，上文所描述的該方法、設備及電腦可讀媒體包括將該經編碼視訊位元串流發送至一解碼裝置，該經編碼視訊位元串流運用發信資訊來發送，該發信資訊包含至少一剪切旗標及一適應性迴圈濾波器旗標。
在一些態樣中，上文所描述的該方法、設備及電腦可讀媒體包括儲存該經編碼視訊位元串流。
在一些態樣中，上文所描述的該方法、設備及電腦可讀媒體包括；獲得包含該一或多個圖像之一經編碼視訊位元串流；識別與該經編碼視訊位元串流相關聯之發信資訊，該發信資訊包含至少一適應性迴圈濾波器旗標及跨切片邊界之該迴圈濾波停用的一指示；及自該經編碼視訊位元串流解碼該圖像之該第一區塊。
在一些態樣中，自該經編碼視訊位元串流解碼該圖像之該第一區塊包含重建構該圖像之該第一區塊。在一些態樣中，上文所描述的該方法、設備及電腦可讀媒體包括將至少一個濾波器應用於經重建構第一區塊。
此發明內容並不意欲識別所主張主題之關鍵或基本特徵，亦不意欲限制該所主張主題之範疇。應參考此專利之整個說明書的適當部分、任何或所有圖式及每一實例來理解該主題。
當參考以下說明書、實例及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
相關申請案之交叉參考
本申請案主張2019年7月11日申請之美國臨時申請案第62/873,174號之權益，該臨時申請案在此以全文引用之方式且出於所有目的併入。
在下文提供本發明之某些態樣及實施例。此等態樣及實施例中的一些可獨立地應用，且其中之一些可組合地應用，如熟習此項技術者將顯而易見。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本申請案之實施例的透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將為顯而易見的。圖式及描述並不意欲為限制性的。
本文中所描述的實例解決濾波(例如，適應性迴圈濾波器(ALF))實施之問題，該等問題可導致誤差且降低視訊處理系統之效能。如本文中所描述，迴圈濾波器(例如，ALF濾波器以及其他類型之迴圈濾波器)使用濾波器模式來將濾波器操作應用於影像之像素。在一些系統中，視訊串流中之圖像可結構化為呈逐線掃描組態之切片。在此系統中，ALF可啟用或停用，且當ALF啟用時，跨切片邊界之像素針對ALF之使用可類似地啟用或停用。其他類型之迴圈濾波器可相對於切片邊界類似地組態。運用在用於逐線掃描之區塊中組織之資料，逐線掃描中之切片之間的介面有時可包括在共用角處相交之四個區塊，其中四個區塊中之三個為一個切片之部分，且四個區塊中之一個為單獨切片之部分。在逐線掃描系統之此類組態中，在停用跨切片邊界之像素的使用的情況下啟用ALF (及/或其他迴圈濾波)時，ALF操作可遭遇其中濾波器模式並未經組態以定址跨切片邊界之不允許像素的組態。此組態可導致終止圖像之視訊處理操作的故障誤差，或可另外降低效能。本文中所描述的實例藉由改良逐線掃描操作之功能性來改良視訊處理裝置(例如，編碼及解碼硬體)之操作，從而防止系統故障，且改良視訊處理系統之效能。
隨後描述僅僅提供實例實施例，且不意欲限制本發明之範疇、適用性或組態。實際上，例示性實施例之隨後描述將為熟習此項技術者提供能夠實施例示性實施例之描述。應理解，可在元件之功能及配置上進行各種改變而不背離如隨附實例中所闡述之本申請案之精神及範疇。雖然本文中出於說明性目的使用ALF濾波，但本文中所描述的技術可應用於其他類型之迴圈濾波器，諸如樣本適應性偏移(Sample Adaptive Offset；SAO)濾波器、解區塊濾波器及/或其他類型之濾波器。
視訊寫碼裝置可實施視訊壓縮技術以高效地編碼及解碼視訊資料。視訊壓縮技術可包括應用不同預測模式(包括空間預測(例如圖框內預測或框內預測)、時間預測(例如圖框間預測或框間預測)、層間預測(跨視訊資料之不同層)及/或其他預測技術)以減少或移除為視訊序列所固有的冗餘，以及其他者。視訊編碼器可將原始視訊序列之每一圖像分割成被稱作視訊區塊或寫碼單元且下文更詳細地描述之矩形區。可使用特定預測模式來編碼此等視訊區塊。
在一些情況下，視訊區塊可以一或多種方式分成較小區塊之一或多個群組。區塊可包括寫碼樹型區塊、預測區塊、變換區塊及/或其他適合區塊。除非另外指定，否則通常對「區塊」之參考可指此類視訊區塊(例如，寫碼樹型區塊、寫碼區塊、預測區塊、變換區塊或其他適當區塊或子區塊，如一般熟習此項技術者將理解)。此等區塊在本文中亦可互換地稱為「單元」(例如，寫碼樹型單元(CTU)、寫碼單元(CU)、預測單元(PU)、變換單元(TU)或其類似者)。在一些情況下，單元可指示經編碼於位元串流中之寫碼邏輯單元，而區塊可指示程序針對之視訊圖框緩衝器的一部分。
對於框間預測模式，視訊編碼器可搜尋類似於經編碼於位於另一時間位置中的圖框(或圖像) (被稱作參考圖框或參考圖像)中之區塊的區塊。視訊編碼器可將搜尋限於自待編碼之區塊的某一空間位移。可使用包括水平位移分量及豎直位移分量之二維(2D)運動向量來定位最佳匹配。對於框內預測模式，視訊編碼器可基於來自同一圖像內之先前經編碼相鄰區塊之資料而使用空間預測技術來形成預測區塊。
視訊編碼器可判定預測誤差。在一些實例中，預測可經判定為正在編碼之區塊與經預測區塊中的像素值之間的差。預測誤差亦可被稱作殘餘。視訊編碼器亦可將變換應用於預測誤差(例如，離散餘弦變換(DCT)或其他適合之變換)以產生變換係數。在變換之後，視訊編碼器可量化變換係數。經量化變換係數及運動向量可使用語法元素來表示且連同控制資訊一起形成視訊序列之經寫碼表示。在一些情況下，視訊編碼器可熵寫碼語法元素，由此進一步減少用於其表示之位元數目。
視訊解碼器可使用上文所論述之語法元素及控制資訊建構用於解碼當前圖框之預測性資料(例如，預測性區塊)。舉例而言，視訊解碼器可將所預測區塊與經壓縮預測誤差相加。視訊解碼器可藉由使用經量化係數而加權變換基底函數來判定經壓縮預測誤差。經重建構圖框與原始圖框之間的差異被稱作重建構誤差。
當使用逐線掃描組態且針對適應性迴圈濾波停用跨切片邊界之像素資料的使用時，本文中所描述的技術可簡化及提高視訊寫碼中使用之適應性迴圈濾波器的效率。在一些實例中，本文中之技術可降低此等計算之複雜度、減少編碼及解碼誤差，且最小化裝置之計算資源上的處理負擔。此外，本文中所描述的技術可應用於任何視訊編解碼器(例如，高效率視訊寫碼(HEVC)、進階視訊寫碼(AVC)或其他合適現有視訊編解碼器)，及/或可為用於任何視訊寫碼標準之高效寫碼工具，該等視訊寫碼標準包括當前視訊寫碼標準、正被開發之視訊標準及/或將來視訊寫碼標準(諸如多功能視訊寫碼(VVC)、聯合探索模型(JEM)及/或在開發中或將開發之其他視訊寫碼標準)。
圖1為說明包括編碼裝置104及解碼裝置112之實例系統100的方塊圖。編碼裝置104可為源裝置之部分，且解碼裝置112可為接收裝置之部分。源裝置及/或接收裝置可包括電子裝置，諸如行動或靜止電話手機(例如，智慧型手機、蜂巢式電話或其類似者)、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放器、視訊遊戲主控台、視訊串流裝置、網際網路協定(IP)攝影機、頭戴式顯示器(HMD)或任何其他合適的電子裝置。在一些實例中，源裝置及接收裝置可包括用於無線通信之一或多個無線收發器。本文中所描述之寫碼技術可應用於各種多媒體應用中之視訊寫碼，包括(例如)串流視訊傳輸(例如，經由網際網路)、電視廣播或傳輸、用於儲存於資料儲存媒體上的數位視訊之編碼、儲存於資料儲存媒體上的數位視訊之解碼，及/或其他應用。在一些實例中，系統100可支援單向或雙向視訊傳輸以支援諸如視訊會議、視訊串流、視訊播放、視訊廣播、遊戲、視訊電話等等之應用。
編碼裝置104 (或編碼器)可用以使用視訊寫碼標準或協定編碼視訊資料以產生經編碼視訊位元串流。視訊寫碼標準之實例包括ITU-T H.261；ISO/IEC MPEG-1 Visual；ITU-T H.262或ISO/IEC MPEG-2 Visual；ITU-T H.263、ISO/IEC MPEG-4 Visual；ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC)，包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展；及高效率視訊寫碼(HEVC)或ITU-T H.265。存在涉及多層視訊寫碼的HEVC之各種擴展，包括範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。HEVC及其擴展已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼擴展開發聯合協作小組(JCT-3V)開發。
MPEG及ITU-T VCEG亦已形成聯合探索視訊小組(JVET)以探索及開發用於下一代視訊寫碼標準(稱為多功能視訊寫碼(VVC))之新的視訊寫碼工具。參考軟體稱為VVC測試模型(VTM)。VVC之目標係提供對於現有HEVC標準的壓縮效能之顯著改良，輔助較高品質視訊服務及新興應用(例如360°全向沉浸式多媒體、高動態範圍(HDR)視訊，以及其他)的部署。
本文所描述之各種態樣使用VTM、VVC、HEVC及/或其擴展提供實例。然而，本文中所描述的技術及系統亦可適用於其他寫碼標準，諸如AVC、MPEG、JPEG (或用於靜止影像之其他寫碼標準)、其擴展，或已經可用或尚未可用或開發的其他合適寫碼標準。因此，雖然可參考特定視訊寫碼標準描述本文中所描述之技術及系統，但一般熟習此項技術者將瞭解，描述不應解譯為僅適用於彼特定標準。
參考圖1，視訊源102可將視訊資料提供至編碼裝置104。視訊源102可為源裝置之部分，或可為除源裝置以外的裝置之部分。視訊源102可包括視訊俘獲裝置(例如，視訊攝影機、攝影機電話、視訊電話或其類似者)、含有經儲存視訊之視訊存檔、提供視訊資料之視訊伺服器或內容提供者、自視訊伺服器或內容提供者接收視訊之視訊饋入介面、用於產生電腦圖形視訊資料之電腦圖形系統、此等源之組合或任何其他合適的視訊源。
來自視訊源102之視訊資料可包括一或多個輸入圖像。圖像亦可被稱為「圖框」。圖像或圖框為在一些情況下為視訊之部分的靜態影像。在一些實例中，來自視訊源102之資料可為並非視訊之一部分的靜態影像。在HEVC、VVC及其他視訊寫碼規範中，視訊序列可包括一系列圖像。圖像可包括三個樣本陣列，指示為SL、SCb及SCr。SL為明度樣本之二維陣列，SCb為Cb色度樣本之二維陣列，且SCr為Cr色度樣本之二維陣列。色度(Chrominance)樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的且可僅包括明度樣本陣列。
編碼裝置104之編碼器引擎106 (或編碼器)編碼視訊資料以產生經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流(或「視訊位元串流」或「位元串流」)為一系列的一或多個經寫碼視訊序列。經寫碼視訊序列(coded video sequence；CVS)包括一系列存取單元(access unit；AU)，其始於具有在基礎層中且具有某些性質的隨機存取點圖像之AU，直至且不包括具有在基礎層中且具有某些性質的隨機存取點圖像之下一AU。舉例而言，開始CVS之隨機存取點圖像的某些性質可包括等於1之RASL旗標(例如，NoRaslOutputFlag)。否則，隨機存取點圖像(具有等於0之RASL旗標)並不開始CVS。
存取單元(AU)包括一或多個經寫碼圖像及對應於共用相同輸出時間之經寫碼圖像的控制資訊。圖像之經寫碼切片在位元串流層級中囊封至稱作網路抽象層(network abstraction layer；NAL)單元之資料單元中。舉例而言，HEVC視訊位元串流可包括一或多個CVS，其包括NAL單元。NAL單元中之每一者具有NAL單元標頭。在一個實例中，標頭對於H.264/AVC (除了多層擴展以外)為一個位元組且對於HEVC為兩個位元組。NAL單元標頭中之語法元素採取指定位元，且因此對所有種類之系統及輸送層可見，諸如輸送串流、即時輸送(RTP)協定、檔案格式以及其他者。
兩種類別之NAL單元存在於HEVC標準中，包括視訊寫碼層(VCL) NAL單元及非VCL NAL單元。VCL NAL單元包括經寫碼圖像資料之一個切片或切片片段(如下描述)，且非VCL NAL單元包括關於一或多個經寫碼圖像之控制資訊。在一些情況下，NAL單元可被稱作封包。HEVC AU包括含有經寫碼圖像資料之VCL NAL單元及對應於經寫碼圖像資料之非VCL NAL單元(若存在)。
NAL單元可含有形成視訊資料之經寫碼表示(諸如，視訊中之圖像的經寫碼表示)的位元序列(例如，經編碼視訊位元串流、位元串流之CVS或其類似者)。編碼器引擎106可藉由將每一圖像分割成多個切片而產生圖像之經寫碼表示。一切片可獨立於其他切片，以使得在不相依於來自同一圖像內之其他切片之資料的情況下寫碼該切片中之資訊。切片包括一或多個切片片段，該一或多個切片片段包括獨立切片片段及(若存在)相依於先前切片片段之一或多個相依相依片段。
在HEVC中，切片被分割成明度樣本及色度樣本之寫碼樹型區塊(CTB)。明度樣本之CTB及色度樣本之一或多個CTB連同樣本之語法被稱為寫碼樹型單元(CTU)。CTU亦可被稱作「樹型區塊」或「最大寫碼單元(LCU)」。CTU為用於HEVC編碼之基本處理單元。CTU可***成具有變化大小之多個寫碼單元(CU)。CU含有稱作寫碼區塊(CB)之明度及色度樣本陣列。
明度及色度CB可進一步被***成預測區塊(prediction block；PB)。PB為對於框間預測或塊內複製預測(在可用或經啟用以供使用時)使用相同運動參數的明度分量或色度分量之樣本的區塊。明度PB及一或多個色度PB以及相關聯語法形成預測單元(prediction unit；PU)。對於框間預測，在位元串流中對於每一PU發信一組運動參數(例如一或多個運動向量、參考索引或其類似者)，且該組運動參數用於明度PB及一或多個色度PB之框間預測。運動參數亦可稱作運動資訊。CB亦可分割成一或多個變換區塊(TB)。TB表示色彩分量之樣本之正方形區塊，對該正方形區塊應用同一二維變換以用於寫碼預測殘餘信號。變換單元(TU)表示明度及色度樣本之TB及對應語法元素。
CU之大小對應於寫碼模式之大小，且在一些情況下，形狀可為正方形。舉例而言，CU之大小可包括8×8樣本、16×16樣本、32×32樣本、64×64樣本或達至對應CTU之大小的任何其他適當大小。片語「N×N」在本文中用以指就豎直及水平尺寸而言之視訊區塊的像素尺寸(例如，8像素×8像素)。可按列及行來配置區塊中之像素。在一些實例中，區塊在水平方向上可能不具有與在豎直方向上相同的數目個像素。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經框內預測模式編碼或經框間預測模式編碼之間有所不同。PU可分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據CTU將CU分割成一或多個TU。TU可為正方形或非正方形形狀。
根據HEVC標準，可使用變換單元(TU)來執行變換。TU可針對不同CU而變化。可基於給定CU內之PU的大小而對TU設定大小。TU可與PU大小相同或小於PU。在一些實例中，可使用被稱作殘餘四分樹(RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可對應於TU。可變換與TU相關聯之像素差值以產生變換係數。變換係數可接著由編碼器引擎106量化。
一旦視訊資料之圖像被分割成CU，編碼器引擎106便使用預測模式來預測每一PU。接著自原始視訊資料減去預測單元或預測區塊以得到殘餘(如下描述)。對於每一CU，可使用語法資料在位元串流內部發信預測模式。預測模式可包括框內預測(或圖像內預測)或框間預測(或圖像間預測)。框內預測利用圖像內之空間相鄰樣本之間的相關性。舉例而言，在使用框內預測之情況下，使用例如DC預測以發現PU之平均值、使用平面預測以使平面表面擬合於PU、使用方向預測以自相鄰資料外插或使用任何其他合適類型之預測，自同一圖像中之相鄰影像資料預測每一PU。框間預測使用圖像之間的時間相關性以便推導影像樣本之區塊的運動補償預測。舉例而言，在使用框間預測之情況下，使用運動補償預測自一或多個參考圖像(按輸出次序在當前圖像之前或之後)中之影像資料預測每一PU。可(例如)在CU層級作出使用圖像間預測抑或圖像內預測來寫碼圖像區域的決策。
編碼器引擎106及解碼器引擎116 (在下文更詳細地描述)可經組態以根據VVC操作。在VVC中，視訊寫碼器(諸如編碼器引擎106及/或解碼器引擎116)將圖像分割成複數個寫碼樹型單元(CTU)。視訊寫碼器可根據樹型結構分割CTU，諸如四分樹二元樹型(QTBT)結構或多類型樹型(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級，包括：根據四分樹分割進行分割之第一層級，及根據二元樹分割進行分割之第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。
在MTT分割結構中，區塊可使用四分樹分割、二元樹分割及一或多種類型之三元樹分割來分割。三元樹分割為區塊***成三個子區塊的分割。在一些實例中，三元樹分割在不經由中心劃分原始區塊情況下將區塊劃分成三個子區塊。MTT中之分割類型(例如，四分樹、二元樹及三元樹)可為對稱或不對稱的。
在一些實例中，視訊寫碼器可使用單一QTBT或MTT結構來表示明度及色度分量中之每一者，而在其他實例中，視訊寫碼器可使用兩個或多於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT或MTT結構及用於兩個色度分量之另一QTBT或MTT結構(或用於各別色度分量之兩個QTBT及/或MTT結構)。
視訊寫碼器可經組態以使用根據HEVC之四分樹分割、QTBT分割、MTT分割，或其他分割結構。出於說明之目的，本文中之描述可指QTBT分割。然而，應理解，本發明之技術亦可應用於經組態以使用四元樹分割亦或其他類型之分割的視訊寫碼器。
在一些實例中，圖像之一或多個切片被指派切片類型。切片類型包括I切片、P切片及B切片。I切片(框內圖框，可獨立解碼)為僅藉由框內預測寫碼之圖像的切片，且因此可獨立解碼，此係因為I切片僅需要圖框內之資料來預測切片之任何預測單元或預測區塊。P切片(單向預測圖框)為可藉由框內預測及藉由單向框間預測寫碼之圖像的切片。藉由框內預測或框間預測寫碼P切片內之每一預測單元或預測區塊。當應用框間預測時，僅藉由一個參考圖像預測該預測單元或預測區塊，且因此參考樣本僅來自一個圖框之一個參考區。B切片(雙向預測性圖框)為可藉由框內預測及藉由框間預測(例如，雙向預測或單向預測)寫碼之圖像的切片。可自兩個參考圖像雙向預測B切片之預測單元或預測區塊，其中每一圖像貢獻一個參考區且兩個參考區之樣本集經加權(例如，藉由相等權重或藉由不同權重)以產生雙向預測區塊之預測信號。如上文所解釋，一個圖像之切片被獨立寫碼。在一些情況下，圖像可僅作為一個切片而被寫碼。
如上文所提及，圖像內預測使用圖像內之空間相鄰樣本之間的相關性。圖像間預測使用圖像之間的時間相關性以便推導影像樣本之區塊的運動補償預測。使用平移運動模型，先前解碼之圖像(參考圖像)中的區塊之位置係藉由運動向量(Δx ,Δy )指示，其中Δx 指定水平位移且Δy 指定參考區塊相對於當前區塊之位置的豎直位移。在一些情況下，運動向量(Δx ,Δy )可在整數樣本準確度(亦稱作整數準確度)中，在此情況下運動向量指向參考圖框之整數像素網格(或整數像素取樣網格)。在一些情況下，運動向量(Δx ,Δy )可具有分數樣本準確度(亦被稱作分數像素準確度或非整數準確度)以更準確地俘獲基礎物件之移動而不限於參考圖框之整數像素網格。
運動向量之準確度可由運動向量之量化層級表現。舉例而言，量化層級可為整數準確性(例如，1像素)或分數像素準確性(例如，¼像素、½像素或其他子像素值)。當對應運動向量具有分數樣本準確度時，對參考圖像應用內插以推導預測信號。舉例而言，可對在整數位置處可用之樣本進行濾波(例如，使用一或多個內插濾波器)以估計分數位置處之值。先前經解碼參考圖像由參考圖像清單之參考索引(refIdx)指示。運動向量及參考索引可被稱作運動參數。可執行兩種圖像間預測，包括單向預測及雙向預測。
在框間預測使用雙向預測情況下，兩組運動參數(Δx 0 ,y 0 ,refIdx 0 及Δx 1 ,y 1 ,refIdx 1 )用於產生兩個經運動補償之預測(自相同參考圖像或可能自不同參考圖像)。舉例而言，藉由雙向預測，每一預測區塊使用兩個運動補償預測信號，且產生B預測單元。隨後組合兩個運動補償預測以得到最終運動補償預測。舉例而言，可藉由取平均值來組合兩個經運動補償之預測。在另一實例中，可使用加權預測，在此情況下，不同權重可應用於每一經運動補償之預測。可用於雙向預測中之參考圖像儲存於兩個分開的清單(表示為清單0及清單1)中。可使用運動估計處理程序在編碼器處推導運動參數。
在框間預測使用單向預測情況下，一組運動參數(Δx 0 ,y 0 ,refIdx 0 )用以自參考圖像產生經運動補償之預測。舉例而言，藉由單向預測，每一預測區塊使用至多一個經運動補償之預測信號，且產生P預測單元。
PU可包括與預測過程相關之資料(例如，運動參數或其他合適資料)。舉例而言，當使用框內預測來編碼PU時，PU可包括描述用於PU之框內預測模式的資料。作為另一實例，當使用框間預測來編碼PU時，PU可包括定義用於PU之運動向量的資料。定義用於PU之運動向量的資料可描述例如運動向量之水平分量(Δx )、運動向量之豎直分量(Δy )、用於運動向量之解析度(例如，整數精度、四分之一像素精度或八分之一像素精度)、運動向量指向之參考圖像、參考索引、用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)，或其任何組合。
編碼裝置104可接著執行變換及量化。舉例而言，在預測之後，編碼器引擎106可計算對應於PU之殘餘值。殘餘值可包括正經寫碼像素之當前區塊(PU)與用以預測當前區塊之預測區塊(例如，當前區塊之經預測版本)之間的像素差值。舉例而言，在產生預測區塊(例如，使用框間預測或框內預測)之後，編碼器引擎106可藉由自當前區塊減去由預測單元產生之預測區塊來產生殘餘區塊。殘餘區塊包括量化當前區塊之像素值與預測區塊之像素值之間的差的一組像素差值。在一些實例中，殘餘區塊可表示為二維區塊格式(例如，像素值之二維矩陣或陣列)。在此等實例中，殘餘區塊為像素值之二維表示。
使用區塊變換來變換可在執行預測之後剩餘的任何殘餘資料，此變換可基於離散餘弦變換、離散正弦變換、整數變換、小波變換、其他合適的變換函數或其任何組合。在一些情況下，一或多個區塊變換(例如，大小32×32、16×16、8×8、4×4或其他合適的大小)可應用於每一CU中之殘餘資料。在一些實例中，TU可用於由編碼器引擎106實施之變換及量化過程。具有一或多個PU之給定CU亦可包括一或多個TU。如下文進一步詳細描述，可使用區塊變換將殘餘值變換成變換係數，且可使用TU來量化且掃描殘餘值以產生用於熵寫碼之串行化變換係數。
在一些實例中，在使用CU之PU進行框內預測性或框間預測性寫碼之後，編碼器引擎106可計算CU之TU的殘餘資料。PU可包括空間域(或像素域)中之像素資料。在應用區塊變換之後，TU可包括變換域中之係數。如先前所述，殘餘資料可對應於未經編碼之圖像的像素與對應於PU之預測值之間的像素差值。編碼器引擎106可形成包括用於CU之殘餘資料的TU，且可接著變換TU以產生用於CU之變換係數。
編碼器引擎106可執行變換係數之量化。量化藉由量化變換係數以減小用於表示係數之資料量而提供進一步壓縮。舉例而言，量化可減少與係數中之一些或全部相關聯的位元深度。在一個實例中，具有n位元值之係數可在量化期間經降值捨位為m位元值，其中n大於m。
一旦執行了量化，則經寫碼視訊位元串流包括經量化變換係數、預測資訊(例如模式、運動向量、區塊向量或其類似者)、分割資訊、及任何其他適合之資料，諸如其他語法資料。可隨後由編碼器引擎106熵編碼經寫碼視訊位元串流之不同元素。在一些實例中，編碼器引擎106可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之串行化向量。在一些實例中，編碼器引擎106可執行適應性掃描。在掃描經量化變換係數以形成向量(例如，一維向量)之後，編碼器引擎106可熵編碼向量。舉例而言，編碼器引擎106可使用上下文適應性可變長度寫碼、上下文適應性二進位算術寫碼、基於語法之上下文適應性二進位算術寫碼、機率區間分割熵寫碼或另一合適的熵編碼技術。
編碼裝置104之輸出端110可經由通信鏈路120將構成經編碼視訊位元串流資料之NAL單元發送至接收裝置之解碼裝置112。解碼裝置112之輸入端114可接收NAL單元。通信鏈路120可包括由無線網路、有線網路或有線網路與無線網路之組合提供的通道。無線網路可包括任何無線介面或無線介面之組合，且可包括任何適合的無線網路(例如，網際網路或其他廣域網路、基於封包之網路、WiFiTM 、射頻(RF)、UWB、WiFi-Direct、蜂巢式、長期演進(LTE)、WiMaxTM 或其類似者)。有線網路可包括任何有線介面(例如，光纖、乙太網路、電力線乙太網路、經由同軸纜線之乙太網路、數位信號線(DSL)或其類似者)。有線及/或無線網路可使用各種設備及/或組件實施，諸如基地台、路由器、存取點、橋接器、閘道器、切換器、伺服器、軟體容器、虛擬機或其類似者。可根據通信標準(諸如，無線通信協定)調變經編碼視訊位元串流資料，且將其傳輸至接收裝置。
在一些實例中，編碼裝置104可將經編碼視訊位元串流資料儲存於儲存器108中。輸出端110可自編碼器引擎106或自儲存器108擷取經編碼視訊位元串流資料。儲存器108可包括多種分佈式或本端存取之資料儲存媒體中之任一者。舉例而言，儲存器108可包括硬碟機、儲存光碟、快閃記憶體、揮發性或非揮發性記憶體、分佈式儲存系統中之一或多個節點，或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。
解碼裝置112之輸入端114接收經編碼視訊位元串流資料，且可將視訊位元串流資料提供至解碼器引擎116，或提供至儲存器118以供稍後由解碼器引擎116使用。解碼器引擎116可藉由熵解碼(例如，使用熵解碼器)且提取構成經編碼視訊資料之一或多個經寫碼視訊序列的元素來解碼經編碼視訊位元串流資料。解碼器引擎116可接著重新按比例調整經編碼視訊位元串流資料且對其執行反變換。殘餘資料傳遞至解碼器引擎116之預測級。解碼器引擎116接著預測像素之區塊(例如，PU)。在一些實例中，將預測添加至反變換之輸出(殘餘資料)。
解碼裝置112可將經解碼視訊輸出至視訊目的地裝置122，其可包括用於顯示經解碼視訊資料之顯示器或其他輸出裝置。在一些態樣中，視訊目的地裝置122可為接收裝置之部分，接收裝置包括解碼裝置112。在一些態樣中，視訊目的地裝置122可為不同於接收裝置的單獨裝置之部分。
在一些實例中，視訊編碼裝置104及/或視訊解碼裝置112可分別與音訊編碼裝置及音訊解碼裝置整合。視訊編碼裝置104及/或視訊解碼裝置112亦可包括用以實施本文中所描述之寫碼技術的其他硬體或軟體，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、中央處理單元(CPU)、離散邏輯、軟體、硬體、韌體或其任何組合。在一些情況下，視訊編碼裝置104及視訊解碼裝置112可經整合作為各別裝置中的組合式編碼器/解碼器(編解碼器)之部分。下文參考圖12描述編碼裝置104之特定細節的實例。下文參考圖13描述解碼裝置112之特定細節的實例。
對HEVC標準之擴展包括多視圖視訊寫碼擴展(被稱作MV-HEVC)及可調式視訊寫碼擴展(被稱作SHVC)。MV-HEVC及SHVC擴展共用分層寫碼之概念，其中不同層包括於經編碼視訊位元串流中。經寫碼視訊序列中之每一層係由唯一層識別符(ID)定址。層ID可存在於NAL單元之標頭中以識別NAL單元所相關聯之層。在MV-HEVC中，不同層可表示視訊位元串流中之同一場景的不同視圖。在SHVC中，提供以不同空間解析度(或圖像解析度)或以不同重建構保真度表示視訊位元串流的不同可調式層。可調式層可包括基礎層(其中層ID=0)及一或多個增強層(其中層ID=1、2……n)。基礎層可符合HEVC之第一版本的設定檔，且表示位元串流中之最低可用層。相較於基礎層，增強層具有增加之空間解析度、時間解析度或圖框速率及/或重建構保真度(或品質)。增強層經階層式組織，且可(或可不)取決於較低層。在一些實例中，可使用單一標準寫解碼器來寫碼不同層(例如，使用HEVC、SHVC或其他寫碼標準編碼所有層)。在一些實例中，可使用多標準編碼解碼器來寫碼不同層。舉例而言，可使用AVC來寫碼基礎層，而可使用對HEVC標準之SHVC及/或MV-HEVC擴展來寫碼一或多個增強層。
大體而言，層包括一組VCL NAL單元及對應的一組非VCL NAL單元。NAL單元被指派特定層ID值。在層可取決於較低層的意義上，層可為階層式的。層集合指表示於位元串流內之獨立的層之集合，意謂層集合內之層在解碼處理程序中可取決於層集合中之其他層，但並不取決於任何其他層來進行解碼。因此，層集合中之層可形成可表示視訊內容之獨立位元串流。可藉由子位元串流提取處理程序之操作自另一位元串流獲得層集合中之層的集合。層集合可對應於待在解碼器希望根據某些參數操作時被解碼之層集合。
如先前所描述，HEVC位元串流包括一組NAL單元，包括VCL NAL單元及非VCL NAL單元。VCL NAL單元包括形成經寫碼視訊位元串流之經寫碼圖像資料。舉例而言，形成經寫碼視訊位元串流之位元的序列存在於VCL NAL單元中。除了其他資訊以外，非VCL NAL單元亦可含有具有與經編碼視訊位元串流有關之高層級資訊的參數集。舉例而言，參數集可包括視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)。參數集之目標的實例包括位元速率效率、誤差復原(error resiliency)及提供系統層介面。每一切片參考單一作用中PPS、SPS及VPS以存取解碼裝置112可用於解碼切片之資訊。可針對每一參數集寫碼識別符(ID)，包括VPS ID、SPS ID及PPS ID。SPS包括SPS ID及VPS ID。PPS包括PPS ID及SPS ID。每一切片標頭包括PPS ID。使用ID，可識別針對給定切片之作用中參數集。
PPS包括適用於給定圖像中之所有切片的資訊。因此，圖像中之所有切片參考同一PPS。不同圖像中之切片亦可參考同一PPS。SPS包括適用於同一經寫碼視訊序列(CVS)或位元串流中之所有圖像的資訊。如先前所描述，經寫碼視訊序列為一系列存取單元(AU)，其始於在基礎層中且具有某些性質(如上文所描述)之隨機存取點圖像(例如，瞬時解碼參考(IDR)圖像或斷鏈存取(BLA)圖像或其他適當的隨機存取點圖像)，直至且不包括具有在基礎層中且具有某些性質之隨機存取點圖像的下一AU (或位元串流之末端)。SPS中之資訊可能不在經寫碼視訊序列內在圖像間變化。經寫碼視訊序列中之圖像可使用同一SPS。VPS包括適用於經寫碼視訊序列或位元串流內之所有層的資訊。VPS包括具有適用於整個經寫碼視訊序列之語法元素的語法結構。在一些實例中，可與經編碼位元串流一起頻帶內傳輸VPS、SPS或PPS。在一些實例中，可在獨立於含有經寫碼視訊資料之NAL單元的傳輸中頻帶外傳輸VPS、SPS或PPS。
視訊位元串流亦可包括補充增強資訊(Supplemental Enhancement Information，SEI)訊息。舉例而言，SEI NAL單元可為視訊位元串流之部分。在一些情況下，SEI訊息可含有解碼程序未必需要的資訊。舉例而言，SEI訊息中之資訊可能並非對於解碼器對位元串流該視訊圖像進行解碼必不可少，但解碼器可使用該資訊來改良對圖像(例如，經解碼輸出)之顯示或處理。SEI訊息中之資訊可為嵌入型後設資料。在一個說明性實例中，SEI訊息中之資訊可由解碼器側實體使用以改良內容之可見性。在一些情況下，某些應用標準可強制此等SEI訊息在位元串流中之存在以使得符合應用標準之所有裝置可達成品質之改良(例如，用於圖框可相容平面立體3DTV視訊格式之圖框封裝SEI訊息的攜載，其中針對視訊之每一圖框攜載SEI訊息；恢復點SEI訊息之處置；拉移式掃描矩形SEI訊息在DVB中之使用；外加許多其他實例)。
圖2A為說明用於將ALF 206應用於圖框中之輸入區塊202的實例系統200之簡圖。區塊202可包括用於表示區塊202之影像像素之色彩分量204。在此實例中，色彩分量204處於YCbCr色彩空間中且可包括明度Y、色度Cb及色度Cr分量。YCbCr色彩空間中之色度Cb及色度Cr分量可分別地表示與區塊202相關聯的藍色差分及紅色差分色度信號。
可將具有ALF濾波器係數值之ALF 206應用於區塊202中的明度(Y)分量樣本204A、色度(Cb)分量樣本204B及色度(Cr)分量樣本204C。在一些實例中，可在逐塊基礎上將具有ALF濾波器係數值之ALF 206應用於樣本(例如，204A、204B、204C) (例如，應用於特定視訊區塊)。舉例而言，視訊編碼器或解碼器可個別地處理圖框中之區塊，且在處理圖框中之區塊(例如，202)時，視訊編碼器或解碼器可將來自ALF 206之ALF濾波器係數應用於彼區塊。視訊編碼器或解碼器可類似地在其處理其他區塊時將ALF濾波器係數值應用於彼等區塊。在一些實例中，可將ALF 206應用於明度(Y)分量樣本204A、色度(Cb)分量樣本204B及色度(Cr)分量樣本204C，以校正區塊202中之假影、減小原始圖框與經重建構圖框之間的誤差，及/或提高經解碼視訊信號之品質。
此外，ALF 206可包括一或多個濾波器，且每一濾波器可具有特定濾波器大小及形狀，如下文關於圖3A及圖3B進一步描述。舉例而言，ALF 206可包括用於明度(Y)濾波的特定大小及形狀之濾波器，及用於色度濾波的特定大小及形狀之濾波器。如先前所解釋，在一些實例中，ALF 206可應用於區塊層級。舉例而言，在一些情況下，ALF 206可應用於CTU或CU層級。在其他實例中，ALF 206可應用於圖框層級及/或圖框之其他部分。
可自應用於明度(Y)分量樣本204A之ALF 206獲得明度濾波結果208。類似地，可自應用於色度(Cb)分量樣本204B及色度(Cr)分量樣本204C之ALF 206獲得色度濾波結果210。明度濾波結果208可包括輸出區塊212之經濾波明度值，且色度濾波結果210可包括輸出區塊212之經濾波色度Cb及色度Cr值。輸出區塊212可包括經重建構區塊及/或圖框，該經重建構區塊及/或圖框包括來自明度濾波結果208及色度濾波結果210之明度、色度Cb及色度Cr值。在一些情況下，運用ALF濾波，可使用輸出區塊212連同經類似處理之其他輸出區塊產生經重建構圖框。
在一些實例中，在編碼器側，可使用明度濾波結果208及色度濾波結果210來判定是否應啟用明度及色度ALF濾波。舉例而言，可將ALF濾波之後的經重建構區塊及/或圖框之品質與ALF濾波之前的經重建構區塊及/或圖框之品質進行比較。可接著基於ALF濾波之後的經重建構區塊及/或圖框之品質相對於ALF濾波之前的經重建構區塊及/或圖框之品質啟用或停用ALF濾波。可接著運用經編碼位元串流發信ALF旗標，以指示針對區塊啟用抑或停用ALF濾波。在一些情況下，ALF旗標可指定啟用抑或停用明度ALF濾波、啟用抑或停用明度及色度ALF濾波，或是否完全停用ALF濾波。在解碼器側，解碼器可使用ALF旗標判定是否針對經重建構影像中之區塊及/或經重建構影像執行ALF濾波。
圖2B為當運用來自跨逐線掃描切片邊界之像素的濾波停用時用於藉由對濾波附近逐線掃描切片邊界之修改進行ALF濾波的實例方法220的流程圖。在各種實例中，可藉由編碼或解碼裝置(例如，視訊處理裝置)執行方法220之操作。在此實例中，在區塊222處，視訊處理裝置可接收輸入圖框。輸入圖框可包括色彩分量，諸如明度及色度分量，如先前所解釋。在一些實例中，輸入圖框可包括在ALF濾波之前藉由編碼裝置104編碼的圖框中之區塊。在一些實例中，輸入圖框可為與影像及/或視訊序列相關聯之圖框。
在區塊224處，編碼裝置104可將圖框中之明度分量分類。在一些實例中，編碼裝置104亦可將圖框中之色度分量分類。分類可在區塊層級(例如，在4×4區塊層級)或在樣本層級(對於圖框之每一樣本)應用於明度分量。在一些情況下，分類可包括將與圖框中之每一明度分量相關聯的每一區塊或樣本的方向及活動性分類。在一些實例中，對於明度分量，可基於1D拉普拉斯方向(例如，達至5個方向)及2D拉普拉斯活動性(例如，達至5個活動性值)將全圖框中之4×4區塊進行分類，其中N 表示大於0之數目。在一些情況下，編碼裝置104可計算方向Dirb 及未經量化活動性Actb 。在一些情況下，Actb 可經進一步量化至0至4之範圍，包括端點。
如本文中所描述，實例可包括對跨切片邊界資料之使用的限制。跨切片邊界之迴圈濾波的此停用可包括對將用於分類操作之資料的限制。如下文詳細描述，當在跨切片資料使用停用的情況下執行逐線掃描資料之分類操作時，實例可使用來自中心像素群所處之切片的複製像素來替換來自中心像素群之跨切片邊界的像素之資料。在下文描述此複製操作之額外細節。
在一些情況下，除現有ALF中使用之水平及豎直梯度以外，可使用1D拉普拉斯計算兩個對角線梯度之值。如自以下方程式(1)至(4)可見，可將涵蓋目標像素的8×8窗口內之所有像素之梯度總和用作目標像素之所表示梯度，其中R (k,l )為位置(k,l )處的經重建構像素，且索引i 及j 指代4×4區塊(例如，來自圖框中之4×4區塊)中之左上方像素的座標。每一像素與四個梯度值相關聯，其中豎直梯度由gv 表示，水平梯度由gh 表示，135度對角線梯度由gd1 表示，且45度對角線梯度由gd2 表示。
Figure 02_image001
，                方程式(1) 當k 及j 兩者皆為偶數或k 及j 兩者皆不為偶數時，
Figure 02_image003
；否則，為0。
Figure 02_image005
，                    方程式(2) 當k 及j 兩者皆為偶數或k 及j 兩者皆不為偶數時，
Figure 02_image007
；否則，為0。
Figure 02_image009
，                  方程式(3) 當k 及j 兩者皆為偶數或k 及j 兩者皆不為偶數時，
Figure 02_image011
；否則，為0。
Figure 02_image013
，                  方程式(4) 當k 及j 兩者皆為偶數或k 及j 兩者皆不為偶數時，
Figure 02_image015
；否則，為0。
為指派方向性Dirb ，將水平及豎直梯度之最大值與最小值之比(在下文方程式(5)中由Rh,v 表示)，及兩個對角線梯度之最大值與最小值之比(在方程式(6)中由Rd0,d1 表示) (在一些情況下，亦可表示為Rd1,d2 )按照兩個臨限值t1 及t2 彼此進行比較。
Figure 02_image017
其中
Figure 02_image019
,
Figure 02_image021
，         方程式(5)
Figure 02_image023
方程式(6) 其中
Figure 02_image025
,
Figure 02_image027
藉由比較水平/豎直梯度及對角線梯度之偵測到之比率，在以下方程式(7)中定義五個定向模式，亦即在[0, 4]範圍內(包括端點)的Dirb 。Dirb 之值及其實體意義描述於下表1中。
Figure 02_image029
。   方程式(7)
方向值 實體意義
0 紋理
1 強水平/豎直
2 水平/豎直
3 強對角線
4 對角線
表1.方向之值及其實體意義
活動性值Act可計算為：
Figure 02_image031
。                方程式(8)
在一些情況下，Act 值可經進一步量化至0至4之範圍，包括端點，且經量化值表示為
Figure 02_image033
。在下文描述自活動性值Act 至活動性索引
Figure 02_image033
之量化程序。
可如下定義量化程序： avg_var = Clip_post( NUM_ENTRY-1, (Act * ScaleFactor) ＞＞ shift);
Figure 02_image035
= ActivityToIndex[avg_var],                                         方程式(9)
其中NUM_ENTRY經設定為16 (或其他合適值)，ScaleFactor經設定為64 (或其他合適值)，shift為(4+內部經寫碼位元深度)或其他合適值，ActivityToIndex[NUM_ENTRY]={0, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 3, 3, 4}或其他合適的值之集合，且函式Clip_post(a,b)返回a與b之間的較小值。
總共，每一4×4明度區塊可分類成25 (5×5)種類別之一，且索引根據區塊之Dirb 及Actb 之值被指派至每一4×4區塊。分組索引可表示為C且可經設定等於5Dirb +
Figure 02_image037
，其中
Figure 02_image037
為Actb 之經量化值。
在區塊226處，處理裝置可判定ALF之ALF係數值，且在區塊228處，編碼裝置104可將ALF濾波器應用於圖框。在一些實例中，ALF濾波器形狀可判定將影響濾波程序之係數的數目。非限制性實例濾波器形狀可包括5×5、7×7及9×9菱形形狀。圖3A及圖3B說明可應用於色度及明度濾波之實例ALF濾波器。
參考圖3A，展示用於色度濾波之實例濾波器300。在此實例中，濾波器300為5×5濾波器且具有菱形形狀。濾波器300包括13個輸入色度樣本之小區302至326。小區302至326包括待應用於對應色度樣本之係數(例如，C0至C6)。每一小區(302至326)可包括應用於與彼小區相關聯之色度樣本的濾波器係數值。
參考圖3B，展示用於明度濾波之實例濾波器330。在此實例中，濾波器330為7×7濾波器且具有菱形形狀。濾波器330包括用於25個輸入明度樣本之小區332至380。小區332至380包括待應用於對應明度樣本之係數值(例如，C0至C12)。每一小區(332至380)可包括應用於與彼小區相關聯之明度樣本的濾波器係數值。
在一些實例中，可將諸如圖3A中展示之濾波器300的5×5濾波器應用於色度分量，且可將諸如圖3B中展示之濾波器330的7×7濾波器應用於明度分量。
舉例而言，參考圖3A，濾波器300中之每一小區(302至326)可具有濾波器係數f (k ,l )，且小區中之此等值中之每一者可應用於對應像素。在一些情況下，濾波器300之中心(例如，小區314)可置放於或應用於一像素，且濾波器300之剩餘小區(例如，小區302至312及316至326)可置放於或應用於周圍或相鄰像素。
此外，參考圖3B，濾波器330中之每一小區(332至380)可具有濾波器係數f (k ,l )，且在小區中此等值中之每一者可應用於對應像素。在一些情況下，濾波器330之中心(例如，小區356)可置放於或應用於一像素，且濾波器330之剩餘小區(例如，小區332至354及358至380)可置放於或應用於周圍或相鄰像素。在兩種情況下，實例實施可具有阻止將濾波器值應用於跨切片邊界之像素的組態。在此等實施中，需要用於由跨切片限制阻擋之濾波器位置之值來防止濾波器的操作誤差。舉例而言，若小區338、346及348經組態以應用於切片中的與濾波器(例如，作為如下文針對圖4A所論述之逐線掃描操作之部分，濾波器在切片之間的隅角處操作)之剩餘部分的像素不同之像素，則濾波器中之彼等小區位置需要替換值，此係由於濾波器被阻止存取對應像素(例如，歸因於對應用跨切片邊界之ALF的限制)。本文中所描述的實例藉由自同一切片中之像素複製值且在濾波器位置使用彼等值而非來自跨切片像素之資料來提供此類替換值。
在區塊230處，視訊處理裝置可產生輸出圖框。輸出圖框可包括ALF濾波之後的經重建構影像。輸出圖框可包括基於濾波器係數計算的用於明度及色度分量之像素值，如先前所解釋。
在一些實例中，可將藉由ALF濾波方法220針對樣本產生的像素值與原始樣本之像素值進行比較，以判定是否應啟用明度及色度濾波。舉例而言，若明度濾波結果相比原始明度樣本提供較佳影像品質，則編碼裝置104可針對圖框啟用明度濾波。若色度濾波結果相比原始色度樣本提供較佳影像品質，則處理裝置可針對圖框啟用色度濾波。
在一些情況下，處理裝置可運用經編碼位元串流發信ALF旗標。經發信ALF旗標可向處理裝置指示針對特定圖框啟用抑或停用ALF濾波。此發信亦可用於指示是否允許ALF濾波(例如，在啟用時)自跨切片邊界存取像素資料。
返回至圖2B，在藉由編碼裝置(例如，裝置104)產生輸出圖框時，影像資料可在經編碼位元串流中傳輸至解碼裝置112。經編碼位元串流可包括發信資訊，如先前所解釋。解碼裝置112可接收經編碼位元串流，解碼位元串流，且在啟用此等濾波時使用發信資訊對位元串流中之圖框應用ALF濾波。
圖2C為說明用於藉由解碼裝置112實施的ALF濾波的實例方法240的流程圖。在此實例中，在區塊242處，解碼裝置112可自藉由編碼裝置104提供之經編碼位元串流接收圖框。在一些情況下，圖框可為來自經編碼位元串流之經重建構或經解碼圖框。此外，在一些實例中，圖框可包括明度及色度分量，如先前所解釋。
在區塊224處，解碼裝置112可判定接通抑或斷開運用圖框發信之ALF旗標。若ALF旗標斷開，指示停用ALF濾波，則解碼裝置112可在區塊252處輸出圖框。ALF旗標可指示是否啟用(或停用)明度濾波，是否啟用(或停用)明度濾波及色度濾波兩者，或是否啟用(或停用)明度及/或色度分量。若啟用明度濾波，則如本文中所描述的藉由解碼裝置112執行之ALF濾波可包括明度濾波。若明度及色度濾波皆啟用，則如本文中所描述的藉由解碼裝置112執行之ALF濾波可包括明度及色度濾波兩者。若啟用色度濾波，則如本文中所描述的藉由解碼裝置112執行之ALF濾波可包括色度濾波。若ALF旗標接通，指示針對視訊串流之任何態樣啟用ALF濾波，則在區塊245處，解碼裝置112可檢查旗標以判定是否允許所啟用之ALF濾波使用來自跨切片邊界之另一切片的資料。若啟用此資料之使用，則在操作260中，處理可以標準方式行進，其中濾波器小區(例如，如圖3A及圖3B中所說明)使用對應位置像素資料。若啟用(例如，接通)防止ALF濾波期間使用此跨切片像素資料的限制，則解碼裝置112繼續進行經修改以防止運用在區塊245中停用之跨切片像素使用的逐線掃描ALF濾波之錯誤的操作，其中解碼裝置112經組態可將圖框中之像素分類。如下文進一步描述，此等操作可使用替換(例如，複製)像素。
在區塊248處，解碼裝置112可判定用於圖框中之每一像素的ALF係數，且在區塊250處，解碼裝置112可將具有該等ALF係數之ALF濾波器應用於圖框。解碼裝置112可如先前關於圖2B中展示之區塊226及228所解釋判定及應用ALF係數，包括停用防止來自跨切片邊界之資料的錯誤所需要之複製像素資料的使用。
在區塊252處，解碼裝置112可產生輸出圖框。若ALF旗標在區塊244處斷開，則輸出圖框可包括無ALF濾波之經重建構影像。若ALF旗標在區塊244處接通，則輸出圖框可包括ALF濾波之後的經重建構影像。輸出圖框可包括基於濾波器係數計算的用於明度及色度分量之像素值，如先前所解釋。在用於自跨切片邊界之ALF濾波的像素資料停用時，計算亦可基於來自含有正處理之像素的切片之經複製像素資料(例如，來自切片中像素之複製者)。
如下文更詳細地描述，在跨切片邊界之迴圈濾波停用時，用於迴圈濾波之特定像素不可用於迴圈濾波操作。此等迴圈濾波操作包括分類操作(例如，在區塊224及區塊246中)以及區塊228及250中所應用之濾波器。因此，可針對分類濾波操作以及針對將迴圈濾波器值判定為作為影像資料之濾波(例如，ALF)的部分而應用兩者執行用於複製像素以替換不可用像素之本文中所描述的實例。
圖4A為說明具有逐線掃描組態之圖像400的圖式，其中圖像400之切片402、402及403可包括不同列中之影像塊。如所說明，圖像400包括影像塊411、412、412、414、414、415、416、417、418、419、420、421及422。此等12個影像塊各自包括CTU，且在所說明之切片中劃分。切片401包括影像塊411至415，切片402包括影像塊416至420，及切片403包括影像塊421及422。對於影像塊及CTU，其毗鄰其他切片中之影像塊及CTU，邊緣視為與其他切片之邊界。舉例而言，影像塊412、413及415在與CTU 431、CTU 432、CTU 433及CTU 434之隅角處與影像塊416共用切片邊界。
圖4B為說明切片邊界之額外細節的圖式，其展示在切片401與402之間的邊界處之四個CTU 431至434，其中CTU 431、432及433在切片401中且CTU 434在切片402中。在每一CTU內為具有影像資料(例如，明度及色度)之像素，該等像素基於圖像400之特定CTU、影像塊及切片結構以網格形式組織。在應用ALF濾波器(例如，如藉由在像素440處應用之濾波器的中心所說明之7×7濾波器)時，執行迴圈以在每一像素處應用濾波器。如在每一像素處應用之該濾波器不僅使用該像素，而且亦使用周圍像素，以處理影像資料且改良影像品質。在一些實例中，對於更高效操作，可阻止ALF濾波器使用來自其他切片之像素資料。當濾波器模式中之所有像素處於同一切片中時，此並不導致問題。
然而，如所說明，在切片401及402之隅角處，像素442、443及444在切片402中，且剩餘像素440及441在切片401中。當所說明之7×7濾波器經設定為在濾波器模式的中心處施加有CTU 431之右下角處的像素(例如，圖4B中之像素440)時，濾波器在跨切片邊界之ALF停用時不能將影像資料用於像素442至444。圖4C中說明跨切片邊界之濾波像素440的此停用，其中來自切片402中之CTU 434的像素不可用於與用於ALF濾波之其他像素440及441一起使用。在無用於濾波器資料之此跨邊界切片部分之資料的情況下，將出現誤差，此係由於濾波器在無所有小區(例如，如圖3A及圖3B中所說明之小區)中之資料的情況下不能正確地操作。
各種技術可用於解決此問題。在一個實例中，可在濾波器中用來自上方CTU之最接近像素的複製像素替換來自跨切片邊界之不可用像素。上方CTU可被稱作跨切片邊界之上方相鄰CTU。在此情況下，CTU 434之上方相鄰CTU將為CTU 432。
在第二實例中，來自CTU 434之不可用像素可複製在包括不可用像素之CTU左方的左方CTU中之最接近像素中的不可用像素。左方CTU亦可被稱為跨切片邊界之左方相鄰CTU。在圖4C中，具有不可用像素之CTU為CTU 434，且CTU 434之左方相鄰CTU為CTU 433。圖4D具體地說明此實例。如圖4D中所展示，用來自左方相鄰CTU之最接近像素的複製者替換來自用於所說明之濾波器模式之CTU 433的缺失像素。在此情況下，左方相鄰CTU 443中對於缺失像素442及443之最接近像素為像素445，且左方相鄰CTU 443中對於缺失像素444之最接近像素為像素446。為了向濾波器提供資料以允許濾波器進行操作，像素445用於產生複製像素447及複製像素448，且像素446用於產生複製像素449。自左方相鄰像素(或如圖6中及可能在其他逐線掃描或L形切片邊界中所說明，右方相鄰像素)複製最接近像素簡化計算以產生用於ALF濾波器之缺失資料，同時亦允許濾波器以藉由濾波器操作產生之對影像品質的最小影響起作用。此操作可簡單地實施，其中當應用使像素不可用於濾波器之條件時，用(最接近之切片中x, y)座標處的像素資料替換(x, y)座標處之像素資料。舉例而言，在圖4D中，若(x, y)座標處之像素不可用(CTU 434中之像素)，則(最接近之切片中x, y)等於(像素440之x, y)。
除以上實例(例如，使用來自相鄰CTU之最接近像素)以外，其他實施亦為可能的。在另一實例中，CTU 434中之不可用像素可經設定等於來自上方相鄰CTU (例如，CTU 432)之一個像素與來自左方相鄰CTU (例如，CTU 433)之一個像素的線性組合，為p = (wL * pL + wA * pA)/(wL+wA)，其中wL及wA為兩個權重，其可取決於至相鄰CTU之距離(例如，像素449至CTU 432及CTU 433將具有不同距離)，且其中pL及pA為分別來自左方CTU及上方CTU的像素。
在額外實例中，可使用以上實例之混合。舉例而言，可使用來自任一相鄰者之最接近像素。在此類實例中，像素449可使用來自切片433之資料，且像素448可使用來自切片432之資料。在此類實例中，像素447可使用來自預設CTU位置(例如，左方、上方、右方、下方等)之資料或可使用最接近像素之線性組合。在其他實例中，不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補，不在當前CTU行(或其他區塊行)中之像素可經對稱或不對稱填補，或CTU中之不可用像素可藉由應用框內預測而推導。
圖5為說明將最近邊相鄰者(例如，左方或右方相鄰者)應用於額外切片組態之實例的圖式。如圖5中所展示，濾波器之中心像素為像素543，且CTU 531處於與均在切片502中之CTU 532、CTU 533及CTU 534分開的切片501中。在此情況下，當條件應用於使切片501中之像素不可用於使用切片502中之像素執行ALF時，使用來自每一缺失像素的最接近右側相鄰者之像素(例如，使用自可用像素複製之像素)替換切片501中之缺失像素。在此情況下，複製像素544係自像素541產生，且複製像素545皆為由複製像素542產生。在圖4之態樣的情況下，第一切片可為第二區塊位於第一區塊之右下角處之逐線掃描切片，在圖5中，第一切片可為第二區塊位於第一區塊之左上角處之逐線掃描切片。並未特定地展示之額外實例可藉由第一切片實施為逐線掃描切片，其中第二區塊位於第一區塊之左下角或第一區塊之右上角處。
圖6為說明可能在逐線掃描組態中出現之另一情形的圖式，其中角點具有三個不同切片存在於一邊界處之點。在圖6的實例中，CTU 631處於第一切片601中，CTU 632及633處於第二切片602中，且CTU 634處於第三切片603中。在此實例中，來自CTU 631之用於ALF濾波器的缺失像素經最接近右方相鄰CTU 632像素替換，且來自CTU 634之用於ALF濾波器的缺失像素經來自最接近左方相鄰CTU 633像素之像素替換。此複製產生自像素641複製之複製像素661、自像素642複製之複製像素662、自像素643複製之複製像素663、自像素644複製之複製像素664，及自像素645複製之複製像素665。在此情況下，濾波器模式中之最低像素係在該濾波器模式中自最接近左方相鄰CTU 633像素複製的。在其他實例中，缺失像素可係在濾波器模式外自最接近相鄰像素複製的，其將為在圖6的實例中在像素645下方之像素。在一些此等實例中，並不在具有最接近CTU像素之當前列或行中的像素可對稱或不對稱地填補，或可藉由框內預測來計算。藉由可用像素不同地處理在具有來自相鄰CTU之最接近像素的行或列以外之此類像素允許對共用列或行中之接近像素的有效計算，但對像素之計算更複雜得多或與待複製之像素具有更複雜之位置關係，從而防止影像品質歸因於複製像素的使用而過度劣化。
除對圖4至圖6中所描述之ALF濾波器計算的影響以外，阻止不同切片使用像素資料之組態亦可影響其他活動性計算，諸如如上文所描述之分類計算。分類區塊內之像素或像素子群之此等計算因此可涉及複製切片中像素以替換歸因於來自其他切片之像素之使用的停用而不可用的像素。分類可用於選擇迴圈濾波器，且迴圈濾波器接著亦可使用像素複製，如上文所描述。
圖7為說明用於逐線掃描切片之隅角處之分類或活動性濾波之濾波器模式的實例的圖式。在圖7中，針對切片701與切片702之間的切片邊界處之子區塊中的像素710計算梯度，其中CTU 731、CTU 732及CTU 733在切片701中，且CTU 734在切片702中。針對像素710之梯度計算可使用周圍像素720。然而，在此情況下，禁止使用來自跨切片邊界之像素使得像素730不可用。
圖7展示用於像素710之7×7濾波器模式。各種技術可用於解決像素730之不可用性，對應於上文針對替換ALF濾波器中之遺失值所描述的實例技術。在第一實例中，用來自上方相鄰CTU (CTU 732)中之最接近像素的複製者來替換不可用像素730。在第二實例中，用來自左方相鄰CTU (CTU 733)之複製者替換不可用像素。在第三實例中，不可用像素可經設定等於來自上方CTU之一個像素與來自相鄰左方CTU之一個像素的線性組合，如上文根據p = (wL * pL + wA * pA)/(wL+wA)所描述，其中wL及wA為兩個權重，其可取決於至相鄰CTU及上方CTU像素的距離，且其中pL及pA為分別來自相鄰CTU及上方CTU之像素。
在另一實例中，不可用像素可設定為等於相鄰左方CTU及上方CTU中之最接近像素，或不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補。在另一實例中，不在當前CTU行(或其他區塊行)中之像素經對稱或不對稱填補。在另一實例中，第七實例，藉由應用框內預測來推導不可用像素。
在一些實例中，並未計算用於分類之缺失像素的拉普拉斯值(活動性)，但活動性值重新按比例調整。在根據特此出於所有目的以引用方式併入之JVET-N1001的一個此實例中，活動性值重新按比例調整為avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 68 ) ＞＞ ( 3 + BitDepthY ) ) ]以定址不可用像素。
類似於圖7，圖8為說明用於逐線掃描切片之隅角處之分類或活動性濾波之濾波器模式的實例的圖式。在圖8中，針對子區塊中之像素810計算梯度，其中CTU 831在切片801中，且CTU 832、833及834在切片802中。針對像素810之梯度計算可使用周圍像素820。然而，在此情況下，禁止使用來自跨切片邊界之像素使得來自切片801之像素830不可用。
圖9為說明用於逐線掃描切片之隅角處之分類或活動性濾波之濾波器模式的實例的另一圖式。在圖9中，針對切片901與切片902之間的切片邊界處之子區塊中的像素910計算梯度，其中CTU 931、932及933在切片901中，且CTU 934在切片902中。針對像素910之梯度計算可使用周圍像素920。在此情況下，如同本文中所描述的其他實例，禁止使用來自跨切片邊界之像素使得像素930不可用。
在圖4B至圖4D及圖7中，上方及左下方CTU係來自第一切片，而右下方CTU係來自第二切片。圖4B至圖4C展示用於逐線掃描切片之隅角處之中心像素的7×7濾波器模式(例如，展示1/4情況，其為當四分之三的CTU係來自同一切片且第四CTU係來自不同切片時的情況)，被稱作情況1。當待濾波像素係在第一切片中且需要第二切片中之像素進行濾波時，第二切片中之像素在跨切片邊界之ALF停用時不可用。各種技術可用於解決此問題。在第一實例中，第二切片中之不可用像素可複製在包括不可用像素之CTU上方的CTU (例如，圖4B至圖4D中之CTU 432)中的最接近像素。上方CTU亦可被稱為上方相鄰CTU。在第二實例中，第二切片中之不可用像素可複製在包括不可用像素之CTU (例如，圖4B至圖4D中之CTU 434)左方的左方CTU (例如，圖4B至圖4D中之CTU 433)中的最接近像素。左方CTU亦可被稱為左方相鄰CTU。
在第三實例中，第二切片中之不可用像素可能等於來自上方CTU之一個像素與來自左方CTU之一個像素的線性組合，為p = (wL * pL + wA * pA)/(wL+wA)，其中wL及wA為兩個權重，其可取決於至左方CTU及上方CTU之距離，且其中pL及pA為分別來自左方CTU及上方CTU之像素。
在第四實例中，第二切片中之不可用像素可能等於左方CTU及上方CTU中之最接近像素。在第五實例中，不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補。在第六實例中，不在當前CTU行(或其他區塊行)中之像素可經對稱或不對稱填補。在第七實例中，可藉由應用框內預測來推導第二切片中之不可用像素。
在一些情況下，可針對逐線掃描切片之隅角處的子區塊進行活動性計算(例如，展示1/4情況，其為在四分之三的CTU係來自同一切片，且第四CTU係來自不同切片時的情況)。舉例而言，圖7展示像素使用，且其中針對當前子區塊(例如，像素710)計算梯度。為瞭解決像素之不可用性，可執行以下各者中之一者或任何組合：上文所描述的像素填補技術中之一者或任何組合可應用於第二切片中之像素(例如，第二切片中之上三個像素，或第二切片中之所有六個像素)；可藉由將上文所描述的填補技術中之一者或任何組合應用於可用梯度值來填補第二切片中之梯度值；可能並不計算第二切片中之梯度值且JVET-N1001中之活動性值可重新按比例調整為： avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 68 ) ＞＞ ( 3 + BitDe pthY ) ) ] (8-1243)。
在另一實例中，圖9展示像素使用，且其中針對當前子區塊(例如，包括切片901之CTU 932中的最右上方4×4像素，但不包括切片902中之CTU 934的不可用像素)計算梯度。為瞭解決像素之不可用性，可執行以下各者中之一者或任何組合：上文所描述的像素填補技術中之一者或任何組合可應用於第二切片中之像素(例如，圖9中所展示之CTU 934中的所有像素)；可藉由將以上填補方法中之一者或任何組合應用於可用梯度值來填補切片902中之梯度值；可能並不計算切片802之CTU 934中的梯度值且JVET-N1001中之活動性值可重新按比例調整為： avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 79 ) ＞＞ ( 3 + BitDe pthY ) ) ] (8-1243)
圖9亦說明用於逐線掃描切片之隅角處之分類或活動性濾波的濾波器模式的實例。舉例而言，在圖9中，針對切片901與切片902之間的切片邊界處之子區塊中的像素910計算梯度，其中CTU 931、932及933在切片901中，且CTU 934在切片902中。針對像素910之梯度計算可使用周圍像素920。在此情況下，如同本文中所描述的其他實例，禁止使用來自跨切片邊界之像素使得像素930不可用。
圖10為說明用於三個切片1001、1002及1003相接之隅角處的分類或活動性濾波的濾波器模式之實例的圖式。在圖10中，針對切片1003、切片1001及切片1002周圍之切片邊界處的子區塊中之像素1010計算梯度，其中CTU 1031在切片1001中；CTU 1032及CTU 1033在切片1002中；且CTU 1034在切片1003中。針對切片1002中之像素1010的梯度計算可使用周圍像素1020，但不能使用來自切片1001及1003之不可用像素1030，此係因為禁止使用來自跨切片邊界之像素使得像素1030不可用。
在圖5、圖8及圖9中，來自第一切片之CTU處於與正自第二切片分析之像素分開的切片中。舉例而言，圖5展示用於逐線掃描切片之隅角處之像素的7×7濾波器模式(例如，展示1/4情況，其為當第一CTU係來自第一切片且其他三個CTU係來自第二切片時的情況)。當待濾波像素係在第二中且需要第一切片中之像素進行濾波時，第一切片中之像素在跨切片邊界之ALF停用時不可用。各種技術可用於解決此問題。在第一實例中，第一切片中之不可用像素可複製在包括不可用像素之CTU右方的右方CTU中之最接近像素。右方CTU亦可被稱為右方相鄰CTU。在第二實例中，不可用像素可複製在包括不可用像素之CTU下方的下方CTU中之最接近像素。下方CTU亦可被稱為下方相鄰CTU。
在第三實例中，第一切片中之不可用像素可等於來自右方CTU之一個像素與來自下方CTU之一個像素的線性組合，為p = (wR * pR + wD * pD)/(wR+wD)，其中wR及wD為兩個權重，其可分別取決於至右方CTU及下方CTU之距離。
在第四實例中，第一切片中之不可用像素可等於右方CTU及下方CTU中之最接近像素，或第一切片中之不可用像素可等於左方CTU及上方CTU中之最接近像素。在第五實例中，不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補。在第六實例中，不在當前CTU行(或其他區塊行)中之像素可經對稱或不對稱填補。在第七實例中，可藉由應用框內預測來推導第一切片中之不可用像素。
圖9可進一步用於說明一組CTU，其中可針對逐線掃描切片之隅角處的子區塊進行活動性計算(例如，展示1/4情況，其為當四分之三的CTU係來自同一切片，且第四CTU係來自不同切片時的情況)。圖9進一步展示像素使用，且其中針對當前子區塊(以紅色展示，包括第二切片中之最左上方4×4像素)計算梯度。為瞭解決像素之不可用性，可執行以下各者中之一者或任何組合：上文所描述的像素填補技術中之一者或任何組合可能應用於第一切片中之像素；可藉由將上文所描述的像素填補技術中之一者或任何組合應用於可用梯度值來填補第一切片中之梯度值；可能並不計算第一切片中之梯度值且JVET-N1001中之活動性值可重新按比例調整為： avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 68 ) ＞＞ ( 3 + BitDe pthY ) ) ] (8-1243)
返回至圖8，可針對逐線掃描切片之隅角處之子區塊進行活動性計算(例如，展示1/4情況，其為當第一CTU係來自第一切片且其他三個CTU係來自第二切片時的情況)。圖8展示像素使用，且其中針對當前子區塊計算梯度。為瞭解決像素之不可用性，可執行以下各者中之一者或任何組合：上文所描述的像素填補技術中之一者或任何組合可應用於第一切片中之像素(例如，圖8中所展示之CTU 831中的所有像素)；可藉由將上文所描述的像素填補技術中之一者或任何組合應用於可用梯度值來填補第一切片中之梯度值；可能並不計算第一切片中之梯度值且JVET-N1001中之活動性值可重新按比例調整為： avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 79 ) ＞＞ ( 3 + BitDe pthY ) ) ] (8-1243)。
在圖6及圖10中，兩個對角線CTU係來自共用切片，而其他CTU在不同切片中。當待濾波像素處於共用一切片之兩個CTU中之一者中且需要來自另一者之像素進行濾波時，一些像素在跨切片邊界之ALF停用時不可用。各種技術可用於解決此問題。在第一實例中，不可用像素可複製在包括不可用像素之CTU右方的右方CTU中之最接近像素。右方CTU亦可被稱為右方相鄰CTU。在第二實例中，不可用像素可複製在包括不可用像素之CTU下方的下方CTU中之最接近像素。下方CTU亦可被稱為下方相鄰CTU。
在第三實例中，不可用像素可等於來自右方CTU之一個像素與來自下方CTU之一個像素的線性組合，為p = (wR * pR + wD * pD)/(wR+wD)，其中wR及wD為兩個權重，其可分別取決於至右方CTU及下方CTU之距離。
在第四實例中，不可用像素可等於右方CTU及下方CTU中之最接近像素。在第五實例中，不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補。在第六實例中，不在當前CTU行(或其他區塊行)中之像素可經對稱或不對稱填補。在第七實例中，可藉由應用框內預測來計算不可用像素。
在第八實例中，不可用像素可複製上部CTU中之最接近像素。在第九實例中，不可用像素可複製左方CTU中之最接近像素。
在第十實例中，不可用像素可等於來自上部CTU之一個像素與來自左方CTU之一個像素的線性組合，為p = (wL * pL + wU * pU)/(wL+wU)，其中wL及wU為兩個權重，其可分別取決於至左方CTU及上部CTU之距離。
在第十一實例中，不可用像素可等於左方CTU及上方CTU中之最接近像素。在第十二實例中，不在當前CTU列(或其他區塊列)中之像素可經對稱或不對稱填補。在第十三實例中，不在當前CTU行(或其他區塊行)中之像素可經對稱或不對稱填補。在第十四實例中，可藉由應用框內預測來計算不可用像素。
圖10亦可用作說明一組CTU之實例，其中可針對切片隅角處之子區塊進行活動性計算。圖10展示像素使用，且其中針對當前子區塊計算梯度。為瞭解決像素之不可用性，可執行以下各者中之一者或任何組合：上文所描述的像素填補技術中之一者或任何組合可應用於不可用像素；可藉由將上文所描述的像素填補技術中之一者或任何組合應用於可用梯度值來填補不可用梯度值；可能並不計算梯度值且JVET-N1001中之活動性值可重新按比例調整為： avgVar[ x ][ y ] = varTab[ Clip3( 0, 15, ( sumOfHV[ x ＞＞ 2 ][ y ＞＞ 2 ] * 92 ) ＞＞ ( 3 + BitDepthY ) ) ] (8-1243)。
在已揭示實例系統、組件及概念的情況下，本發明現在變為如圖11中所示的用於處理視訊資料之實例方法1100。在一些實例中，藉由方法1100處理視訊資料可包括在一些像素歸因於對跨切片像素資料之限制(例如，在逐線掃描組態中)不可用時用於針對ALF濾波或分類(例如，使用複製的可用像素)替換不可用像素的操作之不同或變化組合。在各種實施中，可由作為視訊處理系統之部分的編碼或解碼裝置執行方法1100。在一些實例中，方法1100可實施為非暫時性儲存媒體中之指令，該等指令在由處理電路執行時使得裝置執行方法1100。本文中概述之步驟為出於說明之目的而提供的非限制性實例，且可以其任何組合實施，包括排除、添加或修改某些步驟的組合。
在區塊1102處，方法1100可包括獲得包括一或多個圖像之視訊資料。在一些實例中，編碼裝置(例如，編碼裝置94)可自諸如攝影機之視訊源(例如，視訊源92)接收一或多個圖像。在一些實例中，解碼裝置(例如，解碼裝置102)可自編碼裝置(例如，編碼裝置94)接收包括一或多個圖像之經編碼視訊位元串流。在一些實例中，經編碼視訊位元串流可包括發信資訊。發信資訊可例如包括而不限於指示啟用ALF之旗標。此發信資訊亦可包括指示跨切片邊界不可用(例如，對於逐線掃描切片中之ALF或分類)的旗標或其他資訊。指示跨切片邊界之迴圈濾波停用的此旗標或其他資訊可包括與CTU位置及切片相關的剪切旗標。可基於系統中之各種不同組態設定此剪切旗標，該系統可創建其中來自不同切片之資料不可用於當前切片中之迴圈濾波操作的組態。
在區塊1104處，方法1100可包括自一或多個圖像獲得圖像之第一區塊，其中第一區塊位於圖像之第一切片中。在一些實例中，編碼裝置(例如，編碼裝置94)可將視訊資料分割成含有區塊之一或多個切片。在一些實例中，區塊可為經編碼視訊位元串流中之經編碼區塊，且解碼裝置(例如，解碼裝置112)可藉由應用寫碼演算法及/或與寫碼演算法匹配之標準及/或用於編碼區塊、切片、圖像及/或位元串流之標準使用位元串流中之發信資訊來解碼圖像之區塊。在一些實例中，解碼裝置可重建構圖像之區塊，如關於圖1中所示之系統90及圖13中所示之解碼裝置112所描述。
在區塊1106處，方法1100可包括判定第二區塊位於圖像之第二切片中，其中第二區塊包括供用於執行第一區塊中之像素之迴圈濾波的一或多個像素。在一些實例中，第二區塊及第一區塊各自為CTU，其中第一區塊為第一CTU，且第二區塊為第二CTU。僅如上所述，在一些實例中，編碼裝置(例如，編碼裝置94)可將視訊資料分割成含有包括第一切片及第二切片以及包括像素之區塊的一或多個切片。在一些實例中，第二切片可包括經編碼視訊位元串流中之經編碼區塊，且解碼裝置(例如，解碼裝置112)可藉由應用寫碼演算法及/或與寫碼演算法匹配之標準及/或用於編碼區塊、切片、圖像及/或位元串流之標準使用位元串流中之發信資訊來解碼圖像之區塊及切片。在一些實例中，此編碼及解碼涉及圖像之逐線掃描分割。在一些實例中，解碼裝置可按逐線掃描組態分割及重建構圖像之區塊及切片，諸如上文使用圖1中所展示之系統90及圖13中所展示之解碼裝置112在圖4A至圖4D中描述的逐線掃描組態。
在區塊1108處，方法1100可包括判定跨切片邊界之迴圈濾波停用。如上文所描述，此可藉由處理編碼資料以判定跨切片邊界之迴圈濾波停用，或藉由使用解碼裝置解碼經編碼位元串流以識別旗標或其他資訊而執行為編碼操作之部分，該旗標或其他資訊識別來自跨切片邊界之像素的資料不可用於處理當前切片中之像素。
在區塊1110處，方法1100可包括基於第二區塊位於第二切片中且正處理之像素在第一切片中來判定第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波。在一些實例中，用於迴圈濾波之迴圈濾波器為適應性迴圈濾波器。在一些實例中，迴圈濾波器為具有基於梯度之樣本分類的線性或非線性濾波器。
在區塊1112處，方法1100可包括複製第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素以用於執行第一區塊之像素的迴圈濾波。基於第二區塊之一或多個像素歸因於跨切片邊界之迴圈濾波的停用不可用來完成此複製。在一些情況下，第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包括最接近第二區塊之切片的一或多個像素。
在一些實例中，切片及區塊之相對位置可判定複製在區塊1112處如何發生。在一個實例中，第一切片為逐線掃描切片，且第二區塊位於第一區塊的右下角處。在另一實例中，第二區塊位於第一區塊之左上角處。在其他實例中，第二區塊位於第一區塊之右上角或第一區塊之左下角處。在一個實例中，第一切片為逐線掃描切片，且第二區塊(在與第一區塊不同之切片中)位於第一區塊之右下角處。在此實例中，第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之左方相鄰區塊(在第一區塊之同一切片中)的最接近第二區塊之一或多個像素。在另一此實例中，第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之頂部相鄰區塊(在第一區塊之同一切片中)的最接近第二區塊之一或多個像素。在另一此實例中，第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之左方相鄰區塊(在第一區塊之同一切片中)的最接近第二區塊之一或多個像素及第二區塊之頂部相鄰區塊(在第一區塊之同一切片中)的最接近第二區塊之一或多個像素。
在一些此類實例中，複製可藉由將共用列或行中之最接近像素複製至歸因於不可用性而經替換之像素來有效地實施。在此類實施中，若共用列中之最接近像素正經複製，則可複製座標(最接近x位置, y)處之像素以替換座標(x,y)處之不可用像素。類似，若共用行中之最接近像素正經複製，則座標(x, 最接近y位置)處之像素可替換座標(x, y)處之不可用像素。
在其他實例中，可使用其他複製操作，或可使用複製操作之組合。
在一些情況下，將至少一個濾波器應用於區塊可包括將5×5適應性迴圈濾波器應用於色度分量及將7×7適應性迴圈濾波器應用於明度分量。在一些實例中，5×5適應性迴圈濾波器及7×7適應性迴圈濾波器可具有菱形形狀。在其他實例中，所應用之濾波器可包括一或多個其他濾波器大小及/或形狀。
在一些實例中，解碼裝置(例如，解碼裝置112)可獲得包括一或多個圖像之經編碼視訊位元串流，且解碼來自經編碼視訊位元串流之圖像的區塊。在一些實例中，解碼裝置可識別與經編碼視訊位元串流相關聯之發信資訊，且使用發信資訊來藉由對ALF濾波之相關聯限制及對跨切片資料使用之限制重建構區塊，判定用於至少一個濾波器之一或多個係數，判定濾波器大小及/或形狀，判定是否啟用濾波，及/或將至少一個濾波器應用於經重建構區塊。在一些實例中，發信資訊可包括關於跨切片邊界之像素之使用的信號、濾波器參數(例如，濾波器係數、濾波器大小參數、濾波器形狀參數等)，及/或適應性迴圈濾波器旗標(例如，指示是否啟用明度及/或色度ALF濾波之ALF旗標)。
在一些實例中，方法1100可包括產生包括一或多個圖像之經編碼視訊位元串流(例如，經由編碼裝置104)且將經編碼視訊位元串流發送至解碼裝置(例如，解碼裝置112)。在一些情況下，經編碼視訊位元串流可運用發信資訊來發送。發信資訊可包括例如偏移值、濾波器參數(例如，濾波器係數、濾波器大小參數、濾波器形狀參數等)，及/或適應性迴圈濾波器旗標(例如，指示是否啟用明度及/或色度ALF濾波之ALF旗標)。
在一些實例中，方法1100可包括儲存經編碼視訊位元串流。在一些實例中，方法1100可包括：在重建構經編碼視訊位元串流中之圖像之區塊之後呈現來自經編碼視訊位元串流的經重建構視訊；及將運用如各種實例中所描述之經複製像素的一或多個ALF濾波器應用於經編碼視訊中之圖像的區塊中之一或多者。
在一些實施中，本文中所描述的程序(或方法)可藉由計算裝置或設備(諸如圖1中展示之系統100)執行。舉例而言，程序可藉由圖1及圖12中展示之編碼裝置104、藉由另一視訊源側裝置或視訊傳輸裝置、藉由圖1及圖13中展示之解碼裝置112及/或藉由另一用戶端側裝置(諸如播放器裝置、顯示器或任何其他用戶端側裝置)執行。在一些情況下，計算裝置或設備可包括處理器、微處理器、微電腦，或經組態以實施本文中所描述的程序之步驟的裝置之其他組件。在一些實例中，計算裝置或設備可包括經組態以俘獲包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。在一些實例中，攝影機或俘獲視訊資料之其他俘獲裝置與計算裝置分離，在此情況下，計算裝置接收或獲得所俘獲視訊資料。計算裝置可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(Internet Protocol；IP)之資料或其他類型之資料。在一些實例中，計算裝置或設備可包括用於顯示輸出視訊內容(諸如，視訊位元串流之圖像的樣本)之顯示器。
計算裝置或設備之組件可在電路中實施。舉例而言，組件可包括電子電路或其他電子硬體及/或可使用電子電路或其他電子硬體實施，電子電路或其他電子硬體可包括一或多個可程式化電子電路(例如，微處理器、圖形處理單元(GPU)、數位信號處理器(DSP)、中央處理單元(CPU)及/或其他合適的電子電路)，可包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合實施，以執行本文中所描述之各種操作。
程序可關於邏輯流程圖描述，其操作表示可在硬體、電腦指令或其組合中實施的操作之序列。在電腦指令之上下文中，該等操作表示儲存於一或多個電腦可讀儲存媒體上之在由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。通常，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、物件、組件、資料結構及其類似者。描述操作之次序並不意欲理解為限制，且任何數目個所描述操作可按任何次序及/或與實施該等程序並行地組合。
另外，該等程序可在經組態有可執行指令之一或多個電腦系統之控制下執行，且可被實施為共同在一或多個處理器上執行之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)、藉由硬體實施或其組合。如上文所提到，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。
本文中所論述之寫碼技術可實施於實例視訊編碼及解碼系統(例如，系統100)中。在一些實例中，系統包括提供稍後由目的地裝置解碼之經編碼視訊資料的源裝置。特定言之，源裝置經由電腦可讀媒體將視訊資料提供至目的地裝置。源裝置及目的地裝置可包含廣泛範圍之裝置中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如所謂的「智慧型」電話)、所謂的「智慧型」平板、電視、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流裝置、行動裝置、物聯網(IoT)裝置、HMD，或其類似者。在一些情況下，源裝置及目的地裝置可經裝備以用於無線通信。
目的地裝置可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源裝置移動至目的地裝置的任何類型之媒體或裝置。在一個實例中，電腦可讀媒體可包含使得源裝置能夠即時將經編碼視訊資料直接傳輸至目的地裝置之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地裝置。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的一部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置至目的地裝置之通信的任何其他裝備。
在一些實例中，經編碼資料可自輸出介面輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括各種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合的數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置產生之經編碼視訊的另一中間儲存裝置。目的地裝置可經由串流或下載自儲存裝置存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)裝置或本端磁碟機。目的地裝置可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此標準資料連接可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或兩者之適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。來自儲存裝置之經編碼視訊資料之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在一個實例中，源裝置包括視訊源、視訊編碼器及輸出介面。目的地裝置可包括輸入介面、視訊解碼器及顯示裝置。源裝置之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣，目的地裝置可與外部顯示裝置介接，而非包括整合式顯示裝置。
以上實例系統僅為一個實例。用於並行地處理視訊資料之技術可由任何數位視訊編碼及/或解碼裝置來執行。儘管本發明之技術通常由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱為「CODEC」)執行。另外，本發明之技術亦可由視訊預處理器執行。源裝置及目的地裝置僅為源裝置產生經寫碼視訊資料以供傳輸至目的地裝置之此類寫碼裝置的實例。在一些實例中，源裝置及目的地裝置可以實質上對稱方式操作，使得該等裝置中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊裝置之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
視訊源可包括視訊俘獲裝置，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源為視訊攝影機，則源裝置及目的地裝置可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器編碼所俘獲、經預俘獲或電腦產生之視訊。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。
如所提到，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可例如經由網路傳輸而自源裝置接收經編碼視訊資料且將經編碼視訊資料提供至目的地裝置。類似地，媒體生產設施(諸如，光碟衝壓設施)之計算裝置可自源裝置接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體包括各種形式之一或多個電腦可讀媒體。
目的地裝置之輸入介面自電腦可讀媒體接收資訊。電腦可讀媒體之資訊可包括由視訊編碼器定義之語法資訊(其亦由視訊解碼器使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示裝置將經解碼視訊資料顯示給使用者，且可包含多種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。已描述本申請案之各種實施例。
編碼裝置104及解碼裝置112之特定細節分別展示於圖12及圖13中。圖12為說明可實施本發明中所描述之技術中之一或多者的實例編碼裝置104之方塊圖。編碼裝置104可(例如)產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼裝置104可執行視訊切片內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之鄰近或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
編碼裝置104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼裝置104亦包括反量化單元58、反變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴圈濾波器，諸如解區塊濾波器、適應性迴圈濾波器(ALF)及樣本適應性偏移(SAO)濾波器。儘管濾波器單元63在圖12中展示為迴圈內濾波器，但在其他組態中，濾波器單元63可實施為迴圈後濾波器。後處理裝置57可對由編碼裝置104產生之經編碼視訊資料執行額外處理。在一些情況下，本發明之技術可藉由編碼裝置104實施。然而，在其他情況下，本發明之技術中的一或多者可藉由後處理裝置57實施。
如圖12中所展示，編碼裝置104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括分割成切片、切片片段、影像塊或其他較大單元，以及視訊區塊分割，例如根據LCU及CU之四分樹結構。編碼裝置104一般說明編碼待編碼之視訊切片內之視訊區塊的組件。切片可劃分成多個視訊區塊(且可能劃分成稱作影像塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真程度或其類似者)針對當前視訊區塊選擇複數個可能的寫碼模式中之一者，諸如複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或切片中的一或多個相鄰區塊之框內預測寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊切片之框間預測模式。預定圖案可將序列中之視訊切片指定為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。運動向量例如可指示當前視訊圖框或圖像內之視訊區塊之預測單元(PU)相對於參考圖像內之預測性區塊的移位。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(sum of absolute difference；SAD)、平方差和(sum of square difference；SSD)或其他差度量判定。在一些實例中，編碼裝置104可計算儲存於圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，編碼裝置104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼切片中之視訊區塊的PU的運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，清單0或清單1中之每一者識別儲存於圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精度)判定之運動向量而提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼裝置104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差值形成用於區塊之剩餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊切片相關聯之語法元素以由解碼裝置112用於解碼視訊切片之視訊區塊。
如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代例，框內預測處理單元46可對當前區塊進行框內預測。特定而言，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨的編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測單元處理46可自所測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之所選擇框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇之框內預測模式之資訊。編碼裝置104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。
在預測處理單元41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，編碼裝置104藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦轉換(DCT)或概念上類似之變換將殘餘視訊資料變換為殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化處理單元54。量化單元54量化變換係數以進一步減小位元率。量化程序可減小與係數中之一些或所有相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化處理單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(context adaptive variable length coding；CAVLC)、上下文適應性二進位算術寫碼(context adaptive binary arithmetic coding；CABAC)、基於語法之上下文適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding；SBAC)、機率區間分割熵(probability interval partitioning entropy；PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，可將經編碼位元串流傳輸至解碼裝置112，或加以存檔以供稍後由解碼裝置112傳輸或擷取。熵編碼單元56亦可熵編碼正經寫碼之當前視訊切片之運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值以供用於運動估計。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之運動補償預測區塊以產生參考區塊以用於儲存於圖像記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作為參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。
在一些實例中，圖12之編碼裝置104可表示視訊編碼器之實例，該視訊編碼器經組態以運用像素複製計算ALF濾波器、運用剪切執行ALF濾波，推導各種寫碼參數等等。編碼裝置104可例如計算ALF濾波器及剪切值且執行運用像素複製之ALF濾波，如上文所描述。舉例而言，編碼裝置104可執行本文中描述之技術中之任一者，包括上文關於圖2A至圖6所描述之程序及技術。在一些情況下，本發明之技術中之一些亦可藉由後處理裝置57實施。
圖13為說明實例解碼裝置112之方塊圖。解碼裝置112包括熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼裝置112可執行大體上與關於來自圖12之編碼裝置104描述的編碼遍次互逆的解碼遍次。
在解碼過程期間，解碼裝置112接收經編碼視訊位元串流，其表示經編碼視訊切片之視訊區塊及藉由編碼裝置104發送的相關聯語法元素。在一些實施例中，解碼裝置112可自編碼裝置104接收經編碼視訊位元串流。在一些實施例中，解碼裝置112可自諸如以下各者之網路實體79接收經編碼視訊位元串流：伺服器、媒體感知網路元件(MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類裝置。網路實體79可或可不包括編碼裝置104。本發明中所描述之技術中的一些可在網路實體79將經編碼視訊位元串流傳輸至解碼裝置112之前由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼裝置112可為單獨裝置之部分，而在其他情況下，關於網路實體79所描述之功能性可由包含解碼裝置112之相同裝置執行。
解碼裝置112之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。解碼裝置112可接收視訊切片層級及/或視訊區塊層級之語法元素。熵解碼單元80可處理並剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。
當視訊切片被寫碼為經框內寫碼(I)切片時，預測處理單元81之框內預測處理單元84可基於經發信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊切片之視訊區塊的預測資料。當將視訊圖框寫碼為經框間寫碼(亦即，B、P或GPB)切片時，預測處理單元81之運動補償單元82基於運動向量及自熵解碼單元80接收之其他語法元素而產生當前視訊切片之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單(RPL)中之一者內的參考圖像中之一者產生。解碼裝置112可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定當前視訊切片之視訊區塊的預測資訊，且使用預測資訊來產生正在經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素以判定用於寫碼視訊切片之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、切片之一或多個參考圖像清單之建構資訊、切片之每一框間編碼視訊區塊之運動向量、切片之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在編碼視訊區塊期間由編碼裝置104使用之內插濾波器來計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由編碼裝置104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。
反量化單元86反量化(或解量化)位元串流中所提供且由熵解碼單元80解碼的經量化變換係數。反量化程序可包括使用由編碼裝置104針對視訊切片中之每一視訊區塊計算之量化參數以判定應應用之量化程度及(同樣地)反量化程度。反變換處理單元88將反變換(例如，反DCT或其他合適的反變換)、反整數變換或概念上類似之反變換程序應用於變換係數以便在像素域中產生剩餘區塊。
在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，解碼裝置112藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82所產生之對應預測性區塊求和，而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。必要時，迴圈濾波器(在寫碼迴圈中或在寫碼迴圈之後)亦可用於使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴圈濾波器，諸如解區塊濾波器、適應性迴圈濾波器(ALF)及樣本自適應偏移(SAO)濾波器。儘管濾波器單元91在圖13中展示為迴圈中濾波器，但在其他組態中，濾波器單元91可實施為迴圈後濾波器。給定圖框或圖像中之經解碼視訊區塊隨後儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示裝置(諸如，圖1中所展示之視訊目的地裝置122)上。
在一些實例中，圖13之解碼裝置112表示視訊解碼器之實例，該視訊解碼器經組態以計算ALF濾波器及像素複製值，運用像素複製執行ALF濾波，推導各種寫碼參數等等。解碼裝置112可例如計算ALF濾波器及剪切值且執行運用像素複製之ALF濾波，如上文所描述。舉例而言，解碼裝置112可執行本文中描述之技術中之任一者，包括上文關於圖2A至圖8所描述之程序及技術。
如本文中所使用，術語「電腦可讀媒體」包括(但不限於)攜帶型或非攜帶型儲存裝置、光學儲存裝置及能夠儲存、含有或攜載指令及/或資料的各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料且不包括無線地或經由有線連接傳播之載波及/或暫時性電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、光學儲存媒體，諸如緊密光碟(CD)或數位化通用光碟(DVD)、快閃記憶體、記憶體或記憶體裝置。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示處理程序、函式、子程式、程式、常式、次常式、模組、軟體套件、類別，或指令、資料結構或程式語句之任何組合。一個碼段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或其類似者之任何適合方式傳遞、轉發或傳輸。
在一些實例中，電腦可讀儲存裝置、媒體及記憶體可包括含有位元串流及其類似者之纜線或無線信號。然而，當提及時，非暫時性電腦可讀儲存媒體明確地排除諸如能量、載波信號、電磁波及信號本身之媒體。
在以上描述中提供特定細節以提供對本文中所提供之實施例及實例的透徹理解。然而，一般熟習此項技術者將理解，實施例可在無此等特定細節的情況下實踐。為瞭解釋之清楚起見，在一些情況下，本發明技術可呈現為包括個別功能區塊，其包括包含軟體或硬體及軟體之組合中所體現的裝置、裝置組件、方法中之步驟或常式的功能區塊。除諸圖中展示及/或本文中所描述的彼等組件以外，可使用額外組件。舉例而言，電路、系統、網路、處理程序及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實施例。在其他情況下，可在無不必要之細節的情況下展示熟知電路、處理程序、演算法、結構及技術以免混淆實施例。
個別實施例在上文可描述為描繪為流程圖(flowchart/flow diagram)、資料流程圖、結構圖或方塊圖的程序或方法。儘管流程圖可將操作描述為依序程序，但許多操作可並行地或同時地執行。另外，可重新配置操作之次序。處理程序在其操作完成時終止，但可具有圖中未包括之額外步驟。處理程序可對應於方法、函式、程序、次常式、子程式等。當處理程序對應於函式時，其終止可對應於函式傳回至呼叫函式或主函式。
可使用儲存或以其他方式可自電腦可讀媒體獲得的電腦可執行指令來實施根據上文所描述之實例的程序及方法。此等指令可包括(例如)導致或以其他方式組態通用電腦、專用電腦或處理裝置以執行某一功能或功能群組之指令及資料。可經由網路存取所使用的電腦資源之部分。電腦可執行指令可為(例如)二進位中間格式指令，諸如，組合語言、韌體、原始程式碼等。可用於儲存指令、所使用資訊及/或根據所描述實例之方法期間所產生的資訊之電腦可讀媒體的實例包括磁碟或光碟、快閃記憶體、具備非揮發性記憶體之USB裝置、網路連接式儲存裝置等等。
實施根據此等揭示內容之程序及方法的裝置可包括硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合，且可採取多種外觀尺寸中之任一者。當以軟體、韌體、中間軟體或微碼實施時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。外觀尺寸之典型實例包括膝上型電腦、智慧型手機、行動電話、平板電腦裝置或其他小外觀尺寸個人電腦、個人數位助理、機架式裝置、獨立裝置等。本文中所描述之功能性亦可體現於周邊裝置或附加卡中。作為進一步實例，此功能性亦可實施於在單個裝置中執行之不同晶片或不同處理程序當中的電路板上。
該等指令、用於輸送此等指令之媒體、用於執行此等媒體之計算資源，及用於支援此等計算資源之其他結構為用於提供本發明中所描述之功能的實例構件。
在前述描述中，參考其特定實施例描述申請案之態樣，但熟習此項技術者將認識到本申請案不限於此。因此，儘管本文中已詳細描述申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附實例意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之申請案之各種特徵及態樣可個別地或聯合地使用。此外，實施例可用於超出本文中所描述之彼等環境及應用的任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而非限定性。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同的次序來執行該等方法。
一般熟習此項技術者將瞭解，在不脫離本說明書之範疇之情況下，本文中所使用之小於(「＜」)及大於(「＞」)符號或術語可分別用小於或等於(「≤」)及大於或等於(「≥」)符號替換。
在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此組態。
片語「耦接至」係指任何組件直接地或間接地實體連接至另一組件，及/或任何組件直接地或間接地與另一組件通信(例如，經由有線或無線連接及/或其他合適通信介面連接至其他組件)。
列舉集合「中之至少一者」及/或集合「中之一或多者」的技術方案語言或其他語言指示該集合之一個成員或該集合之多個成員(以任何組合)滿足該實例。舉例而言，列舉「A及B中之至少一者」的實例語言意謂A、B或A及B。在另一實例中，列舉「A、B及C中之至少一者」的實例語言意謂A、B、C、或A及B、或A及C、或B及C，或A及B及C。語言集合「中之至少一者」及/或集合「中之一或多者」並不將該集合限於該集合所列出之項目。舉例而言，列舉「A及B中之至少一者」的實例語言可意謂A、B或A及B，且可另外包括A及B之集合中未列舉的項目。
結合本文中所揭示之實例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以了描述。將此功能性實施為硬體抑或軟體視特定應用及強加於整個系統上之設計約束而定。熟習此項技術者可針對每一特定應用以不同之方式實施所描述功能性，但不應將此等實施決策解譯為導致脫離本申請案之範疇。
本文中所描述之技術亦可實施於電子硬體、電腦軟體、韌體或其任何組合中。此等技術可實施於多種裝置中之任何者中，諸如，通用電腦、無線通信裝置手機或具有多種用途(包括在無線通信裝置手機及其他裝置中之應用)之積體電路裝置。可將描述為模組或組件之任何特徵共同實施於整合式邏輯裝置中或分開實施為離散但可互操作之邏輯裝置。若以軟體實施，則技術可藉由包含程式碼之電腦可讀資料儲存媒體至少部分實現，該程式碼包括當經執行時執行上文所描述之上文所描述之方法、演算法及/或操作中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(RAM)，諸如同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似者。另外或替代地，該等技術可至少部分由電腦可讀通信媒體實現，電腦可讀通信媒體攜載或傳達呈指令或資料結構形式且可由電腦存取、讀取及/或執行的程式碼，諸如，經傳播的信號或波。
程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。此處理器可經組態以執行本發明中所描述的技術中的任一者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知的處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器或任何其他此類組態。因此，如本文中所使用的術語「處理器」可指前述結構中之任一者、前述結構之任何組合或適合於實施本文中所描述的技術的任何其他結構或裝置。
本發明之說明性實例包括：
實例1.一種處理視訊資料之方法，該方法包含：獲得待使用迴圈濾波器濾波之至少一個像素，該至少一個像素位於圖像之第一子部分中；判定需要位於該圖像之第二子部分中之一或多個像素來使用迴圈濾波器對該至少一個像素進行濾波；及複製上方相鄰子部分、左方相鄰子部分、右方相鄰子部分及下方相鄰子部分中之至少一者中的一或多個最接近像素以用於填補位於第二子部分中的該一或多個像素。
實例2.如實例1之方法，其中迴圈濾波器為適應性迴圈濾波器(ALF)。
實例3.如實例1至2中任一項之方法，其中第一子部分為圖像之第一切片，且其中第二子部分為圖像之第二切片。
實例4.如實例1至3中任一項之方法，其中圖像之第一子部分為L形(亦被稱作逐線掃描切片)。
實例5.如實例1至4中任一項之方法，其中複製該一或多個最接近像素包括判定來自上方相鄰子部分、左方相鄰子部分、右方相鄰子部分及下方相鄰子部分中之第一者的至少一個像素與來自上方相鄰子部分、左方相鄰子部分、右方相鄰子部分及下方相鄰子部分中之第二者的至少一個像素之線性組合。
實例6.如實例1至4中任一項之方法，其中將位於第二子部分中之一或多個像素判定為等於上方相鄰子部分、左方相鄰子部分、右方相鄰子部分及下方相鄰子部分中之第一者及上方相鄰子部分、左方相鄰子部分、右方相鄰子部分及下方相鄰子部分中之第二者中的最接近像素。
實例7.如實例1至4中任一項之方法，其中位於第二子部分中之一或多個像素中的並未在當前區塊列中之至少一個像素經對稱或不對稱填補。
實例8.如實例1至4中任一項之方法，其中位於第二子部分中之一或多個像素中的並未在當前區塊行中之至少一個像素經對稱或不對稱填補。
實例9.如實例1至4中任一項之方法，其中藉由應用框內預測來推導位於第二子部分中之一或多個像素。
實例10.一種設備，其包含經組態以儲存視訊資料之記憶體及經組態以根據實例1至9中任一項處理該視訊資料的處理器。
實例11. 如實例10之設備，其中設備包括編碼器。
實例12.如實例10之設備，其中設備包括解碼器。
實例13.如實例10至12中任一項之設備，其中設備為行動裝置。
實例14.如實例10至13中任一項之設備，其進一步包含經組態以顯示視訊資料之顯示器。
實例15.如實例10至14中任一項之設備，其進一步包含經組態以俘獲一或多個圖像之攝影機。
實例16.一種其上儲存有指令之電腦可讀媒體，該等指令在由處理器執行時進行如實例1至9中任一項之方法。
實例17 .一種處理視訊資料之方法，該方法包含：獲得包含一或多個圖像之視訊資料；自該一或多個圖像獲得圖像之第一區塊，該第一區塊位於圖像之第一切片中；判定第二區塊位於圖像之第二切片中，第二區塊包括供用於執行第一區塊之像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於第二區塊位於第二切片中且跨切片邊界之迴圈濾波停用，判定第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波；及基於第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波，複製第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素以用於執行第一區塊之像素的迴圈濾波。
實例18.如實例17之方法，其中迴圈濾波器為適應性迴圈濾波器(ALF)。
實例19.如實例17之方法，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含最接近第二區塊之切片的一或多個像素。
實例20.如實例17之方法，其中第一切片為L形，且第二區塊位於第一區塊的右下角處。
實例21.如實例20之方法，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之左方相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例22.如實例20之方法，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之頂部相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例23.如實例20之方法，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之左相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素及第二區塊之頂部相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例24.如實例20之方法，其中第一區塊包含第一寫碼樹型單元(CTU)，且第二區塊包含第二CTU。
實例25.如實例20之方法，其中第一切片及第二切片係獲自圖像之逐線掃描分割。
實例26.如實例20之方法，其進一步包含：產生包含一或多個圖像之經編碼視訊位元串流。
實例27.如實例26之方法，其中基於視訊資料及將至少一個濾波器應用於區塊之結果而產生經編碼視訊位元串流。
實例28.如實例26之方法，其進一步包含：將經編碼視訊位元串流發送至解碼裝置，該經編碼視訊位元串流運用發信資訊來發送，發信資訊包含至少剪切旗標(例如，與使用來自其他切片之資料的迴圈濾波的停用相關聯)及適應性迴圈濾波器旗標。
實例29.如實例26之方法，其進一步包含：儲存經編碼視訊位元串流。
實例30.如實例20之方法，其進一步包含：獲得包含一或多個圖像之經編碼視訊位元串流；識別與經編碼視訊位元串流相關聯的發信資訊，發信資訊包含至少一適應性迴圈濾波器旗標及跨切片邊界之迴圈濾波停用的指示；及自經編碼視訊位元串流解碼圖像之區塊。
實例31.如實例30之方法，其中自經編碼視訊位元串流解碼圖像之區塊包含重建構圖像之區塊，且進一步包含將至少一個濾波器應用於經重建構區塊。
實例32.一種設備，其包含：記憶體；及耦接至該記憶體之一或多個處理器，該一或多個處理器經組態以：獲得包含一或多個圖像之視訊資料；自一或多個圖像獲得圖像之第一區塊，該第一區塊位於圖像之第一切片中；判定第二區塊位於圖像之第二切片中，該第二區塊包括供用於執行第一區塊之像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於第二區塊位於第二切片中且跨切片邊界之迴圈濾波停用，判定第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波；及基於第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波，複製第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素以用於執行第一區塊之像素的迴圈濾波。
實例33.如實例32之設備，其中迴圈濾波器為適應性迴圈濾波器(ALF)。
實例34.如實例32之設備，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含最接近第二區塊之切片的一或多個像素。
實例35.如實例32之設備，其中第一切片為L形，且第二區塊位於第一區塊的右下角處。
實例36.如實例35之設備，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊的左方相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例37.如實例35之設備，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊的頂部相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例38.如實例35之設備，其中第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素包含第二區塊之左相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素及第二區塊之頂部相鄰區塊(在第一切片中)的最接近第二區塊之一或多個像素。
實例39.如實例32之設備，其中第一區塊包含第一寫碼樹型單元(CTU)，且第二區塊包含第二CTU。
實例40.如實例32之設備，其中第一切片及第二切片係獲自圖像之逐線掃描分割。
實例41.如實例32之設備，一或多個處理器經組態以：產生包含一或多個圖像之經編碼視訊位元串流。
實例42.如實例41之設備，其中基於視訊資料及將至少一個濾波器應用於區塊之結果而產生經編碼視訊位元串流。
實例43.如實例41之設備，一或多個處理器經組態以：儲存經編碼視訊位元串流。
實例44.如實例32至43中任一項之設備，其中設備為行動計算裝置。
實例45.一種非暫時性電腦可讀儲存媒體，其包含：儲存於其上之指令，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作：自一或多個圖像獲得圖像之第一區塊，該第一區塊位於圖像之第一切片中；判定第二區塊位於圖像之第二切片中，第二區塊包括供用於執行第一區塊之像素之迴圈濾波的一或多個像素；判定跨切片邊界之迴圈濾波停用；基於第二區塊位於第二切片中且跨切片邊界之迴圈濾波停用，判定第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波；及基於第二區塊之一或多個像素不可用於執行第一區塊之像素的迴圈濾波，複製第一區塊之至少一個像素或第一切片之額外區塊的至少一個像素以用於執行第一區塊之像素的迴圈濾波。
實例46.一種設備，其包含經組態以儲存視訊資料之記憶體及經組態以根據實例52至60中任一項處理該視訊資料的處理器。
實例47：如實例45之設備，其中設備包括解碼器。
實例48：如實例45之設備，其中設備包括編碼器。
實例49：如以上任一實例之設備，其中設備為行動裝置。
實例50：如以上任一實例之設備，其進一步包含經組態以顯示視訊資料之顯示器。
實例51：如以上任一實例之設備，其進一步包含經組態以俘獲一或多個圖像之攝影機。
實例52：一種其上儲存有指令之電腦可讀媒體，該等指令在由處理器執行時進行根據以上任一實例之方法。
35:分割單元 41:預測處理單元 42:運動估計單元 44:運動補償單元 46:框內預測處理單元 50:求和器 52:變換處理單元 54:量化單元 56:熵編碼單元 57:後處理裝置 58:反量化單元 60:反變換處理單元 62:求和器 63:濾波器單元 64:圖像記憶體 79:網路實體 80:熵解碼單元 81:預測處理單元 82:運動補償單元 84:框內預測處理單元 86:反量化單元 88:反變換處理單元 90:求和器 91:濾波器單元 92:圖像記憶體 100:系統 102:視訊源 104:編碼裝置 106:編碼器引擎 108:儲存器 110:輸出端 112:解碼裝置 114:輸入端 116:解碼器引擎 120:通信鏈路 122:視訊目的地裝置 200:系統 202:輸入區塊 204:色彩分量 204A:明度(Y)分量樣本 204B:色度(Cb)分量樣本 204C:色度(Cr)分量樣本 206:ALF 208:明度濾波結果 210:色度濾波結果 212:輸出區塊 220:方法 222:區塊 224:區塊 226:區塊 228:區塊 230:區塊 240:方法 242:區塊 244:區塊 245:區塊 246:區塊 248:區塊 250:區塊 252:區塊 260:操作 300:濾波器 302:小區 304:小區 306:小區 308:小區 310:小區 312:小區 314:小區 316:小區 318:小區 320:小區 322:小區 324:小區 326:小區 330:濾波器 332:小區 334:小區 336:小區 338:小區 340:小區 342:小區 344:小區 346:小區 348:小區 350:小區 352:小區 354:小區 356:小區 358:小區 360:小區 362:小區 364:小區 366:小區 368:小區 370:小區 372:小區 374:小區 376:小區 378:小區 380:小區 400:圖像 401:切片 402:切片 403:切片 411:影像塊 412:影像塊 413:影像塊 414:影像塊 415:影像塊 416:影像塊 417:影像塊 418:影像塊 419:影像塊 420:影像塊 421:影像塊 422:影像塊 431:CTU 432:CTU 433:CTU 434:CTU 440:像素 441:像素 442:像素 443:像素 444:像素 445:像素 446:像素 447:複製像素 448:複製像素 449:複製像素 501:切片 502:切片 531:CTU 532:CTU 533:CTU 534:CTU 541:像素 542:複製像素 543:像素 544:複製像素 545:複製像素 601:第一切片 602:第二切片 603:第三切片 631:CTU 632:CTU 633:CTU 634:CTU 641:像素 642:像素 643:像素 644:像素 645:像素 661:複製像素 662:複製像素 663:複製像素 664:複製像素 665:複製像素 701:切片 702:切片 710:像素 720:周圍像素 730:像素 731:CTU 732:CTU 733:CTU 734:CTU 801:切片 802:切片 810:像素 820:周圍像素 830:像素 831:CTU 832:CTU 833:CTU 834:CTU 901:切片 902:切片 910:像素 920:周圍像素 930:像素 931:CTU 932:CTU 933:CTU 934:CTU 1001:切片 1002:切片 1003:切片 1010:像素 1020:周圍像素 1030:不可用像素 1031:CTU 1032:CTU 1033:CTU 1034:CTU 1100:方法 1102:區塊 1104:區塊 1106:區塊 1108:區塊 1110:區塊 1112:區塊
為了描述可獲得本發明之所揭示的及其他的優勢及特徵的方式，上文所描述之原理的更具體描述將參考其在附圖中所說明之特定實施例予以呈現。在理解此等圖式僅描繪本發明之實例實施例，且不應將其視為限制本發明之範疇的情況下，經由使用該等圖式來藉由額外特異性及細節描述並解釋本文中之原理，在圖式中：
圖1為根據本發明之一些實例說明編碼裝置及解碼裝置之實例的方塊圖；
圖2A為根據本發明之一些實例說明用於應用適應性迴圈濾波器(ALF)的實例系統之簡圖；
圖2B為根據本發明之一些實例的用於ALF濾波之實例方法的流程圖；
圖2C為根據本發明之一些實例說明用於ALF濾波之實例方法的流程圖；
圖3A為根據本發明之一些實例說明色度濾波器組態之實例的圖式；
圖3B為根據本發明之一些實例說明明度濾波器組態之實例的圖式；
圖4A為根據一些實例說明逐線掃描組態之態樣的圖式；
圖4B至圖4D為根據一些實例說明用於在逐線掃描切片(亦被稱作L形切片)之隅角處之ALF濾波的濾波器模式之實例的概念圖；
圖5為根據一些實例說明用於在逐線掃描切片之隅角處之ALF濾波的濾波器模式之實例的概念圖；
圖6為根據一些實例說明用於多個切片邊界之隅角處之ALF濾波的濾波器模式之實例的概念圖；
圖7為根據一些實例說明用於逐線掃描切片之隅角處之分類或活動性濾波的濾波器模式之實例的概念圖；
圖8為根據一些實例說明用於逐線掃描切片之隅角處之分類或活動性濾波的濾波器模式之實例的概念圖；
圖9為根據一些實例說明用於逐線掃描切片之隅角處之分類或活動性濾波的濾波器模式之實例的概念圖；
圖10為根據一些實例說明用於三個切片之間的隅角邊界處之分類或活動性濾波的濾波器模式之實例的概念圖；
圖11為根據本發明之一些實例說明用於處理視訊資料之實例方法的流程圖；
圖12為根據本發明之一些實例說明實例視訊編碼裝置之方塊圖；及
圖13為根據本發明之一些實例說明實例視訊解碼裝置之方塊圖。
400:圖像
401:切片
402:切片
431:CTU
432:CTU
433:CTU
434:CTU
440:像素
441:像素
445:像素
446:像素
447:複製像素
448:複製像素
449:複製像素

Claims (29)

  1. 一種處理視訊資料之方法，該方法包含： 獲得包含一或多個圖像之視訊資料； 自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中； 判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素； 判定跨切片邊界之迴圈濾波停用； 基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及 基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
  2. 如請求項1之方法，其中使用一適應性迴圈濾波器(ALF)來執行該第一區塊之迴圈濾波。
  3. 如請求項1之方法，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含最接近該第二區塊之一切片的一或多個像素。
  4. 如請求項1之方法，其中該第一切片為一逐線掃描切片，且該第二區塊位於該第一區塊的一右下角處。
  5. 如請求項4之方法，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左方相鄰區塊的最接近該第二區塊之一或多個像素。
  6. 如請求項4之方法，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
  7. 如請求項4之方法，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左相鄰區塊的最接近該第二區塊之一或多個像素及該第二區塊之該第一切片中之一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
  8. 如請求項1之方法，其中該第一區塊包含一第一寫碼樹型單元(CTU)，且該第二區塊包含一第二CTU。
  9. 如請求項1之方法，其中該第一切片及該第二切片係獲自該圖像之逐線掃描分割。
  10. 如請求項1之方法，其進一步包含： 產生包含該一或多個圖像之一經編碼視訊位元串流。
  11. 如請求項10之方法，其中基於該視訊資料及將至少一個濾波器應用於該第一區塊之一結果而產生該經編碼視訊位元串流。
  12. 如請求項10之方法，其進一步包含： 將該經編碼視訊位元串流發送至一解碼裝置，該經編碼視訊位元串流運用發信資訊來發送，該發信資訊包含至少一剪切旗標及一適應性迴圈濾波器旗標。
  13. 如請求項10之方法，其進一步包含： 儲存該經編碼視訊位元串流。
  14. 如請求項1之方法，其進一步包含： 獲得包含該一或多個圖像之一經編碼視訊位元串流； 識別與該經編碼視訊位元串流相關聯之發信資訊，該發信資訊包含至少一適應性迴圈濾波器旗標及跨切片邊界之該迴圈濾波停用的一指示；及 自該經編碼視訊位元串流解碼該圖像之該第一區塊。
  15. 如請求項14之方法，其中自該經編碼視訊位元串流解碼該圖像之該第一區塊包含重建構該圖像之該第一區塊，且進一步包含將至少一個濾波器應用於經重建構第一區塊。
  16. 一種設備，其包含： 一記憶體；及 一或多個處理器，其耦接至該記憶體，該一或多個處理器經組態以： 獲得包含一或多個圖像之視訊資料； 自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中； 判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素； 判定跨切片邊界之迴圈濾波停用； 基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及 基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
  17. 如請求項16之設備，其中使用一適應性迴圈濾波器(ALF)來執行該第一區塊之迴圈濾波。
  18. 如請求項16之設備，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含最接近該第二區塊之一切片的一或多個像素。
  19. 如請求項16之設備，其中該第一切片為一逐線掃描切片，且該第二區塊位於該第一區塊的一右下角處。
  20. 如請求項19之設備，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左方相鄰區塊的最接近該第二區塊之一或多個像素。
  21. 如請求項19之設備，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
  22. 如請求項19之設備，其中該第一區塊之該至少一個像素或該第一切片之該額外區塊的該至少一個像素包含該第二區塊之該第一切片中之一左相鄰區塊的最接近該第二區塊之一或多個像素及該第二區塊之該第一切片中之一頂部相鄰區塊的最接近該第二區塊之一或多個像素。
  23. 如請求項16之設備，其中該第一區塊包含一第一寫碼樹型單元(CTU)，且該第二區塊包含一第二CTU。
  24. 如請求項16之設備，其中該第一切片及該第二切片係獲自該圖像之逐線掃描分割。
  25. 如請求項16之設備，該一或多個處理器經組態以： 產生包含該一或多個圖像之一經編碼視訊位元串流。
  26. 如請求項25之設備，其中基於該視訊資料及將至少一個濾波器應用於該第一區塊之一結果而產生該經編碼視訊位元串流。
  27. 如請求項25之設備，該一或多個處理器經組態以： 儲存該經編碼視訊位元串流。
  28. 如請求項25之設備，其中該設備為一行動計算裝置。
  29. 一種包含儲存於其上之指令的非暫時性電腦可讀儲存媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作： 獲得包含一或多個圖像之視訊資料； 自該一或多個圖像獲得一圖像之一第一區塊，該第一區塊位於該圖像之一第一切片中； 判定一第二區塊位於該圖像之一第二切片中，該第二區塊包括供用於執行該第一區塊之一像素之迴圈濾波的一或多個像素； 判定跨切片邊界之迴圈濾波停用； 基於該第二區塊位於該第二切片中且跨切片邊界之該迴圈濾波停用，判定該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波；及 基於該第二區塊之該一或多個像素不可用於執行該第一區塊之該像素的迴圈濾波，複製該第一區塊之至少一個像素或該第一切片之一額外區塊的至少一個像素以用於執行該第一區塊之該像素的迴圈濾波。
TW109123083A 2019-07-11 2020-07-08 跨逐線掃描切片之適應性迴圈濾波 TW202110180A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962873174P 2019-07-11 2019-07-11
US62/873,174 2019-07-11
US16/921,106 2020-07-06
US16/921,106 US11432015B2 (en) 2019-07-11 2020-07-06 Adaptive loop filtering across raster-scan slices

Publications (1)

Publication Number Publication Date
TW202110180A true TW202110180A (zh) 2021-03-01

Family

ID=74102467

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123083A TW202110180A (zh) 2019-07-11 2020-07-08 跨逐線掃描切片之適應性迴圈濾波

Country Status (6)

Country Link
US (1) US11432015B2 (zh)
EP (1) EP3997884A1 (zh)
KR (1) KR20220032016A (zh)
CN (1) CN114097246A (zh)
TW (1) TW202110180A (zh)
WO (1) WO2021007252A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7433346B2 (ja) 2019-06-14 2024-02-19 北京字節跳動網絡技術有限公司 ビデオ単位境界および仮想境界の処理
MX2022000354A (es) * 2019-07-11 2022-02-03 Samsung Electronics Co Ltd Metodo y aparato de decodificacion de video, y metodo y aparato de codificacion de video.
US11641465B2 (en) * 2019-07-25 2023-05-02 Hfi Innovation Inc. Method and apparatus of cross-component adaptive loop filtering with virtual boundary for video coding
US11244198B2 (en) * 2019-11-21 2022-02-08 International Business Machines Corporation Input partitioning for deep learning of large image data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
CN108989803B (zh) * 2011-09-20 2021-05-28 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
AU2012327672B2 (en) * 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
CN115134593B (zh) * 2015-06-05 2024-07-23 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
US20180041778A1 (en) * 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
WO2018191224A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
JP6943628B2 (ja) * 2017-05-24 2021-10-06 Ｎｔｔエレクトロニクス株式会社 映像符号化装置および映像符号化方法
JP7343487B2 (ja) * 2017-09-20 2023-09-12 ヴィド スケール インコーポレイテッド ３６０度ビデオ符号化におけるフェイス不連続の処理
JP2021016016A (ja) * 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
KR20200002011A (ko) * 2018-06-28 2020-01-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11765349B2 (en) * 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11089335B2 (en) * 2019-01-14 2021-08-10 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
US11533491B2 (en) 2019-08-28 2022-12-20 Qualcomm Incorporated Picture and sub-picture boundary processing for combined bilateral filter and Hadamard transform domain filter as in-loop filters
US11303890B2 (en) 2019-09-05 2022-04-12 Qualcomm Incorporated Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries

Also Published As

Publication number Publication date
US20210014537A1 (en) 2021-01-14
CN114097246A (zh) 2022-02-25
KR20220032016A (ko) 2022-03-15
US11432015B2 (en) 2022-08-30
EP3997884A1 (en) 2022-05-18
WO2021007252A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7150130B2 (ja) 広角イントラ予測を伴う位置依存イントラ予測組み合わせ
TW202037163A (zh) 改善的子劃分內預測
US11949859B2 (en) Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries
TW202041030A (zh) 用於當前圖片參考及區塊內複制之虛擬檢索區域
JP7465281B2 (ja) イントラ予測モード導出のためのブロックベースの量子化された残差ドメインのパルスコード変調割り当て
TW202046739A (zh) 用於適應性迴圈濾波器變數之適應變數集合
US20140198846A1 (en) Device and method for scalable coding of video information
JP2019519141A (ja) フィルタ処理情報のシグナリング
CN114982246B (zh) 环路滤波器的自适应舍入
TW202121899A (zh) 針對局部雙樹的調色板預測器更新
TW201735608A (zh) 用於產生對視訊之顏色再映射資訊之補充增強資訊訊息之方法及系統
TW202110180A (zh) 跨逐線掃描切片之適應性迴圈濾波
TW202103496A (zh) 用於適應性迴路濾波器之剪切值計算之簡化
JP2018514985A (ja) ビデオデータを処理するためのデバイスおよび方法
TW202042552A (zh) 用於照明補償之區塊大小限制
CN115398920A (zh) 用于颜色格式支持的自适应环路滤波
JP2016518771A (ja) 映像情報のスケーラブルコーディングのためのデバイス及び方法
TW202031052A (zh) 用於照明補償模式之刪剪
JP7391198B2 (ja) Ｌ字型パーティション分割ツリーを用いたイントラコーディング
WO2020214899A1 (en) Supplemental enhancement information message for embedded image
TW202318870A (zh) 針對跨分量取樣自我調整偏移（ｃｃｓａｏ）濾波器的邊緣偏移