TW202044833A

TW202044833A - 使用不同色度格式之三角預測單元模式中之視訊寫碼

Info

Publication number: TW202044833A
Application number: TW109106595A
Authority: TW
Inventors: 王鴻滔; 錢威俊; 法迪姆塞瑞金; 馬塔卡茲維克茲
Original assignee: 美商高通公司
Priority date: 2019-03-15
Filing date: 2020-02-27
Publication date: 2020-12-01
Also published as: CN113924776A; KR20210134338A; EP3939273A1; KR20210135515A; SG11202108954VA; JP2022524375A; US20200296359A1; US12022095B2; JP7423647B2; EP3939274A1; US20200296389A1; JP2022523851A; CN113557723A; US11134251B2; BR112021017487A2; WO2020190469A1; BR112021017485A2; SG11202108953XA; WO2020190468A1

Abstract

一種用於處理視訊資料之裝置包括經組態以儲存視訊資料之一記憶體及實施於電路系統中之一或多個處理器。該一或多個處理器經組態以產生用於視訊資料之一區塊的色度分量的一寫碼單元。該一或多個處理器經組態以將用於色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區。該一或多個處理器經組態以在該一或多個處理器產生用於呈一YUV 4:2:0格式之色度分量的該寫碼單元時及在該一或多個處理器產生用於呈一YUV 4:4:4格式之色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於視訊資料之該區塊之該等色度分量的一經預測區塊。

Description

使用不同色度格式之三角預測單元模式中之視訊寫碼

本發明係關於視訊編碼及視訊解碼。

數位視訊能力可併入至廣泛範圍之裝置中，該等裝置包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放機、視訊遊戲裝置、視訊遊戲主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265/高效視訊寫碼(HEVC)定義之標準，及此等標準的擴展中所描述之技術。視訊裝置可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有之冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖像或視訊圖像的一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。

大體而言，本發明描述用於支援視訊編解碼器中之不同色度格式之技術。

在一個實例中，一種處理視訊資料之方法包括：由實施於電路系統中之一或多個處理器產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；由該一或多個處理器基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及由該一或多個處理器在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中應用像素摻合包含分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。

在另一實例中，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中。該一或多個處理器經組態以：產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中，為應用像素摻合，該一或多個處理器經組態以分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。

在一個實例中，一種電腦可讀儲存媒體包括儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中使該一或多個處理器應用像素摻合的該等指令使該一或多個處理器分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。

在另一實例中，一種用於寫碼視訊資料之裝置包括：用於產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元的構件；用於基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區的構件；及用於在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊的構件，其中該用於應用像素摻合的構件包含用於分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值的構件。

在一個實例中，一種處理視訊資料之方法包括：由實施於電路系統中之一或多個處理器獲得用於一圖像之一區域的未經濾波參考樣本，其中該一或多個處理器經組態以針對呈一YUV 4:2:0格式及一YUV 4:4:4格式之色度樣本停用該等未經濾波參考樣本之參考樣本內平滑化；及由該一或多個處理器在產生呈該YUV 4:2:0格式之該等色度分量時及在產生呈該YUV 4:4:4格式之該等色度分量時，基於該等未經濾波參考樣本使用框內預測產生用於該圖像之一區塊的一經預測區塊之色度樣本。

在另一實例中，一種用於處理視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以進行以下操作：獲得用於該視訊資料之一圖像之一區域的未經濾波參考樣本，其中該一或多個處理器經組態以針對呈一YUV 4:2:0格式及一YUV 4:4:4格式之色度樣本停用該等未經濾波參考樣本之參考樣本內平滑化；及在產生呈該YUV 4:2:0格式之該等色度分量時及在產生呈該YUV 4:4:4格式之該等色度分量時，基於該等未經濾波參考樣本使用框內預測產生用於該圖像之一區塊的一經預測區塊之色度樣本。

在一個實例中，一種電腦可讀儲存媒體包括儲存於其上之指令，該等指令在經執行時使一或多個處理器進行以下操作：獲得用於該視訊資料之一圖像之一區域的未經濾波參考樣本，其中該等指令進一步使該一或多個處理器針對呈一YUV 4:2:0格式及一YUV 4:4:4格式之色度樣本停用該等未經濾波參考樣本之參考樣本內平滑化；及在產生呈該YUV 4:2:0格式之該等色度分量時及在產生呈該YUV 4:4:4格式之該等色度分量時，基於該等未經濾波參考樣本使用框內預測產生用於該圖像之一區塊的一經預測區塊之色度樣本。

在另一實例中，一種用於寫碼視訊資料之裝置包括：用於獲得用於一圖像之一區域的未經濾波參考樣本的構件；及用於在產生呈該YUV 4:2:0格式之該等色度分量時及在產生呈該YUV 4:4:4格式之該等色度分量時，基於該等未經濾波參考樣本使用框內預測產生用於該圖像之一區塊的一經預測區塊之色度樣本的構件。

在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自實施方式、圖式及申請專利範圍將為顯而易見的。

本申請案主張2019年3月15日申請之美國臨時專利申請案第62/819,368 號之權益，該申請案之全部內容特此以引用之方式併入。

如下文更詳細地描述，本發明描述用於改良呈不同格式之色度分量之編碼及/或解碼的實例技術。舉例而言，當使用三角預測單元(PU)模式時，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可將一PU***成兩個三角形分區。在此實例中，視訊寫碼器可產生經運動補償之三角形分區，且使用基於色度格式之一權重集合組合經運動補償之三角形分區。舉例而言，視訊寫碼器可在色度分量呈YUV 4:4:4格式時使用第一權重集合應用像素摻合，且在色度分量呈YUV 4:2:0格式時應用不同於第一權重集合之第二權重集合。然而，針對不同色度格式使用不同權重集合可能增加產生色度分量之複雜度。

根據本發明之技術，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可經組態以針對不同色度格式統一色度分量之處理。舉例而言，視訊寫碼器可在色度分量呈YUV 4:4:4格式時使用YUV 4:2:0格式之權重集合應用像素摻合，且在色度分量呈YUV 4:2:0格式時應用YUV 4:2:0格式之權重集合。

在一些實例中，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可經組態以在使用框內預測時且在色度分量呈YUV 4:2:0格式時使用未經濾波參考樣本來產生用於視訊資料之區塊之預測區塊的色度樣本。在此實例中，視訊寫碼器可經組態以在使用框內預測時且在色度分量呈YUV 4:4:4格式時使用經濾波參考樣本來產生用於視訊資料之區塊之預測區塊的色度樣本。然而，針對不同色度格式使用不同參考樣本可能增加產生色度分量之複雜度。

根據本發明之技術，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可經組態以針對不同色度格式統一色度分量之處理。舉例而言，視訊寫碼器可經組態以在色度分量呈YUV 4:2:0格式且在色度分量呈YUV 4:4:4格式時停用參考樣本內平滑化。舉例而言，視訊寫碼器可在色度分量呈YUV 4:2:0格式時且在色度分量呈YUV 4:4:4格式時使用未經濾波參考樣本產生用於視訊資料之區塊之預測區塊的色度樣本。

本文中描述的用於統一色度分量之處理在技術可應用於諸如HEVC (高效率視訊寫碼)之現有視訊編解碼器或諸如VVC (多功能視訊寫碼)之處於開發中的視訊編解碼器中之任一者，或可為任何未來視訊寫碼標準中之高效寫碼工具。雖然與經加權預測相關的所描述技術之實例係關於HEVC及多功能視訊寫碼(VVC)中之持續工作進行描述，但本文中描述之技術可應用於其他現有視訊編解碼器及/或未來視訊寫碼標準。

圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。大體而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經寫碼之視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如發信之資料。

如圖1中所展示，在此實例中，系統100包括源裝置102，其提供待由目的地裝置116解碼及顯示之經編碼視訊資料。特定而言，源裝置102經由電腦可讀媒體110將視訊資料提供至目的地裝置116。源裝置102及目的地裝置116可包含廣泛範圍裝置中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如智慧型電話)、電視、攝影機、顯示裝置、數字媒體播放器、視訊遊戲控制台、視訊串流裝置或其類似者。在一些情況下，源裝置102及目的地裝置116可經裝備用於無線通信，且由此可稱為無線通信裝置。

在圖1之實例中，源裝置102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地裝置116包括輸入介面122、視訊解碼器300、記憶體120及顯示裝置118。根據本發明，源裝置102之視訊編碼器200及目的地裝置116之視訊解碼器300可經組態以應用用於針對不同色度格式統一權重資訊之技術。由此，源裝置102表示視訊編碼裝置之實例，而目的地裝置116表示視訊解碼裝置之實例。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地裝置116可與外部顯示裝置介接，而非包括整合顯示裝置。

如圖1中所示之系統100僅為一個實例。大體而言，任何數位視訊編碼及/或解碼裝置可執行用於進行以下操作的技術：判定用於第一色度格式之權重資訊；判定用於不同於第一色度格式之第二色度格式的權重資訊以對應於用於第一色度格式之權重資訊；及基於用於第一色度格式之權重資訊產生預測資訊。源裝置102及目的地裝置116僅僅為此類寫碼裝置之實例，其中源裝置102產生經寫碼視訊資料以供傳輸至目的地裝置116。本發明將「寫碼」裝置稱為對資料執行寫碼(編碼及/或解碼)之裝置。因此，視訊編碼器200及視訊解碼器300表示寫碼裝置之實例，詳言之，分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，裝置102、116可以實質上對稱的方式操作，使得裝置102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊裝置102、116之間的單向或雙向視訊傳輸以用於例如視訊串流、視訊播放、視訊廣播或視訊電話。

一般而言，視訊源104表示視訊資料源(亦即，原始未經寫碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源裝置102之視訊源104可包括視訊捕捉裝置，諸如視訊攝影機、含有先前捕捉之原始視訊的視訊檔案庫及/或用於自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代方案，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200編碼所捕捉、所預先捕捉或電腦產生之視訊資料。視訊編碼器200可將圖像之接收次序(有時被稱作「顯示次序」)重新配置成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源裝置102接著可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上以供由例如目的地裝置116之輸入介面122接收及/或擷取。

源裝置102之記憶體106及目的地裝置116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括用於功能上類似或等效目的之內部記憶體。此外，記憶體106、120可儲存例如自視訊編碼器200輸出及輸入至視訊解碼器300的經編碼視訊資料。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器，以例如儲存原始、經解碼及/或經編碼視訊資料。

電腦可讀媒體110可表示能夠將經編碼視訊資料自源裝置102傳送至目的地裝置116的任何類型的媒體或裝置。在一個實例中，電腦可讀媒體110表示用以使源裝置102能即時例如經由射頻網路或基於電腦之網路直接傳輸經編碼視訊資料至目的地裝置116的通信媒體。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收之傳輸信號。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源裝置102至目的地裝置116的通信之任何其他裝備。

在一些實例中，源裝置102可將經編碼資料自輸出介面108輸出至儲存裝置116。類似地，目的地裝置116可經由輸入介面122自儲存裝置116存取經編碼資料。儲存裝置116可包括各種分佈式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。

在一些實例中，源裝置102可將經編碼視訊資料輸出至檔案伺服器114或另一中間儲存裝置，其可儲存由源裝置102產生之經編碼視訊。目的地裝置116可經由串流傳輸或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地裝置116的任何類型之伺服器裝置。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路裝置，或網路附接儲存(NAS)裝置。目的地裝置116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或適合於存取儲存於檔案伺服器114上之經編碼視訊資料的兩者之一組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。

輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如乙太網路卡)、根據各種IEEE 802.11標準中之任一者而操作之無線通信組件，或其他實體組件。在輸出介面108及輸入介面122包含無線組件之實例中，輸出介面108及輸入介面122可經組態以根據蜂巢式通信標準(諸如4G、4G-LTE (長期演進)、LTE進階、5G或類似者)來傳送資料，諸如經編碼視訊資料。在輸出介面108包含無線傳輸器的一些實例中，輸出介面108及輸入介面122可經組態以根據諸如IEEE 802.11規範、IEEE 802.15規範(例如，ZigBee™)、Bluetooth™標準或其類似者的其他無線標準傳送資料(諸如經編碼視訊資料)。在一些實例中，源裝置102及/或目的地裝置116可包括各別晶片上系統(SoC)裝置。舉例而言，源裝置102可包括SoC裝置以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地裝置116可包括SoC裝置以執行歸於視訊解碼器300及/或輸入介面122之功能性。

本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。

目的地裝置116之輸入介面122自電腦可讀媒體110 (例如，儲存裝置112、檔案伺服器114或其類似者)接收經編碼視訊位元串流。來自電腦可讀媒體110之經編碼視訊位元串流可包括由視訊編碼器200定義之發信資訊(其亦由視訊解碼器300使用)，諸如具有描述視訊區塊或其他經寫碼單元(例如，圖塊、圖像、圖像群組、序列或其類似者)之特性及/或處理的值的語法元素。顯示裝置118向使用者顯示經解碼視訊資料之經解碼圖像。顯示裝置118可表示各種顯示裝置中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。

儘管圖1中未示出，但在一些實例中，視訊編碼器200及視訊解碼器300可各自與音訊編碼器及/或音訊解碼器整合，且可包括適合的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。

視訊編碼器200及視訊解碼器300各自可被實施為各種合適編碼器及/或解碼器電路系統中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，裝置可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之裝置可包含積體電路、微處理器及/或無線通信裝置(諸如蜂巢式電話)。

視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦稱作高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。可替代地，視訊編碼器200及視訊解碼器300可根據其他專有或行業標準操作，諸如聯合勘探測試模型(JEM)或ITU-T H.266，其亦經稱作多功能視訊寫碼(VVC)。VVC標準之最新草案描述於2019年10月1日至11日於CH日內瓦的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家小組(JVET)第16次會議JVET-P2001-v9上，Bross等人的「多功能視訊寫碼(草案7)」(下文中稱為「VVC草案7」)中。然而，本發明之技術不限於任何特定寫碼標準。

一般而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊的寫碼。術語「區塊」一般係指包括待處理(例如編碼、解碼或以其他方式在編碼及/或解碼程序中使用)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本之二維矩陣。一般而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(未展示)可執行此等轉換。

YUV 4:4:4可指其中三個分量(例如，Y、Cb、Cr)中之每一者具有相同取樣速率且無色度子取樣的YUV表示。舉例而言，YUV 4:4:4之明度(例如，Y)分量可具有第一解析度。在此實例中，YUV 4:4:4之第一色度分量(例如，Cb)分量可具有明度分量之第一解析度，且YUV 4:4:4之第二色度分量(例如，Cr)分量可具有明度分量之第一解析度。相比之下，YUV 4:2:0可指其中色度分量(例如，Cb、Cr)中之每一者在豎直及水平方向兩者上具有明度分量之一半取樣速率，且因此YUV 4:2:0可具有色度子取樣的YUV表示。舉例而言，YUV 4:4:4之明度(例如，Y)分量可具有第一解析度。在此實例中，YUV 4:4:4之第一色度分量(例如，Cb)分量可具有作為明度分量之第一解析度之一半的第二解析度(例如，豎直及水平)，且YUV 4:4:4之第二色度分量(例如，Cr)分量可具有作為明度分量之第一解析度之一半且與第一色度分量之第二解析度相同的第二解析度(例如，豎直及水平)。雖然本發明指YUV 4:4:4及YUV 4:2:0作為色度格式之實例，但其他實例可使用其他格式(例如，YUV 4:2:2等)。

本發明大體上可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指對圖像之區塊進行寫碼以包括編碼或解碼區塊之資料的程序(例如，預測及/或殘餘寫碼)。經編碼視訊位元串流一般包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及一般應理解為寫碼形成該圖像或區塊之語法元素的值。

HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)，以及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四元樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四元樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四元樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。

作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據JEM或VVC操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹單元(CTU)。視訊編碼器200可根據樹型結構分割CTU，諸如四元樹二元樹型(QTBT)結構或多類型樹型(MTT)結構。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。QTBT結構包括兩個層級：根據四元樹分割進行分割的第一層級，及根據二元樹分割進行分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。

在MTT分割結構中，區塊可使用四元樹(QT)分割、二元樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊***成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心劃分原始區塊情況下將區塊分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。

在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或更多個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。

視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四元樹分割、QTBT分割、MTT分割或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四元樹分割亦或其他類型之分割的視訊寫碼器。

本發明可互換地使用「N × N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)在豎直及水平尺寸方面之樣本尺寸，例如16 × 16個樣本或16乘16個樣本。大體而言，16×16 CU在豎直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣地，N×N CU大體在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。

視訊編碼器200對CU之表示預測及/或殘餘資訊及其他資訊的視訊資料進行編碼。預測資訊指示將如何對CU進行預測以便形成CU之預測區塊。殘餘資訊通常表示編碼前CU與預測區塊之樣本之間的逐樣本差。

為預測CU，視訊編碼器200可一般經由框間預測或框內預測形成CU之預測區塊。框間預測大體係指自先前經寫碼圖像之資料預測CU，而框內預測大體係指自同一圖像之先前經寫碼資料預測CU。為了執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200可一般執行運動搜尋以識別緊密匹配CU的參考區塊(例如，在CU與參考區塊之間的差方面)。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量，以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。

JEM及VVC之一些實例亦提供仿射運動補償模式，其可經認為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。

為執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。JEM及VVC之一些實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。一般而言，視訊編碼器200選擇描述當前區塊(例如，CU之區塊)的相鄰樣本的框內預測模式，其中自該當前區塊預測當前區塊之樣本。假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU，此類樣本通常可在與當前區塊相同之圖像中處於當前區塊之上方、左上方(左上側)或左側。

視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可對表示使用多種可用框間預測模式中之哪一者以及對應模式之運動資訊的資料進行編碼。舉例而言，對於單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來對仿射運動補償模式之運動向量進行編碼。

在區塊之預測(諸如框內預測或框間預測)之後，視訊編碼器200可計算用於該區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用二級變換，諸如模式依賴不可分離二級變換(MDNSST)、信號依賴變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。

如上文所提及，在任何變換以產生變換係數後，視訊編碼器200可執行變換係數之量化。量化大體上指變換係數經量化以可能減少用於表示係數的資料之量，從而提供進一步壓縮之程序。藉由執行量化程序，視訊編碼器200可減少與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值捨入至m 位元值，其中n 大於m 。在一些實例中，為了進行量化，視訊編碼器200可進行待量化值之按位元右移位。

在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且隨後熵編碼向量之經量化變換係數。在其他實例中，視訊編碼器200可執行自適應掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器200可例如根據上下文適應性二進位算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可對描述與經編碼視訊資料相關聯的後設資料之語法元素之值進行熵編碼，以供由視訊解碼器300用於解碼視訊資料。

為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能涉及例如符號之鄰近值是否為零值。機率判定可基於經指派至符號之上下文而進行。

視訊編碼器200可進一步例如在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集合(SPS)、圖像參數集合(PPS)或視訊參數集合(VPS))中向視訊解碼器300產生語法資料(諸如基於區塊之語法資料、基於圖像之語法資料以及基於序列之語法資料)。視訊解碼器300可同樣地對此類語法資料進行解碼以判定如何對對應視訊資料進行解碼。

以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如，描述圖像至區塊(例如，CU)之分割的語法元素及用於區塊之預測及/或殘餘資訊)之位元串流。最後，視訊解碼器300可接收位元串流並對經編碼視訊資料進行解碼。

一般而言，視訊解碼器300執行與視訊編碼器200所執行之程序對等的程序，以解碼位元串流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼程序實質上類似但對等的方式解碼位元串流之語法元素的值。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如，CU)的預測及殘餘資訊。

殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可對區塊之經量化變換係數進行反量化及反變換，以再生區塊之殘餘區塊。視訊解碼器300使用經發信預測模式(框內或框間預測)及相關預測資訊(例如，用於框間預測之運動資訊)，以形成用於該區塊之預測區塊。視訊解碼器300可接著(在逐樣本基礎上)使經預測區塊與殘餘區塊組合以再生初始區塊。亦即，舉例而言，視訊解碼器300可將經預測區塊與殘餘區塊組合以解碼用於視訊資料之區塊的未經濾波經重建構區塊。在一些實例中，視訊解碼器300可將未經濾波經重建構區塊儲存在DPB 314。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊之邊界的視覺假影。亦即，舉例而言，視訊解碼器300可產生用於視訊資料之區塊的經濾波經重建構區塊，其中產生該經濾波經重建構區塊包含對未經濾波經重建構區塊執行一或多個濾波操作。在此實例中，視訊解碼器300可將經濾波經重建構區塊儲存在DPB 314。

根據本發明之技術，視訊編碼器200及/或視訊解碼器300可經組態以產生用於視訊資料之區塊之呈YUV 4:4:4格式或YUV 4:2:0格式的色度分量的寫碼單元。在此實例中，視訊編碼器200或視訊解碼器300可經組態以基於三角預測單元模式之啟用而將用於色度分量之寫碼單元***成第一三角形分區及第二三角形分區。視訊編碼器200或視訊解碼器300可經組態以在一或多個處理器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在一或多個處理器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量的經預測區塊。將單個權重集合用於產生用於呈YUV 4:2:0格式及呈YUV 4:4:4格式之色度分量的寫碼單元可降低解碼視訊資料之複雜度，其可減少視訊編碼器200及視訊解碼器300解碼視訊資料之時間量及/或降低視訊編碼器200及視訊解碼器300之功率消耗。

為應用像素摻合，視訊編碼器200或視訊解碼器300可經組態以分別基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

在一些實例中，視訊編碼器200及/或視訊解碼器300可經組態以獲得用於圖像之區域的未經濾波參考樣本。在此實例中，視訊編碼器200及/或視訊解碼器300可經組態以針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。視訊編碼器200及/或視訊解碼器300可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，基於未經濾波參考樣本使用框內預測產生用於圖像之區塊的預測區塊之色度樣本。針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化可降低解碼視訊資料之複雜度，其可減少視訊編碼器200及視訊解碼器300解碼視訊資料之時間量，及/或降低視訊編碼器200及視訊解碼器300之功率消耗。

本揭示通常可指「發信」某些資訊，諸如語法元素。術語「發信」大體可指用於對經編碼視訊資料進行解碼之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中發信語法元素的值。一般而言，發信係指在位元串流中產生值。如上文所提及，源裝置102可實質上實時將位元串流運送至目的地裝置116，或不實時運送，諸如可在將語法元素儲存至儲存裝置112以供目的地裝置116稍後擷取時發生。

圖2A及圖2B為說明實例四元樹二元樹(QTBT)結構130及對應寫碼樹單元(CTU) 132之概念圖。實線表示四元樹***，且點線指示二元樹***。在二元樹之每一***(亦即，非葉)節點中，一個旗標經發信以指示使用哪一***類型(亦即，水平或豎直)，其中在此實例中，0指示水平***且1指示豎直***。對於四元樹***，不存在對於指示***類型之需要，此係由於四元樹節點將區塊水平地及垂直地***成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼且視訊解碼器300可解碼用於QTBT結構130之區樹層級(亦即實線)的語法元素(諸如***資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如***資訊)。視訊編碼器200可編碼，且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。

一般而言，圖2B之CTU 132可與定義對應於在第一層級及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四元樹大小(MinQTSize，表示最小允許四元樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。

QTBT結構中對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四元樹分割來進行分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則其可由各別二元樹進一步分割。一個節點之二元樹***可重複，直至由***產生之節點達至最小允許之二元樹葉節點大小(MinBTSize)，或最大允許之二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二元樹葉節點被稱作寫碼單元(CU)，其用於在無更進一步分割的情況下的預測(例如，圖像內或圖像間預測)及變換。如上文所論述，CU亦可被稱作「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四元樹分割首先應用於CTU以產生四元樹葉節點。四元樹葉節點可具有自16×16 (亦即，MinQTSize為16×16)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，將不會由二元樹進一步***，此係由於大小超過MaxBTSize (亦即，在此實例中，64×64)。否則，葉四元樹節點將由二元樹進一步分割。因此，四元樹葉節點亦為二元樹之根節點並具有為0之二元樹深度。當二元樹深度達至MaxBTDepth (在此實例中為4)時，不准許進一步***。當二元樹節點具有等於MinBTSize (在此實例中，4)之寬度時，其意指不准許進一步水平***。類似地，具有等於MinBTSize之高度的二元樹節點意指不准許對該二元樹節點進行進一步豎直***。如上文所提及，二元樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。

圖3為說明可執行本發明之技術的實例視訊編碼器200之方塊圖。出於解釋之目的提供圖3，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之JEM、VVC (ITU-T H.266)視訊寫碼標準的視訊寫碼標準之情況下描述視訊編碼器200。然而，本發明之技術並不限於此等視訊寫碼標準，且通常適用於視訊編碼及解碼。

在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、DPB 218及熵編碼單元220中之任一者或全部可實施於一或多個處理器或處理電路系統中。舉例而言，視訊編碼器200之單元可實施為形成處理器、ASIC或FPGA之部分的一或多個電路或邏輯元件。此外，視訊編碼器200可包括額外或替代處理器或處理電路系統以執行此等及其他功能。

視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼之視訊資料。視訊編碼器200可自例如視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由各種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。視訊資料記憶體230及DPB 218可由相同記憶體裝置或單獨記憶體裝置提供。在各種實例中，視訊資料記憶體230可與視訊編碼器200之其他組件一起在晶片上，如所說明，或相對於彼等組件在晶片外。

在本發明中，對視訊資料記憶體230之參考不應解譯為將記憶體限於在視訊編碼器200內部(除非特定地如此描述)，或將記憶體限於在視訊編碼器200外部(除非特定地如此描述)。實情為，對視訊資料記憶體230之參考應理解為對儲存視訊編碼器200所接收以用於編碼的視訊資料(例如，待被編碼的當前區塊之視訊資料)記憶體的參考。圖1之記憶體106亦可提供來自視訊編碼器200之各種單元之輸出的臨時儲存。

圖3之各種單元經說明以輔助理解由視訊編碼器200執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性，且在可執行之操作上預設定的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型一般為不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊編碼器200可包括由可程式化電路形成之算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(圖中未示)可儲存此類指令。

視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。

模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內拷貝單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。

模式選擇單元202通常協調多個編碼遍次以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率失真值的編碼參數之組合。

視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹型結構，諸如上文所描述之QTBT結構或HEVC之四元樹結構來分割圖像之CTU。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU大體亦可被稱作「視訊區塊」或「區塊」。

在一些實例中，模式選擇單元202可經組態以產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。在此實例中，模式選擇單元202可經組態以基於三角預測單元模式之啟用而將色度分量之寫碼單元***成第一三角形分區及第二三角形分區。模式選擇單元202可經組態以在一或多個處理器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在一或多個處理器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量的經預測區塊。以此方式，模式選擇單元202可使用YUV 4:2:0格式及YUV 4:4:4格式兩者的權重集合，其可幫助統一不同色度格式之處理。不同色度格式之統一處理可幫助減少編解碼器處理負擔。

為應用像素摻合，模式選擇單元202可經組態以分別基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。下文進一步詳細解釋判定加權平均值之實例程序(例如，參見圖7A至圖7C)。

大體而言，在一些實例中，模式選擇單元202亦控制其組件(例如，運動估計單元222、運動補償單元224及框內預測單元226)以產生用於當前區塊(例如，當前CU，或在HEVC中，PU及TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如，儲存於DPB 218中之一或多個先前經寫碼圖像)中的一或多個緊密匹配之參考區塊。詳言之，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者來計算表示潛在參考區塊與當前區塊之類似程度的值。運動估計單元222可使用當前區塊與所考慮之參考區塊之間的逐樣本差大體執行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。

運動估計單元222可形成定義在參考圖像中之參考區塊之位置相對於在當前圖像中之當前區塊之位置的一或多個運動向量(MV)。運動估計單元222可接著將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224可接著使用運動向量產生預測區塊。舉例而言，運動補償單元224可使用運動向量擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於由各別運動向量識別之兩個參考區塊的資料，並例如經由逐樣本求平均值或經加權求平均值來組合所擷取之資料。

作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自鄰近當前區塊之樣本產生預測區塊。舉例而言，對於方向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算與當前區塊相鄰之樣本的平均值，且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。

框內預測單元226可經組態以獲得用於圖像之區域的未經濾波參考樣本。框內預測單元226可經組態以針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。當參考樣本內平滑化停用時，框內預測單元226可僅僅將未經濾波參考樣本用於色度樣本。框內預測單元226可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，使用框內預測基於未經濾波參考樣本產生用於圖像之區塊的預測區塊之色度樣本。亦即，舉例而言，對於呈YUV 4:4:4格式及YUV 4:4:4格式兩者之色度分量，框內預測單元226可僅僅將未經濾波參考樣本用於色度樣本。以此方式，編碼及解碼視訊資料之複雜度可降低，其可減少框內預測單元226寫碼(例如，編碼器或解碼)視訊資料之時間量及/或降低框內預測單元226之功率消耗。

本文中描述的用於針對色度樣本停用未經濾波參考樣本之參考樣本內平滑化的技術可與本文中描述的用於產生用於呈YUV 4:2:0格式之色度分量的寫碼單元之技術組合使用或單獨使用。舉例而言，框內預測單元226可經組態以獲得用於圖像之區域的未經濾波參考樣本，與模式選擇單元202產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量之寫碼單元組合。在一些實例中，框內預測單元226可經組態以組合地獲得用於圖像之區域的未經濾波參考樣本，且模式選擇單元202避免產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。

模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始的未經寫碼版本，且自模式選擇單元202接收預測區塊之原始的未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義用於當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。

在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器200及視訊解碼器300亦可支援用於框間預測的2N×nU、2N×nD、nL×2N以及nR×2N之PU大小的不對稱分割。

在模式選擇單元未將CU進一步分割成PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指代CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器120可支援2N×2N、2N×N或N×2N之CU大小。

對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於所選擇調色板重建構區塊之方式的語法元素。在此等模式中，模式選擇單元202可將此等語法元素提供至熵編碼單元220以待編碼。

如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204隨後產生用於當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。

變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中被稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、方向變換(directional transform)、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可向殘餘區塊執行多個變換，例如主要變換及次要變換，諸如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘餘區塊。

量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200可(例如經由模式選擇單元202)藉由調整與CU相關聯的QP值而調整應用於與當前區塊相關聯的係數區塊之量化程度。量化可引入資訊之損耗，因此，經量化變換係數可具有相比由變換處理單元206產生之原始變換係數低的精確度。

反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊，以用變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及由模式選擇單元202產生之預測區塊，產生對應於當前區塊之經重建構區塊(儘管可能具有一些程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。亦即，舉例而言，重建構單元214可將經預測區塊與殘餘區塊組合以解碼用於視訊資料之區塊的未經濾波經重建構區塊。在一些實例中，重建構單元214可將未經濾波經重建構區塊儲存在DPB 218。

濾波器單元216可對經重建區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應假影。在一些實例中，可跳過濾波器單元216之操作。亦即，舉例而言，濾波器單元216可產生用於視訊資料之區塊的經濾波經重建構區塊，其中產生該經濾波經重建構區塊包含對未經濾波經重建構區塊執行一或多個濾波操作。在此實例中，濾波器單元216可將經濾波經重建構區塊儲存在DPB 218。

視訊編碼器200將經重建區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波經重建區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取參考圖像，由經重建構(及可能經濾波)區塊形成，至隨後進行編碼之圖像的框間預測區塊。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建區塊，以對當前圖像中之其他區塊框內預測。

大體而言，熵編碼單元220可熵編碼自視訊編碼器200之其他功能組件接收的語法元素。舉例而言，熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元220可熵編碼來自模式選擇單元202的預測語法元素(例如，用於框間預測之運動資訊或用於框內預測之框內模式資訊)。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行上下文自適應性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法的上下文自適應性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數-哥倫布編碼操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式下操作，其中語法元素未經熵編碼。

視訊編碼器200可輸出位元串流，其包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。詳言之，熵編碼單元220可輸出該位元串流。

上文所描述之操作相對於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊之操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度分量及色度分量。

在一些實例中，無需針對色度寫碼區塊重複相對於明度寫碼區塊進行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作用於識別色度區塊之MV及參考圖像。更確切而言，明度寫碼區塊之MV可經按比例調整以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測過程可針對明度寫碼區塊及色度寫碼區塊為相同的。

視訊編碼器200表示經組態以編碼視訊資料之裝置的實例，其包括：記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。在此實例中，視訊編碼器200可經組態以基於三角預測單元模式之啟用而將用於色度分量之寫碼單元***成第一三角形分區及第二三角形分區。視訊編碼器200可經組態以在一或多個處理器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在一或多個處理器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量之經預測區塊。因此，視訊編碼器200可使用YUV 4:2:0格式及YUV 4:4:4格式兩者之權重集合，其可幫助統一不同色度格式之處理。不同色度格式之統一處理可幫助減少編解碼器處理負擔。為應用像素摻合，視訊編碼器200可經組態以分別基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

在一些實例中，視訊編碼器200表示經組態以編碼視訊資料之裝置的實例，其包括記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以獲得用於圖像之區域的未經濾波參考樣本。在此實例中，視訊編碼器200可經組態以針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。視訊編碼器200可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，基於未經濾波參考樣本使用框內預測產生用於圖像之區塊的預測區塊之色度樣本。亦即，舉例而言，對於呈YUV 4:4:4格式及YUV 4:4:4格式兩者之色度分量，視訊編碼器200可僅僅針對色度樣本使用未經濾波參考樣本。以此方式，編碼及解碼視訊資料之複雜度可降低，其可減少視訊編碼器200寫碼(例如，編碼器或解碼)視訊資料之時間量及/或降低視訊編碼器200之功率消耗。本文中描述的用於針對色度樣本停用未經濾波參考樣本之參考樣本內平滑化的技術可與本文中描述的用於產生用於呈YUV 4:2:0格式之色度分量的寫碼單元之技術組合使用或單獨使用。

圖4為說明可執行本發明之技術之實例視訊解碼器300的方塊圖。出於解釋之目的提供圖4，且其並不限制如本發明中廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據JEM、VVC (處於開發中之ITU-T H.266)及HEVC之技術進行描述。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼裝置執行。

在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。CPB 記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反轉換處理單元308、重建構單元310、濾波器單元312及DPB 314中任一者之或全部可實施於一或多個處理器或處理電路系統中。此外，視訊解碼器300可包括額外或替代處理器或處理電路系統以執行此等及其他功能。

預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括根據其他預測模式執行預測的疊加單元。作為實例，預測處理單元304可包括調色板單元、區塊內拷貝單元(其可形成運動補償單元318之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括更多、更少或不同的功能組件。

CPB記憶體320可儲存待由視訊解碼器300之組件解碼之視訊資料，諸如經編碼視訊位元串流。可例如自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如，語法元素)的CPB。又，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的臨時資料。DPB 314一般儲存經解碼圖像，視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB 記憶體320及DPB 314可由多種記憶體裝置中之任一者形成，諸如動態隨機存取記憶體(DRAM) (包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體裝置。CPB記憶體320及DPB 314可由同一記憶體裝置或獨立記憶體裝置提供。在各種實例中，CPB 記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。

另外地或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可利用CPB 記憶體320儲存如上文所論述之資料。同樣，當視訊解碼器300之一些或所有功能性實施於軟體中以由視訊解碼器300之處理電路系統執行時，記憶體120可儲存待由視訊解碼器300執行之指令。

圖4中所示之各種單元經說明為輔助理解由視訊解碼器300執行之操作。單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路指代提供特定功能性，且在可執行之操作上預設定的電路。可程式化電路係指可經程式化以執行各種任務並在可執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如，以接收參數或輸出參數)，但固定功能電路執行的操作之類型一般為不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。

視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在由在可程式化電路上執行之軟體進行視訊解碼器300之操作的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收及執行之軟體之指令(例如目標程式碼)。

熵解碼單元302可自CPB接收經編碼視訊資料且對視訊資料進行熵解碼以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、及濾波器單元312可基於自位元串流提取之語法元素產生經解碼視訊資料。

一般而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可個別地對每一區塊執行重建構操作(其中當前正重建構(亦即，解碼)之區塊可被稱作「當前區塊」)。

熵解碼單元302可對定義經量化轉換係數區塊之經量化轉換係數的語法元素以及諸如量化參數(QP)及/或變換模式指示之轉換資訊進行熵解碼。反量化單元306可使用與經量化變換係數區塊相關聯之QP判定量化程度，且同樣判定反量化程度供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化變換係數反量化。反量化單元306可由此形成包括變換係數之變換係數區塊。

在反量化單元306形成變換係數區塊後，反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。

此外，預測處理單元304根據由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316可總體上以實質上類似於關於運動補償單元224所描述之方式的方式執行框間預測過程(圖3)。

在一些實例中，預測處理單元304可經組態以產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。在此實例中，預測處理單元304可經組態以基於三角預測單元模式之啟用將用於色度分量之寫碼單元***成第一三角形分區及第二三角形分區。預測處理單元304可經組態以在預測處理單元304產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在預測處理單元304產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量之經預測區塊。以此方式，預測處理單元304可使用YUV 4:2:0格式及YUV 4:4:4格式兩者的權重集合，其可幫助統一不同色度格式之處理。不同色度格式之統一處理可幫助減少編解碼器處理負擔。

為應用像素摻合，預測處理單元304可經組態以分別基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。下文進一步詳細解釋判定加權平均值之實例程序(例如，參見圖7A至圖7C)。

若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318可總體上以實質上類似於關於框內預測單元226 (圖3)所描述之方式的方式執行框內預測程序。框內預測單元318可將相鄰樣本之資料自DPB 314擷取至當前區塊。

在一些實例中，框內預測單元318可經組態以獲得用於圖像之區域的未經濾波參考樣本。在此實例中，框內預測單元318可經組態以針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。當參考樣本內平滑化停用時，框內預測單元318可僅僅將未經濾波參考樣本用於色度樣本。框內預測單元318可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，使用框內預測基於未經濾波參考樣本產生用於圖像之區塊的預測區塊之色度樣本。亦即，舉例而言，對於呈YUV 4:4:4格式及YUV 4:4:4格式兩者之色度分量，框內預測單元318可僅僅將未經濾波參考樣本用於色度樣本。以此方式，編碼及解碼視訊資料之複雜度可降低，其可減少框內預測單元318寫碼(例如，編碼器或解碼)視訊資料之時間量及/或降低框內預測單元318之功率消耗。

本文中描述的用於針對色度樣本停用未經濾波參考樣本之參考樣本內平滑化的技術可與本文中描述的用於產生用於呈YUV 4:2:0格式之色度分量的寫碼單元之技術組合使用或單獨使用。舉例而言，框內預測單元318可經組態以獲得用於圖像之區域的未經濾波參考樣本，與預測處理單元304產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量之寫碼單元組合。在一些實例中，框內預測單元318可經組態以組合地獲得用於圖像之區域的未經濾波參考樣本，且預測處理單元304避免產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。

重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。

濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建構區塊之邊緣減少區塊效應假影。不一定在所有實例中執行濾波器單元312之操作。

視訊解碼器300可將經重建構區塊儲存於DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，諸如用於框內預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像以用於隨後呈現於諸如圖1之顯示裝置118的顯示裝置上。

在一些實例中，視訊解碼器300表示經組態以編碼視訊資料之裝置的實例，其包括記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元。在此實例中，視訊解碼器300可經組態以基於三角預測單元模式之啟用而將用於色度分量之寫碼單元***成第一三角形分區及第二三角形分區。視訊解碼器300可經組態以在一或多個處理器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在一或多個處理器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量之經預測區塊。因此，視訊解碼器300可使用YUV 4:2:0格式及YUV 4:4:4格式兩者之權重集合，其可幫助統一不同色度格式之處理。不同色度格式之統一處理可幫助減少編解碼器處理負擔。為應用像素摻合，視訊解碼器300可經組態以分別基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

在一些實例中，視訊解碼器300表示經組態以編碼視訊資料之裝置的實例，其包括記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以獲得用於圖像之區域的未經濾波參考樣本。在此實例中，視訊解碼器300可經組態以針對呈YUV 4:2:0格式及YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。視訊解碼器300可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，基於未經濾波參考樣本使用框內預測產生用於圖像之區塊的預測區塊之色度樣本。亦即，舉例而言，對於呈YUV 4:4:4格式及YUV 4:4:4格式兩者之色度分量，視訊解碼器300可僅僅針對色度樣本使用未經濾波參考樣本。以此方式，解碼視訊資料之複雜度可降低，其可減少視訊解碼器300解碼視訊資料之時間量及/或降低視訊解碼器300之功率消耗。本文中描述的用於針對色度樣本停用未經濾波參考樣本之參考樣本內平滑化的技術可與本文中描述的用於產生用於呈YUV 4:2:0格式之色度分量的寫碼單元之技術組合使用或單獨使用。

圖5A為說明根據本發明之技術的基於框間預測將寫碼單元(CU) 429***成第一三角形分區433及第二三角形分區435之第一實例的概念圖。在圖5A之實例中，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可在框間預測啟用時及在三角預測單元模式啟用時將寫碼單元429***成第一三角形分區433及第二三角形分區435。三角預測單元模式之實例可出現在例如2019年1月ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之聯合視訊探索小組J. Chen、Y. Ye、S. Kim之「Algorithm description for Versatile Video Coding and Test Model 4 (VTM4)」 (JVET-M1002)及別處中。舉例而言，基於三角預測單元模式之啟用，視訊寫碼器可將CU***成兩個三角形分區，且該等分區中之每一者具有一參考索引及單向運動向量。視訊寫碼器可經組態以將兩個經運動補償之分區組合成預測樣本之一區塊，且在***邊緣之邊緣上執行像素摻合。在圖5A之實例中，第一三角形分區433包括CU 429之右上角樣本，且第二三角形分區435包括CU 429之左下角樣本。

換言之，例如，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元429。在此實例中，視訊寫碼器可基於三角預測單元模式之啟用而將用於色度分量之寫碼單元429***成第一三角形分區433及第二三角形分區435。

圖5B為根據本發明之技術的說明基於框間預測將寫碼單元431***成第一三角形分區434及第二三角形分區436之第二實例的概念圖。

舉例而言，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元431。在此實例中，視訊寫碼器可基於三角預測單元模式之啟用而將用於色度分量之寫碼單元431***成第一三角形分區434及第二三角形分區436。在圖5B之實例中，第一三角形分區433經配置於CU 429之左上方。在圖55之實例中，第一三角形分區434包括CU 431之左上角樣本，且第二三角形分區435包括CU 431之右下角樣本。

圖6為說明根據本發明之技術的運用一個權重集合之像素摻合的概念圖。視訊寫碼器(例如，視訊編碼器200及/或視訊解碼器300)可經組態以運用如圖6中所展示之一個權重集合執行圖6之實例像素摻合。視訊寫碼器可經組態以基於兩個三角形分區之運動資訊，藉由例如求同置經運動補償像素之加權平均值來在摻合區域中產生像素。如本文所使用，同置像素可指第一分區(例如，第一三角形分區)中的經安置為與第二分區(例如，第二三角形分區)之第二像素位於同一像素位置處之第一像素。加權平均在圖7A至圖7C中進一步進行解釋。

亦即，例如，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可使用一權重集合來應用像素摻合，以產生用於視訊資料之區塊之色度分量的經預測區塊。在此實例中，為應用像素摻合，視訊寫碼器可基於第一三角形分區(展示為「P₁ 」)及第二三角形分區(展示為「P₂ 」)之運動資訊，使用該權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

舉例而言，如圖6中所展示，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定明度分量之經預測區塊537及/或明度分量之經預測區塊538中標記有「2」之像素的像素值P，方法為根據方程式1計算每一像素之各別值P。

方程式1 其中P₁ 為與在此實例中標記為「2」之各別像素同置的第一三角形分區之第一同置經運動補償像素之第一參考像素值，且其中P₂ 為與在此實例中標記為「2」之各別像素同置的第一三角形分區之第二同置經運動補償像素之第二參考像素值。

如圖6中進一步展示，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定明度分量之經預測區塊537及/或明度分量之經預測區塊538的標記為「4」之像素的像素值P，方法為根據方程式2計算每一像素之各別值P。

方程式2 其中P₁ 為與在此實例中標記為「4」之各別像素同置的第一三角形分區之第一同置經運動補償像素之第一參考像素值，且其中P₂ 為與在此實例中標記為「4」之各別像素同置的第一三角形分區之第二同置經運動補償像素之第二參考像素值。

如圖6中進一步展示，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定明度分量之經預測區塊537及/或明度分量之經預測區塊538的標記為「7」之像素的像素值P，方法為根據方程式3計算每一像素之各別值P。

方程式3 其中P₁ 為與在此實例中標記為「7」之各別像素同置的第一三角形分區之第一同置經運動補償像素之第一參考像素值，且其中P₂ 為與在此實例中標記為「7」之各別像素同置的第一三角形分區之第二同置經運動補償像素之第二參考像素值。

值「1」及「6」表示對應於方程式1至3之方程式。亦即，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定明度分量之經預測區塊537及/或明度分量之經預測區塊538的標記為「1」之像素的像素值P，方法為根據方程式4計算每一像素之各別值P。

方程式4 其中P₁ 為第一三角形分區之第一同置經運動補償像素之第一參考像素值，且其中P₂ 為第一三角形分區之第二同置經運動補償像素之第二參考像素值。

視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定明度分量之經預測區塊537及/或明度分量之經預測區塊538的標記為「6」之像素的像素值P，方法為根據方程式5計算每一像素之各別值P。

方程式5 其中P₁ 為第一三角形分區之第一同置經運動補償像素之第一參考像素值，且其中P₂ 為第一三角形分區之第二同置經運動補償像素之第二參考像素值。

雖然圖6中所說明之實例展示實例明度權重集合{7/8, 6/8, 4/8, 2/8, 1/8}及實例色度權重集合{7/8, 4/8, 1/8}，但其他實例可使用不同權重。舉例而言，可能存在兩個權重集合，且在每一集合中，色度權重及明度權重可分開界定： • 第一集合：明度為{7/8, 6/8, 4/8, 2/8, 1/8}及色度為{7/8, 4/8, 1/8}。 • 第二集合：明度為{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}且色度為{6/8, 4/8, 2/8}。

僅僅出於實例之目的參考圖7A至圖7C解釋第二權重集合值(例如，{6/8, 4/8, 2/8})。

圖7A為根據本發明之技術的說明用於圖6之像素摻合的第一三角形分區639之另外細節的概念圖。如所示，第一三角形分區639包括第一三角形分區639之同置經運動補償像素A、B及C。舉例而言，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可使用第一三角形分區639之運動資訊(例如，單向運動向量)來產生第一三角形分區639之同置經運動補償像素A、B及C。在此實例中，視訊寫碼器可能不會將加權平均應用於第一像素群組642中之像素。

圖7B為根據本發明之技術的說明用於圖6之像素摻合的第二三角形分區640之另外細節的概念圖。如所示，第二三角形分區640包括第二三角形分區640之同置經運動補償像素A、B及C。舉例而言，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可使用第二三角形分區640之運動資訊(例如，單向運動向量)來產生第二三角形分區640之同置經運動補償像素A、B及C。在此實例中，視訊寫碼器可能不會將加權平均應用於第二像素群組643中之像素。

圖7C為根據本發明之技術的說明使用圖6之像素摻合形成之區塊641的另外細節的概念圖。在此實例中，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可基於第一三角形分區639及第二三角形分區640之運動資訊，判定第一三角形分區639及第二三角形分區640的同置經運動補償像素之加權平均值。

在圖7C之實例中，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可使用第二權重集合值(例如，對於色度，{6/8, 4/8, 2/8})。舉例而言，視訊寫碼器可判定經預測區塊641之像素「A」之像素值P，方法為根據方程式6計算像素值P。

，方程式6 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「A」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「A」)之第二參考像素值。

視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定經預測區塊641之像素「B」之像素值P，方法為根據方程式7計算像素值P。

方程式7 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「B」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「B」)之第二參考像素值。

視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定經預測區塊641之像素「C」之像素值P，方法為根據方程式8計算像素值P。

方程式8 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「C」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「C」)之第二參考像素值。

在一些實例中，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可使用第一權重集合值(例如，對於色度，{7/8, 4/8, 1/8})。舉例而言，視訊寫碼器可判定經預測區塊641之像素「A」之像素值P，方法為根據方程式9計算像素值P。

，方程式9 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「A」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「A」)之第二參考像素值。

視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定經預測區塊641之像素「B」之像素值P，方法為根據方程式10計算像素值P。

方程式10 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「B」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「B」)之第二參考像素值。

視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可判定經預測區塊641之像素「C」之像素值P，方法為根據方程式11計算像素值P。

方程式11 其中P₁ 為第一三角形分區639之第一同置經運動補償像素(例如，圖7A之第一三角形分區639的「C」)之第一參考像素值，且其中P₂ 為第二三角形分區640之第二同置經運動補償像素(例如，圖7B之第二三角形分區640的「C」)之第二參考像素值。

在一些視訊寫碼器中，明度及色度之權重可在使用YUV 4:4:4格式時統一。因而，若視訊編碼器(例如，視訊編碼器200)以YUV 4:4:4格式編碼視訊信號，則視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態不使用每一權重集合之色度部分，而將每一權重集合之明度部分應用於明度及色度邊緣兩者。

在視訊編解碼器中，用於框內預測之樣本可自相同圖像之經重建構區域獲得，且所獲得樣本可藉由應用有一些濾波器以改良預測信號之品質來進行平滑化。舉例而言，HEVC之參考樣本內平滑化的實例描述可見於視訊技術之電路及系統IEEE彙刊2012年12月第22卷第12號第1792至1801頁J. Lainema、F. Bossen、W. Han、J. Min及K. Ugur的「Intra Coding of the HEVC Standard」中。在一些實例中，視訊編碼器200或視訊解碼器300可經組態以使用其他參考樣本內平滑化實例。

在一些VVC設計中，當色度格式為YUV 4:2:0時，色度分量會始終使用未經濾波參考樣本。在YUV 4:4:4之狀況下，然而，色度分量在判定是否應使用經濾波參考樣本方面與明度受制於相同的規則。換言之，在一些VVC設計中，當色度分量待產生為YUV 4:2:0格式時，視訊編碼器200或視訊解碼器300可經組態以始終使用未經濾波參考樣本來產生色度分量。在此實例中，當色度分量待產生為YUV 4:4:4格式時，視訊編碼器200或視訊解碼器300可經組態以判定使用未經濾波參考樣本抑或經濾波參考樣本來產生色度分量。

舉例而言，回應於判定啟用用於產生明度樣本之參考樣本內平滑化，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態以對未經濾波參考樣本執行一或多個濾波操作以產生經濾波參考樣本。在此實例中，視訊寫碼器可經組態以基於經濾波參考樣本，使用框內預測產生用於圖像之區塊的明度樣本。在一些實例中，對未經濾波參考樣本執行一或多個濾波操作可包括對未經濾波參考樣本執行一或多個解區塊操作。

因而，一些VVC設計可在三角PU模式中以不同方式處理不同色度格式，且額外複雜度被引入至編解碼器設計中。同時，針對明度分量定義之操作可相比針對色度分量所定義之彼等操作更複雜(例如，如圖6中所展示，用於明度之摻合區域具有三個樣本之寬度，而對於色度而言，摻合區域為兩個樣本)。

根據本發明之技術，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態以針對不同色度格式統一色度分量之處理。舉例而言，對於三角PU模式，對於YUV 4:4:4格式之色度分量，視訊解碼器(編碼器200或解碼器300)可經組態以使用YUV 4:2:0色度分量之權重而非明度分量之彼等權重。在當前VVC草案之實例中，如下針對YUV 4:2:0格式之色度分量設計兩個權重集合： 1) {1,4,7} 2) {2,4,6}

在此實例中，視訊寫碼器(例如視訊編碼器200或視訊解碼器300)可經組態以將YUV 4:4:4色度分量及YUV 4:2:0色度分量以相同方式處置。視訊寫碼器可經組態以將此等兩個權重集合之組合應用於YUV 4:4:4色度分量。舉例而言，視訊寫碼器可經組態以應用權重集合{1, 4, 7}、權重集合{2, 4, 6}，或權重集合{1, 4, 7}及{2, 4, 6}。

換言之，例如，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可在視訊寫碼器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在視訊寫碼器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於視訊資料之區塊之色度分量的經預測區塊。在此實例中，視訊寫碼器可經組態以應用權重集合{1, 4, 7}、權重集合{2, 4, 6}，或權重集合{1, 4, 7}及{2, 4, 6}。

在一些實例中，應用像素摻合包括判定加權平均值，如圖6及圖7A至圖7C中所詳細論述。舉例而言，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態以基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

用於三角合併模式之經加權樣本預測程序的實例如下。對此程序之輸入為： – 兩個變數nCbW及nCbH，其指定當前寫碼區塊之寬度及高度， – 兩個(nCbW)×(nCbH)陣列predSamplesLA及predSamplesLB， – 變數triangleDir，其指定分區方向， – 變數cIdx，其指定色彩分量索引。此程序之輸出為預測樣本值之(nCbW)×(nCbH)陣列pbSamples。變數nCbR導出如下： nCbR = ( nCbW ＞ nCbH ) ? ( nCbW / nCbH ) : ( nCbH / nCbW ) (8-841) 變數bitDepth導出如下： - 若cIdx等於0，則bitDepth設定為等於BitDepth_Y 。 - 否則，bitDepth設定為等於BitDepth_C 。變數shift1及offset1導出如下： - 變數shift1設定為等於Max(5, 17 − bitDepth)。 - 變數offset1設定為等於1 ＜＜ (shift1 − 1)。取決於triangleDir、wS及cIdx之值，預測樣本pbSamples[ x ][ y ](其中x = 0..nCbW − 1且y = 0..nCbH − 1)導出如下： - 變數wIdx導出如下： - 若cIdx等於0且triangleDir等於0，以下應用： wIdx = ( nCbW ＞ nCbH ) ? ( Clip3( 0, 8, ( x / nCbR − y ) + 4 ) ) (8-842) : ( Clip3( 0, 8, ( x − y / nCbR ) + 4 ) ) - 否則，若cIdx等於0且triangleDir等於1，則以下應用： wIdx = ( nCbW ＞ nCbH ) ? ( Clip3( 0, 8, ( nCbH − 1 − x / nCbR − y ) + 4 ) ) (8-843) ( Clip3( 0, 8, ( nCbW − 1 − x − y / nCbR ) + 4 ) ) - 否則，若cIdx大於0且triangleDir等於0，則以下應用： wIdx = ( nCbW ＞ nCbH ) ? ( Clip3( 0, 4, ( x / nCbR − y ) + 2 ) ) (8-844) : ( Clip3( 0, 4, ( x − y / nCbR ) + 2 ) ) - 否則(若cIdx大於0且triangleDir等於1)，則以下應用： wIdx = ( nCbW ＞ nCbH ) ? ( Clip3( 0, 4, ( nCbH − 1 − x / nCbR − y ) + 2 ) ) (8-845) ( Clip3( 0, 4, ( nCbW − 1 − x − y / nCbR ) + 2 ) ) - 指定預測樣本之權重的變數wValue使用wIdx及cIdx導出如下： wValue = ( cIdx = = 0 ) ? Clip3( 0, 8, wIdx ) : Clip3( 0, 8, wIdx * 2 ) (8-846) - 預測樣本值導出如下： pbSamples[ x ][ y ] = Clip3( 0, ( 1 ＜＜ bitDepth ) − 1, ( predSamplesLA[ x ][ y ] * wValue + (8-847) predSamplesLB[ x ][ y ] * ( 8 − wValue ) + offset1 ) ＞＞ shift1 )

在以上實例中，cIdx ＞ 0意謂色度。另外，wValue = clip3(0,8, wIdx*2)用於色度分量。因而，當分別地，wIdx=0, 1, 2, 3, 4時，wValue=8, 6, 4, 2, 0。此外，blended_pixel = (wValue * predLA + (8-mValue)*predLB)＞＞shift。因而，用於色度之摻合權重為0, 2, 4, 6, 8 (例如，{2, 4, 6})。在此實例中，權重0或8可指複製一個候選者像素而非摻合兩個像素。

在一些實例中，對於框內預測，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態以將YUV 4:4:4格式之色度分量上的參考樣本內平滑化行為與YUV 4:2:0格式之色度分量上的參考樣本內平滑化行為對準。在當前VVC草案中，針對YUV 4:2:0色度分量停用參考樣本內平滑化。根據一些實例，視訊編碼器200及/或視訊解碼器300可經組態以針對YUV 4:4:4色度分量停用參考樣本內平滑化。

換言之，例如，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可經組態以獲得用於圖像之區域的未經濾波參考樣本。在此實例中，視訊寫碼器可經組態以針對呈YUV 4:2:0格式之色度樣本及呈YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。在此實例中，視訊寫碼器可經組態以在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量兩者時基於未經濾波參考樣本使用框內預測產生用於圖像之區塊的預測區塊之色度樣本。

圖8為說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU。儘管相對於視訊編碼器200 (圖1及圖3)加以描述，但應理解，其他裝置可經組態以進行類似於圖8之方法的方法。

在此實例中，視訊編碼器200初始地預測當前區塊(750)。在一些實例中，「當前區塊」在本文中可僅被稱作「區塊」。舉例而言，視訊編碼器200可針對不同色度格式使用統一權重資訊來形成用於當前區塊之預測區塊。在一些實例中，視訊編碼器200可在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，使用框內預測基於未經濾波參考樣本產生用於圖像之區塊的預測區塊之色度樣本。

視訊編碼器200隨後可計算當前區塊之殘餘區塊(752)。為了計算殘餘區塊，視訊編碼器200可計算當前區塊的原始未經寫碼區塊與預測區塊之間的差，從而產生殘餘區塊。視訊編碼器200可接著變換殘餘區塊之殘餘值且量化變換係數(754)。接著，視訊編碼器200可掃描殘餘區塊之經量化變換係數(756)。在掃描期間或在掃描之後，視訊編碼器200可熵編碼係數(758)。舉例而言，視訊編碼器200可使用CAVLC或CABAC來編碼係數。視訊編碼器200可接著輸出區塊之經熵寫碼資料(760)。

圖9為說明根據本發明之技術的用於解碼視訊資料之當前區塊的實例方法之流程圖。當前區塊可包含當前CU。儘管關於視訊解碼器300 (圖1及圖4)加以描述，但應理解，其他裝置可經組態以執行類似於圖9之方法的方法。

視訊解碼器300可接收當前區塊之經熵寫碼資料，諸如經熵寫碼預測資訊及對應於當前區塊之殘餘區塊的係數之經熵寫碼資料(870)。視訊解碼器300可熵解碼經熵寫碼資料，以判定當前區塊之預測資訊且再生殘餘區塊之係數(872)。

視訊解碼器300可預測當前區塊(874)。舉例而言，視訊解碼器300可針對不同色度格式使用統一權重資訊來預測當前區塊，例如，使用如由當前區塊之預測資訊指示的框內或框間預測模式來計算當前區塊之預測區塊。在一些實例中，視訊解碼器300可在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時，使用框內預測基於未經濾波參考樣本產生用於圖像之區塊的預測區塊之色度樣本。

視訊解碼器300接著可反掃描經再生之係數(876)以產生經量化變換係數之區塊。視訊解碼器300接著可反量化及反變換係數以產生殘餘區塊(878)。視訊解碼器300可最後藉由組合預測區塊及殘餘區塊來解碼當前區塊(880)。

圖10為說明根據本發明之技術的運用YUV 4:2:0之權重集合的用於視訊資料之區塊之色度分量的像素摻合之實例程序的流程圖。儘管關於視訊編碼器200 (圖1及圖3)及視訊解碼器300 (圖1及圖4)進行描述，但應理解，其他裝置可經組態以執行類似於圖10之方法的方法。

根據本發明之技術，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可產生用於視訊資料之區塊的呈YUV 4:4:4格式或YUV 4:2:0格式之色度分量的寫碼單元(982)。視訊寫碼器可基於三角預測單元模式之啟用將用於色度分量之寫碼單元***成第一三角形分區及第二三角形分區(984)。

視訊寫碼器可在一或多個處理器產生用於呈YUV 4:2:0格式之色度分量的寫碼單元時及在一或多個處理器產生用於呈YUV 4:4:4格式之色度分量的寫碼單元時，使用YUV 4:2:0格式之權重集合來應用像素摻合以產生用於色度分量之經預測區塊(986)。在一些實例中，為應用像素摻合，視訊寫碼器可基於第一三角形分區及第二三角形分區之運動資訊，使用YUV 4:2:0格式之權重集合判定第一三角形分區及第二三角形分區之同置經運動補償像素的加權平均值。

在視訊寫碼器包含視訊解碼器(例如，視訊解碼器300)之實例中，視訊解碼器可解碼用於視訊資料之區塊的殘餘區塊，且將用於色度分量之經預測區塊與殘餘區塊組合以解碼視訊資料之區塊。在視訊寫碼器包含視訊編碼器之實例中，視訊編碼器可基於視訊資料之區塊與經預測區塊之間的差產生用於視訊資料之區塊的殘餘區塊，且對該殘餘區塊進行編碼。

圖11為說明用於使用框內預測產生預測區塊之色度樣本之實例程序的流程圖。儘管關於視訊編碼器300 (圖1及圖3)及視訊解碼器300 (圖1及圖4)進行描述，但應理解，其他裝置可經組態以執行類似於圖11之方法的方法。

根據本發明之技術，視訊寫碼器(例如，視訊編碼器200或視訊解碼器300)可獲得用於圖像之區域的未經濾波參考樣本(1090)。在一些實例中，視訊寫碼器可針對呈YUV 4:2:0格式及呈YUV 4:4:4格式之色度樣本停用未經濾波參考樣本之參考樣本內平滑化。視訊寫碼器可在產生呈YUV 4:2:0格式之色度分量時及在產生呈YUV 4:4:4格式之色度分量時基於未經濾波參考樣本使用框內預測產生用於圖像之區塊的預測區塊之色度樣本(1092)。

本發明之說明性實例包括：

實例1：一種處理視訊資料之方法，該方法包含：判定用於一第一色度格式之權重資訊；判定用於不同於該第一色度格式之一第二色度格式的權重資訊以對應於用於該第一色度格式之該權重資訊；及基於用於該第一色度格式之該權重資訊產生預測資訊。

實例2：如實例1之方法，其包含：判定一模式為一三角預測單元(PU)模式，其中判定用於一第二色度格式之權重資訊係對判定該模式為該三角PU模式作出回應。

實例3：如實例1至2之任何組合之方法，其中該第一色度格式為YUV 4:2:0，其中該第二色度格式為YUV 4:4:4。

實例4：如實例3之方法，其中用於該第一色度格式之該權重資訊為1) {1, 4, 7}2) {2, 4, 6}。

實例5：如實例1之方法，其包含：回應於判定應用框內預測，將YUV 4:4:4格式之色度分量上的參考樣本內平滑化之行為與YUV 4:2:0格式上的行為對準。

實例6：如實例5之方法，其中對準包含：針對YUV 4:2:0色度分量停用該框內參考樣本平滑化；及針對YUV 4:4:4色度分量停用該框內參考樣本平滑化。

實例7：如實例1至6中任一者之方法，其中處理包含解碼。

實例8：如實例1至6中任一者之方法，其中處理包含編碼。

實例9：一種用於寫碼視訊資料之裝置，該裝置包含用於執行實例1至6中任一者之方法的一或多個構件。

實例10：如實例9之裝置，其中該一或多個構件包含實施在電路系統中之一或多個處理器。

實例11：如實例9及10中任一者之裝置，其進一步包含儲存該視訊資料之一記憶體。

實例12：如實例9至11中任一者之裝置，其進一步包含經組態以顯示經解碼視訊資料之一顯示器。

實例13：如實例9至12中任一者之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。

實例14：如實例9至13中任一者之裝置，其中該裝置包含一視訊解碼器。

實例15：如實例9至14中任一者之裝置，其中該裝置包含一視訊編碼器。

實例16：一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使一或多個處理器執行如實例1至6中任一者之方法。

將認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同次序經執行、可經添加、合併或完全省去(例如並非全部所描述動作或事件均為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。

在一或多個實例中，所描述之功能可實施於硬體、軟體、韌體或其任何組合中。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於有形媒體(諸如，資料儲存媒體)，或包括有助於將電腦程式自一處傳送至另一處(例如，根據通信協定)的任何媒體之通信媒體。以此方式，電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體，或(2)通信媒體，諸如，信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。

指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」及「處理電路」可指上述結構或適用於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。又，可在一或多個電路或邏輯元件中充分實施該等技術。

本發明之技術可實施於廣泛多種裝置或設備中，包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之裝置的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，該等硬體單元包括如上文所描述之一或多個處理器。

各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。

100:視訊編碼及解碼系統 102:源裝置 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀媒體 112:儲存裝置 114:檔案伺服器 116:目的地裝置 118:顯示裝置 120:記憶體 122:輸入介面 130:四元樹二元樹(QTBT)結構 132:對應寫碼樹型單元(CTU) 200:視訊編碼器 202:模式選擇單元 204:殘餘產生單元 206:變換處理單元 208:量化單元 210:反量化單元 212:反變換處理單元 214:重建構單元 216:濾波器單元 218:經解碼圖像緩衝器(DPB) 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:反量化單元 308:反變換處理單元 310:重建構單元 312:濾波器單元 314:經解碼圖像緩衝器(DPB) 316:運動補償單元 318:框內預測單元 320:經寫碼圖像緩衝器(CPB)記憶體 429:寫碼單元(CU) 431:寫碼單元 433:第一三角形分區 434:第一三角形分區 435:第二三角形分區 436:第二三角形分區 537:明度分量之經預測區塊 538:明度分量之經預測區塊 639:第一三角形分區 640:第二三角形分區 641:區塊 642:第一像素群組 643:第二像素群組 750:步驟 752:步驟 754:步驟 756:步驟 758:步驟 760:步驟 870:步驟 872:步驟 874:步驟 876:步驟 878:步驟 880:步驟 982:步驟 984:步驟 986:步驟 1090:步驟 1092:步驟

圖1為說明可執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。

圖2A及圖2B為說明實例四元樹二元樹(QTBT)結構及對應寫碼樹單元(CTU)之概念圖。

圖3為說明可執行本發明之技術的實例視訊編碼器之方塊圖。

圖4為說明可執行本發明之技術的實例視訊解碼器之方塊圖。

圖5A為說明根據本發明之技術的基於框間預測將寫碼單元***成第一三角形分區及第二三角形分區之第一實例的概念圖。

圖5B為說明根據本發明之技術的基於框間預測將寫碼單元***成第一三角形分區及第二三角形分區之第二實例的概念圖。

圖6為說明根據本發明之技術的運用一個權重集合之像素摻合的概念圖。

圖7A為說明根據本發明之技術的用於圖6之像素摻合的第一三角形分區之另外細節的概念圖。

圖7B為說明根據本發明之技術的用於圖6之像素摻合的第二三角形分區之另外細節的概念圖。

圖7C為說明根據本發明之技術的使用圖6之像素摻合形成之區塊的另外細節的概念圖。

圖8為說明根據本發明之技術的用於編碼當前區塊的實例方法之流程圖。

圖9為說明根據本發明之技術的用於解碼視訊資料之當前區塊的實例方法之流程圖。

圖10為說明根據本發明之技術的運用YUV 4:2:0取樣格式之一權重集合的用於視訊資料之區塊之色度分量的像素摻合的實例程序的流程圖。

圖11為說明用於使用框內預測產生預測區塊之色度樣本之實例程序的流程圖。

982:步驟

984:步驟

986:步驟

Claims

一種處理視訊資料之方法，該方法包含：由實施於電路系統中之一或多個處理器產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；由該一或多個處理器基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及由該一或多個處理器在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中應用像素摻合包含分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。
如請求項1之方法，其中判定加權平均值包含藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項1之方法，其中判定加權平均值包含藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項1之方法，其中判定加權平均值包含藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項1之方法，其中判定加權平均值包含藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項1之方法，其中判定加權平均值包含藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項1之方法，其包含：由該一或多個處理器解碼用於視訊資料之該區塊的一殘餘區塊；及由該一或多個處理器組合該經預測區塊及該殘餘區塊以解碼視訊資料之該區塊。
如請求項1之方法，其包含：由該一或多個處理器基於視訊資料之該區塊與該經預測區塊之間的差產生用於視訊資料之該區塊的一殘餘區塊；及由該一或多個處理器編碼該殘餘區塊。
一種用於處理視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存視訊資料；及一或多個處理器，其實施於電路系統中且經組態以：產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中，為應用像素摻合，該一或多個處理器經組態以分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。
如請求項9之裝置，其中，為判定加權平均值，該一或多個處理器經組態以藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項9之裝置，其中，為判定加權平均值，該一或多個處理器經組態以藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項9之裝置，其中，為判定加權平均值，該一或多個處理器經組態以藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項9之裝置，其中，為判定加權平均值，該一或多個處理器經組態以藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項9之裝置，其中，為判定加權平均值，該一或多個處理器經組態以藉由計算以下方程式判定該經預測區塊之一像素值P：
，其中P₁ 為該第一三角形分區之一第一同置經運動補償像素之一第一參考像素值，且其中P₂ 為該第二三角形分區之一第二同置經運動補償像素之一第二參考像素值。
如請求項9之裝置，其中該一或多個處理器經進一步組態以：解碼用於視訊資料之該區塊的一殘餘區塊；及組合該經預測區塊及該殘餘區塊以解碼視訊資料之該區塊。
如請求項9之裝置，其中該一或多個處理器經進一步組態以：基於視訊資料之該區塊與該經預測區塊之間的差產生用於視訊資料之該區塊的一殘餘區塊；及編碼該殘餘區塊。
如請求項9之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
一種電腦可讀儲存媒體，其上儲存有指令，該等指令在經執行時使一或多個處理器進行以下操作：產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元；基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區；及在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊，其中使該一或多個處理器應用像素摻合的該等指令使該一或多個處理器分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值。
一種用於寫碼視訊資料之裝置，該裝置包含：用於產生用於視訊資料之一區塊的呈一YUV 4:4:4格式或一YUV 4:2:0格式之一色度分量的一寫碼單元的構件；用於基於一三角預測單元模式之啟用，將用於該色度分量之該寫碼單元***成一第一三角形分區及一第二三角形分區的構件；及用於在該一或多個處理器產生用於呈該YUV 4:2:0格式之該色度分量的該寫碼單元時及在該一或多個處理器產生用於呈該YUV 4:4:4格式之該色度分量的該寫碼單元時，使用該YUV 4:2:0格式之一權重集合來應用像素摻合，以產生用於該色度分量之一經預測區塊的構件，其中該用於應用像素摻合的構件包含用於分別基於該第一三角形分區及該第二三角形分區之運動資訊，使用該YUV 4:2:0格式之該權重集合判定該第一三角形分區及該第二三角形分區之同置經運動補償像素的加權平均值的構件。