TW201924336A

TW201924336A - 利用內容適應性空間變化量化之視訊寫碼

Info

Publication number: TW201924336A
Application number: TW107135858A
Authority: TW
Inventors: 丹姆裘瑞斯諾斯基; 阿達許克里許納瑞瑪蘇布雷蒙尼安
Original assignee: 美商高通公司
Priority date: 2017-10-12
Filing date: 2018-10-11
Publication date: 2019-06-16
Also published as: US20220124332A1; US11095896B2; SG11202001990YA; CN111194551A; TWI801432B; CN111194551B; US11765355B2; US20190116361A1; WO2019075060A1; BR112020006985A2; EP3695601A1

Abstract

本發明提供一種視訊編碼器，其可經組態以應用一多階段量化程序，其中首先使用自區塊之樣本之統計導出之一有效量化參數來量化殘餘。隨後使用跨一圖像均勻之一基礎量化參數來進一步量化該殘餘。一視訊解碼器可經組態以使用該基礎量化參數來解碼視訊資料。該視訊解碼器可進一步經組態以自該區塊之經解碼樣本之統計估計該有效量化參數。該視訊解碼器接著可使用該經估計之有效量化參數來判定其他寫碼工具(包括濾波器)之參數。

Description

利用內容適應性空間變化量化之視訊寫碼

本發明係關於視訊寫碼及/或視訊處理。

數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、進階視訊寫碼(AVC)第10部分、ITU-T H.265、高效率視訊寫碼(HEVC)所定義的標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。

視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如，視訊圖框或視訊圖框之一部分)可分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。

空間或時間預測產生用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼經框間寫碼之區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。

可由色域來定義可捕獲、寫碼及顯示之色值之總數目。色域係指器件可捕獲(例如，攝影機)或再現(例如，顯示器)之色彩之範圍。常常，色域在器件之間係不同的。針對視訊寫碼，可使用視訊資料之預定義色域，以使得視訊寫碼程序中之每一器件可經組態以在同一色域中處理像素值。一些色域係用比傳統上已用於視訊寫碼之色域大的色彩範圍進行定義。具有較大色彩範圍之此等色域可被稱作廣色域(WCG)。

視訊資料之另一態樣係動態範圍。動態範圍通常經定義為視訊信號之最大亮度與最小亮度(例如，照度)之間的比。認為過去所使用的常用視訊資料之動態範圍具有標準動態範圍(SDR)。視訊資料之其他實例規範定義具有較大的最大亮度與最小亮度之比的色彩資料。此視訊資料可描述為具有高動態範圍(HDR)。

本發明描述應用於視訊寫碼系統之寫碼(例如，編碼或解碼)迴路之實例處理方法(及經組態以執行該等方法之器件)。本發明之技術適用於在視訊資料之動態範圍內對具有視訊資料之非均勻分佈的感知到的恰可辨差異(例如信號對雜訊比)的視訊資料表示進行寫碼。視訊編碼器可經組態以應用多階段量化程序，其中首先使用自區塊之樣本之統計導出之有效量化參數來量化殘餘。隨後使用跨圖像均勻之基礎量化參數來進一步量化該殘餘。視訊解碼器可經組態以使用該基礎量化參數來解碼視訊資料。該視訊解碼器可進一步經組態以自該區塊之經解碼樣本之統計估計該有效量化參數。該視訊解碼器接著可使用該經估計之有效量化參數來判定其他寫碼工具(包括濾波器)之參數。以此方式，在未傳信有效量化參數時，保存傳信附加項，但在解碼器側對其進行估計。

在一個實例中，本發明描述一種解碼視訊資料之方法，該方法包含：接收視訊資料之經編碼區塊，該視訊資料之該經編碼區塊已使用有效量化參數及基礎量化參數編碼，其中該有效量化參數為添加至基礎量化參數之量化參數偏移的函數；判定用以編碼視訊資料之經編碼區塊之基礎量化參數；使用該基礎量化參數解碼視訊資料之經編碼區塊以建立視訊資料之經解碼區塊；基於與視訊資料之經解碼區塊相關聯的統計判定用於視訊資料之經解碼區塊之量化參數偏移的估計；將量化參數偏移之估計添加至基礎量化參數以建立有效量化參數之估計；及根據有效量化參數之估計對視訊資料之經解碼區塊執行一或多個濾波操作。

在另一實例中，本發明描述一種編碼視訊資料之方法，該方法包含：判定用於視訊資料區塊之基礎量化參數；基於與視訊資料區塊相關聯之統計判定用於該視訊資料區塊的量化參數偏移；將量化參數偏移添加至基礎量化參數以建立有效量化參數；及使用有效量化參數及基礎量化參數編碼視訊資料區塊。

在另一實例中，本發明描述一種經組態以解碼視訊資料之裝置，該裝置包含經組態以儲存視訊資料之經編碼區塊的記憶體，及與該記憶體通信的一或多個處理器，該一或多個處理器經組態以：接收視訊資料之經編碼區塊；該視訊資料之經編碼區塊已使用有效量化參數及基礎量化參數編碼，其中該有效量化參數為添加至基礎量化參數之量化參數偏移的函數；判定用以編碼視訊資料之經編碼區塊之基礎量化參數；使用該基礎量化參數解碼視訊資料之經編碼區塊以建立視訊資料之經解碼區塊；基於與視訊資料之經解碼區塊相關聯的統計判定用於視訊資料之經解碼區塊之量化參數偏移的估計；將量化參數偏移之估計添加至基礎量化參數以建立有效量化參數之估計；及根據有效量化參數之估計對視訊資料之經解碼區塊執行一或多個濾波操作。

在另一實例中，本發明描述一種經組態以編碼視訊資料之裝置，該裝置包含經組態以儲存視訊資料區塊之記憶體，及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：判定用於視訊資料區塊之基礎量化參數；基於與該視訊資料區塊相關聯的統計判定用於視訊資料區塊之量化參數偏移；將量化參數偏移添加至基礎量化參數以建立有效量化參數；及使用有效量化參數及基礎量化參數來編碼視訊資料區塊。

在另一實例中，本發明描述一種經組態以解碼視訊資料之裝置，該裝置包含：用於接收視訊資料之經編碼區塊的構件，該視訊資料之該經編碼區塊已使用有效量化參數及基礎量化參數編碼，其中該有效量化參數為添加至基礎量化參數之量化參數偏移的函數；用於判定用以編碼視訊資料之經編碼區塊之基礎量化參數的構件；用於使用該基礎量化參數解碼視訊資料之經編碼區塊以建立視訊資料之經解碼區塊的構件；用於基於與視訊資料之經解碼區塊相關聯的統計判定用於視訊資料之經解碼區塊之量化參數偏移的估計的構件；用於將量化參數偏移之估計添加至基礎量化參數以建立有效量化參數之估計的構件；及用於根據有效量化參數之估計對視訊資料之經解碼區塊執行一或多個濾波操作的構件。

在另一實例中，本發明描述一種經組態以編碼視訊資料之裝置，該裝置包含：用於判定用於視訊資料區塊之基礎量化參數的構件；用於基於與視訊資料區塊相關聯之統計判定用於該視訊資料區塊的量化參數偏移的構件；用於將量化參數偏移添加至基礎量化參數以建立有效量化參數的構件；及用於使用有效量化參數及基礎量化參數編碼視訊資料區塊的構件。

在另一實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使一或多個處理器：接收視訊資料之經編碼區塊，該視訊資料之該經編碼區塊已使用有效量化參數及基礎量化參數編碼，其中該有效量化參數為添加至基礎量化參數之量化參數偏移的函數；判定用以編碼視訊資料之經編碼區塊之基礎量化參數；使用該基礎量化參數解碼視訊資料之經編碼區塊以建立視訊資料之經解碼區塊；基於與視訊資料之經解碼區塊相關聯的統計判定用於視訊資料之經解碼區塊之量化參數偏移的估計；將量化參數偏移之估計添加至基礎量化參數以建立有效量化參數之估計；及根據有效量化參數之估計對視訊資料之經解碼區塊執行一或多個濾波操作。

在另一實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使一或多個處理器：判定用於視訊資料區塊之基礎量化參數；基於與視訊資料區塊相關聯之統計判定用於該視訊資料區塊的量化參數偏移；將量化參數偏移添加至基礎量化參數以建立有效量化參數；及使用有效量化參數及基礎量化參數編碼視訊資料區塊。

在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。

本申請案主張2017年10月12日申請的美國臨時申請案第62/571,732號之權益，該申請案之全部內容以引用之方式併入本文中。

本發明係關於對具有高動態範圍(HDR)及廣色域(WCG)表示之視訊資料的處理及/或寫碼。更具體言之，本發明之技術包括在未對量化參數(例如，由δQP語法元素表示之量化參數的變化)進行顯式傳信的情況下的內容適應性空間改變量化以高效壓縮HDR/WCG視訊信號。本文所描述之技術及器件可改良用於寫碼HDR及WCG視訊資料之視訊寫碼系統的壓縮效率。本發明之技術可用於進階視訊編解碼器之上下文中，諸如HEVC之擴展或視訊寫碼標準之下一代中。

包括混合式視訊寫碼標準之視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)定案新的視訊寫碼標準(亦即，高效率視訊寫碼(HEVC，亦稱作H.265))之設計。Bross等人的被稱作HEVC工作草案10 (WD10)之HEVC草案規範「High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)」（ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11之關於視訊寫碼之聯合合作小組(JCT-VC)，第12次會議：瑞士日內瓦，2013年1月14日至23日，JCTVC-L1003v34）可自http://phenix.int-evry.fr/jct/doc_end_user/ documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。定案之HEVC標準被稱作HEVC版本1。定案之HEVC標準文件在2013年4月公佈為「ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Telecommunication Standardization Sector of International Telecommunication Union (ITU)」，且定案之HEVC標準之另一版本係在2014年10月公佈。H.265/HEVC說明書文本之複本可自http://www.itu.int/rec/T-REC-H.265-201504-I/en下載。

ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的壓縮能力之未來視訊寫碼技術標準化的潛在需要。該等小組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。且參考軟體之最新版本，亦即聯合探索模型7 (JEM7)可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/下載。JEM7之此演算法描述可被稱作J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce (JVET-C1001，托里諾，2017年7月)的「Algorithm description of Joint Exploration Test Model 7 (JEM7)」中。

最近，被稱作通用視訊寫碼(VVC)標準之新的視訊寫碼標準處於由VCEG及MPEG之聯合視訊專家小組(JVET)進行的開發中。VVC之早期草案可在文件JVET-J1001「通用視訊寫碼(草案1)」中獲得且其演算法描述可在文件JVET-J1002「Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)」中獲得。

圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源器件12，其提供稍後時間將由目的地器件14解碼的經編碼視訊資料。特定言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」墊、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，可裝備源器件12及目的地器件14以用於無線通信。

目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，有線或無線通信協定)調變經編碼視訊資料，且將其傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。

在其他實例中，電腦可讀媒體16可包括非暫時性儲存媒體，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件12接收經編碼視訊資料且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解為包括各種形式之一或多個電腦可讀媒體。

在一些實例中，可自輸出介面22將經編碼資料輸出至儲存裝置。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在再一實例中，儲存裝置可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。其可包括無線頻道(例如Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)，或該兩者的適合於存取儲存於檔案伺服器上之經編碼視訊資料的組合。經編碼視訊資料自儲存器件的傳輸可為串流傳輸、下載傳輸或其組合。

本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態適應性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。

在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、動態範圍調整(DRA)單元19、視訊解碼器30及顯示器件32。根據本發明，源器件12之DRA單元19可經組態以實施本發明之技術，包括應用於特定色彩空間中之視訊資料以實現HDR及WCG視訊資料之更高效壓縮的傳信及相關操作。在一些實例中，DRA單元19可與視訊編碼器20分離。在其他實例中，DRA單元19可為視訊編碼器20之部分。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。

圖1之所說明系統10僅為一個實例。用於處理及寫碼HDR及WCG視訊資料之技術可由任何數位視訊編碼及/或視訊解碼器件來執行。此外，本發明之一些實例技術亦可由視訊預處理器及/或視訊後處理器執行。視訊預處理器可為任何經組態以在編碼之前(例如，在HEVC、VVC或其他編碼之前)處理視訊資料的器件。視訊後處理器可為任何經組態以在解碼之後(例如，在HEVC、VVC或其他解碼之後)處理視訊資料的器件。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以用於傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中，器件12、14可以實質上對稱之方式操作，以使得器件12、14中之每一者包括視訊編碼及解碼組件，以及視訊預處理器及視訊後處理器(例如，分別為DRA單元19及反DRA單元31)。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳播以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。

源器件12之視訊源18可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可適用於視訊寫碼及視訊處理，一般而言，且可應用於無線及/或有線應用。在每一情況下，所捕捉、預先捕捉或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可接著由輸出介面22輸出至電腦可讀媒體16上。

目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。顯示器件32將經解碼視訊資料顯示給使用者，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。

視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。

DRA單元19及反DRA單元31可各自實施為多種合適的編碼器電路中之任一者，諸如一或多個微處理器、DSP、ASIC、FPGA、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令，以執行本發明之技術。

在一些實例中，視訊編碼器20及視訊解碼器30根據視訊壓縮標準(諸如，ITU-T H.265/HEVC、VVC或其他下一代視訊寫碼標準)操作。

在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，表示為S_L 、S_Cb 及S_Cr 。S_L 為明度樣本之二維陣列(亦即，區塊)。S_Cb 為Cb彩度樣本之二維陣列。S_Cr 為Cr彩度樣本之二維陣列。彩度樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。

視訊編碼器20可產生一組寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼該等寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他視訊寫碼標準的巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。

本發明可使用術語「視訊單元」或「視訊區塊」來指樣本之一或多個區塊，及用於寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括HEVC中之CTU、CU、PU、變換單元(TU)，或其他視訊寫碼標準中之巨集區塊、巨集區塊分區等。

為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此名稱為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含明度樣本之寫碼區塊及具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的色度樣本之兩個對應寫碼區塊，以及用於寫碼該寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本的語法結構。

視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含圖像之明度樣本的預測區塊、色度樣本之兩個對應預測區塊及用以對預測區塊樣本進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單一預測區塊，及用以對預測區塊樣本進行預測之語法結構。視訊編碼器20可產生CU之每一PU的明度、Cb及Cr預測區塊之預測性明度、Cb及Cr區塊。

在JEM7中，可使用四分樹二元樹(QTBT)分割結構而非使用上述HEVC之四分樹分割結構。QTBT結構移除多個分區類型之概念。亦即，QTBT結構移除CU、PU及TU概念之分離，且支援CU分區形狀之較多可撓性。在QTBT區塊結構中，CU可具有正方形或矩形形狀。在一個實例中，CU為按四分樹結構之第一分區。四分樹葉節點藉由二元樹結構進一步分割。

在一些實例中，存在兩種***類型：對稱水平***及對稱豎直***。二元樹葉節點被稱作CU，且該分段(亦即，CU)用於預測及變換處理而無需任何進一步分割。此意謂CU、PU及TU在QTBT寫碼區塊結構中具有相同區塊大小。在JEM中，CU有時由具有不同色彩分量之寫碼區塊(CB)組成。舉例而言，在4:2:0色度格式之P及B圖塊的情況下，一個CU含有一個明度CB及兩個色度CB，且有時由具有單一分量之CB組成。舉例而言，在I圖塊的情況下，一個CU含有僅一個明度CB或僅兩個色度CB。

在一些實例中，視訊編碼器20及視訊解碼器30可經組態以根據JEM/VVC標準操作。根據JEM/VVC，視訊寫碼器(諸如視訊編碼器20)將圖像分割成複數個CU。JEM之實例QTBT結構包括兩個層級：根據四分樹分割分割的第一層級，及根據二元樹分割分割的第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。

在一些實例中，視訊編碼器20及視訊解碼器30可使用單一QTBT結構來表示照度及彩度分量中之每一者，而在其他實例中，視訊編碼器20及視訊解碼器30可使用兩個或大於兩個QTBT結構，諸如用於照度分量之一個QTBT結構及用於兩個彩度分量之另一QTBT結構(或用於各別彩度分量之兩個QTBT結構)。

視訊編碼器20及視訊解碼器30可經組態以使用根據HEVC之四分樹分割、根據JEM/VVC之QTBT分割，或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構130及對應寫碼樹型單元(CTU) 132之概念圖。實線表示四分樹***，且點線指示二元樹***。在二元樹之每一***(亦即，非葉)節點中，一個旗標經傳信以指示使用哪一***類型(亦即，水平或豎直)，其中在此實例中，0指示水平***且1指示豎直***。對於四分樹***，不存在對於指示***類型之需要，此係由於四分樹節點將區塊水平地及豎直地***成具有相等大小之4個子區塊。因此，視訊編碼器20可編碼，且視訊解碼器30可解碼用於QTBT結構130之區域樹層級(亦即，實線)的語法元素(諸如***資訊)及用於QTBT結構130之預測樹層級(亦即，虛線)的語法元素(諸如***資訊)。視訊編碼器20可編碼，且視訊解碼器30可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。

一般而言，圖2B之CTU 132可與定義對應於在第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。

對應於CTU之QTBT結構的根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則其可藉由各別二元樹進一步分割。一個節點之二元樹***可重複，直至由***產生之節點達到最小允許二元樹葉節點大小(MinBTSize)，或最大允許二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二元樹葉節點被稱為寫碼單元(CU)，其用於預測(例如，圖像內或圖像間預測)及變換而無需任何進一步分割。如上文所論述，CU亦可被稱作「視訊區塊」或「區塊」。

在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則該節點將不會由二元樹進一步***，此係由於大小超過MaxBTSize (亦即，在此實例中，64×64)。否則，葉四分樹節點將藉由二元樹進一步分割。因此，四分樹葉節點亦為二元樹之根節點並具有為0之二元樹深度。當二元樹深度達到MaxBTDepth (在此實例中為4)時，不准許進一步***。當二元樹節點具有等於MinBTSize (在此實例中為4)之寬度時，其意指不准許進一步水平***。類似地，具有等於MinBTSize之高度的二元樹節點意指對於彼二元樹節點不准許進一步豎直***。如上文所提及，二元樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。

視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。

若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本而產生PU之預測性區塊。框間預測可為單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。為執行單向預測或雙向預測，視訊編碼器20可產生當前圖塊之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。

參考圖像清單中之每一者可包括一或多個參考圖像。當使用單向預測時，視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中的參考圖像，以判定參考圖像內之參考位置。此外，當使用單向預測時，視訊編碼器20可至少部分地基於對應於參考位置之樣本產生PU之預測性樣本區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位置之間的空間位移之單一運動向量。為了指示PU之預測區塊與參考位置之間的空間位移，運動向量可包括指定PU之預測區塊與參考位置之間的水平位移之水平分量，且可包括指定PU之預測區塊與參考位置之間的豎直位移之豎直分量。

當使用雙向預測編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中的第一參考位置，及RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20可接著至少部分地基於對應於第一及第二參考位置之樣本而產生PU之預測性區塊。此外，當使用雙向預測編碼PU時，視訊編碼器20可產生指示PU之樣本區塊與第一參考位置之間的空間位移的第一運動，及指示PU之預測區塊與第二參考位置之間的空間位移的第二運動。

在一些實例中，JEM/VVC亦提供一仿射(affine)運動補償模式，其可被視為一框間預測模式。在仿射運動補償模式中，視訊編碼器20可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。

在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之各樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。

此外，視訊編碼器20可使用四分樹分割將CU之明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊分解成一或多個明度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊可為於其上應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。

視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為一純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。

在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。此外，視訊編碼器20可反量化變換係數，並將反變換應用於變換係數，以便重建構圖像之CU的TU之變換區塊。視訊編碼器20可使用CU之TU的經重建構變換區塊及CU之PU的預測性區塊來重建構CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊編碼器20可重建構圖像。視訊編碼器20可將經重建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可將DPB中之經重建構之圖像用於進行框間預測及框內預測。

在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化變換係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。

視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包含指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。

不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP等等。PPS為可含有適用於零或多個完整經寫碼圖像之語法元素的語法結構。封裝視訊寫碼資料之RBSP (與參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。囊封經寫碼圖塊之NAL單元在本文中可被稱作經寫碼圖塊NAL單元。用於經寫碼圖塊之RBSP可包括圖塊標頭及圖塊資料。

視訊解碼器30可接收位元串流。此外，視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分地基於自位元串流解碼之語法元素重建構視訊資料之圖像。重建構視訊資料之程序可與由視訊編碼器20執行之程序大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。視訊解碼器30可使用PU之一或多個運動向量產生PU之預測性區塊。

此外，視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反向變換以重建構與當前CU之TU相關聯的變換區塊。藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本，視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。視訊解碼器30可將經解碼圖像儲存於經解碼圖像緩衝器中，以用於輸出及/或用於在解碼其他圖像程序中使用。

預期下一代視訊應用將對表示具有HDR及/或(WCG之經捕捉景物的視訊資料進行操作。所利用動態範圍及色域之參數為視訊內容之兩個獨立屬性，且出於數位電視及多媒體服務之目的，其規範由若干國際標準界定。舉例而言，ITU-R Rec. BT.709，「Parameter values for the HDTV standards for production and international programme exchange」定義用於HDTV (高清晰度電視)之參數，諸如標準動態範圍(SDR)及標準色域，且ITU-R Rec. BT.2020，「Parameter values for ultra-high definition television systems for production and international programme exchange」指定諸如HDR及WCG之UHDTV (超高清晰度電視)參數。亦存在其他標準開發組織(SDO)文獻，其指定其他系統中之動態範圍及色域屬性，例如DCI-P3色域經定義於SMPTE-231-2 (運動圖像及電視工程師協會)中且HDR之一些參數經定義於STMPTE-2084中。在下文中提供視訊資料之動態範圍及色域的簡要描述。

動態範圍通常經定義為視訊信號之最大亮度與最小亮度(例如，照度)之間的比。亦可以「f光闌」為單位量測動態範圍，其中一個f光闌對應於信號動態範圍之加倍。在MPEG之定義中，HDR內容為以大於16個f光闌的亮度變化為特徵的內容。在一些術語中，10個f光闌與16個f光闌之間的位準被視為中間動態範圍，但在其他定義中被視為HDR。在本發明之一些實例中，HDR視訊內容可為相較於傳統使用之具有標準動態範圍之視訊內容(例如，如藉由ITU-R Rec. BT.709所指定之視訊內容)具有較高動態範圍的任何視訊內容。

人類視覺系統(HVS)能夠感知比SDR內容及HDR內容大很多的動態範圍。然而，HVS包括適應機構，其將HVS之動態範圍縮窄至所謂的同時範圍。同時範圍之寬度可取決於當前照明條件(例如，當前亮度)。由HDTV之SDR、UHDTV之預期HDR及HVS動態範圍提供之動態範圍之觀測展示於圖3中，但精確範圍可基於每一個人及顯示器而改變。

一些實例視訊應用及服務由ITU Rec.709調節且提供SDR，其通常支援每m2大約0.1至100燭光(cd)之範圍的亮度(例如，照度)(常常被稱作「尼特(nit)」)，從而導致小於10個f光闌。預期一些實例下一代視訊服務將提供至多16個f光闌之動態範圍。儘管用於此內容之詳細規格目前正在研發，但一些初始參數已於SMPTE-2084及ITU-R Rec.2020中予以指定。

除HDR以外，更逼真視訊體驗之另一態樣係色彩維度。色彩維度通常由色域定義。圖4為展示SDR色域(基於BT.709色彩原色之三角形100)及用於UHDTV之較廣色域(基於BT.2020色彩原色之三角形102)的概念圖。圖3亦描繪所謂的光譜軌跡(由舌片形狀之區域104定界)，從而表示天然色之界限。如圖3所說明，自BT.709 (三角形100)移動至BT.2020 (三角形102)，色彩原色旨在提供具有約多於70%之色彩的UHDTV服務。D65指定用於BT.709及/或BT.2020規範之實例白色。

用於DCI-P3、BT.709及BT.202色彩空間之色域規範之實例展示於表1中。
表 1- 色域參數

如表1中可見，色域可由白點之X及Y值並由原色(例如，紅(R)、綠(G)及藍(B))之X及Y值定義。X及Y值表示色彩之色度(X)及亮度(Y)，如由CIE 1931色彩空間定義。CIE 1931色彩空間定義純色(例如，就波長而言)之間的連接及人眼如何感知此類色彩。

通常在每分量(甚至浮點)極高精度下(在4:4:4色度次取樣格式及極寬色彩空間(例如，CIE XYZ)之情況下)獲取及儲存HDR/WCG視訊資料。此表示以高精度為目標且在數學上幾乎無損。然而，用於儲存HDR/WCG視訊資料之此格式可包括大量冗餘且對於壓縮目的而言可能非最佳的。具有基於HVS之假定的較低精確度格式通常用於目前先進技術的視訊應用。

出於壓縮目的之視訊資料格式轉換程序之一個實例包括三個主要程序，如圖5中所示。圖5之該等技術可由源器件12執行。線性RGB資料110可為HDR/WCG視訊資料且可以浮點表示儲存。可使用用於動態範圍壓縮之非線性轉移函數(TF) 112來壓縮線性RGB資料110。轉移函數112可使用任何數目之非線性轉移函數(例如，如SMPTE-2084中所定義之PQ TF)來壓縮線性RGB資料110。在一些實例中，色彩轉換程序114將經壓縮之資料轉換成較適合於由混合型視訊編碼器壓縮的更緊密或穩固之色彩空間(例如，YUV或YCrCb色彩空間)。接著使用浮點至整數表示量化單元116將此資料量化以產生經轉換HDR'資料118。在此實例中，HDR'資料118呈整數表示。現今HDR'資料呈較適合於由混合型視訊編碼器(例如，應用HEVC技術之視訊編碼器20)來壓縮的格式。圖5中所描繪之程序的次序係作為一實例給出，且在其他應用中可改變。舉例而言，色彩轉換可先於TF程序。在一些實例中，例如空間次取樣之額外處理可應用於色彩分量。

在解碼器側處之反轉換描繪於圖6中。圖6之技術可由目的地器件14執行。經轉換HDR'資料120可在目的地器件14處經由使用混合視訊解碼器(例如，應用HEVC技術之視訊解碼器30)解碼視訊資料而獲得。接著可由反量化單元122來反量化HDR'資料120。接著可將反色彩轉換程序124應用於經反量化HDR'資料。反色彩轉換程序124可為色彩轉換程序114之逆轉。舉例而言，反色彩轉換程序124可將HDR'資料自YCrCb格式轉換回至RGB格式。接下來，可將反轉移函數126應用於資料以添加回由轉移函數112壓縮之動態範圍，從而重建線性RGB資料128。

現將更詳細地論述圖5中所描繪之技術。將呈現於影像容器中之數位值映射至光能且自光能映射該等數位值可能涉及「轉移函數」的使用。一般而言，將轉移函數應用於資料(例如HDR/WCG視訊資料)以壓縮資料之動態範圍。此壓縮允許用較少位元來表示資料。在一個實例中，轉移函數可為一維(1D)非線性函數且可反映終端使用者顯示器之電光轉移函數(EOTF)的倒數，例如，如針對ITU-R BT. 1886中之SDR所指定(亦於Rec. 709中所定義)。在另一實例中，轉移函數可近似對亮度變換之HVS感知，例如，SMPTE-2084中針對HDR所指定之PQ轉移函數。OETF之反向程序為EOTF (電光轉移函數)，其將碼層級映射回至照度。圖7展示用以壓縮某些色彩容器之動態範圍的非線性轉移函數的若干實例。該等轉移函數亦可單獨地應用於每一R、G及B分量。

ITU-R推薦BT.1886中所指定之參考EOTF係由以下方程式定義：

其中：
L ：以cd/m2為單位之螢幕照度
L_W ：白色之螢幕照度
L_B ：黑色之螢幕照度
V ：輸入視訊信號層級(經標準化，在V=0處為黑色，在V = 1處成白色)。對於按推薦ITU-RBT.709掌握之內容，10位元數位碼值「D」按以下方程式映射成V值：V = (D -64)/876
γ：功率函數之指數，γ=2.404
a ：使用者增益之變數(傳統「對比」控制)

b ：使用者黑色層級上升之變數(傳統「亮度」控制)

以上變數a 及b 可藉由解出以下方程式而導出，使得V = 1得出L =L_W 且使得V = 0得到L =L_B ：

為了更有效率地支援較高動態範圍，SMPTE最近已標準化被稱作SMPTE ST-2084之新轉移函數。ST2084之規範如下定義EOTF應用。將TF應用於標準化線性R、G、B值，此導致R'G'B'之非線性表示。ST-2084藉由NORM=10000定義標準化，其與10000尼特(cd/m2)之峰值亮度相關聯。
○ R' = PQ_TF(max(0, min(R/NORM,1)) )
○ G' = PQ_TF(max(0, min(G/NORM,1)) )
○ B' = PQ_TF(max(0, min(B/NORM,1)) )
其中

通常，EOTF經定義為具有浮點準確度之函數，因此若應用反向TF (所謂的OETF)，則無錯誤經引入至具有此非線性之信號。ST-2084中所指定之反向TF (OETF)經定義為inversePQ函數：
○ R = 10000*inversePQ_TF(R')
○ G = 10000*inversePQ_TF(G')
○ B = 10000*inversePQ_TF(B')
其中

應注意，EOTF及OETF為非常活躍的研究及標準化之個體，且一些視訊寫碼系統中所利用之TF可不同於ST-2084。

在本發明之上下文中，術語「信號值」或「色彩值」可用於描述對應於影像元件的特定色彩分量(諸如，R、G、B或Y)之值的照度位準。信號值通常表示線性光階(照度值)。術語「碼層級」或「數位碼值」可指影像信號值之數位表示。通常，此數位表示表示非線性信號值。EOTF表示提供至顯示器件(例如，顯示器件32)之非線性信號值與由顯示器件產生之線性色彩值之間的關係。

RGB資料通常被用作輸入色彩空間，此係因為RGB係通常藉由影像捕捉感測器產生之資料類型。然而，RGB色彩空間在其分量當中具有高冗餘且對於緊密表示而言並非最佳的。為達成更緊密且更穩固之表示，RGB分量通常經轉換(例如，執行色彩變換)至更適合於壓縮之更不相關色彩空間(例如，YCbCr)。YCbCr色彩空間分離不同的較不相關分量中的呈照度(Y)形式之亮度及色彩資訊(CrCb)。在此上下文中，穩固表示可指在以受限位元速率進行壓縮時特徵為較高階錯誤彈性之色彩空間。

對於現代視訊寫碼系統，通常使用之色彩空位為YCbCr，如ITU-R BT.709中所指定。BT.709標準中之YCbCr色彩空間指定自R'G'B'至Y'CbCr之以下轉換程序(非恆定照度表示)：
a. Y' = 0.2126 * R' + 0.7152 * G' + 0.0722 * B'
b.
c.

以上程序亦可使用避免Cb及Cr分量之除法的以下近似大致轉換來實施：
a. Y' = 0.212600 * R' + 0.715200 * G' + 0.072200 * B'
b. Cb = -0.114572 * R' - 0.385428 * G' + 0.500000 * B'
c. Cr = 0.500000 * R' - 0.454153 * G' - 0.045847 * B'

ITU-R BT.2020標準指定自R'G'B'至Y'CbCr (非恆定照度表示)之以下轉換過程：
a. Y' = 0.2627 * R' + 0.6780 * G' + 0.0593 * B'
b.
c.

以上程序亦可使用避免Cb及Cr分量之除法的以下近似大致轉換來實施：
a. Y' = 0.262700 * R' + 0.678000 * G' + 0.059300 * B'
b. Cb = -0.139630 * R' - 0.360370 * G' + 0.500000 * B'
c. Cr = 0.500000 * R' - 0.459786 * G' - 0.040214 * B'

在色彩變換之後，仍然可以高位元深度(例如，浮點準確度)來表示目標色彩空間中之輸入資料。可例如使用量化程序將高位元深度資料轉換為目標位元深度。某些研究展示，10位元至12位元準確度結合PQ轉移足以提供具有低於恰可辨差異(JND)之失真的16f光闌之HDR資料。一般而言，JND係為了使差異可辨(例如，藉由HVS)而必須改變的某物(例如，視訊資料)之量。以10個位元準確度表示之資料可進一步藉由目前先進技術視訊寫碼解決方案之大部分寫碼。此量化為有損寫碼之元素且為引入至經轉換資料之不準確度的來源。

應用至目標色彩空間(在此實例中，YCbCr)中之碼字的此類量化之實例展示在下文中。將以浮點準確度表示之輸入值YCbCr轉換成Y值之固定位元深度BitDepthY及色度值(Cb、Cr)之固定位元深度BitDepthC之信號。
○
○
○
其中
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
若x＜0，則Sign(x)=-1；若x=0，則Sign(x)=0；若x＞0，則Sign(x)=1
Floor( x ) 小於或等於x之最大整數
若x＞=0，則Abs(x)=x；若x＜0，則Abs(x)=-x
Clip1_Y ( x ) = Clip3( 0, ( 1 ＜＜ BitDepth_Y ) - 1, x )
Clip1_C ( x ) = Clip3( 0, ( 1 ＜＜ BitDepth_C ) - 1, x )
若z＜x，則Clip3(x,y,z)=x；若z＞y，則Clip3(x,y,z)=y；否則Clip3(x,y,z)=z

現將描述速率失真最佳化量化器(RDOQ)。大部分目前先進技術的視訊寫碼解決方案(例如，HEVC及開發中之VVC)係基於所謂的混合視訊寫碼方案，其基本上係應用變換係數的純量量化，該等變換係數產生於又藉由在當前經寫碼視訊信號與在解碼器側處可用的參考圖像之間應用時間或空間預測產生的殘餘信號。純量量化應用於編碼器側(例如視訊編碼器20)上且反純量解量化應用於解碼器側(例如視訊解碼器30)上。有損純量量化將失真引入至經重建構信號且需要某些數目之位元以將經量化變換係數以及寫碼模式描述傳遞至解碼器側。

在視訊壓縮技術之演進期間，已開發目標為經量化係數計算之改良的多種方法。一種方法為速率失真最佳化量化(RDOQ)，其係基於修改之RD成本之粗略估計或所選擇變換係數或變換係數群組之移除。RDOQ之目的為找到表示經編碼區塊中之殘餘資料之經量化變換係數的理想或最理想集合。RDOQ計算經編碼區塊中之影像失真(藉由變換係數之量化引入)及編碼對應的經量化變換係數所需之位元的數目。基於此兩個值，編碼器藉由計算RD成本來選擇較好係數值。

編碼器中之RDOQ可包括3個階段：變換係數之量化、係數群組(CG)之消除及最後非零係數之選擇。在第一階段，視訊編碼器藉由沒有零值區之均勻量化器產生變換係數，其引起對當前變換係數之層級值計算。在此之後，視訊編碼器考慮此經量化係數之兩個額外量值：層級 -1 及0 。對於此等3個選項{層級、層級-1、0}中之每一者，視訊編碼器計算編碼具有所選量值之係數的RD成本並選擇具有最低RD成本的係數。另外，一些RDOQ實施可考慮使變換係數群組完全無效，或藉由減少該等群組中之每一者的最後經傳信係數之位置來減小經傳信變換係數群組的大小。在解碼器側處，將反純量量化應用於自位元串流之語法元素導出的經量化變換係數。

用於視訊寫碼之現有轉移函數及色彩變換中之一些可產生視訊資料表示，該視訊資料表示的特徵為在信號表示之動態範圍內之恰可辨差異(JND)臨限值的顯著變化。亦即，與明度及/或色度分量之碼字值的其他範圍相比，明度及/或色度分量之碼字值的一些範圍可具有不同JND臨限值。對於此類表示，在明度值之動態範圍內均勻(例如，在明度之所有碼字值內均勻)的量化方案將引入量化誤差，具有不同的在信號片段(動態範圍之分割區)內的人類感知優點。對信號之此類影響可解釋為在經處理資料範圍內具有產生不相等信號對雜訊比之非均勻量化的處理系統。

此類表示之實例為於非恆定照度(NCL) YCbCr色彩空間中表示之視訊信號，其中色彩原色為ITU-R Rec. BT.2020中所定義，且具有ST-2084轉移函數。如表2中所說明，NCL YCbCR色彩空間為信號之低強度值分配顯著較大量碼字，例如，30%的碼字表示線性光樣本＜10尼特，而高強度樣本(高亮度)係用更小量的碼字表示，例如，25%的碼字係分配給在1000至10000尼特之範圍內的線性光。因此，特徵為對資料之所有範圍進行均勻量化的視訊寫碼系統(例如H.265/HEVC)將引入更多嚴重寫碼偽影至高強度樣本(信號之明亮區域)，其中引入至低強度樣本(相同信號之黑暗區域)的失真將遠低於可辨差異。

表2.線性光強度與SMPTE ST 2084中之碼值之間的關係(位元度 = 10)

實際上，此意謂視訊寫碼系統設計或編碼演算法可得益於調整每一所選擇的視訊資料表示，亦即，每一所選擇的轉移函數及色彩空間。先前已提出以下方法來解決關於上述非最佳感知品質碼字分佈的問題。

在2015年9月D. Rusanovskyy、A. K. Ramasubramonian、D. Bugdayci、S. Lee, J. Sole、M. Karczewicz之VCEG文件COM16-C 1027-E「Dynamic Range Adjustment SEI to enable High Dynamic Range video coding with Backward-Compatible Capability」中，作者提出在視訊寫碼之前將碼字再分佈應用於視訊資料。ST-2084/BT.2020表示中之視訊資料在視訊壓縮之前經歷碼字再分佈。再分佈經由動態範圍調整引入在資料之動態範圍內的感知到的失真(信號對雜訊比)的線性化。得出此再分佈係為了在位元速率約束下改良視覺品質。為了補償再分佈且將資料轉換成原始ST 2084/BT.2020表示，在視訊解碼之後將反向程序應用於資料。

此方法之一個缺陷為，預處理及後處理大體上係與由目前先進技術的編碼器在基於區塊之基礎上所採用的速率失真最佳化處理分離。因此，VCEG文件COM16-C 1027-E中所描述之技術並不會採用對解碼器可用之資訊，諸如由視訊編解碼器之量化方案引入的量化失真的目標圖框速率。

在2015年9月J. Zhao、S.-H. Kim、A. Segall、K. Misra之VCEG文件COM16-C 1030-E之「Performance investigation of high dynamic range and wide color gamut video coding techniques」中，提出用以對準位元速率分配及應用於Y₂₀₂₀ (ST2084/BT2020)與Y₇₀₉ (BT1886/BT 2020)表示上的視訊寫碼之間的視覺感知失真的強度相依空間變化(基於區塊之)量化方案。觀察到為了維持相同層級之用於明度分量之量化，在Y₂₀₂₀ 及Y₇₀₉ 中之信號的量化相差取決於明度之值，以使得：
QP_ Y₂₀₂₀ = QP_Y₇₀₉ -f (Y₂₀₂₀ )

函數f (Y₂₀₂₀ )被認為對於在Y₂₀₂₀ 中之視訊的強度值(亮度等級)為線性，且該函數可近似於：
f (Y₂₀₂₀ ) = max( 0.03* Y₂₀₂₀ - 3, 0 )

所提出的在編碼階段引入的空間變化量化方案被認為能夠改良在ST 2084/BT.2020表示中之經寫碼視訊信號的視覺感知信號對量化雜訊比。

此方法之一個缺陷為QP適應性之基於塊的粒度。通常，在編碼器側處為了壓縮選擇的所利用區塊大小係經由速率失真最佳化程序導出，且可不表示視訊信號之動態範圍特性，因此所選擇的QP設定對於區塊內部之信號將為次佳的。此問題可能對於傾向於採用預測及較大維度之變換區塊大小之下一代視訊寫碼系統變得甚至愈加重要。此設計之另一態樣為將QP自適應參數傳信至解碼器側以供於反向解量化的需要。另外，在編碼器側之量化參數的空間適應性增加編碼最佳化之複雜性且可干擾速率控制演算法。

在「Intensity dependent spatial quantization with application in HEVC」(Matteo Naccari及Marta Mrak，Proc. of IEEE ICME 2013，2013年7月)中，提出強度相依空間量化(IDSQ)感知機構。IDSQ利用人類視覺系統之強度遮蔽並在感知上調整在區塊層級處之信號量化。此論文之作者提出採用迴路內像素域縮放。用於當前經處理區塊之迴路內縮放的參數係自經預測區塊中之明度分量的平均值導出。在解碼器側，執行反縮放，且解碼器自在解碼器側可用的經預測區塊而導出縮放之參數。

類似於「Performance investigation of high dynamic range and wide color gamut video coding techniques」中之技術，此方法之基於區塊之粒度歸因於應用於經處理區塊之所有樣本的次佳縮放參數而限定本方法之效能。所提出之解決方案之另一態樣在於，標度值係自經預測區塊導出且並不反映可能在當前編解碼器區塊與經預測區塊之間發生的信號波動。

「De-quantization and scaling for next generation containers」(J. Zhao、A. Segall, S.-H. Kim、K. Misra (Sharp), JVET文件B0054，2016年1月)解決ST.2084/BT.2020表示中之不均勻感知失真的問題。作者提出採用迴路內強度相依基於塊的變換域縮放。用於當前經處理區塊之所選變換係數(AC係數)的迴路內縮放之參數係根據經預測區塊中之明度分量之平均值及針對當前區塊導出之DC值而導出。在解碼器側，執行反縮放，且解碼器自在解碼器側為可用的經預測區塊且自傳信至解碼器之經量化DC值而導出AC係數縮放之參數。

類似於「Performance investigation of high dynamic range and wide color gamut video coding techniques」及「Intensity dependent spatial quantization with application in HEVC」中之技術，此方法之基於區塊之粒度歸因於應用於經處理區塊之所有樣本的縮放縮放參數之次佳性而限定本方法之效能。所提出之解決方案之另一態樣在於，標度值僅應用於AC變換係數。因此，信號對雜訊比改良不會影響DC值，其降低方案之效能。另外，在一些視訊寫碼系統設計中，在AC值縮放時，例如，在量化程序之後為一連串變換操作的情況下，經量化DC值可能不可用。此提議之另一限制為當編碼器為當前區塊選擇變換跨越或變換/量化旁路模式時，歸因於排除此兩種模式之潛在寫碼增益，因此並不應用次佳的縮放(因此，在解碼器處，縮放並不經定義以用於變換跨越及變換/量化旁路模式)。

在2017年5月15日提交之美國專利申請案第15/595,793號中，描述用於具有非均勻分佈之JD的視訊信號的迴路內樣本處理。本專利申請案描述在像素域、殘餘域或變換域中表示之信號樣本的標度及偏移的應用。提出用於導出標度及偏移之若干演算法。

本發明描述可應用於視訊寫碼系統之視訊寫碼迴路(例如，在視訊編碼及/或解碼程序期間而非在預處理或後處理期間)的若干視訊寫碼及處理技術。本發明之技術包括編碼器側(例如視訊編碼器20)演算法，其具有在未對量化參數(例如，由δQP語法元素表示之量化參數的變化)進行顯式傳信的情況下的內容適應性空間變化量化以更高效壓縮HDR/WCG視訊信號。本發明之技術亦包括解碼器側(例如視訊解碼器30)操作，其改良使用量化參數資訊之視訊解碼工具的效能。此類解碼工具之實例可包括解區塊濾波器、雙向濾波器、適應性迴路濾波器或使用量化資訊作為輸入之其他視訊寫碼工具。

視訊編碼器20及/或視訊解碼器30可經組態以獨立地或以與其他技術之任何組合的方式執行以下技術中之一或多者。

在本發明之一個實例中，視訊編碼器20可經組態以針對視訊資料圖像中之每一視訊資料區塊執行多階段量化程序。下文所描述之技術可應用於視訊資料之明度及色度分量兩者。視訊解碼器可經組態以使用基礎量化參數(QPb)值執行量化。亦即，跨越所有區塊均勻地應用QPb值。對於經提供至待應用於經寫碼區塊Cb之樣本s(Cb)的變換量化的給定基礎量化參數(QPb)值，視訊編碼器20可進一步經組態以利用內容相依QP偏移作為與QPb值的偏差。亦即，對於每一視訊資料區塊，或對於視訊資料區塊之群組，視訊編碼器20可進一步判定基於區塊群組中之區塊的內容的QP偏移。

以此方式，視訊編碼器20可考慮由實際上不同的量化參數(QPe)產生之量化層級LevelX的速率失真最佳化(RDO)選擇。在本發明中，QPe可被稱為有效量化參數。QPe為QP偏移(δQP)加基礎QPb值。視訊編碼器20可使用以下方程式導出當前區塊Cb之QPe：
(1)
其中δQP(Cb)變數係自經寫碼區塊Cb之局部特性(例如統計)導出。舉例而言，視訊編碼器20可經組態以使用區塊Cb之樣本值(例如明度或色度值)之平均值的函數導出區塊Cb之δQP值。在其他實例中，視訊編碼器20可使用區塊Cb之樣本值之其他函數來判定δQP值。舉例而言，視訊編碼器20可使用對區塊Cb之樣本值之二階操作(例如差異)判定δQP值。作為另一實例，視訊編碼器20可使用區塊Cb之樣本值及鄰近區塊之一或多個樣本值的函數判定δQP值。如將在下文更詳細地解釋，視訊編碼器20可經組態以利用QPb值及QPe值兩者量化區塊Cb之殘餘值。因此，針對當前經寫碼區塊Cb導出之殘餘資料r(Cb)係用量化參數QPb寫碼。然而，首先使用量化參數QPe產生引入至殘餘之失真，從而產生變換量化係數tq(Cb)。由於QPe在區塊之間可有所不同，故視訊編碼器20可調整存在於一些色彩表示中存在之變化的JND臨限值，並提供非均勻量化。

在視訊解碼器30處，經量化變換係數tq(Cb)經歷利用基礎量化參數QPb之反量化。視訊解碼器30可自與當前區塊Cb相關聯之語法元素導出基礎量化參數QPb。視訊解碼器30可接收經編碼視訊位元串流中之語法元素。視訊解碼器30接著可對經反量化之變換係數執行一或多個反變換以建立經解碼殘餘。視訊解碼器30接著可執行預測程序(例如框間預測或框內預測)以產生當前區塊Cb之經解碼樣本d(Cb)。

應注意，當重建構區塊之殘餘值時，視訊解碼器30並未使用有效量化參數QPe。因此，殘餘中仍有在編碼期間應用QPe時藉由視訊編碼器20引入之失真，由此改良關於某些色彩空間之不均勻JND臨限值問題，如上文所論述。然而，考慮到殘餘信號的特徵為藉由量化參數QPe引入之失真，該量化參數QPe大於在位元串流傳達且與當前Cb相關聯之QPb值，可調整依賴於由位元串流提供以用於削弱其操作的QP參數的其他解碼工具(例如迴路內濾波、熵解碼等)以改良其效能。此調整係藉由向所考慮的寫碼工具提供由視訊編碼器20應用至Cb之實際QPe的估計來進行。如下文將更詳細地解釋，視訊解碼器30可經組態以自經解碼樣本d(Cb)之統計及位元串流之其他參數導出有效量化參數QPe之估計。以此方式，當QPe之逐塊值未在位元串流中傳信時，保存了位元附加項。

以下部分提供本發明之技術之實施之非限制性實例。首先，將描述視訊編碼器20編碼器側演算法之結構的實例。

圖8為說明可實施本發明之技術的視訊編碼器20之實例的方塊圖。如圖8中所展示，視訊編碼器20接收待編碼之視訊圖框內之視訊資料的當前視訊區塊。根據本發明之技術，由視訊編碼器20接收之視訊資料可為HDR及/或WCG視訊資料。在圖8之實例中，視訊編碼器20包括模式選擇單元40、視訊資料記憶體41、DPB 64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖8中未圖示)以便對區塊邊界進行濾波，以自經重建構視訊中移除區塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除了解區塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器，但若需要，此等濾波器可對求和器50之輸出進行濾波(作為迴路內濾波器)。

視訊資料記憶體41可儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體41中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器64可為參考圖像記憶體，其儲存參考視訊資料以供視訊編碼器20例如以框內或框間寫碼模式在編碼視訊資料時使用。視訊資料記憶體41及經解碼圖像緩衝器64可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)（包括同步DRAM (SDRAM)）、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體41及經解碼圖像緩衝器64。在各種實例中，視訊資料記憶體41可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。

在編碼處理期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測處理單元46可替代地執行所接收視訊區塊相對於在與待寫碼之區塊相同的圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。

此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料區塊分割成子區塊。舉例而言，分割單元48最初可將圖框或圖塊分割成LCU，且基於位元率-失真分析(例如，速率-失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。在其他實例中，分割單元48可根據QTBT分割結構分割輸入視訊資料。

模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分區資訊及其他此類語法資訊)提供至熵編碼單元56。

運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於經解碼圖像緩衝器64中的參考圖像之子整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。

運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，其中的每一者識別儲存於經解碼圖像緩衝器64中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。

由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。

如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定框內預測模式用來編碼當前區塊。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46 (或在一些實例中為模式選擇單元40)可自所測試模式選擇適當框內預測模式來使用。

舉例而言，框內預測處理單元46可使用針對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。

在選擇用於區塊之框內預測模式後，框內預測單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及待用於該等上下文中之每一者的最可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。

視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊(例如，當前區塊Cb之r1(Cb))。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。變換可將殘餘資訊自像素值域轉換為變換域，諸如頻域。變換處理單元52可將所得變換係數tCb發送至量化單元54。

如上文所描述，視訊編碼器20可自當前經寫碼區塊s(Cb)之樣本及經預測樣本p(Cb) (例如，來自框間預測或框內預測之經預測樣本)產生當前經寫碼區塊Cb之殘餘信號r(Cb)。視訊編碼器20可對殘餘r(Cb)執行一或多種前向變換從而產生變換係數t(Cb)。視訊編碼器20接著可在熵編碼之前量化變換係數t(Cb)。量化單元54量化變換係數以進一步減小位元速率。量化程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行掃描。

根據本發明之技術，量化單元54可經組態以對變換係數t(Cb)執行多階段量化程序。圖9為說明可實施本發明之技術之視訊編碼器的實例量化單元的方塊圖。

如圖9中所示，在第一階段，QPe判定單元202可經組態以導出當前區塊Cb之量化參數偏移(δQP(s(Cb))。在一個實例中，QPe判定單元202可經組態以自查找表(例如LUT_DQP 204)導出δQP(s(Cb))。LUT_DQP 204包括δQP值且藉由自區塊Cb之s(Cb)樣本(例如明度或色度樣本)之平均值導出的索引存取。以下方程式展示導出量化參數偏移之一個實例：
δQP(s(Cb)) = LUT_DQP (mean(s(Cb)) (2)
其中LUT_DQP為δQP(s(Cb))之查找表且mean(s(Cb))為區塊Cb之樣本值之平均值。

在其他實例中，QPe判定單元202可經組態以藉由經寫碼區塊之樣本之一些其他特徵或位元串流之特徵的函數(例如，基於方差之二階函數)導出δQP(s(Cb))之值。QPe判定單元202可經組態以使用演算法、查找表判定δQP值，或可使用其他手段明確推導δQP值。在一些實例中，用以判定δQP( )之樣本可包括明度及色度樣本兩者，或更一般而言包括經寫碼區塊之一或多個分量的樣本。

QPe判定單元202接著可使用變數δQP(Cb)導出有效量化參數QPe，如以上方程式(1)中所示。QPe判定單元202接著可將QPe值提供至第一量化單元206及反量化單元208。在第二階段，第一量化單元206使用經導出之QPe值對變換係數t(Cb)執行前向量化。隨後，反量化單元208使用QPe值對經量化變換係數進行反量化且反變換單元210執行反變換(例如變換處理單元52之反變換)。此產生具有QPE之經引入失真之殘餘區塊r2(Cb)。以下展示該程序之第二階段之方程式。
r2(Cb) = InverseTrans( InverseQuant( QPe, ForwardQuant( QPe, t(Cb) ) ) ) (3)
其中InverseTrans為反變換程序，InverseQuant為反量化程序，且ForwardQuant為前向量化程序。

在第三階段，變換處理單元212對殘餘r2(Cb)執行一或多個前向變換(例如，與變換處理單元52相同)。隨後，第二量化單元214使用基礎量化參數QPb對經變換殘餘執行前向量化。此產生經量化變換係數tq(Cb)，如以下方程式中所展示：
tq(Cb) = ForwardQuant( QPb, ForwardTrans( r2(Cb))) (4)
其中ForwardTrans為前向變換程序。

返回至圖8，在量化後，熵編碼單元56對經量化變換係數tq(Cb)進行熵寫碼。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、概率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於鄰近區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如視訊解碼器30)，或加以存檔以供稍後傳輸或擷取。

反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至經解碼圖像緩衝器64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊以計算用於在運動估計中使用之子整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44產生之經運動補償之預測區塊以產生經重建構之視訊區塊以用於儲存於經解碼圖像緩衝器64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框中之區塊進行框間寫碼。

現將描述解碼器側處理之實例實施例。在解碼器側處，某些寫碼工具依賴於與用於對當前區塊或區塊群組進行寫碼之QP值相關聯之量化參數。一些非限制性實例可包括：解區塊濾波器、雙向濾波器、迴路濾波器濾波器、內插濾波器、熵編解碼器初始化或其他。

圖10為說明可實施本發明之技術之視訊解碼器30之實例的方塊圖。在圖10之實例中，視訊解碼器30包括熵解碼單元70、視訊資料記憶體71、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、經解碼圖像緩衝器82、求和器80、QPe估計單元84、LUT_DQP 86及濾波器單元88。在一些實例中，視訊解碼器30可執行大體上與關於視訊編碼器20 (圖8)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測處理單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。

視訊資料記憶體71可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體71中之視訊資料可經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體例如自電腦可讀媒體16 (例如，自本端視訊源，諸如攝影機)獲得。視訊資料記憶體71可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器82可為參考圖像記憶體，其儲存參考視訊資料以供視訊解碼器30例如以框內或框間寫碼模式解碼視訊資料時使用。視訊資料記憶體71及經解碼圖像緩衝器82可藉由多種記憶體器件中之任一者形成，諸如DRAM，包括SDRAM、MRAM、RRAM或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體71及經解碼圖像緩衝器82。在各種實例中，視訊資料記憶體71可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。

在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。經編碼視訊位元串流可能已由視訊編碼器20使用上述多階段量化程序編碼。經編碼視訊位元串流亦可表示藉由HDR及/或WCG色彩格式定義之視訊資料。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。在一些實例中，熵解碼單元70可對指示用於待解碼之視訊資料區塊之基礎量化參數QPb的語法元素進行解碼。視訊解碼器30可接收視訊圖塊層級及/或視訊區塊層級之語法元素。

當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，框內預測處理單元74可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B或P)圖塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素產生用於當前視訊圖塊之視訊區塊之預測性區塊。該預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於經解碼圖像緩衝器82中之參考圖像使用預設建構技術建構參考圖像清單：清單0及清單1。運動補償單元72藉由剖析運動向量及其他語法元素判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊產生用於正解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用一些接收到的語法元素來判定用以對視訊圖塊之視訊區塊進行寫碼之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以對當前視訊圖塊中之視訊區塊進行解碼的其他資訊。

運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。

反量化單元76反量化(亦即，解量化)位元串流中所提供且由熵解碼單元70解碼的經量化之變換係數。反量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊判定的基礎量化參數QPb來判定量化程度，且同樣地，判定應該應用的反量化之程度。反變換處理單元78將反變換(例如，反DCT、反整數變換或概念上類似的反變換程序)應用於變換係數以便在像素域中產生殘餘區塊。

在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元78之殘餘區塊與運動補償單元72所產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。

濾波器單元88可經組態以將一或多個濾波操作應用於經解碼視訊資料，隨後輸出並儲存於經解碼圖像緩衝器82中。接著將給定圖框或圖像中之經解碼視訊區塊儲存於經解碼圖像緩衝器82中，該經解碼圖像緩衝器82儲存用於後續運動補償之參考圖像。經解碼圖像緩衝器82亦儲存經解碼視訊，以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。由濾波器單元88應用之實例濾波器包括解區塊濾波器、雙向濾波器、適應性迴路濾波器、樣本適應性偏移濾波器及其他。舉例而言，若需要，亦可應用解區塊濾波器以對經解碼區塊進行濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。經解碼圖像緩衝器82亦儲存經解碼視訊，以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。

在一些實例中，由濾波器單元88應用之濾波器之參數可基於量化參數。如上文所描述，由視訊解碼器30接收之視訊資料包括由視訊編碼器20使用有效量化參數QPe引入之失真，該有效量化參數QPe大於在位元串流中傳達且與當前Cb相關聯之QPb值。由濾波器單元88應用之濾波器可依賴於由位元串流提供至調整效能的QP參數。因此，視訊解碼器30可經組態以導出藉由視訊編碼器20應用至Cb之實際QPe的估計。就此而言，視訊解碼器30可包括用以導出QPe值之QPe估計單元84。

舉例而言，QPe估計單元84可經組態以估計當前區塊Cb之量化參數偏移(δQP(s(Cb))。在一個實例中，QPe估計單元84可經組態以自查找表(例如LUT_DQP 86)估計δQP(s(Cb))。LUT_DQP 86包括δQP值之估計且藉由自區塊Cb之經解碼s(Cb)樣本(例如明度或色度樣本)之平均值導出的索引存取。以下方程式展示導出量化參數偏移之一個實例：
δQP(s(Cb)) = LUT_DQP (mean(s(Cb)) (2)
其中LUT_DQP為δQP(s(Cb))之查找表且mean(s(Cb))為區塊Cb之經解碼樣本值之平均值。

在其他實例中，QPe估計單元84可經組態以藉由經寫碼區塊之樣本之一些其他特徵或位元串流之特徵的函數(例如，基於方差之二階函數)導出δQP(s(Cb))之值。QPe估計單元84可經組態以使用演算法、查找表估計δQP值，或可使用其他手段明確估計δQP值。在一些實例中，用以判定δQP( )之樣本可包括明度及色度樣本兩者，或更一般而言，包括經解碼區塊之一或多個分量的樣本。QPe估計單元84接著可提供QPe之估計值至濾波器單元88以供由濾波器單元88實施之一或多個寫碼工具使用。

在一個實例中，濾波器88可經組態以執行解區塊濾波。在解區塊實施之一個非限制性實例中，下文給出解區塊程序作為用於解區塊濾波之HEVC規格的變化。所引入之變化係以雙底線標記：

8.7.2.5.3 用於明度區塊邊緣之決策程序

變數QpQ及QpP經設定為等於寫碼單元Cbq及Cbp之QpY_EQ QpY_EP 值，該等寫碼單元Cbq及Cbp包括分別含有樣本q0,0及p0,0之處理區塊。如下導出QpY_EQ 及 QpY_EP ：
QpY_EQ = QpY + δQP (s(Cbq)) (5)
QpY_EP = QpY +δQP (s(Cbp))

其中 δQP (s(Cb)) 變數偏移係自由 δQP 值構成的查找表導出且藉由自對 s(Cb) 樣本取平均值導出的索引存取：
δQP(d(Cbq)) = LUT_DQP (mean(d(Cbq)) (6)
δQP(d(Cbq)) = LUT_DQP (mean(d(Cbp))

如下導出變數qPL：
qPL = ( ( QpQ + Qpp + 1 ) ＞＞ 1 )

8.7.2.5.5 用於 色度區塊邊緣之濾波程序

變數QpQ及QpP經設定為等於寫碼單元之QpY_EQ QpY_EP 值，該等寫碼單元包括分別含有樣本q0,0及p0,0之寫碼區塊。如下導出QpY_EQ 及 QpY_EP ：
QpY_EQ = QpY + δQP (s(Cbq)) (7)
QpY_EP = QpY +δQP (s(Cbp))

其中 δQP (s(Cb)) 變數偏移係自由 δQP 值構成的查找表導出且藉由自對 s(Cb) 樣本取平均值導出的索引存取：
δQP(d(Cbq)) = LUT_DQP (mean(d(CbqY)) , mean(d(CbqC)), α) (9)
δQP(d(Cbq)) = LUT_DQP (mean(d(CbpY)) , mean(d(CbpC)), α)
其中 d(CbqY) 及 d(CbpY) 為與色度樣本 q0,0 及 p0,0 相關聯之經解碼明度區塊樣本，分別屬於 d(CbqC) 及 d(CbpC) 。 α 為指定用於當前 Cb 之特定 LUT_DQP 的參數。 α 變數可自經寫碼位元串流之語法元素、當前色度分量之索引、時空鄰域或經解碼圖像樣本導出。

若ChromaArrayType等於1，則基於如下導出之索引qPi來判定變數QpC，如表8至10中所指定：
qPi = ( ( QpQ + QpP + 1 ) ＞＞ 1 ) + cQpPicOffset (

在以上實例中，QpY與QPb相同且QpY_EQ為相同QPe。

在另一實例中，濾波器單元88可經組態以實施雙向濾波器。雙向濾波器基於其鄰域中之樣本的加權平均值修改樣本，且權重係基於鄰近樣本與當前樣本之距離及當前樣本及鄰近樣本之樣本值的差而導出。

使x 為基於其鄰域N (x )中之樣本進行濾波之當前樣本值的位置。對於y 屬於N (x )之每一樣本d(y)，使w(y ,x) 為與在位置y處之樣本相關聯之權重以獲得x 處之樣本的經濾波版本。x 之經濾波版本D(x )經獲得作為
(8)

權重經導出為
(9)

其中f( )為基於樣本位置及樣本值計算權重的函數。用以對含有樣本之區塊進行寫碼之QP亦可為在f( )導出中之其他變元(argument)。在一些實例中，含有x 之區塊之QP值用作至f( )的變元。在此實例中，用作f( )中之其他變元之QP值為如下導出之QPd(Cb)：
(10)

其中QP(Cb)為經寫碼區塊之經傳信QP值(例如QPb)，且δQP(d(Cb))為基於經解碼寫碼區塊之特徵的QP值，例如，均值。因此，經導出之權重如下：
(11)

在一些實例中，分別針對明度及色度導出加權函數。與色度寫碼區塊相關聯之QP亦可具有經導出或在位元串流傳信之色度偏移之效應，且所導出的δQP()可為一或多個分量之樣本的函數。

在一些實例中，用於f( )之其他變元的QP可藉由考慮很對含有在位置x 處之樣本的經寫碼區塊導出的QPe()值及針對含有在位置y 處之樣本的經寫碼區塊導出的QPe()值而獲得。舉例而言，可選擇自兩個QPd()值導出之值(例如平均值)作為f( )之變元。

在本發明之另一實例中，視訊解碼器30可經組態以使用多個LUT_DQP。在一些實例中，兩個或更多個LUT_DQP表可在視訊解碼器30處使用。視訊解碼器30可經組態以導出兩個或更多個查找表中之特定一者的索引以便用於導出特定區塊邊緣。視訊解碼器30可經組態以自語法元素、自當前樣本之相同時空鄰域中之區塊的寫碼資訊或自經解碼圖像樣本之統計導出索引。
舉例而言：
δQP(d(Cbq)) = LUT_DQP (d(Cbq), Idx1) (12)
δQP(d(Cbq)) = LUT_DQP (d(Cbp), Idx2)
其中Idx1及Idx2為在視訊解碼器30處可用之若干LUT_DQP表中之索引選擇。

在本發明之另一實例中，視訊編碼器20及視訊解碼器30可經組態以應用具有更精細區塊粒度之空間變化量化。在一些實例中，視訊編碼器20可經組態以將當前經寫碼區塊Cb***成子分區，其中之每一者根據以上方程式2、3及4獨立地處理。一旦針對每一分區產生經重建構信號r2，則其形成如以上方程式(5)中所展示的經進一步處理之r2(Cb)資料。

在視訊解碼器30處，修改某些寫碼工具(例如解區塊)以反映此分割，但其並未在CU分割中提供。舉例而言，解區塊被稱作對除了當前指定之TU及PU以外的此等虛擬區塊邊緣進行濾波。

在一些實例中，關於區塊分割之更精細粒度之資訊可在位元串流之語法元素(例如，PPS、SPS或圖塊標頭)中傳信且經提供至解碼器作為旁側資訊。

在一些實例中，可移除或擴展對於包括δQP或chromaQP偏移值之最大QP值之約束(例如，由截割程序實現)以支援QPe參數自利用類似於HEVC之視訊寫碼架構之QPb的更寬偏差。

本發明之上述技術可提供優於其他技術之以下優點。本發明之上述技術可避免δQP傳信，由此相比支援HDR/WCG視訊資料之基於δQP之方法固有地帶來百分之幾的位速率降低。

與「De-quantization and scaling for next generation containers」(J. Zhao、A. Segall、S.-H. Kim、K. Misra (Sharp), JVET文件B0054, 2016年1月)中之技術相對比，本發明之上述技術允許對t(Cb)之所有變換係數進行相同縮放。

相比美國專利申請案第15/595,793號中之技術相比，本發明之上述技術可提供對局部亮度之較高準讀度估計，係因為經解碼值提供比經預測樣本好的估計。

本發明之上述技術可允許δQP導出及應用之更精細粒度而不會使與基於δQP之解決方案相關聯之傳信附加項的增加。

相比「De-quantization and scaling for next generation containers」及美國專利申請案第15/595,793號之基於變換縮放之設計，本發明之上述技術具有更簡單的實施設計。

圖11為說明實例編碼方法的流程圖。包括量化單元54之視訊編碼器20可經組態以執行圖11之技術。

在本發明之一個實例中，視訊編碼器20可經組態以判定用於視訊資料區塊之基礎量化參數(1100)，且基於與視訊資料區塊相關聯之統計判定用於視訊資料區塊的量化參數偏移(1102)。視訊編碼器20可進一步經組態以將量化參數偏移添加至基礎量化參數以建立有效量化參數(1104)，且使用有效量化參數及基礎量化參數編碼視訊資料區塊(1106)。在一個實例中，對於所有視訊資料區塊，基礎量化參數係相同的。在一個實例中，視訊資料之樣本值係藉由高動態範圍視訊資料色彩格式定義。

在本發明之另一實例中，為編碼視訊資料區塊，視訊編碼器20可進一步經組態以預測區塊以產生殘餘樣本，變換殘餘樣本以建立變換係數，用有效量化參數量化變換係數，用有效量化參數對經量化變換係數進行反量化以產生失真變換係數，對失真變換係數進行反變換以產生失真殘餘樣本，變換失真殘餘樣本，且使用基礎量化參數量化經變換失真殘餘樣本。

在本發明之另一實例中，為判定量化參數偏移，視訊編碼器20可進一步經組態以自查找表判定量化參數偏移。

圖12為說明實例解碼方法的流程圖。視訊解碼器30 (包括反量化單元76、QPe估計單元84及濾波器單元88)可經組態以執行圖12之技術。

在本發明之一個實例中，視訊解碼器30可經組態以接收視訊資料之經編碼區塊，該視訊資料之該經編碼區塊已使用有效量化參數及基礎量化參數編碼，其中該有效量化參數為添加至基礎量化參數之量化參數偏移的函數(1200)。視訊解碼器30可進一步經組態以判定用以編碼視訊資料之經編碼區塊的基礎量化參數(1202)，並使用基礎量化參數對視訊資料之經編碼區塊進行解碼以建立視訊資料之經解碼區塊(1204)。視訊解碼器30可進一步經組態以基於與視訊資料之經解碼區塊相關聯之統計判定視訊資料之經解碼區塊之量化參數偏移的估計(1206)，並將量化參數偏移之估計添加至基礎量化參數以建立有效量化參數的估計(1208)。視訊解碼器30可進一步經組態以根據有效量化參數之估計對視訊資料之經解碼區塊執行一或多個濾波操作(1210)。在一個實例中，對於所有視訊資料區塊，基礎量化參數係相同的。在另一實例中，視訊資料之樣本值係藉由高動態範圍視訊資料色彩格式定義。

在本發明之另一實例中，為判定基礎量化參數，視訊解碼器30可進一步經組態以將基礎量化參數語法元素接收於經編碼視訊位元串流中，該基礎量化paymaster語法元素之值指示基礎量化參數。

在本發明之另一實例中，為解碼視訊資料區塊，視訊解碼器30可進一步經組態以對視訊資料之經編碼區塊進行熵解碼以判定經量化變換係數，使用基礎量化參數對經量化變換係數進行反量化以建立變換係數，對變換係數進行反變換以建立殘餘值，且對殘餘值執行預測程序以建立視訊資料之經解碼區塊。

在本發明之另一實例中，為判定視訊資料之經解碼區塊之量化參數偏移的估計，視訊解碼器30可進一步經組態以判定視訊資料之經解碼區塊之樣本值的平均值，且使用視訊資料之經解碼區塊之樣本值的平均值判定視訊資料之經解碼區塊之量化參數偏移的估計。

在本發明之另一實例中，為判定量化參數偏移之估計，視訊解碼器30可進一步經組態以自查找表判定量化參數偏移之估計，其中樣本值之平均值為至查找表的輸入。

在本發明之另一實例中，視訊解碼器30可進一步經組態以自複數個查找表判定查找表。

在本發明之另一實例中，為對視訊資料之經解碼區塊執行一或多個濾波操作，視訊解碼器30可進一步經組態以使用有效量化參數將解區塊濾波器應用於視訊資料之經解碼區塊。

在本發明之另一實例中，為對視訊資料之經解碼區塊執行一或多個濾波操作，視訊解碼器30可進一步經組態以使用有效量化參數將雙向濾波器應用於視訊資料之經解碼區塊。

已出於說明之目的關於HEVC、HEVC之擴展，及JEM及VVC之實例標準描述本發明之某些態樣。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。

如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，若適用，則視訊寫碼可指視訊編碼或視訊解碼。

應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多線程處理、中斷處理或多個處理器同時而非循序執行動作或事件。

在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。

藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。

指令可由一或多個處理器執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA或其它等效集成或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些實例中，本文所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。

本發明之技術可實施於廣泛多種器件或裝置中，包括無線手持機、積體電路(IC)或一組IC(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，各種單元可與合適的軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。

各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。

1‧‧‧視訊編碼及解碼系統

12‧‧‧源器件

14‧‧‧目的地器件

16‧‧‧電腦可讀媒體

18‧‧‧視訊源

19‧‧‧動態範圍調整(DRA)單元

20‧‧‧視訊編碼器

22‧‧‧輸出介面

28‧‧‧輸入介面

30‧‧‧視訊解碼器

31‧‧‧反DRA單元

32‧‧‧顯示器件

40‧‧‧模式選擇單元

41‧‧‧視訊資料記憶體

42‧‧‧運動估計單元

44‧‧‧運動補償單元

46‧‧‧框內預測處理單元

48‧‧‧分割單元

50‧‧‧求和器

52‧‧‧變換處理單元

54‧‧‧量化單元

56‧‧‧熵編碼單元

58‧‧‧反量化單元

60‧‧‧反變換處理單元

62‧‧‧求和器

64‧‧‧DPB

70‧‧‧熵解碼單元

71‧‧‧視訊資料記憶體

72‧‧‧運動補償單元

74‧‧‧框內預測處理單元

76‧‧‧反量化單元

78‧‧‧反變換處理單元

82‧‧‧經解碼圖像緩衝器

80‧‧‧求和器

84‧‧‧QPe估計單元

86‧‧‧LUT_DQP

88‧‧‧濾波器單元

100‧‧‧三角形

102‧‧‧三角形

104‧‧‧區域

110‧‧‧線性RGB資料

112‧‧‧非線性轉移函數(TF)

114‧‧‧色彩轉換程序

116‧‧‧浮點至整數表示量化單元

118‧‧‧資料

120‧‧‧資料

122‧‧‧反量化單元

124‧‧‧反色彩轉換程序

126‧‧‧反轉移函數

128‧‧‧線性RGB資料

130‧‧‧四分樹二元樹(QTBT)結構

132‧‧‧寫碼樹型單元(CTU)

202‧‧‧QPe判定單元

206‧‧‧第一量化單元

208‧‧‧反量化單元

210‧‧‧反變換單元

212‧‧‧變換處理單元

214‧‧‧第二量化單元

圖1為說明經組態以實施本發明之技術的實例視訊編碼及解碼系統的方塊圖。

圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構及對應寫碼樹型單元(CTU)之概念圖。

圖3為說明HDR資料之概念的概念圖。

圖4為說明實例色域之概念圖。

圖5為說明HDR/WCG表示轉換之實例的流程圖。

圖6為說明HDR/WCG反轉換之實例的流程圖。

圖7為說明用於自感知均勻的碼層級至線性照度之視訊資料轉換(包括SDR及HDR)之電光轉移函數(EOTF)之實例的概念圖。

圖8為說明可實施本發明之技術的視訊編碼器之實例的方塊圖。

圖9為說明可實施本發明之技術之視訊編碼器的實例量化單元的方塊圖。

圖10為說明可實施本發明之技術的視訊解碼器之實例的方塊圖。

圖11為說明實例編碼方法的流程圖。

圖12為說明實例解碼方法的流程圖。

Claims

一種解碼視訊資料之方法，該方法包含：接收該視訊資料之一經編碼區塊，該視訊資料之該經編碼區塊已使用一有效量化參數及一基礎量化參數編碼，其中該有效量化參數為添加至該基礎量化參數之一量化參數偏移的一函數；判定用以編碼該視訊資料之該經編碼區塊之該基礎量化參數；使用該基礎量化參數解碼該視訊資料之該經編碼區塊以建立視訊資料之一經解碼區塊；基於與該視訊資料之該經解碼區塊相關聯的統計判定用於該視訊資料之該經解碼區塊之該量化參數偏移的一估計；將該量化參數偏移之該估計添加至該基礎量化參數以建立該有效量化參數之一估計；及根據該有效量化參數之該估計對視訊資料之該經解碼區塊執行一或多個濾波操作。
如請求項1之方法，其中對於該視訊資料之該等區塊中之全部，該基礎量化參數係相同的。
如請求項1之方法，其中該視訊資料之樣本值係藉由一高動態範圍視訊資料色彩格式定義。
如請求項1之方法，其中判定該基礎量化量化包含：將一基礎量化參數語法元素接收於一經編碼視訊位元串流中，該基礎量化paymaster語法元素之一值指示該基礎量化參數。
如請求項1之方法，其中解碼該視訊資料之該經編碼區塊包含：對該視訊資料之該經編碼區塊進行熵解碼以判定經量化變換係數；使用該基礎量化參數對該經量化變換係數進行反量化以建立變換係數；對該等變換係數進行反變換以建立殘餘值；及對該等殘餘值執行一預測程序以建立該視訊資料之該經解碼區塊。
如請求項1之方法，其中判定用於該視訊資料之該經解碼區塊之該量化參數偏移的該估計包含：判定該視訊資料之該經解碼區塊之樣本值的一平均值；及使用該視訊資料之該經解碼區塊之該等樣本值的該平均值判定用於該視訊資料之該經解碼區塊的該量化參數偏移的該估計。
如請求項6之方法，其中判定該量化參數偏移之該估計包含：自一查找表判定該量化參數偏移之該估計，其中該等樣本值之該平均值為至該查找表之一輸入。
如請求項7之方法，其進一步包含：自複數個查找表中判定該查找表。
如請求項1之方法，其中對該視訊資料之該經解碼區塊執行該一或多個濾波操作包含：使用該有效量化參數將一解區塊濾波器應用於視訊資料之該經解碼區塊。
如請求項1之方法，其中對該視訊資料之該經解碼區塊執行該一或多個濾波操作包含：使用該有效量化參數將一雙向濾波器應用於視訊資料之該經解碼區塊。
一種編碼視訊資料之方法，該方法包含：判定用於該視訊資料之一區塊之一基礎量化參數；基於與該視訊資料之該區塊相關聯之統計判定用於該視訊資料之該區塊之一量化參數偏移；將該量化參數偏移添加至該基礎量化參數以建立一有效量化參數；及使用該有效量化參數及該基礎量化參數編碼該視訊資料之該區塊。
如請求項11之方法，其中對於該視訊資料之該等區塊中之全部，該基礎量化參數係相同的。
如請求項11之方法，其中該視訊資料之樣本值係藉由一高動態範圍視訊資料色彩格式定義。
如請求項11之方法，其中編碼該視訊資料之該區塊包含：預測該區塊以產生殘餘樣本；對該等殘餘樣本進行變換以建立變換係數；用該有效量化參數量化該等變換係數；用該有效量化參數對該等經量化變換係數進行反量化以產生失真變換係數；對該等失真變換係數進行反變換以產生失真殘餘樣本；對該等失真殘餘樣本進行變換；及使用該基礎量化參數對該等經變換失真殘餘樣本進行量化。
如請求項11之方法，其中判定該量化參數偏移包含自一查找表判定該量化參數偏移。
一種經組態以解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料之一經編碼區塊；及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：接收該視訊資料之該經編碼區塊，該視訊資料之該經編碼區塊已使用一有效量化參數及一基礎量化參數編碼，其中該有效量化參數為添加至該基礎量化參數之一量化參數偏移的一函數；判定用以對該視訊資料之該經編碼區塊進行編碼之該基礎量化參數；使用該基礎量化參數解碼該視訊資料之該經編碼區塊以建立視訊資料之一經解碼區塊；基於與該視訊資料之該經解碼區塊相關聯的統計判定用於該視訊資料之該經解碼區塊之該量化參數偏移的一估計；將該量化參數偏移之該估計添加至該基礎量化參數以建立該有效量化參數之一估計；及根據該有效量化參數之該估計對視訊資料之該經解碼區塊執行一或多個濾波操作。
如請求項16之裝置，其中對於該視訊資料之該等區塊中之全部，該基礎量化參數係相同的。
如請求項16之裝置，其中該視訊資料之樣本值係藉由一高動態範圍視訊資料色彩格式定義。
如請求項16之裝置，其中為判定該基礎量化參數，該一或多個處理器進一步經組態以將一基礎量化參數語法元素接收於一經編碼視訊位元串流中，該基礎量化paymaster語法元素之一值指示該基礎量化參數。
如請求項16之裝置，其中為解碼該視訊資料之該區塊，該一或多個處理器進一步經組態以：對該視訊資料之該經編碼區塊進行熵解碼以執行經量化變換係數；使用該基礎量化參數對該經量化變換係數進行反量化以建立變換係數；對該等變換係數進行反變換以建立殘餘值；及對該等殘餘值執行一預測程序以建立該視訊資料之該經解碼區塊。
如請求項16之裝置，其中為判定用於該視訊資料之該經解碼區塊的該量化參數偏移的該估計，該一或多個處理器進一步經組態以：判定該視訊資料之該經解碼區塊之樣本值的一平均值；及使用該視訊資料之該經解碼區塊之該等樣本值的該平均值判定用於該視訊資料之該經解碼區塊的該量化參數偏移的該估計。
如請求項21之裝置，其中為判定該量化參數偏移之該估計，該一或多個處理器進一步經組態以：自一查找表判定該量化參數偏移之該估計，其中該等樣本值之該平均值為至該查找表之一輸入。
如請求項21之裝置，其中該一或多個處理器進一步經組態以：自複數個查找表判定該查找表。
如請求項16之裝置，其中為對該視訊資料之該經解碼區塊執行該一或多個濾波操作，該一或多個處理器進一步經組態以：使用該有效量化參數將一解區塊濾波器應用於視訊資料之該經解碼區塊。
如請求項16之裝置，其中為對該視訊資料之該經解碼區塊執行該一或多個濾波操作，該一或多個處理器進一步經組態以：使用該有效量化參數將一雙向濾波器應用於視訊資料之該經解碼區塊。
一種經組態以編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存該視訊資料之一區塊；及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：判定用於該視訊資料之該區塊之一基礎量化參數；基於與該視訊資料之該區塊相關聯之統計判定用於該視訊資料之該區塊之一量化參數偏移；將該量化參數偏移添加至該基礎量化參數以建立一有效量化參數；及使用該有效量化參數及該基礎量化參數編碼該視訊資料之該區塊。
如請求項26之裝置，其中對於該視訊資料之該等區塊中之全部，該基礎量化參數係相同的。
如請求項26之裝置，其中該視訊資料之樣本值係藉由一高動態範圍視訊資料色彩格式定義。
如請求項26之裝置，其中為編碼該視訊資料之該區塊，該一或多個處理器進一步經組態以：預測該區塊以產生殘餘樣本；對該等殘餘樣本進行變換以建立變換係數；用該有效量化參數量化該等變換係數；用該有效量化參數對該等經量化變換係數進行反量化以產生失真變換係數；對該等失真變換係數進行反變換以產生失真殘餘樣本；對該等失真殘餘樣本進行變換；及使用該基礎量化參數對該等經變換失真殘餘樣本進行量化。
如請求項26之裝置，其中為判定該量化參數偏移，該一或多個處理器進一步經組態以自一查找表判定該量化參數偏移。
一種經組態以解碼視訊資料之裝置，該裝置包含：用於接收該視訊資料之一經編碼區塊之構件，該視訊資料之該經編碼區塊已使用一有效量化參數及一基礎量化參數編碼，其中該有效量化參數為添加至該基礎量化參數之一量化參數偏移的一函數；用於判定用以編碼該視訊資料之該經編碼區塊之該基礎量化參數的構件；用於使用該基礎量化參數解碼該視訊資料之該經編碼區塊以建立視訊資料之一經解碼區塊的構件；用於基於與該視訊資料之該經解碼區塊相關聯的統計判定用於該視訊資料之該經解碼區塊之該量化參數偏移的一估計的構件；用於將該量化參數偏移之該估計添加至該基礎量化參數以建立該有效量化參數之一估計的構件；及用於根據該有效量化參數之該估計對該視訊資料之該經解碼區塊執行一或多個濾波操作的構件。
一種經組態以編碼視訊資料之裝置，該裝置包含：用於判定該視訊資料之一區塊之一基礎量化參數的構件；用於基於與該視訊資料之該區塊相關聯之統計判定用於該視訊資料之該區塊之一量化參數偏移的構件；用於將該量化參數偏移添加至該基礎量化參數以建立一有效量化參數的構件；及用於使用該有效量化參數及該基礎量化參數編碼該視訊資料之該區塊的構件。
一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使一或多個處理器：接收視訊資料之一經編碼區塊，該視訊資料之該經編碼區塊已使用一有效量化參數及一基礎量化參數編碼，其中該有效量化參數為添加至該基礎量化參數之一量化參數偏移的一函數；判定用以編碼該視訊資料之該經編碼區塊之該基礎量化參數；使用該基礎量化參數解碼該視訊資料之該經編碼區塊以建立視訊資料之一經解碼區塊；基於與該視訊資料之該經解碼區塊相關聯的統計判定用於該視訊資料之該經解碼區塊之該量化參數偏移的一估計；將該量化參數偏移之該估計添加至該基礎量化參數以建立該有效量化參數之一估計；及根據該有效量化參數之該估計對視訊資料之該經解碼區塊執行一或多個濾波操作。
一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使一或多個處理器：判定用於視訊資料之一區塊之一基礎量化參數；基於與該視訊資料之該區塊相關聯之統計判定用於該視訊資料之該區塊之一量化參數偏移；將該量化參數偏移添加至該基礎量化參數以建立一有效量化參數；及使用該有效量化參數及該基礎量化參數編碼該視訊資料之該區塊。