TWI665912B - 用於視訊寫碼之調色板模式寫碼 - Google Patents

用於視訊寫碼之調色板模式寫碼 Download PDF

Info

Publication number
TWI665912B
TWI665912B TW105102746A TW105102746A TWI665912B TW I665912 B TWI665912 B TW I665912B TW 105102746 A TW105102746 A TW 105102746A TW 105102746 A TW105102746 A TW 105102746A TW I665912 B TWI665912 B TW I665912B
Authority
TW
Taiwan
Prior art keywords
palette
syntax element
video data
syntax
video
Prior art date
Application number
TW105102746A
Other languages
English (en)
Other versions
TW201633788A (zh
Inventor
溥偉
馬塔 卡茲維克茲
瑞珍 雷克斯曼 喬許
鄒峰
法迪姆 塞瑞金
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201633788A publication Critical patent/TW201633788A/zh
Application granted granted Critical
Publication of TWI665912B publication Critical patent/TWI665912B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

接收指示用以編碼一視訊資料區塊之一調色板的複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素，其中使用一或多個哥倫布碼來編碼該第一語法元素，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目；解碼該複數個語法元素，包括使用該一或多個哥倫布碼來解碼該第一語法元素，基於該經解碼之複數個語法元素來重建構該調色板及使用該經重建構之調色板來解碼該視訊資料區塊。

Description

用於視訊寫碼之調色板模式寫碼
本申請案主張2015年1月29日申請之美國臨時申請案第62/109,568號之權益，該申請案之全部內容以引用之方式併入本文中。
本發明係關於視訊編碼及解碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的彼等視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視 訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊。圖像之經框內寫碼(I)圖塊中的視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中的視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘差係數。最初配置於二維陣列中之經量化係數可經掃描以便產生係數的一維向量，且熵寫碼可經應用以達成甚至更多壓縮。
本發明係關於視訊編碼及解碼技術。詳言之，本發明描述用於利用基於調色板之寫碼模式編碼及解碼視訊資料之技術。在基於調色板之寫碼模式中，視訊資料區塊的像素值可相對於與視訊資料區塊相關聯之色彩值的調色板而寫碼。色彩值之調色板可藉由視訊編碼器來判定且可含有對於特定區塊而言最常見之色彩值。視訊編碼器可將彩色值之調色板中之索引指派給視訊資料區塊中之每一像素，且在經編碼之視訊位元串流中將此索引傳信至視訊解碼器。視訊解碼器可接著使用調色板中之索引來判定用於區塊中之特定像素之色彩值。
除了傳信調色板中之索引以外，視訊編碼器亦可在經編碼之視訊位元串流中傳輸調色板自身。用於傳輸調色板之技術可包括明確傳信調色板值，以及根據來自一或多個先前經寫碼區塊之調色板條目預 測用於當前區塊之調色板條目。本發明描述用於寫碼調色板之技術，包括用於寫碼與調色板寫碼及/或調色板預測相關之語法元素的技術。
在本發明之一項實例中，解碼視訊資料之方法包含：在經編碼之視訊位元流中接收視訊資料區塊，該視訊資料區塊已使用基於調色板之寫碼模式來編碼；接收指示用以編碼視訊資料區塊之調色板的複數個語法元素，該複數個語法元素包括在經編碼之視訊位元流中指示調色板之經明確傳信之調色板值之數目的第一語法元素，其中使用一或多個哥倫布碼來編碼該第一語法元素，以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目；解碼該複數個語法元素，包括使用該一或多個哥倫布碼解碼第一語法元素，基於經解碼之複數個語法元素重建構調色板，及使用經重建構之調色板來解碼視訊資料區塊。
在本發明之另一實例中，編碼視訊資料之方法包含：使用基於調色板之寫碼模式及調色板來編碼視訊資料區塊；產生指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素，以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目，及將複數個語法元素包括於經編碼之視訊位元串流中。
在本發明之另一實例中，經組態以解碼視訊資料之裝置包含：記憶體，其經組態以儲存經編碼之視訊位元串流；及視訊解碼器，其經組態以：在經編碼之視訊位元串流中接收視訊資料區塊，該視訊資料區塊已使用基於調色板之寫碼模式來編碼；接收指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第 一語法元素，其中使用一或多個哥倫布碼編碼該第一語法元素，以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目；解碼該複數個語法元素，包括使用一或多個哥倫布碼解碼該第一語法元素，基於經解碼之複數個語法元素重建構調色板，及使用經重建構之調色板解碼視訊資料區塊。
在本發明之另一實例中，經組態以編碼視訊資料之裝置包含：記憶體，其經組態以儲存視訊資料區塊；及視訊編碼器，其經組態以：使用基於調色板之寫碼模式及調色板來編碼視訊資料區塊；產生指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目，且將複數個語法元素包括於經編碼之視訊位元串流中。
在本發明之另一實例中，經組態以解碼視訊資料之裝置包含：用於在經編碼之視訊位元串流中接收視訊資料區塊的構件，該視訊資料區塊已使用基於調色板之寫碼模式來編碼；用於接收指示用以編碼視訊資料區塊之調色板之複數個語法元素的構件，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素，其中使用一或多個哥倫布碼編碼該第一語法元素，以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目；用於解碼複數個語法元素的構件，包括使用一或多個哥倫布碼解碼該第一語法元素；用於基於經解碼之複數個語法元素重建構調色板的構件，及用於使用經重建構之調色板來解碼視訊資料區塊的構件。
在本發明之另一實例中，經組態以編碼視訊資料之裝置包含：用於使用基於調色板之寫碼模式及調色板來編碼視訊資料區塊的構 件；用於產生指示用以編碼視訊資料區塊的調色板之複數個語法元素的構件，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；用於使用一或多個哥倫布碼編碼該第一語法元素以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目的構件，及用於將複數個語法元素包括於經編碼之視訊位元串流中的構件。
在另一實例中，本發明描述儲存指令之電腦可讀儲存媒體，該等指令在執行時使得經組態以解碼視訊資料之器件的一個或多個處理器進行以下操作：在經編碼之視訊位元串流中接收視訊資料區塊，該視訊資料區塊已使用基於調色板之寫碼模式來編碼；接收指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素，其中使用一或多個哥倫布碼編碼該第一語法元素以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目；解碼該複數個語法元素，包括使用一或多個哥倫布碼解碼該第一語法元素；基於經解碼之複數個語法元素重建構調色板；且使用經重建構之調色板解碼視訊資料區塊。
在另一實例中，本發明描述儲存指令之電腦可讀儲存媒體，該等指令在執行使得經組態以編碼視訊資料之器件的一個或多個處理器進行以下操作：使用基於調色板之寫碼模式及調色板來編碼視訊資料區塊；產生指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼之視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目，且將複數個語法元素包括於經編碼之視訊位元串流中。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢將自該等描述及附圖以及申請專利範圍而顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
98‧‧‧視訊資料記憶體
100‧‧‧預測處理單元
102‧‧‧殘差產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧逆量化單元
110‧‧‧逆變換處理單元
112‧‧‧重建構單元
114‧‧‧過濾器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
122‧‧‧基於調色板之編碼單元
126‧‧‧框內預測處理單元
148‧‧‧視訊資料記憶體
150‧‧‧熵解碼單元
152‧‧‧預測處理單元
154‧‧‧逆量化單元
156‧‧‧逆變換處理單元
158‧‧‧重建構單元
160‧‧‧過濾器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧基於調色板之解碼單元
166‧‧‧框內預測處理單元
203‧‧‧調色板產生單元
204‧‧‧映射單元
206‧‧‧二進位預測向量產生單元
209‧‧‧二進位預測向量壓縮單元
210‧‧‧預測子調色板緩衝器
212‧‧‧像素值
214‧‧‧映射
215‧‧‧經編碼二進位預測向量
220‧‧‧當前調色板
302‧‧‧映射單元
304‧‧‧調色板產生單元
306‧‧‧二進位預測向量解壓縮單元
310‧‧‧預測子調色板緩衝器
312‧‧‧映射
314‧‧‧經解碼視訊資料
316‧‧‧經編碼二進位預測向量
800‧‧‧步驟
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
900‧‧‧步驟
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
圖1為繪示可利用本發明中描述之技術的實例視訊寫碼系統的方塊圖。
圖2為繪示可實施本發明中所描述之技術的實例視訊編碼器的方塊圖。
圖3為繪示可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為繪示圖2之視訊編碼器的實例基於調色板之編碼單元的方塊圖。
圖5為繪示根據本發明之技術的實例調色板預測技術的概念圖。
圖6為繪示根據本發明之技術的實例二進位預測向量編碼技術的概念圖。
圖7為繪示圖3之視訊編碼器的實例基於調色板之解碼單元的方塊圖。
圖8為繪示根據本發明之技術的實例視訊編碼方法的流程圖。
圖9為繪示根據本發明之技術的實例視訊解碼方法的流程圖。
本發明係關於視訊編碼領域，且更特定而言係關於在基於調色板之寫碼模式中預測或寫碼視訊資料區塊。在傳統視訊寫碼中，影像經假定為連續色調且在空間上平滑。基於此等假定，已開發各種工具，諸如基於區塊之變換、濾波等，且此等工具已展示針對天然內容視訊之良好效能。然而，在類似遠端桌上型、合作工作型及無線顯示器之應用中，電腦所產生之螢幕內容(例如，文字或電腦圖形)可為待壓縮之主要內容。此類型之內容傾向於具有離散色調，且以銳線及高 對比度物件邊界為特徵。連續色調及平滑度之假定可不再適用於螢幕內容，且因此傳統視訊寫碼技術可不能有效地壓縮包括螢幕內容之視訊資料。
本發明描述基於調色板之寫碼，其可尤其適用於螢幕內容寫碼。舉例而言，假定視訊資料之特定區域具有相對較少數目之色彩，則視訊寫碼器(例如，視訊編碼器或視訊解碼器)可形成所謂的「調色板」以表示該特定區域之視訊資料。可將調色板表達為色彩或像素值之表格，該表格表示特定區域(例如，給定區塊)之視訊資料。舉例而言，調色板可包括給定區塊中之最主要像素值。在一些情況下，最主要像素值可包括在區塊內最頻繁地出現之一或多個像素值。另外，在一些情況下，視訊寫碼器可應用臨限值以判定是否將包括像素值作為區塊中之最主要像素值中之一者。根據基於調色板之寫碼的各種態樣，視訊寫碼器可對指示當前區塊之像素值中之一或多者的索引值進行寫碼，而非對視訊資料之當前區塊的實際像素值或其殘差進行寫碼。在基於調色板之寫碼的上下文中，索引值指示調色板中用以表示當前區塊之個別像素值之各別條目。
舉例而言，視訊編碼器可藉由以下操作來編碼視訊資料區塊：判定用於區塊之調色板(例如，明確地寫碼調色板，預測調色板，或其組合)；定位調色板中表示該等像素值中之一或多者的條目；及利用指示調色板中用以表示區塊之像素值的條目之索引值來編碼該區塊。在一些實例中，視訊編碼器可在經編碼之位元串流中傳信調色板及/或索引值。又，視訊解碼器可自經編碼之位元串流獲得用於區塊之調色板，以及用於該區塊之個別像素的索引值。視訊解碼器可使像素之索引值與調色板之條目相關以重建構區塊之各種像素值。
根據下文所論述之各種實例，本發明描述用於在利用基於調色板之寫碼模式對視訊資料區塊進行寫碼時改良寫碼效率之技術。本發 明之實例包括用於使用基於調色板之寫碼模式對視訊資料進行寫碼之技術，及用於寫碼與基於調色板之寫碼模式相關之語法元素的技術。在一些實例中，本發明之技術係關於寫碼由視訊解碼器使用以判定及/或重建構用於視訊資料區塊之調色板的語法元素。
在一些實例中，本發明之基於調色板之寫碼技術可經組態與一或多個視訊寫碼標準一起使用。一些實例視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。在另一實例中，基於調色板之寫碼技術可經組態以與高效率視訊寫碼(HEVC)一起使用。HEVC係由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的關於視訊寫碼之聯合合作小組(JCT-VC)開發的新視訊寫碼標準。
最近，HEVC之設計已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的關於視訊寫碼之聯合合作小組(JCT-VC)定案。下文被稱作HEVC版本1或HEVC1之最新HEVC規範係描述於「ITU-T H.265(V1)」中，該文件自2015年3月24起可自http：//www.itu.int/ITU-T/recommendations/rec.aspx？rec=11885&lang=en獲得。文件ITU-T H.265，H系列：視聽及多媒體系統，視聽服務之基礎結構--移動視訊之寫碼(SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of Audiovisual Services-Coding of Moving Video)，「高效率視訊寫碼」(2013年4月)亦描述HEVC標準。下文被稱作RExt的範圍擴展之新規範描述於自2015年3月24日其可自http：//www.itu.int/ITU-T/recommendations/rec.aspx？rec=12296&lang=en獲得之「ITU-T H.265(V2)」中。
為了提供螢幕產生內容之更高效寫碼，JCT-VC將開發對HEVC標準之擴展(被稱作HEVC螢幕內容寫碼(SCC)標準)。被稱作「HEVC SCC Draft 2」或「WD2」之HEVC SCC標準的新工作草案描述於R.Joshi及J.Xu之文件JCTVC-S1005(「HEVC screen content coding draft text 2」，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合合作小組(JCT-VC)，第19次會議：法國，斯特拉斯堡，2014年10月17日至24日)中。
圖1為繪示可利用本發明之用於基於調色板之視訊寫碼之技術的實例視訊寫碼系統10的方塊圖。如本文中所使用，術語「視訊寫碼器」通常係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」通常可指代視訊編碼或視訊解碼。視訊寫碼系統10之視訊編碼器20及視訊解碼器30表示可經組態以執行根據本發明中所描述之各種實例的用於進行基於調色板之視訊寫碼之技術的器件之實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以使用基於調色板之寫碼或非基於調色板之寫碼選擇性地寫碼視訊資料之各種區塊(諸如，HEVC寫碼中之CU或PU)。非基於調色板之寫碼模式可指代各種框間預測性時間寫碼模式或框內預測性空間寫碼模式，諸如由HEVC標準指定的各種寫碼模式。然而，應理解，本發明之技術可與使用基於調色板之寫碼模式的任何視訊寫碼技術及/或標準一起使用。
如圖1中所示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼視訊資料。因此，源裝置12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、車載電腦或類似者。
目的地器件14可經由頻道16自源器件12接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14之一或多個媒體或器件。在一項實例中，頻道16可包含使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之一或多個通信媒體。在此實例中，源器件12可根據通信標準(諸如，無線通信協議)調變經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或全球網路(例如，網際網路))的部分。一或多個通信媒體可包括路由器、交換器、基地台，或促進自源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可經由磁碟存取或卡存取而存取儲存媒體。儲存媒體可包括多種本端存取之資料儲存媒體，諸如藍光光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適的數位儲存媒體。
在另一實例中，頻道16可包括儲存由源器件12所產生之經編碼視訊資料的檔案伺服器或另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14之類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網 路附接儲存(NAS)器件及本端磁碟機。
目的地器件14可經由標準資料連接(諸如，網際網路連接)來存取經編碼視訊資料。資料連接之實例類型可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)、或兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之用於基於調色板之視訊寫碼之技術不限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1中所繪示之視訊寫碼系統10僅為一項實例。本發明之技術可適用於未必包括編碼器件與解碼器件之間的任何資料通信的視訊寫碼使用情況(例如，視訊編碼或視訊解碼)。在其他實例中，自經由網路或類似者而串流傳輸之區域記憶體擷取資料。視訊編碼器件可編碼資料並將資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料並解碼資料。在許多實例中，由並不彼此通信但簡單地將資料編碼至記憶體及/或自記憶體擷取資料並解碼資料之器件來執行編碼及解碼。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。視訊源18可包括視訊捕獲器件(例如，視訊攝影機)、含有先前所捕獲之視訊資料的視訊存檔、用以自視訊內容提供者接收視訊資料之視訊饋入介面，及/或用於產生視訊資料之電腦圖形系統，或 此等視訊資料源的組合。
視訊編碼器20可編碼來自視訊源18之視訊資料。在一些實例中，源器件12經由輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。在其他實例中，經編碼視訊資料亦可儲存於儲存媒體或檔案伺服器上，以供目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或可在目的地器件14外部。大體而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含各種顯示器件，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器，或另一類型之顯示器件。
本發明通常可指代視訊編碼器20將某些資訊「傳信」或「傳輸」至另一器件(諸如，視訊解碼器30)。術語「傳信」或「傳輸」可通常指代用以解碼經壓縮視訊資料之語法元素及/或其他資料的通信。此通信可即時地或近即時地發生。替代地，此通信可在一時間跨度內發生，諸如可能在編碼時在經編碼之位元串流中將語法元素儲存至電腦可讀儲存媒體時發生，接著，在儲存至此媒體之後可藉由解碼器件在任何時間擷取該等語法元素。因此，雖然視訊解碼器30可被稱作「接收」某些資訊，但資訊之接收未必即時或近即時地發生且可在儲存之後在某一時間處自媒體擷取。
視訊編碼器20及視訊解碼器30各自可實施為各種合適電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、硬體或其任何組合。若部分地以軟體來實施該等技術，則器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀儲存媒體中，且可在硬體中使用 一或多個處理器來執行該等指令以執行本發明之技術。可將前述各者(包括硬體、軟體、硬體與軟體之組合等)中之任一者視為一或多個處理器。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)的部分。
在一些實例中，視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如上文提及之HEVC標準)來操作。除基本HEVC標準以外，亦存在持續努力產生用於HEVC之可調式視訊寫碼、多視圖視訊寫碼及3D寫碼擴展。另外，可提供基於調色板之寫碼模式(例如，如本發明中所描述)以用於擴展HEVC標準。在一些實例中，本發明中描述之用於基於調色板之寫碼的技術可應用於經組態以根據其他視訊寫碼標準操作之編碼器及解碼器。因此，HEVC編解碼器中用於寫碼單元(CU)或預測單元(PU)之寫碼的基於調色板之寫碼模式的應用係出於實例之目的而描述。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列，表示為SL、SCb及SCr。SL為明度樣本的二維陣列(例如，區塊)。SCb為Cb色度樣本之二維陣列。SCr為Cr色度樣本之二維陣列。色度樣本在本文中亦可被稱作「色度」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，在HEVC中，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可為明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以對寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU 未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。經寫碼片段可包含圖塊標頭及圖塊資料。圖塊之圖塊標頭可為包括提供關於圖塊之資訊之語法元素的語法結構。圖塊資料可包括圖塊之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割區等等。在一些上下文中，PU之論述可與巨集區塊或巨集區塊分割區之論述互換。
為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可為圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，該圖像具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列，以及用以對寫碼區塊之樣本進行寫碼的語法結構。視訊編碼器20可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊可為其上應用相同預測之樣本的矩形(例如，正方形或非正方形)區塊。CU之預測單元(PU)可為圖像之明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊樣本進行預測的語法結構。視訊編碼器20可針對CU之每一PU的明度、Cb及Cr預測區塊產生預測性明度區塊、Cb區塊及Cr區塊。
視訊編碼器20可使用框內預測或框間預測來產生PU之預測性區塊。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU之預測性區塊。
若視訊編碼器20使用框間預測來產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼 樣本產生PU之預測性區塊。視訊編碼器20可使用單向預測或雙向預測以產生PU之預測性區塊。當視訊編碼器20使用單向預測來產生PU之預測性區塊時，PU可具有單一運動向量(MV)。當視訊編碼器20使用雙向預測來產生PU之預測性區塊時，PU可具有兩個MV。
在視訊編碼器20產生CU之一或多個PU的預測性區塊(例如，預測性明度、Cb及Cr區塊)之後，視訊編碼器20可產生CU之殘餘區塊。CU之殘餘區塊中之每一樣本可指示CU之PU之預測性區塊中的樣本與CU之寫碼區塊中的對應樣本之間的差異。舉例而言，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外，視訊編碼器20可產生CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可使用四分樹分割將CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度、Cb及Cr變換區塊)。變換區塊可為其上應用相同變換之樣本的矩形區塊。CU之變換單元(TU)可為明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換的語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊的子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。
視訊編碼器20可將一或多個變換應用於變換區塊以產生TU之係 數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生TU之Cr係數區塊。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化該係數區塊。量化通常係指對變換係數進行量化以可能地減少用以表示變換係數的資料之量，從而提供進一步壓縮之處理程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。位元串流亦可包括未經熵編碼之語法元素。
視訊編碼器20可輸出包括經熵編碼之語法元素之位元串流。位元串流可包括形成經寫碼圖像及相關聯資料之表示的位元之序列。位元串流可包含網路抽象層(NAL)單元之序列。NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數數目個位元組的語法結構。在一些情況下，RBSP包括零個位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)之RBSP，等等。囊封視訊寫碼資料之RBSP(與參數集及SEI訊息之RBSP相反)的NAL單元可被稱作視訊編碼層(VCL)NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可自位元串流獲得語法元素。舉例而言，視訊解碼器30可剖析位元串流以解碼來自位元串流之語法元素。視訊解碼器30可至少部分地基於自位元串流獲得(例如，解碼)之語法元素來重建構視訊資料之圖像。重建構視訊資料之程序可通常與由視訊編碼器20執行之程序互逆。舉例而言，視訊解碼器30可使用PU之MV來判定當前CU之PU的框間預測性樣本區塊(例如，框間預測性區塊)。另外，視訊解碼器30可逆量化與當前CU之TU相關聯的變換係數區塊。視訊解碼器30可對變換係數區塊執行逆變換，以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊，視訊解碼器30可重建構圖像。
在一些實例中，視訊編碼器20及視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言，在基於調色板之寫碼中，而非執行上文所描述之框內預測性或框間預測性寫碼技術，視訊編碼器20及視訊解碼器30可將所謂的調色板寫碼為表示特定區域(例如，給定區塊)之視訊資料的色彩或像素值的表格。以此方式，視訊寫碼器可對當前區塊之像素值中之一或多者的索引值進行寫碼，而非對視訊資料之當前區塊之實際像素值或其殘差進行寫碼，其中索引值指示調色板中用以表示當前區塊之像素值之條目(例如，索引可映射至一組Y值、Cr值及Cb值或映射至一組R值、G值及B值)。
舉例而言，視訊編碼器20可藉由以下操作來編碼視訊資料區塊：判定用於區塊之調色板；定位調色板中具有表示區塊之一或多個個別像素值之值的條目；及利用指示調色板中用以表示區塊之一或多個個別像素值之條目的索引值來編碼區塊。另外，視訊編碼器20可在 經編碼之位元串流中傳信索引值。又，視訊解碼器件(例如，視訊解碼器30)可自經編碼之位元串流獲得用於區塊之調色板，以及用於使用調色板判定區塊之各種個別像素的索引值。視訊解碼器30可將個別像素之索引值與調色板之條目匹配以重建構區塊之像素值。在個別像素之像素值並不足以接近由用於區塊之對應調色板表示之像素值中的任一者之情況下，視訊解碼器30可將此類個別像素識別為逸出像素以用於基於調色板之寫碼之目的。逸出像素之像素值可經明確地而非藉助於調色板索引來編碼。
在另一實例中，視訊編碼器20可根據以下操作來編碼視訊資料區塊。視訊編碼器20可判定區塊之個別像素的預測殘餘值，判定用於區塊之調色板，且定位調色板中具有表示個別像素之預測殘餘值中之一或多者之值的值之條目(例如，索引值)。另外，視訊編碼器20可利用指示調色板中用以表示區塊之每一個別像素之對應預測殘餘值之條目的索引值來編碼區塊。視訊解碼器30可自藉由源器件12傳信之經編碼位元串流獲得用於區塊之調色板，以及對應於區塊之個別像素之預測殘餘值的索引值。如所描述，索引值可對應於調色板中與當前區塊相關聯之條目。又，視訊解碼器30可使預測殘餘值之索引值與調色板的條目相關，以重建構區塊之預測殘餘值。可將預測殘餘值添加至預測值(例如，使用框內或框間預測獲得)以重建構區塊之像素值。
如下文更詳細地描述，基於調色板之寫碼之基本構想為：對於待寫碼之視訊資料的給定區塊，視訊編碼器20可導出包括當前區塊中之最主要像素值的調色板。舉例而言，調色板可指代經判定或假定為當前CU之主要及/或代表像素值的多個像素值。視訊編碼器20可首先將調色板的大小及元素傳輸至視訊解碼器30。另外，視訊編碼器20可根據特定掃描次序編碼給定區塊中之像素值。對於包括於給定區塊中之每一像素，視訊編碼器20可傳信將像素值映射至調色板中之對應條 目的索引值。若像素值並不足以接近調色板條目中之任一者的值(例如，其值足夠接近某一預定臨限值)，則將此像素定義為「逸出像素」。根據基於調色板之寫碼，視訊編碼器20可編碼及傳信經保留用於逸出像素之索引值(亦即，以指示其為逸出像素而並非存在有調色板中之條目中的像素)。在一些實例中，視訊編碼器20亦可編碼且傳信包括於給定區塊中之逸出像素的像素值或殘餘值(或其經量化版本)。
在接收藉由視訊編碼器20傳信之經編碼之視訊位元串流之後，視訊解碼器30可首先基於自視訊編碼器20接收之資訊判定調色板。視訊解碼器30可隨後將與給定區塊中之像素位置相關聯的所接收索引值映射至調色板之條目以重建構給定區塊之像素值。在一些情況下，視訊解碼器30可判定經調色板寫碼之區塊之像素為逸出像素，諸如，藉由判定像素係利用經保留以用於逸出像素之索引值而經調色板寫碼。在視訊解碼器30識別經調色板寫碼之區塊中之逸出像素的情況下，視訊解碼器30可接收包括於給定區塊中之逸出像素的像素值或殘餘值(或其經量化版本)。視訊解碼器30可藉由將個別像素值映射至對應調色板條目且藉由使用像素值或殘餘值(或其經量化版本)重建構包括於經調色板寫碼之區塊中之任何逸出像素來重建構經調色板寫碼之區塊。
如下文將更詳細地描述，視訊編碼器20及/或視訊解碼器30可經組態以根據本發明中描述之技術操作。大體而言，視訊編碼器20及/或視訊解碼器30可經組態以使用一或多個調色板寫碼模式來編碼及解碼視訊資料，其中該等調色板寫碼模式不包括調色板共用模式。本發明之技術包括諸如視訊編碼器20之視訊寫碼器件，其經組態以判定指示當前調色板中經明確傳信之條目的數目之第一語法元素的第一識別子。視訊編碼器20可經進一步組態以編碼位元串流。位元串流可包括 第一語法元素。位元串流亦可不包括指示調色板共用模式之第二語法元素。在一些實例中，判定第一語法元素之第一識別子包含使用上下文自適應性二進位算術寫碼來判定第一語法元素的第一識別子。在其他實例中，判定第一語法元素之第一識別子包含使用一或多個上下文來判定第一語法元素的第一識別子。在使用一或多個上下文之一些實例中，該一或多個上下文可係基於預測數目個調色板寫碼條目或區塊大小中之至少一者。
此外，本發明描述經組態以判定當前像素為掃描次序中之行中之第一像素的視訊編碼器20。視訊編碼器20可進一步判定位於當前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中之第一像素且判定位於當前像素上方之相鄰像素可用，視訊編碼器20可經進一步組態以旁路編碼位元串流中之第一語法元素，其中該第一語法元素指示延行類型且編碼位元串流之剩餘部分。
此外，本發明之技術包括視訊編碼器20，其經組態以判定指示最大允許之調色板大小且最小值為零之的第一語法元素。視訊編碼器20亦可經組態以編碼包括第一語法元素之位元串流。在一些實例中，位元串流進一步包括指示最大預測子調色板大小且最小值為零的第二語法元素。在一些實例中，第一語法元素之最大值為4096，且第二語法元素之最大值為8192。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為4095。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為8191。在其他實例中，第一語法元素具有等於最大寫碼單元中之像素數目的最大值，且第二語法元素具有等於正常數(諸如，2)乘以第一語法元素之最大值的最大值。在其他實例中，位元串流包括指示當前調色板中經明確傳信之條目之數目的另一語法元素。在本發明之一些實例中，藉由哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼或一元碼中之一者來表示此語 法元素。在本發明之其他實例中，藉由截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼或亦用於寫碼包括於經編碼之位元串流中之第三語法元素的碼中之一者來表示此語法元素，該第三語法元素指示調色板索引係自當前像素上方之列中之調色板索引複製抑或在經編碼之位元串流中經明確寫碼。在一些實例中，藉由截短萊斯模式表示此語法元素。在一些實例中，指示當前調色板中經明確傳信之條目的數目之語法元素具有等於視訊資料之當前區塊中之像素數目的最大值。
此外，本發明描述諸如視訊解碼器30之視訊寫碼器件，其經組態以接收經編碼之位元串流。經編碼之位元串流並未包括指示調色板共用模式之第一語法元素。此外，經編碼之位元串流包括指示當前調色板中經明確傳信之條目之數目的第二語法元素。視訊解碼器30可經進一步組態以解碼第二語法元素之第一識別子。在一些實例中，解碼第二語法元素之第一識別子包含使用上下文自適應性二進位算術寫碼元素解碼第二語法元素的第一識別子。在其他實例中，解碼第二語法元素之第一識別子包含使用一或多個上下文解碼第二語法元素的第一識別子。在使用一或多個上下文之一些實例中，該一或多個上下文可係基於預測數目個調色板寫碼條目或區塊大小中之至少一者。
此外，本發明之技術包括視訊解碼器30，其經組態以接收經編碼之位元串流。經編碼之位元串流可包括指示延行類型之第一語法元素。視訊解碼器30可進一步經組態以判定當前像素為掃描次序中之行中之第一像素。視訊解碼器30可進一步判定位於當前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中之第一像素且判定位於當前像素上方之相鄰像素可用，視訊解碼器30可旁路解碼第一語法元素。
此外，本發明之技術包括視訊解碼器30，其經組態以接收包括 第一語法元素之經編碼位元串流，該第一語法元素指示最大允許之調色板大小且其最小值為零。視訊解碼器30可經進一步組態以解碼經編碼之位元串流。在一些實例中，經編碼之位元串流進一步包括指示最大預測子調色板大小且最小值為零之第二語法元素。在一些實例中，第一語法元素之最大值為4096且第二語法元素之最大值為8192。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為4095。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為8191。在其他實例中，第一語法元素具有等於最大寫碼單元中之像素數目的最大值，且第二語法元素具有等於正常數(諸如，2)乘以第一語法元素之最大值的最大值。在其他實例中，經編碼位元串流包括指示當前調色板中經明確傳信之條目之數目的另一語法元素。在一些實例中，藉由哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼或一元碼中之一者表示指示當前調色板中經明確傳信之條目的數目之語法元素。在其他實例中，指示當前調色板中經明確傳信之條目之數目的語法元素由截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼或用以寫碼語法元素之同一碼中之一者表示，該語法元素指示調色板索引係自在當前像素上方之列中之調色板索引複製抑或在經編碼位元串流中經明確寫碼。在一些實例中，藉由截短萊斯模式表示指示當前調色板中經明確傳信之條目的數目之語法元素。在一些實例中，指示當前調色板中經明確傳信之條目的數目之語法元素具有等於視訊資料之當前區塊中之像素數目的最大值。
在本發明之另一實例中，視訊解碼器30可經組態以：在經編碼視訊位元串流中接收視訊資料區塊，該視訊資料區塊已使用基於調色板之寫碼模式編碼；接收指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；解碼該複數個 語法元素，包括使用一或多個哥倫布碼解碼該第一語法元素；基於經解碼之複數個語法元素重建構調色板；且使用經重建構之調色板解碼視訊資料區塊。
在本發明之另一實例中，視訊編碼器20可經組態以：使用基於調色板之寫碼模式及調色板編碼視訊資料區塊；產生指示用以編碼視訊資料區塊之調色板之複數個語法元素，該複數個語法元素包括在經編碼視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素；使用一或多個哥倫布碼編碼第一語法元素；及將複數個語法元素包括於經編碼視訊位元串流中。
圖2為繪示可實施本發明之各種技術的實例視訊編碼器20的方塊圖。出於解釋之目的提供圖2，且不應將其視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括視訊資料記憶體98、預測處理單元100、殘差產生單元102、變換處理單元104、量化單元106、逆量化單元108、逆變換處理單元110、重建構單元112、過濾器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120包括運動估計單元及運動補償單元(未展示)。視訊編碼器20亦包括基於調色板之編碼單元122，其經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣。在其他實例中，視訊編碼器20可包括更多、更少或不同結構性組件。
視訊資料記憶體98可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自圖1之視訊源18獲得儲存於視訊資料記憶體98中之視訊資料。經解碼圖像緩衝器116可為儲存用於視訊編碼器20(例如) 以框內或框間寫碼模式編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體98及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體98及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體98可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊編碼器20可接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四分樹分割以將CTU之CTB劃分成逐漸較小的區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個相等大小的子區塊，將該等子區塊中之一或多者分割成四個相等大小的子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(例如，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測之2N×2N、2N×N、N×2N、N×N或類似之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之一或多個預測性樣本區塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測處理單元120不對PU執行框間預測。因此，對於在I模式中編碼之區塊，預測性區塊係使用空間預測自同一圖框內的先前經編碼之相鄰區塊而形成。
若PU在P圖塊中，則框間預測處理單元120之運動估計單元可在用於PU之參考區域的參考圖像清單(例如，「RefPicList0」)中搜尋參考圖像。用於PU之參考區域可為參考圖像內含有最緊密地對應於PU之樣本區塊的樣本區塊之區域。運動估計單元可產生指示含有用於PU之參考區域之參考圖像的RefPicList0中之位置的參考索引。另外，運動估計單元可產生指示PU之寫碼區塊與關聯於參考區域的參考位置之間的空間移位之MV。舉例而言，MV可為提供自當前經解碼圖像中之座標至參考圖像中之座標的偏移之二維向量。運動估計單元可輸出參考索引及運動向量(MV)作為PU之運動資訊。框間預測處理單元120之運動補償單元可基於由PU之MV指示之參考位置處的實際或經內插樣本而產生PU之預測性樣本區塊。
若PU在B圖塊中，則運動估計單元可針對PU執行單向預測或雙向預測。為針對PU執行單向預測，運動估計單元可搜尋RefPicList0或用於PU之參考區域的第二參考圖像清單(「RefPicList1」)之參考圖像。運動估計單元可輸出以下各者作為PU之運動資訊：指示含有參考區域之參考圖像之RefPicList0或RefPicList1中的位置之參考索引、指示PU之樣本區塊與關聯於參考區域之參考位置之間的空間移位之MV，及指示參考圖像在RefPicList0中抑或在RefPicList1中之一或多 個預測方向指示符。框間預測處理單元120之運動補償單元可至少部分地基於由PU之運動向量指示之參考區域處的實際(亦即，整數精確度)或經內插(亦即，分率精確度)樣本而產生PU之預測性樣本區塊。
為針對PU執行雙向框間預測，運動估計單元可在用於PU之參考區域的RefPicList0中搜尋參考圖像，且亦可在用於PU之另一參考區域的RefPicList1中搜尋參考圖像。運動估計單元可產生指示含有參考區域之參考圖像的RefPicList0及RefPicList1中之位置的參考圖像索引。另外，運動估計單元可產生指示關聯於參考區域之參考位置與PU之樣本區塊之間的空間移位之MV。PU之運動資訊可包括參考索引及PU之MV。運動補償單元可至少部分地基於由PU之運動向量指示之參考區域處的實際或經內插樣本而產生PU之預測性樣本區塊。
根據本發明之各種實例，視訊編碼器20可經組態以執行基於調色板之寫碼。就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態以用作CU模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的PU模式。因此，本文中(貫穿本發明)在CU模式之上下文中描述之全部所揭示處理程序可另外或替代地適用於PU模式。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色板之寫碼技術，因而，此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分工作。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
舉例而言，當(例如)針對CU或PU選擇基於調色板之編碼模式時，基於調色板之編碼單元122可執行基於調色板之寫碼。舉例而言，基於調色板之編碼單元122可經組態以產生具有指示像素值之條目之調色板，選擇調色板中之像素值以表示視訊資料之區塊中的至少一些位置之像素值，及傳信使視訊資料之區塊的至少一些位置與調色 板中分別對應於所選擇像素值之條目相關聯的資訊。儘管將各種功能描述為藉由基於調色板之編碼單元122執行，但此等功能中之一些或全部可藉由其他處理單元或不同處理單元之組合執行。
基於調色板之編碼單元122可經組態以產生本文中所描述之與基於調色板之寫碼相關的各種語法元素中之任一者。因此，視訊編碼器20可經組態以使用如本發明中所描述的基於調色板之寫碼模式來編碼視訊資料區塊。視訊編碼器20可使用調色板寫碼模式選擇性地編碼視訊資料區塊，或使用不同模式(例如，此類HEVC框間預測性或框內預測性寫碼模式)來編碼視訊資料區塊。視訊資料區塊可為(例如)根據HEVC寫碼程序產生之CU或PU。視訊編碼器20可利用框間預測性時間預測或框內預測性空間寫碼模式來編碼一些區塊，且利用基於調色板之寫碼模式來解碼其他區塊。
框內預測處理單元126可藉由對PU執行框內預測而產生PU之預測性資料。用於PU之預測性資料可包括PU之預測性樣本區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式以產生用於PU之預測性資料的多個集合。當使用一些框內預測模式來產生PU之預測性資料之集合時，框內預測處理單元126可在與框內預測模式相關聯之方向上跨越PU之預測性區塊自相鄰PU之樣本區塊擴展樣本值。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用多個不同框內預測模式中之任一者，例如，33個方向性框內預測模式。在一些實例中，框內預測模式之數目可取決於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120針對PU產生之預 測性資料或由框內預測處理單元126針對PU產生之預測性資料當中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於預測性資料之集合的比率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性樣本區塊在本文中可被稱作所選擇之預測性樣本區塊。
殘差產生單元102可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的所選擇之預測性樣本區塊(例如，預測性明度、Cb及Cr區塊)而產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘差產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性樣本區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，在一些實例中，TU可與明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之分葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯的變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可量化係數區塊中之變換係數。量化處理程序可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言，在量化期間，可將n位元變換係數捨入至m位元變換係數，其中n大於m。量 化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊損失，因此，經量化變換係數可具有比原始變換係數低的精確度。
逆量化單元108及逆變換處理單元110可分別將逆量化及逆變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性樣本區塊的對應樣本，以產生與TU相關聯之經重建構變換區塊。藉由以此方式重建構用於CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
過濾器單元114可執行一或多個解區塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。在過濾器單元114對經重建構之寫碼區塊執行一或多個解區塊操作之後，經解碼圖像緩衝器116可儲存經重建構之寫碼區塊。框間預測處理單元120可使用含有經重建構之寫碼區塊之參考圖像，以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構之寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作，以產生經熵編碼之資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生之經熵編碼資料的位元串流。舉例而言，位元串流可 包括表示用於CU之RQT的資料。
在一些實例中，殘差寫碼並不與調色板寫碼一起執行。因此，當使用調色板寫碼模式寫碼時，視訊編碼器20可不執行變換或量化。另外，視訊編碼器20可熵編碼單獨地使用調色板寫碼模式自殘餘資料產生的資料。
根據本發明之技術中之一或多者，視訊編碼器20，且具體言之基於調色板之編碼單元122，可執行經預測視訊區塊的基於調色板之視訊寫碼。如上文所描述，由視訊編碼器20產生之調色板可明確地經編碼並發送至視訊解碼器30，自先前調色板條目預測，自先前像素值預測，或其組合。
根據本發明之一或多個技術，基於調色板之編碼單元122可應用本發明之技術以執行樣本值至索引轉換，以使用一或多個調色板寫碼模式來編碼視訊資料，其中調色板寫碼模式不包括調色板共用模式。本發明之技術包括視訊編碼器20之基於調色板之編碼單元122，其經組態以判定指示當前調色板中經明確傳信之條目之數目的第一語法元素的第一識別子。視訊編碼器20之基於調色板之編碼單元122可經進一步組態以編碼位元串流。位元串流可包括第一語法元素。位元串流亦可不包括指示調色板共用模式之第二語法元素。在一些實例中，判定第一語法元素之第一識別子包含使用上下文自適應性二進位算術寫碼判定第一語法元素的第一識別子。在其他實例中，判定第一語法元素之第一識別子包含使用一或多個上下文判定第一語法元素的第一識別子。在使用一或多個上下文之一些實例中，一或多個上下文可係基於預測數目個調色板寫碼條目或區塊大小中之至少一者。
此外，本發明之技術包括視訊編碼器20之基於調色板之編碼單元122，其經組態以判定當前像素為在掃描次序中之行中之第一像素。視訊編碼器20之基於調色板之編碼單元122可進一步判定位於當 前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中之第一像素且判定位於當前像素上方之相鄰像素可用，視訊編碼器20之基於調色板之編碼單元122可經進一步組態以旁路編碼位元串流中之第一語法元素，其中該第一語法元素指示延行類型，且編碼位元串流之剩餘部分。
此外，本發明之技術包括視訊編碼器20之基於調色板之編碼單元122，其經組態以判定指示最大允許調色板大小且最小值為零之第一語法元素。視訊編碼器20之基於調色板之編碼單元122亦可經組態以編碼包括第一語法元素之位元串流。在一些實例中，位元串流進一步包括指示最大預測子調色板大小且最小值為零的第二語法元素。在一些實例中，第一語法元素之最大值為4096且第二語法元素之最大值為8192。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為4095。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為8191。在其他實例中，第一語法元素具有等於最大寫碼單元中之像素數目的最大值，且第二語法元素具有等於正常數(諸如，2)乘以第一語法元素之最大值的最大值。在其他實例中，位元串流包括指示當前調色板中經明確傳信之條目之數目的另一語法元素。在本發明之一些實例中，此語法元素由哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼或一元碼中之一者表示。在本發明之其他實例中，此語法元素由截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼或亦用以寫碼包括於經編碼位元串流中之第三語法元素的碼中之一者表示，該第三語法元素指示調色板索引係自當前像素上方之列中之調色板索引複製抑或在經編碼位元串流中經明確寫碼。在一些實例中，藉由截短萊斯模式表示此語法元素。在一些實例中，指示當前調色板中經明確傳信之條目之數目的語法元素具有等於視訊資料之當前區塊中之像素數目的最大值。
圖3為繪示經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。視訊解碼器30可以與參考圖2所描述之視訊編碼器20之方式互逆的方式操作。出於解釋之目的而提供圖3，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼之上下文中的視訊解碼器30。然而，本發明之技術可適用於使用調色板模式寫碼之其他寫碼標準或方法
在圖3之實例中，視訊解碼器30包括視訊資料記憶體148、熵解碼單元150、預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158、過濾器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。視訊解碼器30亦包括經組態以執行本發明中所描述的基於調色板之寫碼技術之各種態樣的基於調色板之解碼單元165。在其他實例中，視訊解碼器30可包括更多、更少或不同結構性組件。
視訊資料記憶體148可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。可(例如)自頻道16(例如，自諸如攝影機之本端視訊源)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體獲得儲存於視訊資料記憶體148中的視訊資料。視訊資料記憶體148可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於視訊解碼器30(例如)以框內或框間寫碼模式解碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體148及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如，動態隨機存取記憶體(DRAM)(包括同步DRAM(SDRAM))、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體148及經解碼圖像緩衝器162。在各種實例中，視訊資料記憶體148可與視訊解碼器30之其他組件一起在 晶片上，或相對於彼等組件在晶片外。
視訊資料記憶體148(亦即，CPB)可接收及儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自視訊資料記憶體148接收經編碼視訊資料(例如，NAL單元)，且可解析NAL單元以解碼語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼之語法元素。預測處理單元152、逆量化單元154、逆變換處理單元156、重建構單元158及過濾器單元160可基於自位元串流獲得(例如，提取)之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼圖塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼圖塊NAL單元提取語法元素並對該等語法元素進行熵解碼。經寫碼圖塊中之每一者可包括圖塊標頭及圖塊資料。圖塊標頭可含有關於圖塊之語法元素。圖塊標頭中之語法元素可包括識別與含有圖塊之圖像相關聯之PPS的語法元素。
除了解碼來自位元串流之語法元素之外，視訊解碼器30可對未分割之CU執行重建構操作。為了對未分割之CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，逆量化單元154可對與TU相關聯之係數區塊進行逆量化(例如，解量化)。逆量化單元154可使用與TU之CU相關聯之QP值來判定量化程度且同樣地判定逆量化單元154應用的逆量化程度。亦即，可藉由調整在量化變換係數時使用的QP值來控制壓縮比，例如，用以表示原始序列及經壓縮序列之位元數目之比率。壓縮比亦可取決於所採用的熵寫碼之方法。
在逆量化單元154對係數區塊進行逆量化之後，逆變換處理單元156可將一或多個逆變換應用於係數區塊，以便產生與TU相關聯之殘餘區塊。舉例而言，逆變換處理單元156可將逆DCT、逆整數變換、 逆Karhunen-Loeve變換(KLT)、逆旋轉變換、逆定向變換或另一逆變換應用於係數區塊。
若PU係使用框內預測來編碼，則框內預測處理單元166可執行框內預測以產生用於PU之預測性區塊。框內預測處理單元166可使用框內預測模式以基於在空間上相鄰的PU之預測區塊而產生PU的預測性明度區塊、Cb區塊及Cr區塊。框內預測處理單元166可基於自位元串流解碼之一或多個語法元素判定用於PU之框內預測模式。
預測處理單元152可基於自位元串流提取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若PU係使用框間預測來編碼，則熵解碼單元150可提取用於PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定用於PU之一或多個參考區域。運動補償單元164可基於在用於PU之一或多個參考區塊處的樣本區塊而產生用於PU的預測性區塊(例如，預測性明度區塊、Cb區塊及Cr區塊)。
重建構單元158可在適用時使用與CU之TU相關聯的變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU的預測性區塊(例如，明度、Cb及Cr區塊)(亦即，框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可將變換區塊(例如，明度、Cb及Cr變換區塊)之樣本添加至預測性區塊(例如，預測性明度、Cb及Cr區塊)之對應樣本，以重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
過濾器單元160可執行解區塊操作以減少與CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上的呈現。舉 例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊(例如，明度、Cb及Cr區塊)對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流提取重要係數區塊之變換係數層級，逆量化變換係數層級，將變換應用於變換係數層級以產生變換區塊，至少部分地基於變換區塊產生寫碼區塊，且輸出寫碼區塊以供顯示。
根據本發明之各種實例，視訊解碼器30可經組態以執行基於調色板之寫碼。舉例而言，當(例如)針對CU或PU選擇基於調色板之解碼模式時，基於調色板之解碼單元165可執行基於調色板之解碼。舉例而言，基於調色板之解碼單元165可經組態以產生具有指示像素值之條目的調色板。此外，在此實例中，基於調色板之解碼單元165可接收使視訊資料區塊的至少一些位置與調色板中之條目相關聯的資訊。在此實例中，基於調色板之解碼單元165可基於資訊選擇調色板中之像素值。另外，在此實例中，基於調色板之解碼單元165可基於所選擇之像素值重建構區塊之像素值。儘管各種功能經描述為藉由基於調色板之解碼單元165執行，但此等功能中之一些或全部可藉由其他處理單元或不同處理單元之組合來執行。
根據本發明之一或多個技術，基於調色板之解碼單元165可接收調色板寫碼模式資訊，且在調色板寫碼模式資訊指示調色板寫碼模式適用於區塊時執行以上操作。當調色板寫碼模式資訊指示調色板寫碼模式不適用於區塊時，或當其他模式資訊指示不同模式之使用時，基於調色板之解碼單元165使用基於非調色板之寫碼模式(例如，當調色板寫碼模式資訊指示調色板寫碼模式不適用於區塊時，使用此HEVC框間預測性或框內預測性寫碼模式)解碼視訊資料區塊。視訊資料區塊可為(例如)根據HEVC寫碼程序產生的CU或PU。視訊解碼器30可利用框間預測性時間預測或框內預測性空間寫碼模式解碼一些區塊並利 用基於調色板之寫碼模式解碼其他區塊。基於調色板之寫碼模式可包含複數個不同的基於調色板之寫碼模式中的一者，或可存在單個基於調色板之寫碼模式。
根據本發明之技術中之一或多者，視訊解碼器30，且具體言之基於調色板之解碼單元165，可執行經調色板寫碼之視訊區塊的基於調色板之視訊解碼。如上所述，由視訊解碼器30解碼之調色板可藉由視訊編碼器20明確編碼及傳信，藉由視訊解碼器30相對於所接收之經調色板寫碼之區塊重建構，自先前調色板條目預測，自先前像素值預測，或其組合。
基於調色板之解碼單元165可應用本發明之技術以執行樣本值至索引轉換以使用一或多個調色板寫碼模式來解碼視訊資料，其中調色板寫碼模式不包括調色板共用模式。此外，本發明之技術包括視訊解碼器30之基於調色板之解碼單元165，其經組態以接收經編碼位元串流。在此實例中，經編碼位元串流並不包括指示調色板共用模式之第一語法元素。此外，經編碼之位元串流包括指示當前調色板中經明確傳信之條目之數目的第二語法元素。視訊解碼器30之基於調色板之解碼單元165可經進一步組態以解碼第二語法元素之第一識別子。在一些實例中，解碼第二語法元素之第一識別子包含使用上下文自適應性二進位算術寫碼(CABAC)單元解碼第二語法元素的第一識別子。在其他實例中，解碼第二語法元素之第一識別子包含使用一或多個上下文解碼第二語法元素的第一識別子。在使用一或多個上下文之一些實例中，該一或多個上下文可係基於預測數目個調色板寫碼條目或區塊大小中之至少一者。
此外，本發明之技術包括視訊解碼器30之基於調色板之解碼單元165，其經組態以接收經編碼位元串流。經編碼之位元串流可包括指示延行類型之第一語法元素。視訊解碼器30之基於調色板之解碼單 元165可進一步經組態以判定當前像素為掃描次序中之行中的第一像素。視訊解碼器30之基於調色板之解碼單元165可進一步判定位於當前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中的第一像素且判定位於當前像素上方之相鄰像素可用，視訊解碼器30之基於調色板之解碼單元165可旁路解碼第一語法元素。
此外，本發明之技術包括視訊解碼器30之基於調色板之解碼單元165，其經組態以接收包括指示最大允許調色板大小且最小值為零之第一語法元素的經編碼位元串流。視訊解碼器30之基於調色板之解碼單元165可經進一步組態以解碼經編碼位元串流。在一些實例中，經編碼位元串流進一步包括指示最大預測子調色板大小且最小值為零之第二語法元素。在一些實例中，第一語法元素之最大值為4096且第二語法元素之最大值為8192。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為4095。在其他實例中，第一語法元素之最大值為4095，且第二語法元素之最大值為8191。在其他實例中，第一語法元素具有等於最大寫碼單元中之像素之數目的最大值，且第二語法元素具有等於正常數(諸如，2)乘以第一語法元素之最大值的最大值。在其他實例中，經編碼位元串流包括另一語法元素，例如，指示當前調色板中經明確傳信之條目之數目的第三語法元素。在本發明之一些實例中，指示當前調色板中經明確傳信之條目之數目的語法元素由哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼或一元碼中之一者表示。在本發明之其他實例中，指示當前調色板中經明確傳信之條目之數目的語法元素由截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼或亦用以寫碼包括於經編碼位元串流中之第三語法元素的碼中之一者表示，該第三語法元素指示調色板索引係自當前像素上方之列中之調色板索引複製抑或在經編碼位元串流中經明確寫碼。在一些實例中，藉由截短萊斯模式表示指示當 前調色板中經明確傳信之條目之數目的語法元素。在一些實例中，指示當前調色板中經明確傳信之條目之數目的語法元素具有等於視訊資料之當前區塊中之像素之數目的最大值。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，動作或事件可同時執行(例如，經由多執行緒處理、中斷處理或多個處理器)而非依序執行。另外，雖然出於清晰之目的而將本發明之某些態樣描述為藉由單一模組或單元執行，但應理解，本發明之技術可藉由與視訊寫碼器相關聯之單元或模組之組合來執行。
出於說明之目的，本發明之某些態樣已關於開發HEVC標準而加以描述。然而，本發明中所描述之技術可用於其他視訊寫碼程序，包括尚未開發之其他標準或專有視訊寫碼程序。
上文所描述之技術可藉由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，其兩者通常可被稱作視訊寫碼器。同樣地，在適用時，視訊寫碼可指代視訊編碼或視訊解碼。
在一些實例中，基於調色板之寫碼技術可經組態以用於HEVC標準或HEVC SCC標準之一或多個寫碼模式。在其他實例中，可獨立地或作為其他現有或未來系統或標準之部分而使用基於調色板之寫碼技術。在一些實例中，用於視訊資料之基於調色板之寫碼的技術可與一或多個其他寫碼技術(諸如，用於視訊資料之框間預測性寫碼或框內預測性寫碼的技術)一起使用。舉例而言，如下文將更詳細描述，編碼器或解碼器或組合之編碼器解碼器(編解碼器)可經組態以執行框間或框內預測性寫碼，以及基於調色板之寫碼。
就HEVC構架而言，作為實例，基於調色板之寫碼技術可經組態 以用作寫碼單元(CU)模式。在其他實例中，基於調色板之寫碼技術可經組態以用作HEVC之構架中的預測單元(PU)模式。因此，在CU模式之上下文中描述之所有以下所揭示之程序可另外或替代地適用於PU。然而，此等基於HEVC之實例不應被視為約束或限制本文中所描述的基於調色板之寫碼技術，因而，此等技術可經應用以獨立地或作為其他現有或尚待開發之系統/標準之部分而工作。在此等情況下，用於調色板寫碼之單元可為正方形區塊、矩形區塊或甚至非矩形形狀區域。
基於調色板之寫碼之基本構想為：對於每一CU，導出包含當前CU中之最主要像素值(及可由最主要像素值組成)之調色板。首先將調色板之大小及元素自視訊編碼器傳輸至視訊解碼器。可使用相鄰CU(例如，上方及/或左方之經寫碼CU)中之調色板之大小及/或元素來直接寫碼或預測性地寫碼調色板之大小及/或元素。此後，根據特定掃描次序基於調色板來編碼CU中之像素值。對於CU中之每一像素位置，首先傳輸旗標(例如，palette_flag)以指示像素值是否包括於調色板中。在一些實例中，此旗標被稱作copy_above_palette_indices_flag。對於映射至調色板中之條目的彼等像素值，針對CU中之給定像素位置傳信與彼條目相關聯之調色板索引。對於調色板中不存在之彼等像素值，可將特殊索引指派給像素，且針對CU中之給定像素位置傳輸實際像素值(在一些情況下為經量化像素值)。此等像素被稱作「逸出像素」。可使用任何現有熵寫碼方法(諸如，固定長度寫碼，一元寫碼等)來寫碼逸出像素。
在其他實例中，旗標並未用於明確指示像素是否為「逸出」像素。實際上，旗標或其他語法元素可用以指示延行類型。指示延行類型之語法元素可指示以下索引是否自當前像素上方之位置複製或是否存在經傳信之索引值的延行。若特定像素之導出索引值對應於「逸出 索引」(例如，在調色板中指示逸出像素之使用的預定索引)，則視訊解碼器30可判定此像素為逸出像素。
為改良螢幕內容寫碼效率，已提出擴展調色板模式之若干方法。舉例而言，此等方法可發現於以下各者中：JCTVC-S0114(Kim、J等人，「CE6-related：Enabling copy above mode prediction at the boundary of CU」，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合合作小組(JCT-VC)，第19次會議：法國，斯特拉斯堡，2014年10月17日至24日)；JCTVC-S0120(Ye，J等人，「Non-CE6：Copy previous mode」，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合合作小組(JCT-VC)，第19次會議：法國，斯特拉斯堡，2014年10月17日至24日)；及JCTVC-S0151(Wang，W等人，「Non-CE6：2-D Index Map Coding of Palette Mode in HEVC SCC」，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之關於視訊寫碼之聯合合作小組(JCT-VC)，第19次會議：法國，斯特拉斯堡，2014年10月17日至24日)。
X.Guo及A.Saxena之文件「RCE4：Summary report of HEVC Range Extension Core Experiments 4(RCE4)on palette coding for screen content」(JCTVC-P0035，美國，聖何塞，2014年1月9日至17日)描述基於調色板之模式的兩個測試結果，該等結果經報告達成顯著的Bjontegaard失真率(BD率)降低，尤其對於螢幕內容而言。在下文中簡要地概述兩種方法。
在一個實例方法中，如例如X.Guo、Y.Lu及S.Li之文件「RCE4：Test 1.Major-color-based screen content coding」(JCTVC-P0108，美國，聖何塞，2014年1月9日至17日)中所描述，基於直方圖之演算法用於分類像素。詳言之，直方圖中之最重要的N個峰值被選為用於寫碼之主要色彩。接近主要色彩之像素值將經量化至主要色彩。不屬於 任何主要色彩集合之其他像素為逸出像素，該等逸出像素亦在寫碼之前經量化。對於無損寫碼，並未使用量化。
藉由使用分類，寫碼單元(CU)之像素可轉換成色彩索引。此後，寫碼主要色彩編號及值。接著，如下寫碼色彩索引：針對每一像素，傳信旗標以指示寫碼模式。存在三個模式：●水平模式、垂直模式及普通模式。
○若模式為水平模式，則整行(亦即，整個行中之所有像素)共用同一色彩索引。在此情況下，傳輸色彩索引。
○若模式為垂直模式，則整行與上一行相同。在此情況下，未傳輸任何事物。當前行複製上一行之色彩索引。
○若模式為普通模式，則針對每一像素位置傳信旗標以指示其是否與左部像素及上部像素中之一者相同。若不相同，則傳輸索引本身。
另外，若像素為逸出像素，則傳輸像素值。
在另一實例方法中，如例如L.Guo、W.Pu、M.Karczewicz、J.Sole、R.Joshi及F.Zou之文件「RCE4：Results of Test 2 on Palette Mode for Screen Content Coding」(JCTVC-P0198，美國，聖何塞，2014年1月9日至17日)中所描述，包括基於調色板之寫碼模式作為CU模式。第二方法之編碼程序可包括以下各者：●調色板之傳輸：使用逐條目預測方案以基於左部CU(在左邊與當前經寫碼之CU相鄰的CU)之調色板編碼當前調色板。此後，傳輸調色板之非預測條目。
●像素值之傳輸：使用以下三個模式以光柵掃描次序編碼CU中之像素：○「延行模式」：首先傳信調色板索引，繼而傳信「palette_run」(M)。隨後的M個調色板索引與首先傳信之經傳信調色 板索引相同。
○「上方複製模式」：傳輸值「copy_run」(N)以指示隨後的N個調色板索引的值分別與其上方相鄰者的值相同。
○「像素模式」：首先傳輸預測旗標。旗標值等於1指示傳輸使用經重建構之頂部相鄰像素作為預測子的預測殘餘。若此旗標之值等於0，則在無預測之情況下傳輸像素值。
調色板可組成經調色板寫碼之區塊(例如，CU)之位元的相對重要部分。因此，視訊寫碼器可基於先前經寫碼之調色板之一或多個條目來預測調色板之一或多個條目(例如，如上文關於「調色板的傳輸」所提及)。
在一些實例中，視訊寫碼器可在預測調色板條目時產生調色板預測子清單。舉例而言，C.Gisquet、G.Laroche及P.Onno之文件「AhG10：Palette predictor stuffing」(JCTVC-Q0063)揭示用於判定調色板預測子之一個實例程序。在一些實例中，視訊寫碼器可使用布林向量來指示調色板預測子清單中之每一項目是否用於(或不用於)預測用於當前經寫碼之區塊的調色板中之一或多個條目。
在一些實例中，調色板預測子清單中之所有項目係自先前經寫碼之調色板(例如，用先前經寫碼之區塊寫碼之調色板)導出。然而，此等調色板在空間上可遠離當前CU，此可使調色板相關性相對較弱。通常，擴充調色板預測子表可能有幫助(例如，可提供更準確之預測子，此可產生效率增益)。然而，判定及使用相對較大之調色板預測子表產生相對較長之布林向量。
在調色板寫碼之一項實例中，視訊編碼器20可產生語法元素，諸如指示基於調色板之寫碼模式是否用於視訊圖框之特定區域的旗標「PLT_Mode_flag」。舉例而言，PLT_Mode_flag可在視訊圖框之圖塊層級、CU層級、PU層級或任何其他層級產生。舉例而言，視訊編碼 器20可在CU層級產生PLT_Mode_flag且在經編碼視訊位元串流中傳信PLT_Mode_flag。視訊解碼器30可接著在解碼經編碼視訊位元串流時剖析PLT_Mode_flag。在此實例中，等於1的此PLT_Mode_flag之值指定當前CU係使用調色板模式編碼。在此情況下，視訊解碼器30可應用基於調色板之寫碼模式以解碼CU。在一些實例中，語法元素可指示用於CU的複數個不同調色板模式中之一者。
等於0的此PLT_Mode_flag之值指定當前CU係使用除調色板模式外之模式編碼。舉例而言，可使用多種框間預測性、框內預測性或其他寫碼模式中之任一者。當PLT_Mode_flag之值為0時，可傳輸其他資訊以傳信哪一特定模式用於編碼各別CU，通常，此特定模式可為HEVC寫碼模式(例如，框內寫碼或框間寫碼)。出於實例之目的而描述PLT_Mode_flag之使用。然而，在其他實例中，諸如多位元碼之其他語法元素可用以指示基於調色板之寫碼模式是否將用於CU(或在其他實例中為PU)，或指示將使用複數個模式中之哪些模式。
亦可在較高層級傳輸PLT_Mode_flag或其他語法元素。舉例而言，可在圖塊層級傳輸PLT_Mode_flag。在此情況下，等於1的旗標之值暗示圖塊中之所有CU將使用調色板模式進行編碼(此意謂無模式資訊(例如，針對調色板模式或其他模式)需要在CU層級傳輸)。類似地，此旗標可在圖像參數集(PPS)、序列參數集(SPS)或視訊參數集(VPS)層級傳信。又，旗標可在指定是否針對特定圖像、圖塊等啟用或停用調色板模式的此等層級中之一者處發送，而PLT_Mode_flag指示基於調色板之寫碼模式是否用於每一CU。在此情況下，若在圖塊、PPS、SPS或VPS層級發送之旗標或其他語法元素指示停用調色板寫碼模式，則在一些實例中，可能不需要針對每一CU傳信PLT_Mode_flag。替代地，若在圖塊、PPS、SPS或VPS層級發送之旗標或其他語法元素指示啟用調色板寫碼模式，則可進一步傳信 PLT_Mode_flag以指示是否將針對每一CU使用基於調色板之寫碼模式。又，如上文所提及，應用此等技術以用於指示CU的基於調色板之寫碼可另外或替代地用以指示PU的基於調色板之寫碼。
諸如PLT_Mode_flag之旗標亦可或替代地有條件地傳輸或推斷。用於傳輸PLT_Mode_flag或推斷該旗標之條件可為以下中之一或多者：例如，CU之大小、圖框類型、色彩空間、色彩分量、圖框大小、圖框速率、可調式視訊寫碼中之層id或多視圖寫碼中之視圖id。
現將論述用於產生及傳輸調色板之技術。視訊編碼器20可經組態以產生並傳信一或多個語法元素及值，該一或多個語法元素及值可由視訊解碼器30使用以建構及/或重建構由視訊編碼器20用以編碼特定層級之視訊圖框(例如，CU)的調色板。在一些實例中，視訊編碼器20可指示或以其他方式傳信用於每一CU之調色板。在其他實例中，視訊編碼器20可指示或以其他方式傳信可在若干CU間共用的調色板。
調色板之大小(例如，就所包括之像素值的數目而言)可為固定值或可藉由視訊編碼器20在經編碼視訊位元串流中傳信。視訊解碼器30可接收並解碼來自經編碼視訊位元串流之調色板大小的指示。傳信對於不同分量可為單獨的，或可針對所有分量傳信單一大小。不同分量可為(例如)明度分量及色度分量。傳信可使用一元碼或截短的一元碼(例如，以調色板大小之最大極限截短之碼)。亦可使用指數-哥倫布(Exponential-Golomb)碼或萊斯-哥倫布(Rice-Golomb)碼。在一些實例中，大小之傳信可以如下方式進行：在傳信調色板中之條目之後，傳信「停止」旗標。等於1的此旗標之值指定當前條目為調色板中之最後一個條目；等於0的此旗標之值指定調色板中存在更多條目。若已建構之調色板達到調色板大小之最大極限，則「停止」旗標可不由編碼器傳輸。在一些實例中，調色板之大小亦可基於旁側資訊以與上文 針對「旗標PLT_Mode_flag之傳輸」所描述相同之方式而有條件地傳輸或推斷。
調色板可針對CU中之每一色彩分量而單獨地傳輸。舉例而言，可存在用於此CU之Y分量的調色板、用於此CU之U分量的另一調色板及用於此CU之V分量的又一調色板。對於Y調色板，條目可(假定地)為此CU中之代表性Y值。該情況同樣適用於U分量及V分量。可針對CU中之所有色彩分量傳輸調色板亦為可能的。在此實例中，調色板中之第i個條目為三元組(Yi、Ui、Vi)。在此情況下，調色板包括用於分量中之每一者的值。
調色板之預測為上文所述之「調色板之傳輸」之替代方法。在一些實例中，可結合調色板傳信技術使用調色板預測技術。亦即，視訊編碼器20可經組態以傳信可由視訊解碼器30使用以預測調色板條目之總數目之一部分的語法元素。另外，視訊編碼器20可經組態以明確地傳信調色板條目之另一部分。
在調色板預測方法之一項實例中，對於每一CU，傳輸一個旗標「pred_palette_flag」。等於1的此旗標之值指定將自過去資料預測用於當前CU之調色板，且因此不需要傳輸調色板。等於0的此旗標之值意謂需要傳輸當前CU之調色板。旗標對於不同色彩分量可為單獨的(例如，因此針對YUV視訊中之CU需要傳輸3個旗標)，或可針對所有色彩分量傳信單一旗標。舉例而言，單一旗標可指示是否針對所有分量傳輸調色板或是否將預測用於所有分量之調色板。
在一些實例中，預測可以如下方式執行。若預測旗標值等於1，則對於當前CU，視訊編碼器20複製已編碼之相鄰CU中之一或多者的調色板。可能已傳輸或預測已編碼之相鄰CU的調色板。舉例而言，複製的相鄰CU可為左邊的相鄰CU。在左邊CU之調色板不可用的情況下(如在左邊CU並非使用調色板模式編碼或當前CU在圖像之第一行的 情況下)，調色板之複本可來自當前CU上方的CU。複製的調色板亦可為多個相鄰CU之調色板的組合。舉例而言，可應用一或多個公式、函數、規則或其類似者以基於複數個相鄰CU中之一者或組合的調色板來產生調色板。
亦可能的是，可建構候選清單，且藉由視訊編碼器20傳輸索引以指示當前CU自其複製調色板之候選CU。視訊解碼器30可建構相同的候選清單，且接著使用該索引來選擇對應CU之調色板以供當前CU使用。舉例而言，該候選清單可包括相對於圖塊或圖像內之待寫碼之當前CU在上方的一個CU及在左邊的一個CU。在此實例中，可傳信旗標或其他語法元素以指示候選選擇。舉例而言，等於0的傳輸旗標意謂複本來自左邊的CU，且等於1的傳輸旗標意謂複本來自頂部CU。視訊解碼器30選擇待自對應的相鄰CU複製之調色板且複製該調色板以供在解碼當前CU時使用。預測亦可使用當前CU之因果性相鄰者中之最頻繁樣本值導出。
調色板之預測亦可為逐條目的。對於調色板中之每一條目，視訊編碼器20產生並傳信旗標。用於給定條目之等於1的旗標之值指定預測值(例如，來自如左邊CU之選定候選CU的對應條目)用作此條目之值。等於0的旗標之值指定：未預測此條目且其值將自視訊編碼器20傳輸至視訊解碼器30，例如，在由視訊編碼器20編碼之位元串流中傳信以供稍後由視訊解碼器30進行解碼。
其調色板被用以預測當前CU之調色板或用於建構候選者之規則的候選CU的「pred_palette_flag」之值亦可基於旁側資訊以與如上文所描述之用於「旗標PLT_Mode_flag之傳輸」之相同方式有條件地傳輸或推斷。
接下來，視訊編碼器20可產生並傳信指示與CU中之每一像素相關聯之各別調色板條目的映射。映射中之第i個條目對應於CU中之第i 個位置。等於1的第i個條目之值指定CU中之此第i個位置處之像素值為調色板中之值中的一者，且進一步傳輸調色板索引，使得視訊解碼器30可重建構該像素值(若調色板中僅存在一個條目，則可跳過調色板索引之傳輸)。等於0的第i個條目之值指定CU中之第i個位置處之像素值不在調色板中，且因此該像素值將被明確地傳輸至視訊解碼器30。
若CU中之一個位置處之像素值為調色板中之值，則觀察到存在CU中之相鄰位置具有相同像素值的高概率。因此，在編碼用於位置之調色板索引(如j，其對應於像素值 s )之後，視訊編碼器20可傳輸語法元素「延行」以指示在掃描達到不同像素值之前CU中具有相同像素值 s 之連續值的數目。舉例而言，若緊接的下一個像素值之值不同於 s ，則傳輸延行=0。若下一個像素值為 s 但其後之一個像素值不為 s ，則延行=1。
在不傳輸延行(例如，隱式延行導出)的情況下，延行之值可為常數(例如，4、8、16等)，或延行之值亦可取決於旁側資訊。舉例而言，延行之值可取決於區塊大小，例如，延行等於當前區塊之寬度，或當前區塊之高度，或當前區塊之半寬度(或半高度)，或區塊之寬度與高度的分率，或區塊之高度/寬度的倍數。延行之值亦可取決於QP、圖框類型、色彩分量、色彩格式(例如，444、422、420)及/或色彩空間(例如，YUV、RGB)。延行之值亦可取決於掃描方向。在其他實例中，延行之值可取決於其他類型之旁側資訊。亦可使用高階語法(例如，PPS、SPS)來傳信延行之值。
在一些實例中，可能不需要傳輸映射。延行可僅在某些位置處開始。舉例而言，延行可僅在每一列開始處或在每隔N個列開始處開始。起始位置對於不同掃描方向可為不同的。舉例而言，若使用垂直掃描，則延行可僅在每一行開始處或在每隔N個行開始處開始。開始 位置可取決於旁側資訊。舉例而言，開始位置可為每一列或每一行之中點，或每一列/行之1/n、2/n、...(n-1)/n(亦即，分率)處。開始位置亦可取決於QP、圖框類型、色彩分量、色彩格式(例如，444、422、420)及/或色彩空間(例如，YUV、RGB)。在其他實例中，延行之開始位置可取決於其他類型之旁側資訊。亦可使用高階語法(例如，PPS、SPS等)來傳信開始位置。
組合隱式開始位置導出與隱式延行導出亦為可能的。舉例而言，延行等於兩個相鄰開始位置之間的距離。在開始點係每個列之開始(亦即，第一位置)的情況下，延行之長度為列。
掃描方向可為垂直或水平的。有可能的是，針對每一CU傳輸旗標以指示掃描方向。可針對每一分量單獨地傳輸旗標，或可傳輸單一旗標且所指示掃描方向適用於所有色彩分量。亦可能使用其他掃描方向，如45度或135度。掃描次序可為固定的或可以如上文針對「旗標PLT_Mode_flag之傳輸」所描之相同之方式取決於旁側資訊。
在上文解釋了如何傳輸調色板。上述實例之替代例為在運作中建構調色板。在此情況下，在CU開始處，調色板中不存在條目，且當視訊編碼器20針對CU中之位置傳信新像素值時，將此等值包括於調色板中。亦即，在針對CU中之位置產生及傳輸像素值時，視訊編碼器20將該等像素值添加至調色板。接著，CU中之具有相同值之稍後位置可引用調色板中之像素值(例如，利用索引值)，而非使視訊編碼器20傳輸該等像素值。類似地，當視訊解碼器30接收用於CU中之位置的(例如，藉由編碼器傳信之)新像素值時，新像素值包括藉由視訊解碼器30建構之調色板中之像素值。當CU中之稍後位置具有已添加至調色板之像素值時，視訊解碼器30可接收諸如索引值之資訊，該等索引值識別調色板中之對應像素值以用於重建構CU中之像素值。
若達到最大調色板大小(例如，當在運作中動態地建構調色板 時)，則編碼器及解碼器共用相同機制來移除調色板之條目。一種方法為移除調色板(FIFO佇列)中之最舊條目。另一方法為移除調色板中之最少使用條目。另一方法為對兩種方法(調色板中之時間及使用頻率)加權以決定待替換之條目。作為一項實例，若將像素值條目自調色板移除，且該像素值再次出現在調色板中之稍後位置處，則編碼器可傳輸該像素值而非將條目包括於調色板中。另外或替代地，有可能的是，此像素值在已移除之後可重新鍵入至調色板中，例如，當編碼器及解碼器掃描CU中之位置時。
本發明亦考慮組合初始調色板傳信與調色板之運作中導出。在一項實例中，可用像素之寫碼來更新初始調色板。舉例而言，在傳輸初始調色板後，視訊編碼器20可將值添加至初始調色板或在掃描CU中之額外位置之像素值時改變初始調色板中之值。同樣地，在接收初始調色板後，視訊解碼器30可將值添加至初始調色板或在掃描CU中之額外位置之像素值時改變初始調色板中之值。類似地，編碼器可傳信當前CU是否使用整個調色板之傳輸，運作中調色板產生或初始調色板之傳輸與初始調色板藉由運作中導出之更新的組合。在一些實例中，初始調色板可為最大調色板大小之完整調色板(在此情況下，可改變初始調色板中之值)或大小縮減之調色板(在此情況下，將值添加至初始調色板，且視情況改變初始調色板中之值)。
在上文，描述如何藉由識別像素值來傳輸映射。映射之傳輸可與上文所述之方法一起藉由傳信行複製來進行。在一項實例中，行複製係藉由視訊編碼器20傳信，以使得用於條目之像素值等於上方之行(或在左邊之行中，若掃描係垂直的)的條目之像素值。接著，可傳信『延行』的自該行複製之條目。又，可指示該行係複製自何處；為此目的可緩衝上方的若干行。舉例而言，儲存先前四個列，且用截短的一元碼或其他碼來傳信哪一列被複製，且接著，可傳信該列有多少條 目被複製(亦即，延行)。因此，在一些實例中，用於條目之像素值可經傳信等於剛好在當前列上方之一列或在當前列上方之兩個或兩個以上列中之條目的像素值。
在不傳信延行的情況下，延行之值可為常數/固定的或可使用上文所述之方法取決於旁側資訊(且由解碼器導出)。
亦可能的是，不需要傳輸映射。舉例而言，延行可僅在某些位置處開始。開始位置可固定或可取決於旁側資訊(且藉由解碼器導出)，因此可跳過開始位置之傳信。實際上，可應用上文所述之一或多個技術。亦可使用與上文所述相同之方法來組合隱式開始位置導出及隱式延行導出。
若使用映射透射之兩種方法，則旗標或其他語法元素可指示像素係自調色板抑或自先前行獲得，且接著索引指示調色板或列中之條目，且最後指示『延行』。
本發明描述用於簡化調色板模式寫碼及/或用於改良基於調色板之寫碼效率的方法、器件及技術。本發明之技術可彼此結合或單獨地使用以改良寫碼效率及/或降低編解碼器複雜度。大體而言，根據本發明之技術，視訊寫碼器件可經組態以使用一或多個調色板寫碼模式來編碼及解碼視訊資料，其中調色板寫碼模式不包括調色板共用模式。
在一個實例調色板模式中，可將諸如palette_share_flag之旗標傳信至位元串流以指示視訊資料之或更多區塊之調色板自視訊資料之另一區塊的調色板共用或合併。獲得共用調色板之視訊資料區塊可基於預定規則(例如，使用當前區塊左邊或上方之區塊的調色板)或可另外指示於經編碼視訊位元串流中。如R.Joshi及J.Xu之「High efficient video coding(HEVC)screen content coding：Draft 2」(JCTVC-S1005，章節7.4.9.6)」中所描述，將palette_share_flag之語義陳述為：「等於 1之palette_share_flag[x0][y0]指定用於當前寫碼單元之調色板係藉由自預測子調色板複製第一PreviousPaletteSize條目而導出。如子條款8.4.5.2.8中所指定而導出可變PreviousPaletteSize，等於0之palette_share_flag[x0][y0]指定用於當前寫碼單元之調色板被指定為來自先前寫碼單元之調色板條目及經明確傳信之新調色板條目的組合」。
在一個實例中，當palette_share_flag之值等於1時，palette_share_flag指示當前區塊可再使用來自先前經寫碼區塊之最後經寫碼之調色板。此方法亦被稱作調色板共用。然而，新研究結果指示：此旗標以及其表示之調色板共用方法在改良寫碼效率中並非有效，同時亦引入額外解析及解碼複雜度。
此外，在用於指示諸如palette_run_type_flag之延行類型的語法元素之傳信程序中識別一些冗餘。具體言之，在當前像素為掃描次序中之行中的第一像素，且與當前像素相鄰並在當前像素上方之像素可用時，當前像素不能在「上方複製」模式中。術語「上方像素可用」意謂：若並未啟用「自外部複製」方法，澤上方相鄰者在水平掃描之當前區塊內或左邊相鄰者在垂直掃描次序之區塊內。當啟用「自外部複製」方法時，「上方像素」始終可用於區塊內之每一像素。實例「自外部複製」方法描述於及JCTVC-S0079(Y.-C.Sun、J.KimT.-D.Chuang、Y.-W.Chen、S.Liu、Y.-W.Huang及S.Lei之「Non-CE6：Cross-CU palette colour index prediction」)及JCTVC-S0114(J.Kim、Y.-C.Sun、S.Liu、T.-D.Chuang、Y.-W.Chen、Y.-W.Huang及S.Lei之「CE6-related：Enabling copy above mode prediction at the boundary of CU」)中。
若根據「上方複製」模式寫碼當前像素，則當前像素之索引等於當前像素之上方相鄰者之索引。相反地，由於「上方複製」模式之 後不能緊接另一「上方複製」模式，上方相鄰者必須為『複製索引』延行之末端。因此，上方相鄰者之「複製索引」延行可藉由將當前像素添加至「複製索引」延行而非使當前像素成為「上方複製」延行中之第一像素而延長至少1。因此，若當前像素為掃描次序中之行中之第一像素，則規範地停用「上方複製」模式為可能的。此導致位元節省，係由於對於此像素可將延行類型推斷為「複製索引」，因此，消除傳信此索引之需求。
此外，以截短的一元碼進行語法元素palette_num_signalled_entries之當前二進位化palette_num_signalled_entries語法元素指示當前調色板(例如，待用於寫碼視訊資料之當前區塊的調色板)中經明確傳信之條目的數目。可藉由自視訊資料之另一區塊之調色板預測的調色板中之條目的數目減去調色板中之條目之數目之間的差來判定經明確傳信之樣本的數目(包括指示逸出樣本之使用的任何調色板條目)。在一些實例中，palette_num_signalled_entries語法元素可被稱為num_signalled_palette_entries語法元素。
在一些實例中，用於寫碼palette_num_signalled_entries語法元素之值的碼字可能不合需要地長，其可產生長度大於32之碼字。舉例而言，在HEVC1中，所有碼字之長度為32或更小。當寫碼palette_predictor_run語法元素之值時亦可出現相同情況。palette_predictor_run語法元素指定在陣列predictor_palette_entry_reuse_flag中之非零條目之前的零之數目。predictor_palette_entry_reuse_flag指示來自一或多個先前所用之調色板的特定調色板條目是否再用於當前調色板。palette_predictor_run之包含性值可在0至最大調色板預測子大小之範圍內。
鑒於此等缺陷，在本發明之一項實例中，本發明提出視訊編碼 器20及視訊解碼器30經組態以執行基於調色板之寫碼模式而無需調色板共用技術。更具體而言，視訊編碼器20及視訊解碼器30可經組態以執行基於調色板之寫碼而無需使用palette_share_flag[x0][y0]語法元素，如下文所指示：
視訊編碼器20及視訊解碼器30可經組態以使用其他技術(諸如上文所描述之調色板預測技術)而非使用調色板共用技術來寫碼適用於視訊資料之一個以上區塊的調色板。在其他實例中，視訊編碼器20及/視訊解碼器30可經組態以使用以下技術執行調色板預測。
圖4為更詳細地展示視訊編碼器20的基於調色板之編碼單元122的方塊圖。基於調色板之編碼單元122可經組態以執行本發明之用於基於調色板之視訊寫碼的實例技術中之一或多者。
如上所述，基於調色板之編碼單元122可經組態以利用基於調色板之編碼模式來編碼視訊資料區塊(例如，CU或PU)。在基於調色板之編碼模式中，調色板可包括藉由索引編號且表示可用以指示像素值之色彩分量值(例如，RGB、YUV等)或強度的條目。調色板產生單元203可經組態以接收用於視訊資料之當前區塊的像素值212且產生用於視訊資料之當前區塊的色彩值之調色板。調色板產生單元203可使用用於產生視訊資料之當前區塊的調色板之任何技術，包括上文所論述的基於直方圖之技術。調色板產生單元203可經組態以產生任何大小之調色板。在一項實例中，調色板產生單元203可經組態以產生32個調色板條目，其中每一調色板條目包括像素之Y、Cr及Cb分量的像素值。在前一實例中，假定每一調色板條目指定樣本(像素)之所有色彩分量之值。然而，本文件中所描述之概念可適用於針對每一色彩分量使用單獨調色板。
一旦調色板藉由調色板產生單元203產生，映射單元204即可產生用於視訊資料之當前區塊的映射，該映射指示視訊資料之當前區塊中的特定像素是否可表示為藉由調色板產生單元203產生之調色板中的條目。映射單元204可產生包括指示每一像素如何使用(或不使用)來自調色板之條目之語法元素的映射214。如上文所論述，在一些實例中，逸出像素並未使用獨立語法元素傳信而是可使用調色板中之預定保留索引來指示。若並未在調色板中發現視訊資料之當前區塊中之像素的值，則映射單元204可利用調色板中之保留索引指示逸出像素之使用且明確傳輸彼特定像素之像素值。在一些實例中，映射單元204可根據在調色板中發現之條目中之一者來預測明確像素值。在一些其他實例中，映射單元204可量化像素且傳輸經量化值。
除了傳信指示用於區塊中之像素中之每一者的色彩值之語法元素之外，基於調色板之編碼單元122亦可經組態以傳信將用於視訊資料之當前區塊的調色板。根據本發明之技術，基於調色板之編碼單元122可經組態以採用調色板預測技術來減少經傳信以指示用於視訊資料之特定區塊之調色板之值的資料之量。
作為調色板預測之一項實例，如JCTVC-Q0094(其自2014年6月20日起可自http：//phenix.int-evrv.fr/ict/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q0094-v1.zip獲得)中所描述，調色板可包括自預測子調色板複製之條目。預測子調色板可包括來自使用調色板模式之先前經寫碼之區塊或來自其他經重建構之樣本的調色板條目。如圖4中所示，基於調色板之編碼單元122可包括預測子調色板緩衝器210。預測子調色板緩衝器210可經組態以儲存來自先前經編碼區塊的多個先前所用調色板條目。作為一項實例，預測子調色板緩衝器210可組態為預定大小的先進先出(FIFO)緩衝器。預測子調色板緩衝器210可具有任何大小。在一項實 例中，預測子調色板緩衝器210包括至多64個先前所用調色板條目。
在一些實例中，基於調色板之編碼單元122可經組態以修剪預測子調色板緩衝器210中之條目，以使得預測子調色板緩衝器210中之所有調色板條目係獨特的。亦即，對於待添加至預測子調色板緩衝器210之每一新調色板條目，基於調色板之編碼單元122可經組態以首先檢查並無其他相同條目已儲存於預測子調色板緩衝器210中。若不存在相同條目，則將新調色板條目添加至預測子調色板緩衝器210。若新條目係現有條目之重複，則將新調色板條目添加至預測子調色板緩衝器210且自預測子調色板緩衝器210移除重複的條目。
基於調色板之編碼單元122可包括二進位預測向量產生單元206，其經組態以針對用於由調色板產生單元203產生之視訊資料的當前區塊之調色板中之每一條目產生及傳信二進位旗標(例如，predictor_palette_entry_reuse_flag)，以指示預測子調色板緩衝器210中之調色板條目是否經複製(或再使用)以用於視訊資料之當前區塊之調色板中的條目中之一者(例如，由旗標=1指示)。亦即，二進位預測子向量中的具有值1之旗標指示預測子調色板緩衝器210中之對應條目再用於當前區塊之調色板，而二進位預測向量中的具有值0之旗標指示預測子調色板緩衝器210中之對應條目並未再用於當前區塊之調色板。另外，基於調色板之編碼單元122可經組態以明確傳信無法自預測子調色板緩衝器210中之條目複製之當前調色板的一些值。亦可傳信新條目之數目。就此而言，視訊編碼器20及/或視訊解碼器30可經組態以使用palette_num_signalled_entries語法元素傳信經明確傳信之調色板條目的數目。
當使用基於調色板之寫碼模式(其使用調色板預測技術的)時，視訊編碼器20及視訊解碼器30可經組態以在其他語法元素中寫碼指示針對待用於寫碼視訊資料之當前區塊的當前調色板而經明確傳信之調色 板條目之數目的語法元素(例如，palette_num_signalled_entries)。本發明提出在寫碼此語法元素時用以改良寫碼效率或限制碼字長度之技術。
在本發明之一項實例中，基於調色板之編碼單元122可經組態以使用CABAC上下文編碼指示當前調色板中經明確傳信之條目之數目的語法元素(諸如，palette_num_signalled_entries語法元素)之第一識別子。基於調色板之編碼單元122可使用其他編碼技術寫碼palette_num_signalled_entries之其他識別子。在本發明之另一實例中，基於調色板之編碼單元122可經組態以使用一個以上上下文來寫碼palette_num_signalled_entries語法元素之第一識別子。在一項實例中，基於調色板之編碼單元122可經組態以基於經寫碼之當前視訊區塊之區塊大小及/或基於其他語法元素之值來判定上下文。
根據本發明之一項實例，基於調色板之編碼單元122可經組態以判定指示當前調色板中經明確傳信之條目之數目的第一語法元素之第一識別子。視訊編碼器20可經進一步組態以編碼包括第一語法元素之位元串流。位元串流亦可不包括指示調色板共用模式之第二語法元素。在一些實例中，基於調色板之編碼單元122可經組態以使用上下文自適應性二進位算術寫碼來編碼第一語法元素之第一識別子。在其他實例中，基於調色板之編碼單元122可經組態以使用一或多個上下文編碼第一語法元素之第一識別子。在使用一或多個上下文之一些實例中，該一或多個上下文可係基於預測數目個調色板寫碼條目或區塊大小中之至少一者。
在本發明之另一實例中，為避免palette_num_signalled_entries之碼字長度增長至長於32個位元，提出對當前調色板寫碼技術作出規範性語義變化(例如，R.Joshi及J.Xu之「High efficient video coding(HEVC)screen content coding：Draft 2」，JCTVC-S1005)。舉例而 言，可藉由臨限值封端指定最大允許調色板大小之語法元素(諸如，palette_max_size)及指定最大預測子調色板大小之語法元素(諸如，palette_max_predictor_size)的可行值。此臨限值可經預定且儲存於可由基於調色板之編碼單元122存取的記憶體(例如，圖2中之視訊資料記憶體98或圖3中之視訊資料記憶體148)中。具體言之，對於palette_max_size，值可為自0至T1之任何包含性值，其中T1為臨限值。當不存在時，基於調色板之編碼單元122可經組態以將palette_max_size之值推斷為0。此外，對於palette_max_predictor_size，值可為自0至T2之任何包含性值，其中T2為臨限值。當不存在時，基於調色板之編碼單元122可經組態以將palette_max_predictor_size之值推斷為0。
在一項實例中，T1等於4096且T2等於8192。在另一實例中，T1等於4095且T2等於4095。在又一實例中，T1等於4095且T2等於8191。
作為另一實例，本發明提出palette_max_size之值等於最大大小寫碼單元中之像素的數目。此值可經預定且儲存於可由基於調色板之編碼單元122存取的記憶體中。在一些實例中，palette_max_predictor_size之值可小於或等於K*palette_max_size，其中K為正常數。在一些實例中，K=2。
在另一實例中，基於調色板之編碼單元122(例如，使用視訊編碼器20之二進位向量壓縮單元209或另一結構性組件(諸如，熵編碼單元118))可經組態以使用來自哥倫布碼族(例如，哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼、一元碼等)之一個以上的寫碼技術來寫碼palette_num_signalled_entries語法元素之值。在本發明之一項實例中，基於調色板之編碼單元122經組態以使用0階指數哥倫布碼來編碼palette_num_signalled_entries語法元素之值。在本發明之另一實例 中，基於調色板之編碼單元122經組態以使用截短萊斯(TR)碼及指數哥倫布碼之串接(諸如，在用以寫碼HEVC1中之coeff_abs_level_remaining語法元素之係數寫碼中所使用的串接)來編碼palette_num_signalled_entries語法元素之值。
在下文中展示針對哥倫布萊斯參數0之TR碼及指數哥倫布碼之串接的實例：
此處，x可取0或1之值。類似地，下表展示用於paletteRun語法元素之寫碼中之串接二進位化的實例。此為針對最大延行值7之0階截短的萊斯碼及截短的指數哥倫布碼的串接。
在此，x可取0或1之值。
使用一或多個哥倫布碼(例如，指數哥倫布碼或TR碼與指數哥倫布碼之串接)來寫碼palette_num_signalled_entries語法元素提供相較於用於寫碼palette_num_signalled_entries語法元素之值的先前技術的益處。用於寫碼palette_num_signalled_entries語法元素之值的先前技術使用一元碼。一元碼的使用導致palette_num_signalled_entries語法元素之經寫碼長度在一些情況下大於32個位元。藉由使用一或多個哥倫布碼來寫碼palette_num_signalled_entries語法元素，本發明之技術允許基於調色板之編碼單元122在保持經寫碼長度處於或低於某一預定 數目之位元(例如，32個位元)的情況下編碼palette_num_signalled_entries語法元素之值。
在另一實例中，基於調色板之編碼單元122可經組態以使用哥倫布碼族之截短版本(例如，截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼等)來寫碼palette_num_signalled_entries語法元素之值。在本發明之另一實例中，基於調色板之編碼單元122可經組態以使用用以寫碼paletteRun語法元素之相同碼來寫碼palette_num_signalled_entries語法元素之值。在另一實例中，基於調色板之編碼單元122可經組態以使用用以在係數寫碼(例如，截短萊斯(TR)及指數哥倫布碼之串接)中寫碼coeff_abs_level_remaining語法元素之方法來寫碼palette_num_signalled_entries語法元素之值。根據此實例，TR參數較佳地為0。在此等實例中之每一者中，選擇特定截短碼以使得palette_num_signalled_entries語法元素之經編碼長度保持在32個位元或低於32個位元。
在另一實例中，提出對位元串流施加palette_num_signalled_entries等於區塊中之像素的數目之約束。亦即，基於調色板之編碼單元122可經組態以藉由當前經寫碼區塊中之像素的數目來限制palette_num_signalled_entries語法元素之可能值。在另一實例中，基於調色板之編碼單元122可經組態以藉由特定圖像之最大可能區塊中之像素的數目(例如，藉由特定視訊寫碼標準定義之大區塊大小)來限制palette_num_signalled_entries之可能值。
在另一實例中，若當前像素為掃描次序中之行中的第一像素且與當前像素相鄰且在當前像素上方之像素可用，則基於調色板之編碼單元122可經組態以旁路傳信指示延行類型之語法元素(諸如，palette_run_type_flag)。在一項實例中，基於調色板之編碼單元122可 經組態以判定當前像素為掃描次序中之行中之第一像素。基於調色板之編碼單元122可進一步判定位於當前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中之第一像素且判定位於當前像素上方之相鄰像素可用，基於調色板之編碼單元122可經進一步組態以旁路編碼位元串流之中第一語法元素，其中該第一語法元素指示延行類型且編碼該位元串流之剩餘部分。
返回至圖4及本發明之調色板預測技術，在2015年3月24日申請之美國申請案第14/667,411號(公佈為美國專利公開案第2015/0281728號)中，提出用於寫碼調色板二進位預測子向量的基於二進位樹之傳信方法及基於末端位置之傳信方法。在2014年5月23日申請之美國臨時申請案第62/002,741號中，提出基於群組的傳信方法。本發明提出用於產生、編碼及解碼二進位預測向量之額外技術。
本文中所描述之一些實例係關於用以寫碼調色板預測向量以改良寫碼效率之方法。舉例而言，假定藉由二進位預測向量產生單元206產生之二進位預測向量由下者表示： b =[b 0,b 1,...,b N-1],N 0,b i {0,1},0 i<N
在以上方程式中，b i {0,1},0 i<N表示預測旗標(亦被稱為二進位旗標或二進位預測旗標)。若N=0，則b=(亦即，b為空向量)，其不需經傳信。因此，在以下描述中，可假定N>0。
圖5展示預測子調色板緩衝器210及當前調色板220的一項實例。如圖5中可見，當前調色板220再使用來自預測子調色板緩衝器210之與條目索引1、2、5及9相關聯之像素值。因而，藉由圖4之二進位預測向量產生單元206產生的二進位預測子向量將為 b =[110010001000]。如此實例中可見，二進位預測向量 b 包括對應於預測子調色板緩衝器210中之第1、第2、第5及第9索引的具有值1之旗標。亦即，預測子調色板緩衝器210中之第1、第2、第5及第9條目係 再用於當前調色板220之僅有條目。對於當前調色板220中之條目索引5至8，基於調色板之編碼單元122可經組態以在經編碼視訊位元串流中傳信調色板條目值(例如，使用顯式傳信或或另一預測技術)。
根據本發明之一或多個技術，視訊編碼器20可經組態以編碼或大體上編碼二進位預測子向量b以便減少在經編碼視訊位元串流中傳信調色板所需的資料之量。如圖4中所示，二進位預測向量壓縮單元209可經組態以產生並傳信經編碼之二進位預測向量215。然而，應理解，本發明之二進位預測向量壓縮技術可實施於視訊編碼器20之其他結構(包括圖2中之熵編碼單元118)中。
在本發明之一項實例中，二進位預測向量壓縮單元209可經組態以使用基於延行長度之編碼技術來編碼二進位預測向量。舉例而言，二進位預測向量壓縮單元209可經組態以藉由使用指數哥倫布碼傳信二進位預測向量中之『1』之間的連續『0』之數目來編碼二進位預測向量。作為實例，再次假定 b =[110010001000]。在此實例中，如圖6中所示，二進位預測向量(亦即， b )可表達為：『零個連續0』-『1』-『零個連續0』-『1』-『兩個連續0』-『1』-『三個連續0』-『1』及『四個連續0』。由於已知b i {0,1}，故除最後的『連續0』群組外，每一『連續0』群組之後必須為『1』。因此，二進位預測向量壓縮單元209可使用基於零的延行長度寫碼技術來將二進位預測向量 b 表示為『零個連續0』-『零個連續0』-『兩個連續0』-『三個連續0』-『四個連續0』，此可表達為延行長度序列『0-0-2-3-4』。
根據與基於延行長度之傳信相關的本發明之一或多個實例，為了寫碼延行長度序列，可使用哥倫布萊斯碼、任何階之指數哥倫布碼、截短的指數哥倫布碼、截短的萊斯碼或任何其他二進位化(包括截短的二進位化)。在一項實例中，二進位預測向量壓縮單元209使用0階指數哥倫布碼作為延行長度寫碼技術。
對於截短的二進位化，取決於『1』在二進位向量中之位置及二進位向量大小，最大符號(maxsymbol)可為延行之最大可能值，此係因為在移動至二進位向量之末端後，最大可能延行值取決於向量內之位置而自向量大小減少至0。舉例而言，最大符號可為二進位向量長度或二進位向量長度減去對延行進行計數所在的『1』的位置。換言之，最大符號為自二進位向量之末端量測的剩餘長度。對於具有特定大小(例如，13)之二進位向量 b 的以上實例，可用截短的二進位化『0[13]-0[12]-2[11]-3[8]-4[4]』來寫碼延行長度序列『0-0-2-3-4』，其中最大符號提供於方括號中。
又，在一些實例中，二進位化可取決於元素(0或1)在二進位向量中之位置或索引。作為特定實例，若位置小於某一臨限值，則使用一個類型之二進位化；否則，應用另一類型之二進位化。在一些實例中，二進位化類型可為不同的二進位化碼，或具有不同階之相同碼族，諸如指數哥倫布碼。
在一項實例中，臨限值可為來自先前區塊或先前經調色板寫碼之區塊的調色板長度。在另一實例中，臨限值可固定為某一預設值或對每區塊、圖塊、圖像或其他處傳信。將認識到，對應技術可視情況用以定義CABAC上下文以寫碼延行值。另外，基於調色板之編碼單元122(參見圖2)可經組態以在經傳信之『1』元素之數目(亦即，來自預測子調色板緩衝器210的經指示為被再用於當前調色板220的調色板條目之數目)達到最大可能數目時停止延行長度傳信。在一些實例中，最大可能數目為最大可能調色板大小。
本發明之一些實例係關於指示二進位預測向量 b 之延行長度序列的末端位置寫碼。在本發明之一或多個實例中，二進位預測向量壓縮單元209可經組態以使用保留的延行長度 L 寫碼二進位預測向量之結束位置來編碼二進位預測向量 b 。在一項實例中，將 L =1用作保留的延 行長度。在視訊編碼器20處，若延行長度等於或大於 L ，則二進位預測向量壓縮單元209經組態以將1加至延行長度。若實際延行長度小於 L ，則二進位預測向量壓縮單元209經組態以按原樣傳信延行長度。二進位預測向量壓縮單元209可使用保留的延行長度 L 來傳信末端位置延行長度。
同樣地，在視訊解碼器30處，若延行長度之經解碼值大於 L ，則自實際的延行長度減去1。若經解碼值或延行長度小於 L ，則將經解碼值用作實際延行長度。若經解碼值等於 L ，則二進位預測向量 b 中之剩餘位置全部為0。因此，若經解碼值等於 L ，則不再需要延行傳信。
使用與上文相同之實例(亦即， b =[110010001000])且假定 L =1，二進位預測向量壓縮單元209經組態以將圖6之延行長度序列『0-0-2-3-4』傳信為『0-0-3-4-1』。接著，應用以上規則，視訊解碼器30可經組態以將延行長度序列恢復為『0-0-2-3-末端』。亦即，將0之第一延行長度值解碼為0且將0之下一個延行長度序列解碼為0，此係因為0延行長度序列皆小於保留的延行長度值 L =1。下一個延行長度序列為3，且因此，視訊解碼器30將經組態以自值3減去1而獲得2，此係因為接收值3大於保留的延行長度值 L =1。同樣地，視訊解碼器30將經組態以自接收值4減去1而獲得3以用於下一個延行長度序列，此係因為接收值4大於保留的延行長度值 L =1。最終，最後的接收延行長度值1等於保留的延行長度值 L =1。因此，視訊解碼器30可判定沒有其他值『1』存在於二進位預測向量中。
圖7為展示視訊解碼器30之基於調色板之解碼單元165之實例的方塊圖。基於調色板之解碼單元165可經組態而以與圖4之基於調色板之編碼單元122互逆的方式執行。基於調色板之解碼單元165可經組態以接收映射312，該映射針對當前區塊中之每一像素指示調色板之條目是否將用於當前區塊中之像素。另外，映射312可進一步指示將用 於給定像素之調色板條目。映射單元302可使用映射312及藉由調色板產生單元304產生之調色板來解碼視訊資料之當前區塊以產生經解碼視訊資料314。
根據本發明之技術，基於調色板之解碼單元165亦可接收經編碼之二進位預測向量316。如上文所論述，二進位預測向量316可使用延行長度寫碼技術來進行編碼，該延行長度寫碼技術編碼指示二進位預測向量中之延行之零值的延行長度序列。二進位預測向量解壓縮單元306可經組態以使用上文參考圖4至圖6所描述之延行長度寫碼技術的任何組合來解碼經編碼之二進位預測向量316。一旦藉由二進位預測向量解壓縮單元306恢復二進位預測向量，調色板產生單元304即可基於二進位預測向量及儲存於預測子調色板緩衝器310中的先前所用調色板條目而產生用於視訊資料之當前區塊的調色板。基於調色板之解碼單元165可經組態為以與基於調色板之編碼單元122(參看圖2)將先前所用調色板條目儲存於預測子調色板緩衝器210中相同的方式來將先前所用調色板條目儲存於預測子調色板緩衝器310中。
在本發明之一項實例中，基於調色板之解碼單元165可經組態以使用CABAC上下文來解碼指示當前調色板中經明確傳信之條目之數目的語法元素(諸如，palette_num_signalled_entries語法元素)的第一識別子。基於調色板之解碼單元165可使用其他解碼技術來解碼palette_num_signalled_entries之其他識別子。在本發明之另一實例中，基於調色板之解碼單元165可經組態以使用一個以上的上下文來解碼palette_num_signalled_entries語法元素之第一識別子。在一項實例中，基於調色板之解碼單元165可經組態以基於經解碼之當前視訊區塊之區塊大小及/或基於其他語法元素之值來判定上下文。
根據本發明之一項實例，基於調色板之解碼單元165可經組態以判定指示當前調色板中經明確傳信之條目之數目的第一語法元素之第 一識別子。視訊解碼器30可經進一步組態以解碼包括第一語法元素之位元串流。位元串流亦可不包括指示調色板共用模式之第二語法元素。在一些實例中，基於調色板之解碼單元165可經組態以使用上下文自適應性二進位算術寫碼來解碼第一語法元素co之第一識別子。在其他實例中，基於調色板之解碼單元165可經組態以使用一或多個上下文解碼第一語法元素之第一識別子。在使用一或多個上下文之一些實例中，該一或多個上下文可係基於預測數目個調色盤寫碼條目或區塊大小中之至少一者。
在本發明之另一實例中，為避免palette_num_signalled_entries之碼字長度增長至長於32個位元，提出對當前調色板寫碼技術作出規範性語義變化。舉例而言，可藉由臨限值封端指定最大允許調色板大小之語法元素(諸如，palette_max_size)及指定最大預測子調色板大小之語法元素(諸如，palette_max_predictor_size)的可行值。此臨限值可經預定且儲存於可由基於調色板之解碼單元165存取的記憶體(例如，圖3中之視訊資料記憶體148)中。具體言之，對於palette_max_size，值可為自0至T1之任何包含性值，其中T1為臨限值。當不存在時，基於調色板之解碼單元165可經組態以將palette_max_size之值推斷為0。此外，對於palette_max_predictor_size，值可為自0至T2之任何包含性值，其中T2為臨限值。當不存在時，基於調色板之解碼單元165可經組態以將palette_max_predictor_size之值推斷為0。
在一項實例中，T1等於4096且T2等於8192。在另一實例中，T1等於4095且T2等於4095。在又一實例中，T1等於4095且T2等於8191。
作為另一實例，本發明提出palette_max_size之值等於最大大小寫碼單元中之像素的數目。此值可經預定且儲存於可由基於調色板之解碼單元165存取的記憶體中。在一些實例中， palette_max_predictor_size之值可小於或等於K*palette_max_size，其中K為正常數。在一些實例中，K=2。
在另一實例中，圖3之基於調色板之解碼單元165(例如，使用視訊解碼器30之二進位預測向量解壓縮單元306或另一結構性組件(諸如，圖3之熵解碼單元150))可經組態以使用來自哥倫布碼族(例如，哥倫布萊斯碼、指數哥倫布碼、截短萊斯碼，一元碼等)之一個以上的解碼技術來解碼palette_num_signalled_entries語法元素的值。在本發明之一項實例中，基於調色板之解碼單元165經組態以使用截短萊斯及指數哥倫布碼之串接來解碼palette_num_signalled_entries語法元素之值。
在另一實例中，基於調色板之解碼單元165可經組態以使用哥倫布碼族之截短版本(例如，截短的哥倫布萊斯碼、截短的指數哥倫布碼、截短的截短萊斯碼、截短的一元碼等)來解碼palette_num_signalled_entries語法元素之值。在本發明之另一實例中，基於調色板之解碼單元165可經組態以使用用以寫碼paletteRun語法元素之相同碼來解碼palette_num_signalled_entries語法元素之值。在另一實例中，基於調色板之解碼單元165可經組態以使用在係數解碼(例如，截短萊斯(TR)及指數哥倫布碼之串接)中解碼coeff_abs_level_remaining語法元素之方法來解碼palette_num_signalled_entries語法元素之值。根據此實例，TR參數較佳地為0。
在另一實例中，提出對位元串流施加palette_num_signalled_entries等於區塊中之像素的數目之約束。亦即，基於調色板之解碼單元165可經組態以藉由當前經寫碼區塊中之像素的數目來限制palette_num_signalled_entries語法元素之可能值。在另一實例中，基於調色板之解碼單元165可經組態以藉由特定圖像 之最大可能區塊中之像素的數目(例如，藉由特定視訊寫碼標準定義之大區塊大小)來限制palette_num_signalled_entries之可能值。
在另一實例中，若當前像素為掃描次序中之行中的第一像素且與當前像素相鄰且在當前像素上方之像素可用，則基於調色板之解碼單元165可經組態以推斷指示延行類型之語法元素(諸如，palette_run_type_flag)的值。在一項實例中，基於調色板之解碼單元165可經組態以判定當前像素為掃描次序中之行中之第一像素。基於調色板之解碼單元165可進一步判定位於當前像素上方之相鄰像素可用。回應於判定當前像素為掃描次序中之行中之第一像素且判定位於當前像素上方之相鄰像素可用，基於調色板之解碼單元165可經進一步組態以推斷位元串流中之第一語法元素的值，其中該第一語法元素指示延行類型且編碼該位元串流之剩餘部分。
圖8為繪示根據本發明之技術的實例視訊編碼方法的流程圖。圖8之技術可藉由視訊編碼器20之一或多個硬體結構(包括基於調色板之編碼單元122及/或熵編碼單元118(參看圖2))來實施。
在本發明之一項實例中，視訊編碼器20可經組態以使用基於調色板之寫碼模式及調色板來編碼視訊資料區塊(800)，且產生指示用以編碼視訊資料區塊之調色板的複數個語法元素，該複數個語法元素包括在經編碼視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素(802)。視訊編碼器20可經進一步組態以使用一或多個哥倫布碼編碼第一語法元素，以使得經編碼之第一語法元素之長度小於或等於預定數目之位元(804)，且將複數個語法元素包括於經編碼視訊位元串流中(806)。
在本發明之一項實例中，第一語法元素為palette_num_signalled_entries語法元素。在本發明之另一實例中，複數個語法元素包括由第一語法元素指示為經明確傳信之調色板值。
在本發明之一項實例中，位元之預定最大數目為32，且一或多個哥倫布碼為0階指數哥倫布碼。在本發明之另一實例中，位元之預定最大數目為32，且一或多個哥倫布碼為截短萊斯碼與指數哥倫布碼之串接。
在本發明之另一實例中，相對於指示調色板之最大大小的第二語法元素及指示調色板預測子之最大大小的第三語法元素定義第一語法元素之最大值。在此實例中，視訊編碼器20可經進一步組態以將第二語法元素定義為自0至第一臨限值的值，且將第三語法元素定義為自0至第二臨限值的值。在一項實例中，第一臨限值為4095或4096中之一者，且第二臨限值為4095、8191或8192中之一者。
在本發明之另一實例中，相對於指示調色板之最大大小的第二語法元素及指示調色板預測子之最大大小的第三語法元素定義第一語法元素之最大值。在此實例中，視訊編碼器20可經進一步組態以將第二語法元素定義為小於或等於經編碼視訊位元串流中之最大可能區塊中的像素之數目，且將第三語法元素定義為小於或等於K*第二語法元素之值，其中K為正常數。在一項實例中，K為2。
在本發明之另一實例中，視訊編碼器20可經進一步組態以在當前像素並非掃描次序中之第一像素之情況下傳信指示調色板延行類型之語法元素，且在當前像素為掃描次序中之第一像素且先前像素/樣本可用之情況下不傳信指示調色板延行類型的語法元素。
圖9為繪示根據本發明之技術之實例視訊解碼方法的流程圖。圖9之技術可由視訊解碼器30之一或多個硬體結構(包括基於調色板之解碼單元165及/或熵解碼單元150(參看圖3))實施。
在本發明之一項實例中，視訊解碼器30可經組態以：在經編碼視訊位元串流中接收視訊資料區塊，該視訊資料區塊已使用基於調色板之寫碼模式來編碼(900)，且接收指示用以編碼視訊資料區塊之調 色板的複數個語法元素，該複數個語法元素包括在經編碼視訊位元串流中指示調色板之經明確傳信之調色板值之數目的第一語法元素，其中使用一或多個哥倫布碼來編碼該第一語法元素，以使得經編碼之第一語法元素之長度小於或等於位元之預定最大數目(902)。視訊解碼器30可經進一步組態以解碼該複數個語法元素，包括：使用一或多個哥倫布碼解碼第一語法元素(904)；基於經解碼之複數個語法元素重建構調色板(906)；及使用經重建構之調色板來解碼視訊資料區塊(908)。視訊解碼器30可經進一步組態以顯示視訊資料之經解碼區塊。
在本發明之一項實例中，第一語法元素為palette_num_signalled_entries語法元素。在本發明之另一實例中，複數個語法元素包括由第一語法元素指示為經明確傳信之調色板值。
在本發明之一項實例中，位元之預定最大數目為32，且一或多個哥倫布碼為0階指數哥倫布碼。在本發明之另一實例中，位元之預定最大數目為32，且一或多個哥倫布碼為截短萊斯碼與指數哥倫布碼之串接。
在本發明之另一實例中，相對於指示調色板之最大大小的第二語法元素及指示調色板預測子之最大大小的第三語法元素定義第一語法元素之最大值。在此實例中，視訊解碼器30可經進一步組態以將第二語法元素定義為自0至第一臨限值的值，且將第三語法元素定義為自0至第二臨限值的值。在一項實例中，第一臨限值為4095或4096中之一者，且第二臨限值為4095、8191或8192中之一者。
在本發明之另一實例中，相對於指示調色板之最大大小的第二語法元素及指示調色板預測子之最大大小的第三語法元素定義第一語法元素之最大值。在此實例中，視訊解碼器30可經進一步組態以將第二語法元素定義為小於或等於經編碼視訊位元串流中之最大可能區塊 中的像素之數目，且將第三語法元素定義為小於或等於K*第二語法元素之值，其中K為正常數。在一項實例中，K為2。
在本發明之另一實例中，視訊解碼器30可經進一步組態以在當前像素並非掃描次序中之第一像素的情況下接收指示調色板延行類型之語法元素，且在當前像素為掃描次序中之第一像素的情況下推斷指示調色板延行類型之語法元素。
儘管在上文描述技術的各種態樣之特定組合，但提供此等組合僅為了說明本發明中所描述的技術之實例。因此，本發明之技術不應限於此等實例組合且可涵蓋本發明中描述之技術的各種態樣之任何可設想組合。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體，或通信媒體，其包括(例如)根據通信協定促進將電腦程式自一處傳送至另一處之任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用 戶線(DSL)或無線技術(諸如紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用之術語「處理器」可指代前述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。此外，在一些態樣中，本文中所描述之功能性可提供在經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
已描述本發明之各種實例。涵蓋所描述之系統、操作或功能之任何組合。此等及其他實例處於以下申請專利範圍之範疇內。

Claims (46)

  1. 一種解碼視訊資料之方法，該方法包含：在一經編碼視訊位元串流中接收一視訊資料區塊，該視訊資料區塊已使用一基於調色板之寫碼模式來編碼；接收指示用以編碼該視訊資料區塊之一調色板的複數個語法元素，該複數個語法元素包括在該經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值，及使用一或多個哥倫布碼來編碼，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目；解碼該複數個語法元素，包括使用該一或多個哥倫布碼來解碼該第一語法元素；基於該經解碼之複數個語法元素來重建構該調色板；及使用該經重建構之調色板來解碼該視訊資料區塊。
  2. 如請求項1之方法，其中該第一語法元素為一num_signalled_palette_entries語法元素。
  3. 如請求項1之方法，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一0階指數哥倫布碼。
  4. 如請求項1之方法，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一截短萊斯碼與一指數哥倫布碼之一串接。
  5. 如請求項1之方法，其中該複數個語法元素包括由該第一語法元素指示為經明確傳信之該等調色板值。
  6. 如請求項1之方法，其中相對於指示該調色板之該最大大小的該第二語法元素及指示一調色板預測子之該最大大小的該第三語法元素兩者定義該第一語法元素之該最大值。
  7. 如請求項1之方法，其中該第一臨限值為4095或4096中之一者，且該第二臨限值為4095、8191或8192中之一者。
  8. 如請求項1之方法，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值，該方法進一步包含：在該經編碼視訊位元串流中將該第二語法元素定義為小於或等於該視訊資料之一最大可能區塊中之像素的一數目；及將該第三語法元素定義為小於或等於K*該第二語法元素之一值，其中K為一正常數且*指示一乘法運算。
  9. 如請求項8之方法，其中K為2。
  10. 如請求項1之方法，其進一步包含：顯示視訊資料之該經解碼區塊。
  11. 如請求項1之方法，其進一步包含：在該視訊資料區塊之一當前像素並非該視訊資料區塊之一掃描次序中的一第一像素之情況下，接收指示一調色板延行類型之一語法元素；及在該當前像素為該掃描次序中之該第一像素之情況下，將該語法元素推斷為指示一調色板延行類型。
  12. 一種經組態以解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存一經編碼視訊位元串流；及一視訊解碼器，其經組態以：在該經編碼視訊位元串流中接收一視訊資料區塊，該視訊資料區塊已使用一基於調色板之寫碼模式來編碼；接收指示用以編碼該視訊資料區塊之一調色板的複數個語法元素，該複數個語法元素包括在該經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值，及使用一或多個哥倫布碼來編碼，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目；解碼該複數個語法元素，包括使用該一或多個哥倫布碼來解碼該第一語法元素；基於該經解碼之複數個語法元素來重建構該調色板；及使用該經重建構之調色板來解碼該視訊資料區塊。
  13. 如請求項12之裝置，其中該第一語法元素為一num_signalled_palette_entries語法元素。
  14. 如請求項12之裝置，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一0階指數哥倫布碼。
  15. 如請求項12之裝置，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一截短萊斯碼與一指數哥倫布碼之一串接。
  16. 如請求項12之裝置，其中該複數個語法元素包括由該第一語法元素指示為經明確傳信之該等調色板值。
  17. 如請求項12之裝置，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值。
  18. 如請求項12之裝置，其中該第一臨限值為4095或4096中之一者，且該第二臨限值為4095、8191或8192中之一者。
  19. 如請求項12之裝置，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值，且其中該視訊解碼器經進一步組態以：在該經編碼視訊位元串流中將該第二語法元素定義為小於或等於該視訊資料之一最大可能區塊中之像素的一數目；及將該第三語法元素定義為小於或等於K*該第二語法元素之一值，其中K為一正常數且*指示一乘法運算。
  20. 如請求項19之裝置，其中K為2。
  21. 如請求項12之裝置，其進一步包含：一顯示器，其經組態以顯示視訊資料之該經解碼區塊。
  22. 如請求項12之裝置，其中該視訊解碼器經進一步組態以：在該視訊資料區塊之一當前像素並非該視訊資料區塊之一掃描次序中的一第一像素之情況下，接收指示一調色板延行類型之一語法元素；及在該當前像素為該掃描次序中之該第一像素之情況下，將該語法元素推斷為指示一調色板延行類型。
  23. 一種經組態以解碼視訊資料之裝置，該裝置包含：用於在一經編碼視訊位元串流中接收一視訊資料區塊的構件，該視訊資料區塊已使用一基於調色板之寫碼模式來編碼；用於接收指示用以編碼該視訊資料區塊之一調色板的複數個語法元素的構件，該複數個語法元素包括在該經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值，及使用一或多個哥倫布碼來編碼，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目；用於解碼該複數個語法元素的構件，包括使用該一或多個哥倫布碼來解碼該第一語法元素；用於基於該經解碼之複數個語法元素來重建構該調色板的構件；及用於使用該經重建構之調色板來解碼該視訊資料區塊的構件。
  24. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得經組態以解碼視訊資料之一器件的一或多個處理器進行以下操作：在一經編碼視訊位元串流中接收一視訊資料區塊，該視訊資料區塊已使用一基於調色板之寫碼模式來編碼；接收指示用以編碼該視訊資料區塊之一調色板的複數個語法元素，該複數個語法元素包括在該經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值，及使用一或多個哥倫布碼來編碼，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目；解碼該複數個語法元素，包括使用該一或多個哥倫布碼來解碼該第一語法元素；基於該經解碼之複數個語法元素來重建構該調色板；及使用該經重建構之調色板來解碼該視訊資料區塊。
  25. 一種編碼視訊資料之方法，該方法包含：使用一調色板及一基於調色板之寫碼模式來編碼一視訊資料區塊；產生指示用以編碼該視訊資料區塊之該調色板的複數個語法元素，該複數個語法元素包括在一經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值；及將該複數個語法元素包括於該經編碼視訊位元串流中。
  26. 如請求項25之方法，其中該第一語法元素為一num_signalled_palette_entries語法元素。
  27. 如請求項25之方法，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一0階指數哥倫布碼。
  28. 如請求項25之方法，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一截短萊斯碼與一指數哥倫布碼之一串接。
  29. 如請求項25之方法，其中該複數個語法元素包括由該第一語法元素指示為經明確傳信之該等調色板值。
  30. 如請求項25之方法，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值。
  31. 如請求項25之方法，其中該第一臨限值為4095或4096中之一者，且該第二臨限值為4095、8191或8192中之一者。
  32. 如請求項25之方法，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值，該方法進一步包含：在該經編碼視訊位元串流中將該第二語法元素定義為小於或等於該視訊資料之一最大可能區塊中之像素的一數目；及將該第三語法元素定義為小於或等於K*該第二語法元素之一值，其中K為一正常數且*指示一乘法運算。
  33. 如請求項32之方法，其中K為2。
  34. 如請求項25之方法，其進一步包含在一當前像素並非一掃描次序中之一第一像素的情況下，傳信指示一調色板延行類型之一語法元素；及在該視訊資料區塊之該當前像素為該視訊資料區塊之該掃描次序中的該第一像素之情況下，不傳信指示一調色板延行類型之該語法元素。
  35. 一種經組態以編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存一視訊資料區塊；及一視訊編碼器，其經組態以：使用一調色板及一基於調色板之寫碼模式來編碼該視訊資料區塊；產生指示用以編碼該視訊資料區塊之該調色板的複數個語法元素，該複數個語法元素包括在一經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值；及將該複數個語法元素包括於該經編碼視訊位元串流中。
  36. 如請求項35之裝置，其中該第一語法元素為一num_signalled_palette_entries語法元素。
  37. 如請求項35之裝置，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一0階指數哥倫布碼。
  38. 如請求項35之裝置，其中位元之該預定最大數目為32，且其中該一或多個哥倫布碼為一截短萊斯碼與一指數哥倫布碼之一串接。
  39. 如請求項35之裝置，其中該複數個語法元素包括由該第一語法元素指示為經明確傳信之該等調色板值。
  40. 如請求項35之裝置，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素兩者來定義該第一語法元素之該最大值。
  41. 如請求項35之裝置，其中該第一臨限值為4095或4096中之一者，且該第二臨限值為4095、8191或8192中之一者。
  42. 如請求項35之裝置，其中相對於指示該調色板之該最大大小的該第二語法元素及指示該調色板預測子之該最大大小的該第三語法元素來定義該第一語法元素之該最大值，且其中該視訊編碼器經進一步組態以：在該經編碼視訊位元串流中將該第二語法元素定義為小於或等於該視訊資料之一最大可能區塊中之像素的一數目；及將該第三語法元素定義為小於或等於K*該第二語法元素之一值，其中K為一正常數且*指示一乘法運算。
  43. 如請求項42之裝置，其中K為2。
  44. 如請求項35之裝置，其中該視訊編碼器經進一步組態以：在一當前像素並非一掃描次序中之一第一像素的情況下，傳信指示一調色板延行類型之一語法元素；及在該視訊資料區塊之該當前像素為該視訊資料區塊之該掃描次序中的該第一像素之情況下，不傳信指示一調色板延行類型之該語法元素。
  45. 一種經組態以編碼視訊資料之裝置，該裝置包含：用於使用一調色板及一基於調色板之寫碼模式來編碼一視訊資料區塊的構件；用於產生指示用以編碼該視訊資料區塊之該調色板的複數個語法元素的構件，該複數個語法元素包括在一經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素；用於使用一或多個哥倫布碼編碼該第一語法元素以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目的構件，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值；及用於將該複數個語法元素包括於該經編碼視訊位元串流中的構件。
  46. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使得經組態以編碼視訊資料之一器件的一個或多個處理器進行以下操作：使用一調色板及一基於調色板之寫碼模式來編碼一視訊資料區塊；產生指示用以編碼該視訊資料區塊之該調色板的複數個語法元素，該複數個語法元素包括在一經編碼視訊位元串流中指示該調色板之經明確傳信之調色板值之一數目的一第一語法元素；使用一或多個哥倫布碼編碼該第一語法元素，以使得該經編碼之第一語法元素之長度小於或等於位元之一預定最大數目，其中該第一語法元素之一最大值係相對於指示該調色板之一最大大小的一第二語法元素或指示一調色板預測子之一最大大小的一第三語法元素之一或多者定義，且其中該第二語法元素具有自0至一第一臨限值的一值且該第三語法元素具有自0至一第二臨限值的一值；及將該複數個語法元素包括於該經編碼視訊位元串流中。
TW105102746A 2015-01-29 2016-01-28 用於視訊寫碼之調色板模式寫碼 TWI665912B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562109568P 2015-01-29 2015-01-29
US62/109,568 2015-01-29
US15/004,508 2016-01-22
US15/004,508 US9986248B2 (en) 2015-01-29 2016-01-22 Palette mode coding for video coding

Publications (2)

Publication Number Publication Date
TW201633788A TW201633788A (zh) 2016-09-16
TWI665912B true TWI665912B (zh) 2019-07-11

Family

ID=55359727

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105102746A TWI665912B (zh) 2015-01-29 2016-01-28 用於視訊寫碼之調色板模式寫碼

Country Status (13)

Country Link
US (1) US9986248B2 (zh)
EP (1) EP3251356B1 (zh)
JP (1) JP6708652B2 (zh)
KR (1) KR102409816B1 (zh)
CN (1) CN107409215B (zh)
AU (1) AU2016211797B2 (zh)
BR (1) BR112017016341B1 (zh)
EA (1) EA035170B1 (zh)
ES (1) ES2739690T3 (zh)
HU (1) HUE044674T2 (zh)
TN (1) TN2017000308A1 (zh)
TW (1) TWI665912B (zh)
WO (1) WO2016123033A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079151B (zh) 2014-09-26 2020-06-05 株式会社Kt 用于处理视频信号的方法和设备
US10477218B2 (en) 2014-10-20 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry
CN111800632B (zh) 2015-01-15 2024-03-29 株式会社Kt 对编码视频信号解码的方法和对视频信号编码的方法
CN107409224B (zh) * 2015-01-29 2020-09-08 株式会社Kt 用于处理视频信号的方法和设备
US10477244B2 (en) 2015-01-29 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
US9942551B2 (en) * 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding
WO2016159610A1 (ko) 2015-04-02 2016-10-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016192678A1 (en) * 2015-06-03 2016-12-08 Mediatek Inc. Methods for palette coding of image and video data
JP6545570B2 (ja) * 2015-08-18 2019-07-17 株式会社東芝 符号化装置、復号装置および画像処理装置
JP6662123B2 (ja) * 2016-03-14 2020-03-11 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
GB2554065B (en) * 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US20210274182A1 (en) * 2018-07-02 2021-09-02 Interdigital Vc Holdings, Inc. Context-based binary arithmetic encoding and decoding
US10917636B2 (en) * 2018-12-03 2021-02-09 Tencent America LLC Method and apparatus for video coding
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
WO2020243295A1 (en) 2019-05-31 2020-12-03 Bytedance Inc. Palette mode with intra block copy prediction
CN117714698A (zh) 2019-06-28 2024-03-15 字节跳动有限公司 屏幕内容编解码中的色度帧内模式推导
CN114026859B (zh) 2019-06-28 2024-06-14 字节跳动有限公司 在变换跳过模式中修改量化参数的技术
CN114175662B (zh) 2019-07-20 2023-11-24 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
SI4002843T1 (sl) 2019-07-21 2024-06-28 Lg Electronics Inc. Metoda za kodiranje/dekodiranje slike in naprava za signaliziranje informacij o napovedovanju kroma komponent glede na uporabnost načina palete ter metoda za prenos bitnega toka
US20220286701A1 (en) * 2019-08-26 2022-09-08 Lg Electronics Inc. Image or video coding based on palette mode
EP4026322A4 (en) * 2019-09-07 2024-01-03 Beijing Dajia Internet Information Technology Co., Ltd. PREDICTIVE MODE SIGNALING IN VIDEO CODING
WO2021050715A1 (en) * 2019-09-12 2021-03-18 Bytedance Inc. Using palette predictor in video coding
WO2021055114A1 (en) * 2019-09-20 2021-03-25 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter offset
CN116016936A (zh) * 2019-10-10 2023-04-25 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
WO2021108788A1 (en) * 2019-11-30 2021-06-03 Bytedance Inc. Palette coding mode
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode
CN114788284B (zh) 2019-12-30 2023-03-31 阿里巴巴（中国）有限公司 用于在调色板模式下对视频数据进行编码的方法和装置
WO2021136554A1 (en) 2020-01-05 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. General constraints information for video coding
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
CN115802061B (zh) * 2020-03-27 2023-09-26 北京达佳互联信息技术有限公司 对视频数据进行编码的方法、电子装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
EP3080990B1 (en) * 2013-12-10 2018-09-05 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding a palette in palette coding mode
GB2521606A (en) * 2013-12-20 2015-07-01 Canon Kk Method and apparatus for transition encoding in video coding and decoding
US10362336B2 (en) 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
EP3135036B1 (en) * 2014-05-23 2021-07-07 HFI Innovation Inc. Method and apparatus for palette table prediction and signaling
WO2015192340A1 (zh) * 2014-06-18 2015-12-23 富士通株式会社 基于调色板的图像编码方法、装置以及图像处理设备
US9955157B2 (en) * 2014-07-11 2018-04-24 Qualcomm Incorporated Advanced palette prediction and signaling
CN105960802B (zh) * 2014-10-08 2018-02-06 微软技术许可有限责任公司 切换色彩空间时对编码和解码的调整

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"HEVC Screen Content Coding Test Model 2 (SCM 2)" INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 N14706 July 2014, Sapporo, Japan *

Also Published As

Publication number Publication date
US20160227239A1 (en) 2016-08-04
WO2016123033A1 (en) 2016-08-04
AU2016211797B2 (en) 2019-07-25
HUE044674T2 (hu) 2019-11-28
CN107409215B (zh) 2020-01-17
AU2016211797A1 (en) 2017-07-13
TN2017000308A1 (en) 2019-01-16
EA035170B1 (ru) 2020-05-08
EP3251356A1 (en) 2017-12-06
BR112017016341B1 (pt) 2023-10-03
JP2018507612A (ja) 2018-03-15
JP6708652B2 (ja) 2020-06-10
KR102409816B1 (ko) 2022-06-15
CN107409215A (zh) 2017-11-28
TW201633788A (zh) 2016-09-16
ES2739690T3 (es) 2020-02-03
EA201791616A1 (ru) 2017-11-30
EP3251356B1 (en) 2019-05-08
KR20170109553A (ko) 2017-09-29
US9986248B2 (en) 2018-05-29
BR112017016341A2 (pt) 2018-04-03

Similar Documents

Publication Publication Date Title
TWI665912B (zh) 用於視訊寫碼之調色板模式寫碼
TWI666920B (zh) 用於視訊寫碼之具有執行長度碼之調色盤預測器信令
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
JP6594903B2 (ja) パレットベースのビデオコーディングにおけるエスケープサンプルのコーディング
TWI693822B (zh) 基於調色板之視訊寫碼中之最大調色板參數
KR102252843B1 (ko) 팔레트-기반 비디오 코딩에서 팔레트들의 결정
US10313684B2 (en) Copy from previous rows for palette mode coding
US20160234494A1 (en) Restriction on palette block size in video coding
US20150189302A1 (en) Color index coding for palette-based video coding
JP2017520160A (ja) パレットベースのビデオコーディングにおけるコーディングのラン
JP2017523667A (ja) ビデオコーディングにおけるカラーパレットモード
US10178395B2 (en) Explicit signaling of escape sample positions in palette coding mode for video coding
JP2017532896A (ja) パレットインデックスのコーディングのためのパースの依存性の低減
US9961351B2 (en) Palette mode coding