TWI559743B - 使用顏色成分間取樣預測之視訊寫碼 - Google Patents

使用顏色成分間取樣預測之視訊寫碼 Download PDF

Info

Publication number
TWI559743B
TWI559743B TW103117961A TW103117961A TWI559743B TW I559743 B TWI559743 B TW I559743B TW 103117961 A TW103117961 A TW 103117961A TW 103117961 A TW103117961 A TW 103117961A TW I559743 B TWI559743 B TW I559743B
Authority
TW
Taiwan
Prior art keywords
color component
residual
predicted
block
sample value
Prior art date
Application number
TW103117961A
Other languages
English (en)
Other versions
TW201501512A (zh
Inventor
金祐湜
羅傑爾斯 喬爾 索爾
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201501512A publication Critical patent/TW201501512A/zh
Application granted granted Critical
Publication of TWI559743B publication Critical patent/TWI559743B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

使用顏色成分間取樣預測之視訊寫碼
本申請案主張2013年5月22日申請之美國臨時專利申請案第61/826,396號之權利，該臨時專利申請案之全部內容係以引用方式併入本文中。
本發明係關於視訊寫碼(亦即，視訊資料之編碼及/或解碼)。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施諸如以下各者之視訊壓縮技術：描述於由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中的高效率視訊寫碼(HEVC)標準及此等標準之擴展中的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除視訊序列中所固有之冗餘。對於以區塊為基礎之視訊寫碼， 可將視訊截塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內寫碼(I)截塊中之視訊區塊。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致寫碼用於區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘係數，可接著量化該等殘餘係數。可掃描最初以二維陣列配置之經量化係數以便產生係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明之技術係關於視訊寫碼及壓縮之領域。在一些實例中，本發明之技術係關於高效率視訊寫碼(HEVC)範圍擴展，其中可支援除YCbCr 4：2：0以外的顏色空間及取樣格式。如本文所描述，視訊寫碼器可重新建構使用運動預測而產生的預測子顏色成分之殘餘信號。預測子顏色成分之經重新建構殘餘信號可包括預測子顏色成分之經重新建構殘餘樣本值。另外，視訊寫碼器可使用預測子顏色成分之經重新建構殘餘樣本值以預測不同的經預測顏色成分之殘餘樣本值。
在一實例中，本發明描述一種解碼視訊資料之方法，該方法包含：解碼包括該視訊資料之一經編碼表示之一位元串流，其中解碼該位元串流包含：重新建構一第一顏色成分之一殘餘信號，其中使用運 動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
在另一實例中，本發明描述一種編碼視訊資料之方法，該方法包含：產生包含該視訊資料之一經編碼表示之一位元串流，其中產生該位元串流包含：藉由使用運動預測來產生用於一第一顏色成分之一殘餘信號；重新建構該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之經重新建構樣本值以預測第二顏色成分之樣本值。
在另一實例中，本發明描述一種視訊寫碼器件，其包含：一資料儲存媒體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以產生或解碼包含該視訊資料之一經編碼表示之一位元串流，其中作為產生或解碼該位元串流之部分，該一或多個處理器：重新建構一第一顏色成分之一殘餘信號，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
在另一實例中，本發明描述一種視訊寫碼器件，其包含：用於重新建構一第一顏色成分之一殘餘信號的構件，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及用於使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值的構件。
在另一實例中，本發明描述一種儲存有指令之非暫時性電腦可 讀資料儲存媒體，該等指令在經執行時使一視訊寫碼器件：重新建構一第一顏色成分之一殘餘信號，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
在隨附圖式及下文之描述中闡述本發明之一或多個實例之細節。其他特徵、目標及優點將自該描述、該等圖式以及申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧頻道
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧交換器
102‧‧‧差單元
104‧‧‧變換/量化處理單元
108‧‧‧解量化/反變換處理單元
109‧‧‧交換器
110‧‧‧預測補償器
112‧‧‧解區塊濾波器單元
114‧‧‧樣本自適應性偏移(SAO)單元/樣本自適應性偏移 (SAO)濾波器單元
116‧‧‧參考圖像記憶體
118‧‧‧熵編碼單元
120‧‧‧預測參數計算器
122‧‧‧預測子產生器
150‧‧‧熵解碼單元
152‧‧‧預測子產生器
154‧‧‧解量化/反變換處理單元
156‧‧‧重新建構單元
158‧‧‧預測補償單元
160‧‧‧解區塊濾波器單元
162‧‧‧樣本自適應性偏移(SAO)濾波器單元
164‧‧‧記憶體
250‧‧‧動作
252‧‧‧動作
254‧‧‧動作
256‧‧‧動作
258‧‧‧動作
260‧‧‧動作
262‧‧‧動作
268‧‧‧動作
270‧‧‧動作
272‧‧‧動作
274‧‧‧動作
276‧‧‧動作
300‧‧‧動作
302‧‧‧動作
304‧‧‧動作
306‧‧‧動作
308‧‧‧動作
310‧‧‧動作
312‧‧‧動作
314‧‧‧動作
316‧‧‧動作
318‧‧‧動作
400‧‧‧動作
402‧‧‧動作
404‧‧‧動作
406‧‧‧動作
450‧‧‧動作
452‧‧‧動作
454‧‧‧動作
圖1為說明可利用本發明中所描述之技術的實例視訊寫碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明根據本發明之一或多種技術的視訊編碼器之實例操作的流程圖。
圖5為說明根據本發明之一或多種技術的視訊解碼器之實例操作的流程圖。
圖6為說明根據本發明之一或多種技術的視訊編碼器之實例操作的流程圖。
圖7為說明根據本發明之一或多種技術的視訊解碼器之實例操作的流程圖。
在許多視訊寫碼標準中，像素區塊可實際上包含用於不同顏色成分之樣本之兩個或兩個以上區塊。舉例而言，像素區塊可實際上包 含用以指示亮度之明度樣本之一區塊及用以指示顏色之彩度(亦即，色度)樣本之兩個區塊。在一些情形下，一顏色成分之樣本值可與一不同顏色成分之對應樣本值相關。換言之，一個顏色成分之樣本之值可與另一顏色成分之樣本之值具有相互關係。縮減此相關性可引起表示該等樣本值所需之資料量的縮減。
根據本發明之一或多種技術，可在框間預測區塊中縮減不同顏色成分之樣本值之間的相關性。因此，根據本發明之一或多種技術，視訊寫碼器可產生或解碼包含視訊資料之經編碼表示的位元串流。作為產生或解碼位元串流之部分，視訊寫碼器可重新建構第一顏色成分(亦即，預測子顏色成分)之殘餘信號。可使用運動預測來產生第一顏色成分之殘餘信號。該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值。此外，視訊寫碼器可使用第一顏色成分之經重新建構殘餘樣本值以預測第二不同顏色成分之殘餘樣本值。以此方式，可縮減第一顏色成分之樣本值與第二顏色成分之樣本值之間的相關性，從而潛在地導致位元串流較小。
圖1為說明可利用本發明之技術的實例視訊寫碼系統10之方塊圖。如本文所使用，術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」一般可指視訊編碼或視訊解碼。
如圖1所展示，視訊寫碼系統10包括來源器件12及目的地器件14。來源器件12產生經編碼視訊資料。因此，來源器件12可被稱作視訊編碼器件或視訊編碼裝置。目的地器件14可解碼由來源器件12產生之經編碼視訊資料。因此，目的地器件14可被稱作視訊解碼器件或視訊解碼裝置。來源器件12及目的地器件14可為視訊寫碼器件或視訊寫碼裝置之實例。
來源器件12及目的地器件14可包含廣泛範圍之器件，包括桌上 型電腦、行動計算器件、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、車載電腦，或其類似者。
目的地器件14可自來源器件12經由頻道16來接收經編碼視訊資料。頻道16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的一或多個媒體或器件。在一實例中，頻道16可包含使來源器件12能夠將經編碼視訊資料直接即時地傳輸至目的地器件14之一或多個通信媒體。在此實例中，來源器件12可根據諸如無線通信協定之通信標準來調節經編碼視訊資料，且可將經調變視訊資料傳輸至目的地器件14。一或多個通信媒體可包括無線及/或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。一或多個通信媒體可形成以封包為基礎之網路的部分，諸如，區域網路、廣域網路或全域網路(例如，網際網路)。一或多個通信媒體可包括路由器、交換器、基地台，或促進自來源器件12至目的地器件14之通信的其他設備。
在另一實例中，頻道16可包括儲存由來源器件12產生之經編碼視訊資料的儲存媒體。在此實例中，目的地器件14可(例如)經由磁碟存取或卡存取來存取儲存媒體。儲存媒體可包括多種本機存取式資料儲存媒體，諸如，藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體，或用於儲存經編碼視訊資料之其他合適數位儲存媒體。
在一另外實例中，頻道16可包括檔案伺服器或儲存由來源器件12產生之經編碼視訊資料的另一中間儲存器件。在此實例中，目的地器件14可經由串流或下載而存取儲存於檔案伺服器或其他中間儲存器件處之經編碼視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的某類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、超文字傳送協定(HTTP)串流伺服器、檔案傳送協定(FTP)伺服器、網路附接式儲存(NAS)器件， 及本機磁碟機。
目的地器件14可經由諸如網際網路連接之標準資料連接而存取經編碼視訊資料。實例類型之資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或此兩者之組合。經編碼視訊資料自檔案伺服器之傳輸可為串流傳輸、下載傳輸，或此兩者之組合。
本發明之技術不限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之視訊資料之編碼、儲存於資料儲存媒體上之視訊資料之解碼，或其他應用。在一些實例中，視訊寫碼系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
圖1僅僅為一實例，且本發明之技術可應用於未必包括編碼器件與解碼器件之間的任何資料通信之視訊寫碼設定(例如，視訊編碼或視訊解碼)。在其他實例中，自本機記憶體擷取經由網路或其類似者而串流的資料(例如，視訊資料)。視訊編碼器件可編碼資料(例如，視訊資料)且將該資料儲存至記憶體，及/或視訊解碼器件可自記憶體擷取資料(例如，視訊資料)且解碼該資料。在許多實例中，編碼及解碼係藉由彼此不通信但簡單地將資料(例如，視訊資料)編碼至記憶體及/或自記憶體擷取資料(例如，視訊資料)並解碼該資料的器件來執行。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20，及輸出介面22。在一些實例中，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。視訊來源18可包括視訊俘獲器件，例如，視訊攝影機；視訊封存檔，其含有經先前俘獲視訊資料；視訊饋送介面，其用以自視訊內容提供者接收視訊資料；及/或電腦圖形系統，其用 於產生視訊資料；或此等視訊資料來源之組合。
視訊編碼器20可編碼來自視訊來源18之視訊資料。在一些實例中，來源器件12直接經由輸出介面22而將經編碼視訊資料傳輸至目的地器件14。在其他實例中，亦可將經編碼視訊資料儲存至儲存媒體或檔案伺服器上，以供由目的地器件14稍後存取以用於解碼及/或播放。
在圖1之實例中，目的地器件14包括輸入介面28、視訊解碼器30，及顯示器件32。在一些實例中，輸入介面28包括接收器及/或數據機。輸入介面28可經由頻道16接收經編碼視訊資料。顯示器件32可與目的地器件14整合或在目的地器件14之外部。一般而言，顯示器件32顯示經解碼視訊資料。顯示器件32可包含多種顯示器件，諸如，液晶顯示器(liquid crystal display,LCD)、電漿顯示器、有機發光二極體(organic light emitting diode,OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適電路中任一者，諸如一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application-specific integrated circuit,ASIC)、場可程式化閘陣列(field-programmable gate array,FPGA)、離散邏輯、硬體，或其任何組合。若部分地以軟體來實施技術，則一器件可將用於該軟體之指令儲存於合適非暫時性電腦可讀儲存媒體中，且可使用一或多個處理器而以硬體來執行該等指令以執行本發明之技術。前述各者中任一者(包括硬體、軟體、硬體及軟體之組合，等等)可被認為一或多個處理器。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為各別器件中之組合式編碼器/解碼器(CODEC)之部分。
本發明通常可涉及視訊編碼器20將某些資訊「傳信」至諸如視訊解碼器30之另一器件。術語「傳信」通常可指語法元素及/或用以解碼經壓縮視訊資料之其他資料之傳達。可即時或近即時地發生此傳達。替代地，可在一時間跨度內發生此傳達，諸如可能在編碼時在經編碼位元串流中將語法元素儲存至電腦可讀儲存媒體時發生此傳達，該等語法元素接著可在被儲存至此媒體之後的任何時間由解碼器件來擷取。
在一些實例中，視訊編碼器20及視訊解碼器30根據一視訊壓縮標準而操作，該視訊壓縮標準諸如ISO/IEC MPEG-4視覺及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(Scalable Video Coding,SVC)擴展、多視角視訊寫碼(Multiview Video Coding,MVC)擴展，及以MVC為基礎之3DV擴展。在一些情況下，符合以MVC為基礎之3DV之任何舊版位元串流總是含有與MVC設定檔(例如，立體聲高設定檔)相容之子位元串流。此外，正在努力產生對H.264/AVC之三維視訊(3DV)寫碼擴展，即，以AVC為基礎之3DV。在其他實例中，視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺及ITU-T H.264、ISO/IEC視覺而操作。
在圖1之實例中，視訊編碼器20及視訊解碼器30可根據由ITU-T視訊寫碼專業團體(Video Coding Experts Group,VCEG)及ISO/IEC動畫專業團體(Motion Picture Experts Group,MPEG)之視訊寫碼聯合合作團隊(Joint Collaboration Team on Video Coding,JCT-VC)開發的高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準而操作。被稱作「HEVC工作草案6」之HEVC標準草案在Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 6」(2011年11月，瑞士日內瓦，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視 訊寫碼聯合合作團隊(JCT-VC)第7次會議)中得以描述。至少截至2014年5月9日，HEVC工作草案6可得自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v1.zip。被稱作「HEVC工作草案9」之即將到來的HEVC標準之另一草案在Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(2012年10月，中國上海，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第11次會議)中得以描述。至少截至2014年5月9日，HEVC工作草案9可得自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip。
此外，正在努力產生針對HEVC之SVC擴展、多視角寫碼擴展及3DV擴展。HEVC之SVC擴展可被稱作HEVC-SVC。HEVC之3DV擴展可被稱作以HEVC為基礎之3DV或3D-HEVC。3D-HEVC係至少部分地基於Schwarz等人之「Description of 3D Video Coding Technology Proposal by Fraunhofer HHI(HEVC compatible configuration A)」(2011年11月/12月，瑞士日內瓦，ISO/IEC JTC1/SC29/WG11，檔案號MPEG11/M22570，在下文中被稱作「m22570」)及Schwarz等人之「Description of 3D Video Coding Technology Proposal by Fraunhofer HHI(HEVC compatible configuration B)」(2011年11月/12月，瑞士日內瓦，ISO/IEC JTC1/SC29/WG11，檔案號MPEG11/M22571，在下文中被稱作「m22571」)中所提議之解決方案。針對3D-HEVC之參考軟體描述可得自Schwarz等人之「Test Model under Consideration for HEVC based 3D video coding」(2012年2月，美國聖何塞，ISO/IEC JTC1/SC29/WG11 MPEG2011/N12559)。至少截至2014年5月9日，參考軟體(即，HTM版本3.0)可得自https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-3.0/。
另外，正在努力產生針對HEVC之範圍擴展標準。針對HEVC之範圍擴展標準包括擴展除YCbCr 4：2：0以外的顏色空間之視訊寫碼，諸如，YCbCr 4：2：2、YCbCr 4：4：4及RGB。Flynn等人之「High Efficiency Video Coding(HEVC)Range Extensions text specification：Draft 2(for PDAM)」(2013年1月14日至23日，瑞士日內瓦，ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作團隊(JCT-VC)第12次會議，文件號JCTVC-L1005v4(在下文中為「JCTVC-L1005v4」))為針對HEVC之範圍擴展標準草案。至少截至2014年5月9日，JCTVC-L1005v4可得自http：//phenix.int-evry.fr/jct/doc_end_user/current_document.php？id=7276。
在HEVC及其他視訊寫碼標準中，視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括被表示為SL、SCb及SCr之三個樣本陣列。SL為二維明度樣本陣列(亦即，區塊)。SCb為二維Cb彩度樣本陣列。SCr為二維Cr彩度樣本陣列。彩度樣本亦可在本文中被稱作「色度」樣本。在其他情況下，圖像可為單色且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹狀結構單元(coding tree unit,CTU)集合。該等CTU中每一者可包含一明度樣本寫碼樹狀結構區塊、兩個對應色度樣本寫碼樹狀結構區塊，及用以寫碼該等寫碼樹狀結構區塊之樣本之語法結構。寫碼樹狀結構區塊可為N×N樣本區塊。CTU亦可被稱作「樹狀結構區塊」或「最大寫碼單元」(largest coding unit,LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他視訊寫碼標準之巨集區塊。然而，CTU未必限於特定大小且可包括一或多個寫碼單元(coding unit,CU)。截塊可包括以掃描次序(例如，光柵掃描)連續地排序之整數個CTU。
本發明可使用術語「視訊單元」、「視訊區塊」或「區塊」以係 指一或多個樣本區塊及用以寫碼該一或多個樣本區塊之樣本之語法結構。實例類型之視訊單元可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割區等等。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹狀結構區塊遞歸式地執行四元樹狀結構分割，以將該等寫碼樹狀結構區塊劃分成若干寫碼區塊，因此，名稱為「寫碼樹狀結構單元」。寫碼區塊為N×N樣本區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列的圖像之一明度樣本寫碼區塊及兩個對應色度樣本寫碼區塊，以及用以寫碼該等寫碼區塊之樣本之語法結構。視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為相同預測被應用之矩形(亦即，正方形或非正方形)樣本區塊。CU之預測單元(PU)可包含圖像之一明度取樣預測區塊、兩個對應色度取樣預測區塊，以及用以預測該等預測區塊樣本之語法結構。視訊編碼器20可產生用於CU之每一PU之預測區塊(例如，明度預測區塊、Cb預測區塊及Cr預測區塊)的預測性區塊(例如，預測性明度區塊、Cb區塊及Cr區塊)。在一些實例中，一區塊(例如，PU、CU等等)之預測性區塊之樣本可在本文中被稱作用於該區塊之參考信號。
視訊編碼器20可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊，則視訊編碼器20可基於PU屬於之圖像(亦即，與PU相關聯之圖像)之經解碼樣本而產生PU之預測性區塊。
若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於除了與PU相關聯之圖像以外之一或多個圖像的經解碼樣本而產生PU之預測性區塊。框間預測可為單向框間預測(亦即，單向預測)或雙向框間預測(亦即，雙向預測)。為了執行單向預測或雙向預測，視訊編碼器20可產生用於當前截塊之第一參考圖像清單 (RefPicList0)及第二參考圖像清單(RefPicList1)。該等參考圖像清單中每一者可包括一或多個參考圖像。
當使用單向預測時，視訊編碼器20可在RefPicList0及RefPicList1中之任一者或兩者中搜尋參考圖像以判定參考圖像內之參考位點。此外，當使用單向預測時，視訊編碼器20可至少部分地基於對應於參考位點之樣本而產生用於PU之預測性樣本區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位點之間的空間位移之單一運動向量。為了指示PU之預測區塊與參考位點之間的空間位移，運動向量可包括指定PU之預測區塊與參考位點之間的水平位移之水平成分，且可包括指定PU之預測區塊與參考位點之間的垂直位移之垂直成分。
當使用雙向預測以編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中之第一參考位點及RefPicList1中之參考圖像中之第二參考位點。視訊編碼器20可接著至少部分地基於對應於第一參考位點及第二參考位點之樣本而產生用於PU之預測性區塊。此外，當使用雙向預測以編碼PU時，視訊編碼器20可產生指示PU之預測區塊與第一參考位點之間的空間位移之第一運動向量，及指示PU之預測區塊與第二參考位點之間的空間位移之第二運動向量。
在視訊編碼器20產生用於CU之一或多個PU之預測性區塊(例如，預測性明度(Y)區塊、色度Cb區塊及色度Cr區塊)之後，視訊編碼器20可產生用於CU之殘餘區塊(例如，明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊)。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可 產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。本發明可將區塊(例如，CU)之殘餘區塊之樣本稱作用於該區塊之殘餘信號。
此外，視訊編碼器20可使用四元樹狀結構分割以將CU之殘餘區塊(例如，明度殘餘區塊、Cb殘餘區塊及Cr殘餘區塊)分解成一或多個變換區塊(例如，明度變換區塊、Cb變換區塊及Cr變換區塊)。變換區塊可為相同變換被應用之矩形(例如，正方形或非正方形)樣本區塊。CU之變換單元(TU)可包含一明度樣本變換區塊、兩個對應色度樣本變換區塊，及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與一明度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。 Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。
視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生用於該TU之係數區塊。係數區塊可為二維變換係數陣列。變換係數可為純量。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生用於該TU之明度係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於該TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於該TU之Cr係數區塊。在一些實例中，視訊編碼器20可跳過變換且以與變換係數區塊相同的方式來處理變換區塊(例如，殘餘樣本區塊)。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化大體上係指如下程序：其中量化變換係數以可能地縮減用以表示該等變換係數之資料的量，從而提供進一步壓縮。在一些實例中，視訊編碼器20可跳過變換 係數區塊之量化。此外，視訊編碼器20可反量化變換係數，且可將反變換應用於變換係數以便重新建構圖像之CU之TU之變換區塊。視訊編碼器20可使用CU之TU之經重新建構變換區塊及CU之PU之預測性區塊以重新建構CU之寫碼區塊。藉由重新建構一圖像之每一CU之寫碼區塊，視訊編碼器20可重新建構該圖像。視訊編碼器20可將經重新建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可將DPB中之經重新建構圖像用於框間預測及框內預測。
在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(Context-Adaptive Binary Arithmetic Coding,CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼語法元素。
視訊編碼器20可輸出包括形成經寫碼圖像及關聯資料之表示之位元序列的位元串流。該位元串流可包含網路抽象層(network abstraction layer,NAL)單元序列。NAL單元中每一者可包括一NAL單元標頭且可囊封一原始位元組序列有效負載(raw byte sequence payload,RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定之NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數個位元組之語法結構。在一些情況下，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封用於圖像參數集(picture parameter set,PPS)之RBSP；第二類型之NAL單元可囊封用於經寫碼截塊之RBSP；第三類型之NAL單元可囊封用於補充增強資訊(Supplemental Enhancement Information,SEI)之RBSP；等等。PPS為可含有應用於零或零個以上全部經寫碼圖像之語法元素之語法結構。囊封用於視訊寫碼資料之 RBSP(相對於用於參數集及SEI訊息之RBSP)之NAL單元可被稱作視訊寫碼層(video coding layer,VCL)NAL單元。囊封經寫碼截塊之NAL單元可在本文中被稱作經寫碼截塊NAL單元。用於經寫碼截塊之RBSP可包括截塊標頭及截塊資料。
HEVC及其他視訊寫碼標準提供各種類型之參數集。舉例而言，視訊參數集(video parameter set,VPS)為包含應用於零或零個以上全部經寫碼視訊序列(coded video sequence,CVS)之語法元素之語法結構。序列參數集(sequence parameter set,SPS)可含有應用於CVS之所有截塊之資訊。SPS可包括識別在SPS為作用中時為作用中之VPS之語法元素。因此，VPS之語法元素相比於SPS之語法元素可大體上更適用。PPS為包含應用於零或零個以上經寫碼圖像之語法元素之語法結構。PPS可包括識別在PPS為作用中時為作用中之SPS之語法元素。截塊之截塊標頭可包括指示在截塊正被寫碼時為作用中之PPS之語法元素。
視訊解碼器30可接收位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得(例如，解碼)語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重新建構視訊資料之圖像。用以重新建構視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。舉例而言，視訊解碼器30可使用PU之若干運動向量以判定用於當前CU之PU之預測性區塊。視訊解碼器30可使用PU之一或若干運動向量以產生用於PU之預測性區塊。
另外，視訊解碼器30可反量化與當前CU之TU相關聯之係數區塊。視訊解碼器30可對係數區塊執行反變換以重新建構與當前CU之TU相關聯之變換區塊。視訊解碼器30可藉由將用於當前CU之PU之預測性樣本區塊的樣本加至當前CU之TU之變換區塊的對應樣本而重新建構當前CU之寫碼區塊。藉由重新建構用於一圖像之每一CU之寫碼區塊，視訊解碼器30可重新建構該圖像。視訊解碼器30可將經解碼圖 像儲存於經解碼圖像緩衝器中以供輸出及/或供用於解碼其他圖像。
可藉由縮減顏色成分間之相關性而有效率地寫碼視訊內容。用以進行此操作之一種方式為執行預測。在HEVC之開發期間已提議的以明度為基礎之色度預測方法中，自經重新建構明度樣本值預測色度樣本值。可使用最小均方擬合方法產生預測值。此已僅應用於經框內寫碼區塊。為了進一步改良寫碼效率，亦可需要縮減經框間寫碼區塊之相關性。
對於圖框間(亦即，使用框間預測而寫碼之圖像)，為了縮減針對每一顏色成分之相關性，應用運動預測。一般而言，運動預測涉及將一或多個運動向量用於一區塊以判定用於該區塊之一或多個預測性區塊。相同運動向量可用於所有顏色成分，此情形可增加在運動預測之後顏色成分間之相關性。為了縮減顏色成分間之相關性，本發明之一或多種技術可在運動預測之後應用預測性寫碼。
首先，根據本發明之一或多種技術，參考圖像中之運動區塊(亦即，參考區塊)係藉由運動向量而定位。換言之，視訊寫碼器可使用運動向量以判定參考圖像中之參考區塊。接著藉由使用運動預測而產生每一顏色成分之殘餘信號。舉例而言，視訊寫碼器可產生包含殘餘樣本之殘餘信號。殘餘樣本中每一者可具有等於當前區塊之原始樣本與參考區塊之對應樣本之間的差之值。成分中之一者被設定為預測子成分。舉例而言，視訊編碼器20可將明度成分、Cb成分或Cr成分設定為預測子成分。藉由使用變換/量化來進一步壓縮該預測子成分之殘餘信號，並使用解量化/反變換來重新建構該預測子成分之殘餘信號。可使用(例如，藉由視訊寫碼器)預測子成分之經重新建構殘餘樣本值以預測其他顏色成分之殘餘樣本值。
因此，根據本發明之一或多種技術，視訊編碼器20可產生包含視訊資料之經編碼表示的位元串流。作為產生位元串流之部分、，視訊 編碼器20可藉由使用運動預測而產生用於預測子顏色成分之殘餘信號。此外，視訊編碼器20可重新建構預測子顏色成分之殘餘信號。在至少一些情況下，視訊編碼器20可使用解量化及反變換以重新建構預測子顏色成分之殘餘信號。預測子顏色成分之經重新建構殘餘信號可包括預測子顏色成分之經重新建構殘餘樣本值。視訊編碼器20可使用預測子顏色成分之經重新建構樣本值以預測經預測顏色成分之樣本值。此外，視訊編碼器20可藉由使用運動預測而產生用於經預測顏色成分之初始殘餘信號。視訊編碼器20可判定用於經預測顏色成分之最終殘餘信號，使得用於經預測顏色成分之最終殘餘信號中之每一樣本值等於經預測顏色成分之經預測樣本值中之一者與經預測顏色成分之初始殘餘信號之對應樣本之間的差。另外，視訊編碼器20可藉由變換用於經預測顏色成分之最終殘餘信號而產生係數區塊。視訊編碼器20可在位元串流中包括指示係數區塊之經量化變換係數之經熵編碼資料。預測子及經預測顏色成分可在如下方面不同：明度成分、Cb色度成分，及Cr色度成分。
相似地，視訊解碼器30可解碼包括視訊資料之經編碼表示的位元串流。作為解碼位元串流之部分，視訊解碼器30可重新建構預測子顏色成分之殘餘信號。可使用運動預測來產生預測子顏色成分之殘餘信號。預測子顏色成分之經重新建構殘餘信號可包括預測子顏色成分之經重新建構殘餘樣本值。在至少一些情況下，視訊解碼器30可使用解量化及反變換以重新建構預測子顏色成分之殘餘信號。視訊解碼器30可使用預測子顏色成分之經重新建構殘餘樣本值以預測經預測顏色成分之殘餘樣本值。此外，視訊解碼器30可將經預測顏色成分之經預測樣本值加至藉由解量化係數區塊且將反變換應用於係數區塊而產生的對應樣本。位元串流可包括指示係數區塊之經量化變換係數之經熵編碼語法元素。在一些實例中，術語「顏色成分」應用於明度成分及 色度(例如，Cb及Cr)成分。預測子及經預測顏色成分可在如下方面不同：明度成分、Cb色度成分，及Cr色度成分。
在至少一些實例中，視訊寫碼器可使用線性預測自預測子顏色成分之經重新建構殘餘樣本值而產生經預測顏色成分之預測樣本值(亦即，經預測樣本值)。舉例而言，可在自經重新建構殘餘樣本值x而產生如下之經預測樣本值x'的情況下使用線性預測：x'=ax+b，其中a為比例因數且b為偏移。舉例而言，視訊寫碼器可判定出預測樣本值，使得預測樣本值等於x'=ax+b，其中x'為預測樣本值且x為經重新建構殘餘樣本。值a及b可在本文中被稱作預測參數。在一些實例中，可使用應用於運動區塊之最小均方擬合方法來計算a及b。舉例而言，a及b可被計算為：a=Cov(Yref,Cref)/Var(Yref)，b=Mean(Cref)-a．Mean(Yref)，其中Cov( )為協方差函數(例如，Cov(x,y)=E[(x-E[x])(y-E[y])])，Var( )為方差函數(例如，Var(x)=E[(x-E[x])2])，且Mean( )為平均值函數(例如，Mean(x)=E[x])。Yref及Cref分別為用於預測子成分之運動區塊之參考信號及用於待預測之成分之運動區塊中之參考信號。參考信號可包含參考圖像中之樣本(或自參考圖像內插之樣本)。在產生預測值之後，自當前殘餘樣本值減去預測值，且藉由變換及量化來進一步寫碼差。
在一些實例中，可使用此等參數中之僅一者。舉例而言，視訊寫碼器可將預測樣本值x'判定為：x'=ax，其中x為預測子顏色成分之經重新建構殘餘樣本值，a等於Cov(Yref,Cref)/Var(Yref)，Cov( )為協方差函數，Var( )為方差函數， Yref為用於預測子顏色成分之運動區塊中之參考信號，且Cref為用於經預測顏色成分之運動區塊中之參考信號。
可使用視訊編碼器20及視訊解碼器30處之相同經重新建構殘餘像素來計算預測參數(例如，上述實例中之a及b)。針對每一顏色成分可存在待預測之一分離參數集。換言之，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可計算用於顏色成分之不同顏色成分之預測參數之不同值。
在另一實例中，視訊編碼器20將所計算參數值傳信至視訊解碼器30，使得視訊解碼器30可使用相同參數值。舉例而言，視訊編碼器20可在位元串流中包括指示上文之實例中或其他實例中所描述的a及/或b之值之資料。可量化該等參數以用於有效率傳信。舉例而言，視訊編碼器20可量化預測參數值且可在位元串流中包括指示經量化預測參數值之語法元素。在明確地傳信參數時，有可能使用解碼器側處未得到之資訊來得知最佳參數值。因此，在一些實例中，視訊編碼器20可在位元串流中包括指示參數之值之資料。相似地，視訊解碼器30可自位元串流獲得參數之值。在此等實例中，視訊編碼器20及視訊解碼器30可判定預測樣本值，使得預測樣本值等於x'=ax，其中x'為預測樣本值，x為預測子顏色成分之經重新建構殘餘樣本值中之一者，且a為參數。
舉例而言，代替運動區塊，可使用待寫碼之當前區塊之殘餘信號來計算參數。更特定言之，可藉由應用以下之方程式來得知a及b：a=Cov(Yres',Cres)/Var(Yres')，b=Mean(Cres)-a．Mean(Yres')，其中Cov( )為協方差函數，Var( )為方差函數，且Mean( )為平均值函數，Yres'為用於預測子成分之當前區塊之經重新建構殘餘信號，且Cres為用於待預測之成分之當前區塊中之殘餘信號。因此，在此實 例中，視訊寫碼器(例如，視訊編碼器20或視訊解碼器30)可將預測樣本值判定為x'=ax+b，其中x'為預測樣本值，x為預測子顏色成分之經重新建構樣本值中之一者，a等於Cov(Yres,Cres)/Var(Yres)，且b等於Mean(Cres)-a．Mean(Yres)。視訊編碼器可自殘餘信號之對應樣本減去預測樣本值。視訊編碼器可變換且量化所得樣本值。視訊解碼器可將預測樣本值加至對應殘餘值以重新建構原始殘餘值。在一些實例中，代替用於預測子顏色成分之經重新建構殘餘信號，可使用殘餘信號以縮減計算/實施複雜性。在一些實例中，為了計算預測參數，可使用用於寫碼單元或區塊之運動區塊中之所有樣本值。替代地，在一些實例中，可藉由次取樣或排除零值而使用用於CU或區塊之運動區塊中之樣本值之部分。
此外，在一些實例中，為了產生預測值，可使用預測子成分中之僅一個樣本值，該樣本值經並置至待預測之像素。替代地，可使用預測子成分中之多個樣本值，其中此等樣本為經並置像素及其鄰居中之一或多者。
可藉由提供交換器而將此預測特徵應用於某些區域。舉例而言，用以指示接通及關斷此特徵之旗標可經寫碼至截塊標頭中，使得(例如，藉由解碼器)將預測應用或不應用於整個截塊。替代地，可在諸如序列、圖像、LCU、CU、PU或TU之另一層級處傳信旗標。當在序列層級處傳信旗標時，可在SPS中傳信旗標。當在圖像層級處傳信旗標時，可在PPS中傳信旗標。
因此，作為產生位元串流之部分，視訊編碼器20可在位元串流中傳信用以指示是否使用預測子顏色成分之經重新建構殘餘樣本以預測經預測顏色成分之殘餘樣本值之旗標。在一些實例中，視訊編碼器20可在序列層級處(例如，SPS中)寫碼旗標。相似地，作為解碼位元串流之部分，視訊解碼器30可自位元串流獲得用以指示是否使用預測 子顏色成分之經重新建構殘餘樣本以預測經預測顏色成分之殘餘樣本值之旗標。
圖2為說明可實施本發明之技術之實例視訊編碼器20的方塊圖。圖2係出於解釋之目的而提供，且不應被認為限制如本發明中所廣泛地例示並描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊編碼器20。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖2之實例中，視訊編碼器20包括預測處理單元100、差單元102、變換/量化處理單元104、解量化/反變換單元108、預測補償器110、解區塊濾波器單元112、樣本自適應性偏移(SAO)單元114、參考圖像記憶體116、熵編碼單元118、預測參數計算器120，及預測子產生器122。在其他實例中，視訊編碼器20可包括更多、更少或不同功能組件。
視訊編碼器20可接收視訊資料。視訊編碼器20可在視訊資料之圖像之截塊中編碼每一CTU。CTU中每一者可與同等大小之明度寫碼樹狀結構區塊(coding tree block,CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行四元樹狀結構分割，以將CTU之CTB劃分成逐漸較小區塊。較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可將與CTU相關聯之CTB分割成四個同等大小之子區塊、將該等子區塊中之一或多者分割成四個同等大小之子子區塊，等等。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可在CU之一或多個PU間分割與CU相關聯之寫碼區塊。因此，每一PU可與一明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。CU之大小可係指CU之明度寫碼區塊之大小，且 PU之大小可係指PU之明度預測區塊之大小。在假定特定CU之大小為2N×2N的情況下，視訊編碼器20及視訊解碼器30可支援2N×2N或N×N之PU大小以用於框內預測，且支援2N×2N、2N×N、N×2N、N×N之對稱PU大小或相似大小以用於框間預測。視訊編碼器20及視訊解碼器30亦可支援2N×nU、2N×nD、nL×2N、及nR×2N之PU大小之不對稱分割以用於框間預測。在一些實例中，相對於明度樣本而對色度樣本次取樣。
預測處理單元100可藉由對CU之每一PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。預測處理單元100可對CU之PU執行不同操作，此取決於PU是處於I截塊、P截塊抑或B截塊中。在I截塊中，所有PU被框內預測。因此，若PU處於I截塊中，則預測處理單元100對PU不執行框間預測。因此，對於在I模式中編碼之視訊區塊，使用自同一圖框內之先前經編碼相鄰區塊之空間預測來形成預測性區塊。
P截塊中之PU可被框內預測或被單向框間預測。舉例而言，若PU處於P截塊中，則預測處理單元100可搜尋參考圖像清單(例如，「RefPicList0」)中之參考圖像以尋找用於PU之參考區。用於PU之參考區可為參考圖像內之含有最緊密對應於PU之預測區塊的樣本區塊(亦即，運動區塊)之區。預測處理單元100可產生指示含有用於PU之參考區之參考圖像之RefPicList0中的位置之參考索引。另外，預測處理單元100可產生指示PU之預測區塊與與參考區相關聯之參考位點之間的空間位移之運動向量。舉例而言，運動向量可為提供自當前經解碼圖像中之座標至參考圖像中之座標之偏移的二維向量。預測處理單元100可輸出參考索引及運動向量作為PU之運動資訊。預測處理單元100可基於藉由PU之運動向量指示之參考位點處之實際或經內插樣本而產生PU之預測性區塊。相同運動向量可用於明度預測性區塊及色 度預測性區塊。
B截塊中之PU可被框內預測、被單向框間預測，或被雙向框間預測。因此，若PU處於B截塊中，則預測處理單元100可對PU執行單向預測或雙向預測。為了對PU執行單向預測，預測處理單元100可搜尋RefPicList0或第二參考圖像清單(「RefPicList1」)之參考圖像以尋找用於PU之參考區。預測處理單元100可輸出如下各者作為PU之運動資訊：指示含有參考區之參考圖像之RefPicList0或RefPicList1中之位置的參考索引；指示PU之樣本區塊與與參考區相關聯之參考位點之間的空間位移之運動向量；及指示參考圖像是處於RefPicList0中抑或RefPicList1中之一或多個預測方向指示符。預測處理單元100可至少部分地基於藉由PU之運動向量指示之參考區處之實際或經內插樣本而產生PU之預測性區塊。
為了對PU執行雙向框間預測，預測處理單元100可搜尋RefPicList0中之參考圖像以尋找用於PU之一參考區，且亦可搜尋RefPicList1中之參考圖像以尋找用於PU之另一參考區。預測處理單元100可產生指示含有參考區之參考圖像之RefPicList0及RefPicList1中之位置的參考索引。另外，預測處理單元100可產生指示與參考區相關聯之參考位點與PU之樣本區塊之間的空間位移之運動向量。PU之運動資訊可包括參考索引及PU之運動向量。預測處理單元100可至少部分地基於藉由PU之運動向量指示之參考區處之實際或經內插樣本而產生PU之預測性區塊。相同運動向量可用於明度預測性區塊及色度預測性區塊。
替代地，預測處理單元100可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括用於PU之預測性區塊以及各種語法元素。預測處理單元100可對I截塊、P截塊及B截塊中之PU執行框內預測。
為了對PU執行框內預測，預測處理單元100可使用多個框內預測模式以產生用於PU之多個預測性資料集合。預測處理單元100可基於相鄰PU之樣本而產生用於PU之預測性區塊。相鄰PU可處於該PU上方、處於該PU右上方、處於該PU左上方或處於該PU左側(在假定用於PU、CU及CTU之自左至右、自上至下之編碼次序的情況下)。預測處理單元100可使用各種數目個框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可取決於PU之預測區塊之大小。
預測處理單元100可自藉由框間預測及框內預測而產生之預測性資料間選擇用於CU之PU之預測性資料。在一些實例中，預測處理單元100基於預測性資料集合之速率/失真量度來選擇用於CU之PU之預測性資料。選定預測性資料之預測性區塊可在本文中被稱作選定預測性區塊。
預測處理單元100可基於CU之寫碼區塊(例如，明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)及CU之PU之選定預測性區塊(例如，明度區塊、Cb區塊及Cr區塊)而產生殘餘信號。殘餘信號可包括CU之殘餘明度區塊及殘餘Cb及Cr區塊。舉例而言，預測處理單元100可產生CU之殘餘區塊，使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中之樣本與CU之PU之對應選定預測性區塊中之對應樣本之間的差之值。對於殘餘信號中之殘餘區塊之每一樣本，差單元102可判定樣本與由預測子產生器122產生之樣本預測子之間的差。
變換/量化處理單元104可執行四元樹狀結構分割以將CU之殘餘區塊(亦即，與CU相關聯之殘餘區塊)分割成與CU之TU相關聯之變換區塊。因此，一TU可包含一明度變換區塊及兩個色度變換區塊(例如，與一明度變換區塊及兩個色度變換區塊相關聯)。CU之TU之明度及色度變換區塊之大小及位置可能或可能不基於CU之PU之預測區塊 之大小及位置。被稱為「殘餘四元樹狀結構」(residual quad-tree，RQT)之四元樹狀結構可包括與區中每一者相關聯之節點。CU之TU可對應於RQT之葉節點。
變換/量化處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU之係數區塊。變換/量化處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換/量化處理單元104可將離散餘弦變換(discrete cosine transform，DCT)、定向變換或概念上相似之變換應用於變換區塊。在一些實例中，變換/量化處理單元104未將變換應用於變換區塊。在此等實例(例如，使用變換跳過模式之實例)中，變換區塊可被視為係數區塊。
變換/量化處理單元104可量化係數區塊中之變換係數。量化程序可縮減與該等變換係數中之一些或全部相關聯之位元深度。舉例而言，可在量化期間將n位元變換係數降值捨位至m位元變換係數，其中n大於m。變換/量化處理單元104可基於與CU相關聯之量化參數(quantization parameter,QP)值而量化與CU之TU相關聯之係數區塊。變換/量化處理單元104可藉由調整與CU相關聯之QP值而調整應用於與CU相關聯之係數區塊之量化的程度。量化可引入資訊之丟失；因此，經量化變換係數相比於原始變換係數可具有較低精度。
解量化/反變換處理單元108可分別將反量化及反變換應用於係數區塊，以自係數區塊重新建構殘餘區塊。亦即，解量化/反變換處理單元108可重新建構用於區塊之殘餘信號。預測補償器110可將經重新建構殘餘區塊加至來自藉由預測處理單元100產生之一或多個預測性區塊之對應樣本，以產生與TU相關聯之經重新建構變換區塊。在一些實例中，預測補償器110可基於用於預測子顏色成分之經重新建構殘餘信號來判定(例如，使用線性預測)用於經預測顏色成分之樣本的經預測樣本值。預測補償器110可將經預測樣本值加至用於經預測顏 色成分之經重新建構殘餘信號的對應樣本，以重新建構用於經預測顏色成分之殘餘信號之樣本值。藉由以此方式重新建構用於CU之每一TU之變換區塊，視訊編碼器20可重新建構CU之寫碼區塊。
解區塊濾波器單元112可執行一或多個解區塊操作以縮減CU之寫碼區塊中之區塊效應假影。SAO濾波器單元114可將SAO操作應用於CU之寫碼區塊。參考圖像記憶體116可在SAO濾波器單元114對經重新建構寫碼區塊執行一或多個SAO操作之後儲存經重新建構寫碼區塊。預測處理單元100可使用含有經重新建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。此外，預測處理單元100可使用參考圖像記憶體116中之經重新建構寫碼區塊以對與CU相同圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20之其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元104接收係數區塊，且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文自適應性可變長度寫碼(context-adaptive variable length coding,CAVLC)操作、變數至變數(variable-to-variable,V2V)長度寫碼操作、以語法為基礎之上下文自適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)操作、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼操作、指數葛洛姆編碼操作，或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118產生的經熵編碼資料之位元串流。舉例而言，位元串流可包括表示用於CU之RQT之資料。位元串流亦可包括未被熵編碼之語法元素。
如上文所描述，視訊編碼器20可使用預測子成分(例如，明度、Cb或Cr)之殘餘樣本值以預測其他顏色成分之樣本值。作為說明，視 訊編碼器20可將明度成分之殘餘樣本值用作預測子成分以預測Cr顏色成分或Cb顏色成分之樣本值(例如，殘餘樣本值)。在圖2之實例中，交換器101基於由預測處理單元100產生之殘餘信號是用於預測子顏色成分抑或經預測顏色成分來控制是否將殘餘信號提供至差單元102。作為說明，交換器101可提供用於明度成分之明度殘餘信號，但代替地提供來自預測子產生器122之預測子殘餘信號以用於另一顏色成分。舉例而言，明度殘餘可用作Cr及/或Cb顏色成分之殘餘的殘餘預測子。如圖2之實例所展示，預測補償器110可接收用於預測子顏色成分及經預測顏色成分兩者之經重新建構殘餘信號。此外，在圖2之實例中，交換器109將用於預測子顏色成分之經重新建構殘餘信號提供至預測參數計算器120，但並不將用於經預測顏色成分之經重新建構殘餘信號提供至預測參數計算器120。
預測參數計算器120可處理經重新建構殘餘信號以判定預測參數，諸如，本發明之其他實例中所描述的預測參數a及b。預測子產生器122可基於預測參數a及b判定預測子樣本值(亦即，ax+b)。差單元102可藉由自藉由預測子產生器122判定的對應預測子樣本值減去殘餘信號中之殘餘樣本之值來判定用於經預測顏色成分之最終殘餘信號。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器30的方塊圖。圖3係出於解釋之目的而提供，且不限制如本發明中所廣泛地例示並描述之技術。出於解釋之目的，本發明在HEVC寫碼之上下文中描述視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖3之實例中，視訊解碼器30包括熵解碼單元150、預測子產生器152、解量化/反變換處理單元154、重新建構單元156、預測補償單元158、解區塊濾波器單元160、SAO濾波器單元162，及記憶體164。在其他實例中，視訊解碼器30可包括更多、更少或不同功能組 件。
熵解碼單元150可接收NAL單元且可剖析NAL單元以獲得語法元素。熵解碼單元150可熵解碼NAL單元中之經熵編碼語法元素。預測子產生器152、解量化/反變換處理單元154、重新建構單元156、解區塊濾波器單元160及SAO濾波器單元162可基於自位元串流擷取之語法元素而產生經解碼視訊資料。
位元串流之NAL單元可包括經寫碼截塊NAL單元。作為解碼位元串流之部分，熵解碼單元150可自經寫碼截塊NAL單元擷取並熵解碼語法元素。經寫碼截塊中每一者可包括一截塊標頭及截塊資料。截塊標頭可含有屬於截塊的語法元素。截塊標頭中之語法元素可包括識別與含有截塊之圖像相關聯的PPS之語法元素。
除了自位元串流解碼語法元素以外，視訊解碼器30亦可對CU執行重新建構操作。為了對CU執行重新建構操作，視訊解碼器30可對CU之每一TU執行重新建構操作。藉由對CU之每一TU執行重新建構操作，視訊解碼器30可重新建構CU之殘餘區塊。
作為對CU之TU執行重新建構操作之部分，解量化/反變換處理單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。解量化/反變換處理單元154可使用與TU之CU相關聯之QP值以判定量化程度，且同樣地判定供解量化/反變換處理單元154應用的反量化程度。
在圖3之實例中，交換器155控制是預測子產生器152抑或重新建構單元156接收由解量化/反變換處理單元154產生的經重新建構殘餘信號。特別地，交換器155將用於預測子顏色成分之經重新建構殘餘信號提供至預測子產生器152且將用於經預測顏色成分之經重新建構殘餘信號提供至重新建構單元156。預測子產生器152可判定如本發明中別處所描述的預測子成分。亦即，預測子產生器152可基於預測子顏色成分之樣本判定不同顏色成分之殘餘樣本。重新建構單元156可 將由預測子產生器152產生的預測子成分加至由解量化/反變換處理單元154產生的對應樣本。
在解量化/反變換處理單元154反量化係數區塊之後，解量化/反變換處理單元154可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言，解量化/反變換處理單元154可將反DCT、反整數變換、反卡忽南-拉維(Karhunen-Loeve)變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
若使用框內預測來編碼PU，則預測補償單元158可執行框內預測以產生用於PU之預測性區塊。預測補償單元158可使用框內預測模式以基於空間上相鄰PU之預測區塊而產生用於PU之預測性明度區塊、Cb區塊及Cr區塊。預測補償單元158可基於自位元串流獲得(例如，解碼)之一或多個語法元素而判定用於PU之框內預測模式。
預測補償單元158可基於自位元串流擷取之語法元素而建構第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。此外，若使用框間預測來編碼PU，則預測補償單元158可擷取用於PU之運動資訊。預測補償單元158可基於PU之運動資訊來判定用於PU之參考區塊(亦即，運動區塊)。預測補償單元158可基於用於PU之一或多個參考區塊之樣本而產生用於PU之預測性明度區塊、Cb區塊及Cr區塊。
此外，預測補償單元158可在適用時使用CU之TU之變換區塊(例如，明度變換區塊、Cb變換區塊及Cr變換區塊)及CU之PU之預測性區塊(例如，明度區塊、Cb區塊及Cr區塊)(亦即，框內預測資料或框間預測資料)，以重新建構CU之寫碼區塊(例如，明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)。舉例而言，預測補償單元158可將明度變換區塊、Cb變換區塊及Cr變換區塊之樣本加至預測性明度區塊、Cb區塊及Cr區塊之對應樣本，以重新建構CU之明度寫碼區塊、Cb寫碼區塊 及Cr寫碼區塊。
解區塊濾波器單元160可執行解區塊操作以縮減與CU之寫碼區塊(例如，明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)相關聯的區塊效應假影。SAO濾波器單元162可對CU之寫碼區塊執行SAO濾波器操作。視訊解碼器30可將CU之寫碼區塊(例如，明度寫碼區塊、Cb寫碼區塊及Cr寫碼區塊)儲存於記憶體164中。記憶體164可提供參考圖像以供後續運動補償、框內預測及呈現於顯示器件(諸如，圖1之顯示器件32)上。舉例而言，視訊解碼器30可基於記憶體162(亦即，經解碼圖像緩衝器)中的明度區塊、Cb區塊及Cr區塊而對其他CU之PU執行框內預測或框間預測操作。以此方式，視訊解碼器30可自位元串流獲得係數區塊之變換係數位準、反量化變換係數位準，將變換應用於變換係數位準以產生變換區塊。此外，視訊解碼器30可至少部分地基於變換區塊而產生寫碼區塊。視訊解碼器30可輸出寫碼區塊以供顯示。
圖4為說明根據本發明之一或多種技術的視訊編碼器20之實例操作的流程圖。圖4被呈現為一實例。其他實例可包括更多、更少或不同動作。此外，參看圖2來描述圖4。然而，圖4中所說明之操作可在不同於圖2之實例中所展示的環境的環境中予以執行。
在圖4之實例中，視訊編碼器20之預測處理單元100可使用框間預測以產生用於當前區塊之每一顏色成分(例如，明度、Cb、Cr等等)之預測性區塊(250)。舉例而言，當前區塊可為CU，且預測處理單元100可使用框間預測以產生用於CU之每一PU之預測性區塊。在各種實例中，預測處理單元100可使用時間框間預測及/或視角間預測以產生預測性區塊。
此外，預測處理單元100可產生用於當前區塊之殘餘信號(252)。用於當前區塊之殘餘信號可包括用於顏色成分中每一者之殘餘信號。用於顏色成分之殘餘信號可包含殘餘樣本，每一殘餘樣本具有等於樣 本之原始值與用於顏色成分之預測性區塊中之對應樣本之值之間的差之值。舉例而言，當前區塊可為CU，且預測處理單元100可對於CU之寫碼區塊之每一各別樣本判定對應殘餘樣本之值。在此實例中，對應殘餘樣本之值可等於各別樣本之值減去CU之PU之預測性區塊中的對應樣本之值。
顏色成分可包括預測子顏色成分及至少一經預測顏色成分。在一些實例中，明度成分為預測子顏色成分，且Cb及Cr為經預測顏色成分。在其他實例中，色度顏色成分(例如，Cb或Cr)為預測子顏色成分，且明度成分為經預測顏色成分。視訊編碼器20之變換/量化處理單元104可變換並量化用於預測子顏色成分之殘餘信號(254)。舉例而言，當前區塊可為CU，且變換/量化處理單元104可將用於預測子顏色成分之殘餘信號分割成一或多個變換區塊。在此實例中，變換區塊中每一者對應於用於CU之TU。此外，在此實例中，變換/量化處理單元104可將變換(例如，離散餘弦變換)應用於變換區塊中每一者以產生變換係數區塊。此外，在此實例中，變換/量化處理單元104可量化變換係數區塊中之變換係數。
另外，在圖4之實例中，熵編碼單元118可熵編碼用於預測子顏色成分之經變換且經量化殘餘信號之語法元素(256)。舉例而言，當前區塊可為CU，且熵編碼單元118可將CABAC編碼應用於表示對應於CU之TU的變換係數區塊之變換係數之特定語法元素。熵編碼單元118可在位元串流中包括用於預測子成分之殘餘信號之經熵編碼語法元素(258)。位元串流可包含包括當前區塊之視訊資料之經編碼表示。
在圖4之實例中，解量化/反變換處理單元108可解量化並反變換用於預測子顏色成分之經量化且經變換殘餘信號(260)。以此方式，解量化/反變換處理單元108可產生用於預測子顏色成分之經重新建構殘餘信號。舉例而言，當前區塊可為CU，且解量化/反變換處理單元 108可解量化對應於CU之TU的變換係數區塊之變換係數。此外，在此實例中，解量化/反變換處理單元108可將反變換(例如，反離散餘弦變換)應用於經解量化變換係數區塊，藉此重新建構用於CU之TU之變換區塊。在此實例中，用於預測子顏色成分之經重新建構殘餘信號可包含經重新建構變換區塊。
此外，在圖4之實例中，預測參數計算器120可計算一或多個預測參數(262)。在一些實例中，預測參數計算器120可基於用於預測子成分之經重新建構殘餘信號來計算一或多個預測參數。
在一些實例中，預測參數計算器120計算預測參數a。在一些此等實例中，預測參數a等於Cov(Yref,Cref)/Var(Yref)，其中Cov( )為協方差函數，Var( )為方差函數，且Yref及Cref分別為用於預測子成分及用於待預測成分之運動區塊中的參考信號。在其他實例中，預測參數a等於Cov(Yres',Cres)/Var(Yres')，其中Cov( )為協方差函數，Var( )為方差函數，Yres'為用於預測子成分之當前區塊之經重新建構殘餘信號，且Cres為用於待預測之成分之當前區塊中的殘餘信號。
此外，在一些實例中，視訊寫碼器可將預測子樣本值判定為x'=ax+b。在一些此等實例中，預測參數計算器120計算預測參數b。在一些此等實例中，預測參數計算器120可計算預測參數b，使得預測參數b等於Mean(Cref)-a．Mean(Yref)，其中Mean( )為平均值函數，Yref及Cref分別為用於預測子成分及用於待預測成分之運動區塊中的參考信號。在其他實例中，預測參數計算器120可計算預測參數b，使得預測參數b等於Mean(Cres)-a．Mean(Yres')，其中Mean( )為平均值函數，Yres'為用於預測子成分之當前區塊之經重新建構殘餘信號，且Cres為用於待預測之成分之當前區塊中的殘餘信號。
在圖4之實例中，視訊編碼器20可針對當前區塊之殘餘信號中每一者(例如，針對明度殘餘信號、Cb殘餘信號及Cr殘餘信號)執行動作 (268)至(276)。因此，為易於解釋，本發明可將視訊編碼器20當前正執行動作(268)至(276)所針對的殘餘信號稱作用於當前經預測顏色成分之殘餘信號。因此，在圖4之實例中，視訊編碼器20之預測子產生器122可判定用於當前經預測顏色成分之殘餘信號之每一殘餘樣本的預測子樣本(268)。在一些實例中，預測子產生器122判定預測子樣本x'，使得x'等於ax，其中a為由預測參數計算器120計算的預測參數，且x為用於預測子顏色成分之經重新建構殘餘信號中之經重新建構殘餘樣本。此外，在一些實例中，預測子產生器122判定預測子樣本x'，使得x'等於ax+b，其中a及b為由預測參數計算器120計算的預測參數，且x為用於預測子顏色成分之經重新建構殘餘信號中之經重新建構殘餘樣本。在一些實例中，x與x'並置。
另外，在圖4之實例中，視訊編碼器20之差單元102可判定用於當前經預測顏色成分之解相關殘餘樣本之值(270)。差單元102可至少部分地基於由預測子產生器產生的預測子樣本而判定用於當前經預測顏色成分之解相關殘餘樣本之值。在一些實例中，差單元102可判定解相關殘餘樣本之值，使得解相關殘餘樣本之值等於用於當前經預測顏色成分之殘餘信號中的殘餘樣本之值與由預測子產生器122產生的對應預測子樣本之值之間的差。以此方式，差單元102可產生用於當前經預測顏色成分之解相關殘餘信號。用於當前經預測顏色成分之解相關殘餘信號可包含藉由差單元102判定之解相關樣本。
視訊編碼器20之變換/量化處理單元104可變換並量化用於當前經預測顏色成分之解相關殘餘信號(272)。舉例而言，當前區塊可為CU，且變換/量化處理單元104可將用於當前經預測顏色成分之解相關殘餘信號分割成一或多個變換區塊。在此實例中，變換區塊中每一者對應於用於CU之TU。此外，在此實例中，變換/量化處理單元104可將變換(例如，離散餘弦變換)應用於變換區塊中每一者以產生變換 係數區塊。此外，在此實例中，變換/量化處理單元104可量化變換係數區塊中之變換係數。
另外，在圖4之實例中，熵編碼單元118可熵編碼用於當前經預測顏色成分之經變換且經量化的解相關殘餘信號之語法元素(274)。舉例而言，當前區塊可為CU，且熵編碼單元118可將CABAC編碼應用於表示對應於CU之TU的變換係數區塊之變換係數之特定語法元素。熵編碼單元118可在位元串流中包括用於當前經預測成分之解相關殘餘信號之經熵編碼語法元素(276)。
圖5為說明根據本發明之一或多種技術的視訊解碼器30之實例操作的流程圖。圖5被呈現為一實例。其他實例可包括更多、更少或不同動作。此外，參看圖3來描述圖5。然而，圖5中所說明之操作可在不同於圖3之實例中所展示的環境的環境中予以執行。
在圖5之實例中，視訊解碼器30之熵解碼單元150可熵解碼用於當前區塊之殘餘信號之語法元素(300)。在一些實例中，當前區塊可為CU、PU、巨集區塊、巨集區塊分割區，或另一類型之視訊區塊。用於當前區塊之殘餘信號可包括用於預測子顏色成分之殘餘信號及用於一或多個經預測顏色成分之一或多個解相關殘餘信號。用於當前區塊之殘餘信號可包含表示當前區塊之殘餘樣本之資料。舉例而言，在一些實例中，表示當前區塊之殘餘樣本之資料可包含變換係數。
此外，在圖5之實例中，視訊解碼器30之解量化/反變換處理單元154可解量化並反變換用於當前區塊之殘餘信號(302)。以此方式，解量化/反變換處理單元108可產生用於當前區塊之經重新建構殘餘信號。舉例而言，當前區塊可為CU，且解量化/反變換處理單元108可解量化對應於CU之TU的變換係數區塊之變換係數。此外，在此實例中，解量化/反變換處理單元108可將反變換(例如，反離散餘弦變換)應用於經解量化變換係數區塊，藉此重新建構用於CU之TU之變換區 塊。在此實例中，用於顏色成分之經重新建構殘餘信號可包含經重新建構變換區塊。
視訊解碼器30可對於用於經預測顏色成分中每一者之經重新建構殘餘信號執行動作(304)及(306)。因此，為易於解釋，本發明可將視訊解碼器30當前正執行動作(304)及(306)所針對的經重新建構殘餘信號稱作用於當前經預測顏色成分之經重新建構殘餘信號。因此，在圖5之實例中，視訊解碼器30之預測子產生器152可判定用於當前經預測顏色成分之經重新建構殘餘信號之每一殘餘樣本的預測子樣本(304)。在一些實例中，預測子產生器152判定預測子樣本x'，使得x'等於ax，其中a為預測參數，且x為用於預測子顏色成分之經重新建構殘餘信號中之經重新建構殘餘樣本。此外，在一些實例中，預測子產生器152判定預測子樣本x'，使得x'等於ax+b，其中a及b為預測參數，且x為用於預測子顏色成分之經重新建構殘餘信號中之經重新建構殘餘樣本。在一些實例中，x與x'並置。
另外，在圖5之實例中，重新建構單元156可判定用於當前經預測顏色成分之殘餘樣本之值(306)。重新建構單元156可至少部分地基於由預測子產生器152產生的預測子樣本而判定用於當前經預測顏色成分之殘餘樣本之值。在一些實例中，重新建構單元156可判定殘餘樣本之值，使得殘餘樣本之值等於用於當前經預測顏色成分之經重新建構殘餘信號中的殘餘樣本之值與由預測子產生器152產生的對應預測子樣本之值的和。以此方式，差單元102可產生用於當前經預測顏色成分之經重新建構殘餘信號。用於當前經預測顏色成分之經重新建構殘餘信號可包含藉由重新建構單元156判定之樣本。
視訊解碼器30可對於顏色成分中每一者(包括預測子顏色成分及經預測顏色成分)執行圖5之動作(308)至(318)。因此，為易於解釋，本發明可將視訊解碼器30正執行動作(308)至(318)所針對的顏色成分 稱作當前顏色成分。
在圖5之實例中，視訊解碼器30之預測補償單元158可使用框間預測以產生用於當前顏色成分之一或多個預測性區塊(308)。舉例而言，若當前區塊為CU，則預測補償單元158可使用框間預測以產生用於CU之PU之預測性區塊。在此實例中，預測性區塊可包含當前顏色成分之樣本。在一些實例中，預測補償單元158可使用時間框間預測或視角間預測以產生預測性區塊。如圖3之實例所展示，預測補償單元158可在使用框間預測以產生預測性區塊時使用儲存於記憶體164中之視訊資料。
此外，在圖5之實例中，預測補償單元158可重新建構用於當前區塊之當前顏色成分之樣本值(310)。舉例而言，預測補償單元158可重新建構當前區塊之樣本值，使得樣本值等於預測性區塊(例如，使用框內或框間預測而產生)中之一者中之對應樣本與用於當前顏色成分之經重新建構殘餘信號(例如，用於經預測顏色成分之經重新建構殘餘信號)中之對應樣本的和。在當前區塊為CU之一些實例中，預測補償單元158可藉由將用於CU之PU之預測區塊中之對應樣本與CU之TU之變換區塊中之對應樣本相加而判定用於當前顏色成分之寫碼區塊中的樣本之值。
在圖5之實例中，視訊解碼器30之解區塊濾波器單元160可將解區塊濾波器應用至用於當前區塊之當前顏色成分之經重新建構樣本值(312)。此外，視訊解碼器30之SAO濾波器單元162可將SAO濾波器應用至用於當前區塊之當前顏色成分之經重新建構樣本值(314)。本發明可將所得資料稱作用於當前顏色成分之經重新建構信號。視訊解碼器30之記憶體164可儲存用於當前顏色成分之經重新建構信號(316)。此外，視訊解碼器30可輸出用於當前顏色成分之經重新建構信號(318)。
圖6為說明根據本發明之一或多種技術的視訊編碼器之實例操作的流程圖。圖6被呈現為一實例。其他實例可包括更多、更少或不同動作。
在圖6之實例中，視訊編碼器20產生包含視訊資料之經編碼表示之位元串流(400)。作為產生位元串流之部分，視訊編碼器20可藉由使用運動預測而產生用於第一顏色成分(例如，預測子顏色成分)之殘餘信號及用於第二顏色成分(例如，經預測顏色成分)之殘餘信號(402)。舉例而言，當視訊編碼器20使用運動預測以產生用於第一顏色成分及第二顏色成分之殘餘信號時，視訊編碼器20可使用單向框間預測或雙向框間預測來判定第一顏色成分之預測性區塊及第二顏色成分之預測性區塊。單向框間預測及雙向框間預測之實例在本發明中之別處予以描述。在此實例中，視訊編碼器20可將用於第一顏色成分之殘餘信號判定為用於第一顏色成分之區塊之樣本與用於第一顏色成分之預測性區塊之樣本之間的差。如本發明中之別處所描述，視訊編碼器20可使用第一顏色成分之經重新建構殘餘樣本以判定第二顏色成分之經預測樣本值(例如，使用線性內插)。此外，視訊編碼器20可將用於第二顏色成分之殘餘信號判定為用於第二顏色成分之區塊之樣本與用於第二顏色成分之預測性區塊之樣本之間的差。在此實例中，視訊編碼器20可自第二顏色成分之對應經預測樣本值減去用於第二顏色成分之殘餘信號之樣本。
此外，視訊編碼器20可重新建構第一顏色成分之殘餘信號(404)。第一顏色成分之經重新建構殘餘信號可包括第一顏色成分之經重新建構殘餘樣本值。視訊編碼器20可使用第一顏色成分之經重新建構殘餘樣本值以預測第二顏色成分之殘餘樣本值(406)。
圖7為說明根據本發明之一或多種技術的視訊解碼器之實例操作的流程圖。圖7被呈現為一實例。其他實例可包括更多、更少或不同 動作。
在圖7之實例中，視訊解碼器30解碼包括視訊資料之經編碼表示之位元串流(450)。作為解碼位元串流之部分，視訊解碼器30可重新建構第一顏色成分(例如，預測子顏色成分)之殘餘信號(452)。重新建構殘餘信號可涉及解量化用於第一顏色成分之係數值並將反變換應用至用於第一顏色成分之係數值以判定殘餘信號。第一顏色成分之經重新建構殘餘信號可包括第一顏色成分之經重新建構殘餘樣本值。可使用運動預測來產生第一顏色成分之殘餘信號。舉例而言，可藉由視訊編碼器使用運動預測來產生用於第一顏色成分之殘餘信號且在位元串流中傳信用於第一顏色成分之殘餘信號。為了使用運動預測產生用於第一顏色成分之殘餘信號，視訊編碼器可使用單向框間預測或雙向框間預測來判定第一顏色成分之預測性區塊。單向框間預測及雙向框間預測之實例在本發明中之別處予以描述。在此實例中，視訊編碼器可將用於第一顏色成分之殘餘信號判定為用於第一顏色成分之區塊之樣本與用於第一顏色成分之預測性區塊之樣本之間的差。視訊編碼器可變換並量化用於第一顏色成分之殘餘信號且在位元串流中傳信所得資料。
在圖7之實例中，視訊解碼器30可使用第一顏色成分之經重新建構殘餘樣本值以預測第二不同顏色成分之殘餘樣本值(454)。舉例而言，當視訊解碼器30使用第一顏色成分之經重新建構殘餘樣本值以預測第二顏色成分之殘餘樣本值時，視訊解碼器30可使用第一顏色成分之經重新建構殘餘樣本以判定第二顏色成分之經預測樣本值(例如，使用線性預測)。在此實例中，視訊解碼器30可將第二顏色成分之經預測樣本值加至第二顏色成分之經傳信值以重新建構用於第二顏色成分之殘餘信號。
以下段落提供本發明之額外實例。
實例1. 一種解碼視訊資料之方法，該方法包含：自一位元串流獲得表示用於一預測單元(PU)之一第一殘餘區塊及用於該PU之一第二殘餘區塊之語法元素，該第一殘餘區塊包含一第一顏色成分之殘餘樣本，該第二殘餘區塊包含一第二顏色成分之殘餘樣本，該第二顏色成分不同於該第一顏色成分；至少部分地基於用於該PU之一運動向量而判定用於該PU之一第一運動區塊及用於該PU之一第二運動區塊，用於該PU之該第一運動區塊包含該第一顏色成分之樣本，用於該PU之該第二運動區塊包含該第二顏色成分之樣本；至少部分地基於用於該PU之該第一殘餘區塊及用於該PU之該第一運動區塊而產生用於該PU之一第一經重新建構區塊，該第一經重新建構區塊包含該第一顏色成分之樣本；至少部分地基於用於該PU之該第二殘餘區塊、用於該PU之該第二運動區塊及用於該PU之該第一經重新建構區塊而判定用於該PU之一第二經重新建構區塊，用於該PU之該第二經重新建構區塊包含該第二顏色成分之樣本；及基於用於該PU之該第一經重新建構區塊及該第二經重新建構區塊而輸出視訊。
實例2. 如實例1之方法，其中判定用於該PU之該第二經重新建構區塊包含：至少部分地基於該第二殘餘區塊中之一樣本及該第二運動區塊中之一樣本而判定一初始樣本；及將用於該PU之該第二經重新建構區塊中之一最終樣本判定為y'=y+x'，其中y'為該最終樣本，y為該初始樣本，且x'=ax，其中x為該第一殘餘區塊中之一殘餘樣本，a等於Cov(Yref,Cref)/Var(Yref)，其中Cov()為一協方差，Var()為一方差，Yref為該第一運動區塊中之一樣本，且Cref為該第二運動區塊中之該樣本。
實例3. 如實例1之方法，其中判定用於該PU之該第二經重新建構區塊包含：至少部分地基於該第二殘餘區塊中之一樣本及該第二運動區塊中之一樣本而判定一初始樣本；及將用於該PU之該第二經重 新建構區塊中之一最終樣本判定為y'=y+x'，其中y'為該最終樣本，y為該初始樣本，且x'=ax+b，其中x為該第一殘餘區塊中之一殘餘樣本，a等於Cov(Yres,Cres)/Var(Yres)，且b等於Mean(Cres)-a．Mean(Yres)，其中Cov()為一協方差，Var()為一方差，Yres為一第一殘餘樣本，且Cres為該第二殘餘樣本。
實例4. 如實例2或3之方法，其進一步包含自一位元串流獲得a及b之值。
實例5. 如實例1之方法，其中該第一顏色成分及該第二顏色成分為如下各者中之不同顏色成分：一明度成分、一Cb色度成分，及一Cr色度成分。
實例6. 一種解碼視訊資料之方法，該方法包含實例1至5中任一項。
實例7. 一種視訊解碼器件，其包含經組態以執行如實例1至5中任一項之方法之一或多個處理器。
實例8. 一種視訊解碼器件，其包含用於執行如實例1至5中任一項之方法的構件。
實例9. 一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時組態一視訊解碼器以執行如實例1至5中任一項之方法。
實例10. 一種編碼視訊資料之方法，該方法包含：判定用於PU之一運動向量；至少部分地基於用於該PU之該運動向量而判定用於該PU之一第一運動區塊及用於該PU之一第二運動區塊，用於該PU之該第一運動區塊包含一第一顏色成分之樣本，用於該PU之該第二運動區塊包含一第二顏色成分之樣本，該第二顏色成分不同於該第一顏色成分；至少部分地基於用於該PU之一第一原始區塊及用於該PU之該第一運動區塊而產生用於該PU之一第一殘餘區塊，用於該PU之該第一原始區塊及用於該PU之該第一殘餘區塊包含該第一顏色成分之 樣本；至少部分地基於用於該PU之一第二原始區塊、用於該PU之該第二運動區塊及用於該PU之該第一殘餘區塊而判定用於該PU之一第二殘餘區塊，用於該PU之該第二原始區塊及用於該PU之該第二殘餘區塊包含該第二顏色成分之樣本；及輸出包括用於該PU之該第一殘餘區塊之一經編碼表示及用於該PU之該第二殘餘區塊之一經編碼表示的一位元串流。
實例11. 如實例10之方法，其中判定用於該PU之該第二殘餘區塊包含：至少部分地基於該第二原始區塊中之一樣本及該第二運動區塊中之一對應樣本而判定一初始殘餘樣本；及將用於該PU之該第二殘餘區塊中之一最終殘餘樣本判定為y'=y-x'，其中y'為該最終殘餘樣本，y為該初始殘餘樣本，且x'=ax，其中x為該第一殘餘區塊中之一樣本，且a等於Cov(Yref,Cref)/Var(Yref)，其中Cov()為一協方差，Var()為一方差，Yref為該第一運動區塊中之一樣本，且Cref為該第二運動區塊中之該樣本。
實例12. 如實例10之方法，其中判定用於該PU之該第二殘餘區塊包含：至少部分地基於該第二殘餘區塊中之一樣本及該第二運動區塊中之一樣本而判定一初始殘餘樣本；及將用於該PU之該第二殘餘區塊中之一最終殘餘樣本判定為y'=y-x'，其中y'為該最終殘餘樣本，y為該初始殘餘樣本，且x'=ax+b，其中x為該第一殘餘區塊中之一殘餘樣本，a等於Cov(Yres,Cres)/Var(Yres)，且b等於Mean(Cres)-a．Mean(Yres)，其中Cov()為一協方差，Var()為一方差，Yres為該第一殘餘樣本中之一樣本，且Cres為一第二殘餘樣本。
實例13. 如實例11或12之方法，其中該位元串流包含值a及b之經編碼表示。
實例14. 如實例10之方法，其中該第一顏色成分及該第二顏色成分為如下各者中之不同顏色成分：一明度成分、一Cb色度成分，及 一Cr色度成分。
實例15. 一種解碼視訊資料之方法，該方法包含實例10至14中任一項。
實例16. 一種視訊解碼器件，其包含經組態以執行如實例10至14中任一項之方法之一或多個處理器。
實例17. 一種視訊解碼器件，其包含用於執行如實例10至14中任一項之方法的構件。
實例18. 一種儲存有指令之電腦可讀儲存媒體，該等指令在經執行時組態一視訊解碼器以執行如實例10至14中任一項之方法。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由以硬體為基礎之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括促進(例如)根據通信協定將電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(digital subscriber line,DSL)或諸如紅外線、無線電 及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是替代地有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(compact disc,CD)、雷射光碟、光學光碟、數位影音光碟(digital versatile disc,DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(digital signal processor,DSP)、通用微處理器、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化邏輯陣列(field programmable logic array,FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此，本文所使用之術語「處理器」可指上述結構或適於實施本文所描述之技術的任何其他結構中任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可被完全實施於一或多個電路或邏輯元件中。
本發明之技術可在廣泛多種器件或裝置中予以實施，該等器件或裝置包括無線手機、積體電路(integrated circuit,IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。更確切而言，如上文所描述，各種單元可組合於編碼解碼器硬體單元中或由交互操作之硬體單元的集合(包括如上文所描述之一或多個處理器)結合合適軟體及/或韌體來提供。
已描述各種實例。此等及其他實例係在以下申請專利範圍之範 疇內。
450‧‧‧動作
452‧‧‧動作
454‧‧‧動作

Claims (37)

  1. 一種解碼視經編碼訊資料之方法，該方法包含：接收包括一位元序列之一位元串流，該位元序列形成經編碼圖像之一表示；重新建構一第一顏色成分之一殘餘信號，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
  2. 如請求項1之方法，其中該第一顏色成分及該第二顏色成分為如下各者中之不同顏色成分：一明度成分、一Cb色度成分，及一Cr色度成分。
  3. 如請求項1之方法，其進一步包含將該第二顏色成分之該等經預測殘餘樣本值加至藉由解量化一係數區塊並將一反變換應用於該係數區塊而產生之對應樣本，其中該位元串流包括指示該係數區塊之經量化變換係數之經熵編碼語法元素。
  4. 如請求項1之方法，其中重新建構該第一顏色成分之該殘餘信號包含使用解量化及一反變換以重新建構該第一顏色成分之該殘餘信號。
  5. 如請求項1之方法，其中使用該第一顏色成分之該等經重新建構殘餘樣本值以預測該第二顏色成分之該等殘餘樣本值包含使用一線性預測而自該第一顏色成分之一經重新建構殘餘樣本值產生該第二顏色成分之一預測樣本值。
  6. 如請求項5之方法，其中使用該線性預測來產生該第二顏色成分 之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為預測子顏色成分之經重新建構殘餘樣本值中之一者，a等於Cov(Yref,Cref)/Var(Yref)，Cov( )為一協方差函數，Var( )為一方差函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  7. 如請求項5之方法，其中：該方法進一步包含自該位元串流獲得一參數之一值；且使用該線性預測來產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為該預測子顏色成分之該等經重新建構殘餘樣本值中之一者，且a為該參數。
  8. 如請求項5之方法，其中使用一線性預測來產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構殘餘樣本值中之一者，a等於Cov(Yref,Cref)/Var(Yref)，且b等於Mean(Cref)-a．Mean(Yref)，其中Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  9. 如請求項1之方法，其中產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構樣本值中之一者，a等於Cov(Yres,Cres)/Var(Yres)，且b等於Mean(Cres)-a．Mean(Yres)，其中Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yres為該第一顏色成分之 一當前區塊之一經重新建構殘餘信號，且Cres為用於該第二顏色成分之該當前區塊之一殘餘信號。
  10. 如請求項1之方法，其中解碼該位元串流進一步包含自該位元串流獲得用以指示是否使用該第一顏色成分之該等經重新建構殘餘樣本來預測該第二顏色成分之殘餘樣本值之一旗標。
  11. 如請求項10之方法，其中在一序列層級處寫碼該旗標。
  12. 一種編碼視訊資料之方法，該方法包含：產生包含一位元序列之一位元串流，該位元序列形成經編碼圖像之一表示，其中產生該位元串流包含：藉由使用運動預測來產生用於一第一顏色成分之一殘餘信號；重新建構該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測第二顏色成分之樣本值。
  13. 如請求項12之方法，其中該第一顏色成分及該第二顏色成分為如下各者中之不同顏色成分：一明度成分、一Cb色度成分，及一Cr色度成分。
  14. 如請求項12之方法，其中產生該位元串流包含：藉由使用運動預測來產生用於該第二顏色成分之一初始殘餘信號；判定用於該第二顏色成分之一最終殘餘信號，使得用於該第二顏色成分之該最終殘餘信號中之每一樣本值等於該第二顏色成分之該等經預測樣本值中之一者與該第二顏色成分之該初始殘餘信號之一對應樣本之間的一差； 藉由變換用於該第二顏色成分之該最終殘餘信號而產生一係數區塊；及在該位元串流中包括指示該係數區塊之經量化變換係數之經熵編碼資料。
  15. 如請求項12之方法，其中重新建構該第一顏色成分之該殘餘信號包含使用解量化及一反變換以重新建構該第一顏色成分之該殘餘信號。
  16. 如請求項12之方法，其中使用該第一顏色成分之該等經重新建構殘餘樣本值以預測該第二顏色成分之殘餘樣本值包含使用一線性預測而自該第一顏色成分之一經重新建構殘餘樣本值產生該第二顏色成分之一預測樣本值。
  17. 如請求項16之方法，其中使用該線性預測來產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為預測子顏色成分之經重新建構殘餘樣本值中之一者，且a等於Cov(Yref,Cref)/Var(Yref)，其中Cov( )為一協方差函數，Var( )為一方差函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  18. 如請求項16之方法，其中：該方法進一步包含在該位元串流中包括指示一參數之值之資料；且使用該線性預測來產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為該預測子顏色成分之該等經重新建構殘餘樣本值中之一者，且a為該參數。
  19. 如請求項16之方法，其中使用該線性預測來產生該第二顏色成 分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構殘餘樣本值中之一者，a等於Cov(Yref,Cref)/Var(Yref)，且b等於Mean(Cref)-a．Mean(Yref)，其中Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  20. 如請求項16之方法，其中產生該第二顏色成分之該預測樣本值包含：判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構樣本值中之一者，a等於Cov(Yres,Cres)/Var(Yres)，且b等於Mean(Cres)-a．Mean(Yres)，其中Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yres為該第一顏色成分之一當前區塊之一經重新建構殘餘信號，且Cres為用於該第二顏色成分之該當前區塊之一殘餘信號。
  21. 如請求項12之方法，其中產生該位元串流進一步包含在該位元串流中傳信用以指示是否使用該第一顏色成分之該等經重新建構殘餘樣本來預測該第二顏色成分之殘餘樣本值之一旗標。
  22. 如請求項21之方法，其中傳信該旗標包含在一序列層級處寫碼該旗標。
  23. 一種視訊寫碼器件，其包含：一資料儲存媒體，其經組態以儲存視訊資料；及一或多個處理器，其經組態以產生或解碼該視訊資料，其中作為產生或解碼該視訊資料之部分，該一或多個處理器：重新建構一第一顏色成分之一殘餘信號，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之 該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
  24. 如請求項23之視訊寫碼器件，其中該第一顏色成分及該第二顏色成分為如下各者中之不同顏色成分：一明度成分、一Cb色度成分，及一Cr色度成分。
  25. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以將該第二顏色成分之該等經預測樣本值加至藉由解量化一係數區塊並將一反變換應用於該係數區塊而產生之對應樣本，其中該位元串流包括指示該係數區塊之經量化變換係數之經熵編碼語法元素。
  26. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以使用解量化及一反變換以重新建構該第一顏色成分之該殘餘信號。
  27. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以使用一線性預測而自該第一顏色成分之一經重新建構殘餘樣本值產生該第二顏色成分之一預測樣本值。
  28. 如請求項27之視訊寫碼器件，其中該一或多個處理器經組態以判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為預測子顏色成分之經重新建構殘餘樣本值中之一者，a等於Cov(Yref,Cref)/Var(Yref)，Cov( )為一協方差函數，Var( )為一方差函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  29. 如請求項27之視訊寫碼器件，其中該一或多個處理器經組態以 判定該預測樣本值，使得該預測樣本值等於x'=ax，其中x'為該預測樣本值，x為該預測子顏色成分之該等經重新建構殘餘樣本值中之一者，且a為一參數，其中該位元串流包括指示該參數之一值之資料。
  30. 如請求項28之視訊寫碼器件，其中該一或多個處理器經組態以在該位元串流中包括指示a之值之資料。
  31. 如請求項27之視訊寫碼器件，其中該一或多個處理器經組態以判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構殘餘樣本值中之一者，a等於Cov(Yref,Cref)/Var(Yref)，且b等於Mean(Cref)-a．Mean(Yref)，其中Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yref為用於該第一顏色成分之一運動區塊中之一參考信號，且Cref為用於該第二顏色成分之一運動區塊中之一參考信號。
  32. 如請求項27之視訊寫碼器件，其中該一或多個處理器經組態以判定該預測樣本值，使得該預測樣本值等於x'=ax+b，其中x'為該預測樣本值，x為該第一顏色成分之該等經重新建構樣本值中之一者，a等於Cov(Yres,Cres)/Var(Yres)，b等於Mean(Cres)-a．Mean(Yres)，Cov( )為一協方差函數，Var( )為一方差函數，Mean( )為一平均值函數，Yres為該第一顏色成分之一當前區塊之一經重新建構殘餘信號，且Cres為用於該第二顏色成分之該當前區塊之一殘餘信號。
  33. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以自該位元串流獲得用以指示是否使用該第一顏色成分之該等經重新建構殘餘樣本來預測該第二顏色成分之殘餘樣本值之一旗標。
  34. 如請求項33之視訊寫碼器件，其中該旗標係在一序列層級處被寫碼。
  35. 如請求項23之視訊寫碼器件，其中該一或多個處理器經組態以在該位元串流中傳信用以指示是否使用該第一顏色成分之該等經重新建構殘餘樣本來預測該第二顏色成分之殘餘樣本值之一旗標。
  36. 一種視訊寫碼器件，其包含：用於重新建構一第一顏色成分之一殘餘信號的構件，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及用於使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值的構件。
  37. 一種儲存有指令之非暫時性電腦可讀資料儲存媒體，該等指令在經執行時使一視訊寫碼器件：重新建構一第一顏色成分之一殘餘信號，其中使用運動預測來產生該第一顏色成分之該殘餘信號，該第一顏色成分之該經重新建構殘餘信號包括該第一顏色成分之經重新建構殘餘樣本值；及使用該第一顏色成分之該等經重新建構殘餘樣本值以預測一第二不同顏色成分之殘餘樣本值。
TW103117961A 2013-05-22 2014-05-22 使用顏色成分間取樣預測之視訊寫碼 TWI559743B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361826396P 2013-05-22 2013-05-22
US14/283,855 US20140348240A1 (en) 2013-05-22 2014-05-21 Video coding using sample prediction among color components

Publications (2)

Publication Number Publication Date
TW201501512A TW201501512A (zh) 2015-01-01
TWI559743B true TWI559743B (zh) 2016-11-21

Family

ID=50977130

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103117961A TWI559743B (zh) 2013-05-22 2014-05-22 使用顏色成分間取樣預測之視訊寫碼

Country Status (8)

Country Link
US (1) US20140348240A1 (zh)
EP (1) EP3000231A1 (zh)
JP (1) JP2016526334A (zh)
KR (1) KR20160013890A (zh)
CN (1) CN105247866A (zh)
BR (1) BR112015029161A2 (zh)
TW (1) TWI559743B (zh)
WO (1) WO2014190171A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076239B2 (en) 2009-04-30 2015-07-07 Stmicroelectronics S.R.L. Method and systems for thumbnail generation, and corresponding computer program product
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
WO2016115733A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Improvements for inter-component residual prediction
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10567803B2 (en) * 2017-04-12 2020-02-18 Qualcomm Incorporated Midpoint prediction error diffusion for display stream compression
WO2018236031A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10694205B2 (en) * 2017-12-18 2020-06-23 Google Llc Entropy coding of motion vectors using categories of transform blocks
US10491897B2 (en) 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
CN113396592B (zh) 2019-02-02 2023-11-14 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区管理
WO2020156547A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
CN114009031A (zh) * 2019-05-15 2022-02-01 现代自动车株式会社 用于还原色度块的方法和用于解码影像的装置
WO2020257785A1 (en) * 2019-06-20 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
WO2020256595A2 (en) 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks
EP3981151A4 (en) 2019-07-06 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. VIRTUAL PREDICTION BUFFER FOR INTRA-BLOCK COPY IN VIDEO ENCODING
MX2022000110A (es) 2019-07-10 2022-02-10 Beijing Bytedance Network Tech Co Ltd Identificacion de muestras para la copia intra-bloque en codificacion de video.
CN117579816A (zh) 2019-07-11 2024-02-20 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
EP4022901A4 (en) * 2019-08-31 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING VIDEO AND STILL IMAGES USING ADAPTIVE RESIDUAL BLOCK SHAPE RESAMPLING

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507415A2 (en) * 2003-07-16 2005-02-16 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007231799B8 (en) * 2007-10-31 2011-04-21 Canon Kabushiki Kaisha High-performance video transcoding method
MX2013002429A (es) * 2010-09-03 2013-04-08 Dolby Lab Licensing Corp Metodo y sistema para compensacion de iluminacion y transicion para codificacion y procesamiento de video.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507415A2 (en) * 2003-07-16 2005-02-16 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image

Also Published As

Publication number Publication date
KR20160013890A (ko) 2016-02-05
WO2014190171A1 (en) 2014-11-27
CN105247866A (zh) 2016-01-13
JP2016526334A (ja) 2016-09-01
US20140348240A1 (en) 2014-11-27
EP3000231A1 (en) 2016-03-30
TW201501512A (zh) 2015-01-01
BR112015029161A2 (pt) 2017-07-25

Similar Documents

Publication Publication Date Title
TWI559743B (zh) 使用顏色成分間取樣預測之視訊寫碼
US10477240B2 (en) Linear model prediction mode with sample accessing for video coding
KR102520295B1 (ko) 선형 모델 예측 모드를 위한 다운샘플링 프로세스
KR102384092B1 (ko) 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스
EP3058743B1 (en) Support of multi-mode extraction for multi-layer video codecs
KR101677867B1 (ko) 비디오 코딩에서 네스트된 sei 메세지들에 대한 서브-비트스트림 적용가능성
JP6479651B2 (ja) ３次元ビデオコーディングのためのビュー合成モード
JP6009581B2 (ja) マルチビュー及び三次元映像コーディングのための基準ピクチャリスト構築
TWI533679B (zh) 在視訊寫碼中之參數集
US9167248B2 (en) Reference picture list modification for video coding
US20150016503A1 (en) Tiles and wavefront processing in multi-layer context
KR102314587B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
JP2016524408A (ja) 隣接ベースの視差ベクトル導出を用いた３ｄビデオコーディングのための、並列に導出された視差ベクトル
EP3198873A1 (en) Parsing dependency reduction for palette index coding
KR101626695B1 (ko) 뷰 합성 참조 화상들에 대한 참조 화상 리스트 변경
JP6199320B2 (ja) ３次元ビデオコーディングのためのネットワーク抽象化レイヤ（ｎａｌ）ユニットヘッダ設計
JP2016526348A (ja) 深さブロックの不一致に基づく高度な深さインターコーディング
US20150103907A1 (en) Support for large numbers of views in multi-layer coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees