本申請案主張2017年3月10日申請之美國臨時申請案第62/470,099號及2017年3月23日申請之美國臨時申請案第62/475,739號的益處,該等申請案兩者之全部內容以引用的方式併入本文中。本發明係關於框內預測、預測方向之判定、預測模式之判定、寫碼模式之判定、框內濾波於視訊寫碼(例如,視訊編碼及/或視訊解碼)中之使用的判定,及顯式地寫碼及發信語法元素。 視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)、ITU-T H.265(亦稱為高效視訊寫碼(HEVC)),其包括諸如可擴展視訊寫碼(SVC)、多視圖視訊寫碼(MVC)及螢幕內容寫碼(SCC)之擴展。其他視訊寫碼標準包括諸如聯合視訊探索小組(JVET)測試模型之未來視訊寫碼標準,其為除HEVC之外的研發活動。視訊寫碼標準亦包括專屬視訊編解碼器(諸如Google VP8、VP9、VP10),及藉由其他組織(例如,開放媒體聯盟)開發的視訊編解碼器。 在HEVC及聯合探索模型(JEM)中,其為正由JVET研究之測試軟體,可修勻框內參考,例如,可應用濾波器。在HEVC中,在自框內參考產生框內預測之前,以濾波器被應用於框內參考(與當前經寫碼區塊有關的相鄰者樣本)的方式使用模式相關框內修勻(MDIS)。基於當前框內模式與水平或垂直方向如何接近而導出其中允用MDIS的模式。可基於當前模式與水平及垂直模式索引之間的框內模式索引絕對差導出其中允用MDIS的模式。若絕對差超過某一臨限值(例如,臨限值可與區塊大小相關),則不應用MDIS濾波器,否則,應用MDIS濾波器。換言之,在遠離水平或垂直方向的框內模式中,應用框內參考濾波器。MDIS不應用於非角模式,諸如DC或平坦模式。 在JEM中,用平滑濾波器(參考樣本自適應性濾波(RSAF)或自適應性參考樣本修勻(ARSS))替換MDIS,在一些實例中,該平滑濾波器可應用於除DC模式之外的所有框內模式。將指示是否將濾波器應用於當前區塊中的旗標發信至解碼器側。並未作為顯式旗標而進行發信,而是隱藏於變換係數中。亦即,可由視訊解碼器基於變換係數之某些值或特性判定指示是否將濾波器應用於當前區塊的旗標之值。舉例而言,若變換係數滿足某一同位條件,則旗標導出為1,否則,旗標導出為0。 用於JEM中之另一方法為依位置而定之框內預測組合(PDPC)模式。PDPC為將框內預測符及框內參考樣本加權的寫碼模式,其中可基於區塊大小(包括寬度及高度)及框內模式導出權重。 圖1為說明可經組態以執行本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示,系統10包括提供稍後將由目的地器件14解碼之經編碼視訊資料的源器件12。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型電腦(例如,膝上型電腦)、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手持機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似物。在一些情況下,源器件12和目的地器件14可能經裝備以用於無線通信。因此,源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即,用於編碼視訊資料之器件)。目的地器件14為實例視訊解碼器件(亦即,用於解碼視訊資料之器件)。 在圖1的實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體20、視訊編碼器22及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。在其他實例中,源器件12及目的地器件14可包括其他組件或配置。舉例而言,源器件12可自外部視訊源(諸如,外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件32。 圖1之所說明系統10僅係一個實例。用於處理及/或寫碼(例如,編碼及/或解碼)視訊資料之技術可藉由任何數位視訊編碼及/或解碼器件執行。儘管通常本發明之技術由視訊編碼器件及/或視訊解碼器件執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料用於傳輸至目的地器件14之此類寫碼器件的實例。在一些實例中,源器件12及目的地器件14可以實質上對稱方式操作,使得源器件12及目的地器件14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸,例如用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊俘獲器件,諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用於自視訊內容提供者接收視訊資料的視訊饋送介面。作為另一替代例,視訊源18可產生基於電腦圖形之資料,作為源視訊、或實況視訊、存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如,儲存媒體20)。本發明中所描述之技術可適用於視訊寫碼,且大體而言可應用於無線及/或有線應用。在每一狀況下,所俘獲、所預先俘獲或電腦產生之視訊可藉由視訊編碼器22編碼。輸出介面24可將經編碼視訊資訊(例如,經編碼視訊資料之位元串流)輸出至電腦可讀媒體16。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一些實例中,電腦可讀媒體16包含使得源器件12能夠即時將經編碼視訊資料直接地傳輸至目的地器件14的通信媒體。可根據通信標準(諸如,無線通信協定)調變經編碼視訊資料,且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如,射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,經編碼資料可自輸出介面24輸出至儲存器件。類似地,可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者,諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中,儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此可包括適用於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如,Wi-Fi連接)、有線連接(例如,DSL、電纜數據機等)或兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 本發明中描述之技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如,空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如,HTTP動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 電腦可讀媒體16可包括瞬時媒體,諸如無線廣播或有線網路傳輸,或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、快閃驅動機、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料,且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地,媒體產生設施(諸如光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器22之視訊編碼器22定義的語法資訊,語法資訊亦由視訊解碼器30使用,語法資訊包括描述區塊及其他寫碼單元(例如,圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可儲存藉由輸入介面26接收之經編碼視訊資料。顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器22及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者,諸如,一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於適合的非暫時性電腦可讀媒體中,且使用一或多個處理器在硬體中執行該等指令,以執行本發明之技術。視訊編碼器22及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可經整合為各別器件中之組合式編解碼器之部分。 在一些實例中,視訊編碼器22及視訊解碼器30可根據視訊寫碼標準操作。實例視訊寫碼標準包括但不限於:ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外,已藉由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC運動圖像專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發新的視訊寫碼標準(亦即,高效視訊寫碼(HEVC)或ITU-T H.265),包括其範圍及螢幕內容寫碼擴展、3D視訊寫碼(3D-HEVC)及多視圖擴展(MV-HEVC)及可調式擴展(SHVC)。 在其他實例中,視訊編碼器22及視訊解碼器30可經組態以根據其他視訊寫碼技術及/或標準操作,包括正由聯合視訊探索組(JVET)探索的新視訊寫碼技術。 在HEVC及其他視訊寫碼規範中,視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列,指示為S
L
、S
Cb
及S
Cr
。S
L
為明度樣本的二維陣列(例如,區塊)。S
Cb
為Cb色度樣本之二維陣列。S
Cr
為Cr色度樣本之二維陣列。色度樣本在本文中亦可被稱作「色度」樣本。在其他情況下,圖像可為單色的且可僅包括明度樣本陣列。 為產生圖像之經編碼表示(例如,經編碼視訊位元串流),視訊編碼器22可產生一組寫碼樹型單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊(CTB)、色度樣本之兩個對應CTB,及用於對寫碼樹型區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一寫碼樹型區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而,CTU未必限於特定大小,且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。 為產生經寫碼的CTU,視訊編碼器22可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,之後命名為「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊,及色度樣本之兩個對應寫碼區塊,及用於對該寫碼區塊之樣本進行寫碼的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CU可包含單一寫碼區塊及用於寫碼該寫碼樹型區塊之樣本的語法結構。 視訊編碼器22可將CU之寫碼區塊分割為一或多個預測區塊。預測區塊為供應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,PU可包含單一預測區塊及用於預測該預測區塊之語法結構。視訊編碼器22可針對CU之每一PU的預測區塊(例如,明度、Cb及Cr預測區塊)產生預測性區塊(例如,明度、Cb及Cr預測性區塊)。 視訊編碼器22可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器22使用框內預測以產生PU之預測性區塊,則視訊編碼器22可基於包括PU之圖像的經解碼樣本產生PU之預測性區塊。 在視訊編碼器22產生用於CU之一或多個PU的預測性區塊(例如明度、Cb及Cr預測性區塊)之後,視訊編碼器22可產生用於CU之一或多個殘餘區塊。作為一個實例,視訊編碼器22可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。另外,視訊編碼器22可產生用於CU之Cb殘餘區塊。在色度預測之一個實例中,CU的Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中的一者之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器22亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。然而,應理解可使用用於色度預測之其他技術。 此外,視訊編碼器22可使用四分樹分割將CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)分解成一或多個變換區塊(例如,明度、Cb及Cr變換區塊)。變換區塊為應用相同變換之樣本的矩形(亦即,正方形或非正方形)區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用以對變換區塊樣本進行變換之語法結構。因此,CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb轉變區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單一變換區塊及用於對該變換區塊之樣本進行變換之語法結構。 視訊編碼器22可將一或多個變換應用於TU之變換區塊以產生TU之係數區塊。舉例而言,視訊編碼器22可將一或多個變換應用於TU之明度變換區塊,以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器22可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器22可將一或多個變換應用於TU之Cr變換區塊,以產生TU之Cr係數區塊。 在產生係數區塊(例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器22可將係數區塊量化。量化大體上指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之過程。在視訊編碼器22量化係數區塊之後,視訊編碼器22可熵編碼指示經量化變換係數之語法元素。舉例而言,視訊編碼器22可對指示經量化變換係數之語法元素執行背景脈絡適應性二進位算術寫碼(CABAC)。 視訊編碼器22可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。因此,位元串流包含視訊資料之經編碼表示。位元流可包含網路抽象層(NAL)單元的序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有仿真阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且可囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下,RBSP包括零個位元。 視訊解碼器30可接收由視訊編碼器22產生的經編碼視訊位元串流。另外,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素重建構視訊資料之圖像。重建構視訊資料之過程可大體上與由視訊編碼器22執行之過程互逆。舉例而言,視訊解碼器30可使用PU之運動向量,以判定當前CU之PU的預測性區塊。另外,視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換,以重建構當前CU之TU的變換區塊。藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本,視訊解碼器30可重建構當前CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊解碼器30可重建構圖像。在視訊編解碼器構架之一些實例(諸如,HEVC之四分樹分割框架)中,共同地執行將視訊資料分割成用於色彩分量之區塊(例如,明度區塊及色度區塊)。亦即,在一些實例中,明度區塊及色度區塊係以相同方式分割,以使得不超過一個明度區塊對應於圖像內的特定位置中之色度區塊。 四分樹加二進位樹(QTBT)分割結構正藉由聯合視訊探索組(JVET)研究。在國際電信聯盟,COM16-C966,2015年9月(下文中「VCEG proposal COM16-C966」),J. An等人之「Block partitioning structure for next generation video coding」中,QTBT分割技術針對除HEVC以外之將來視訊寫碼標準而描述。模擬已展示所提議QTBT結構可比在HEVC中使用的四分樹結構更有效。 在VCEG proposal COM16-C966中描述之QTBT結構中,首先使用四分樹分割技術分割CTB,其中一個節點之四分樹***可被迭代直至節點到達最小允許四分樹葉節點大小。可藉由語法元素MinQTSize之值向視訊解碼器30指示最小允許四分樹葉節點大小。若四分樹葉節點大小不大於最大允許二進位樹根節點大小(例如,如藉由語法元素MaxBTSize指示),則四分樹葉節點可使用二進位樹分割而進一步分割。一個節點之二進位樹分割可經迭代直至節點到達最小允許二進位樹葉節點大小(例如,如藉由語法元素MinBTSize所指示)或最大允許二進位樹深度(例如,日藉由語法元素MaxBTDepth所指示)。VCEG proposal COM16-C966使用術語「CU」來指二進位樹葉節點。在VCEG建議書COM16-C966中,CU用於預測(例如,框內預測、框間預測等)及在無更進一步分割之情況下變換。一般而言,根據QTBT技術,存在用於二進位樹***之兩種***類型:對稱水平***及對稱垂直***。在每一情況下,區塊係藉由從中間水平地或垂直地劃分區塊而***。此不同於四分樹分割,其將區塊劃分成四個區塊。 在QTBT分割結構之一個實例中,CTU大小經設定為128×128(例如,128×128明度區塊及兩個對應64×64色度區塊),MinQTSize經設定為16×16,MaxBTSize經設定為64×64,MinBTSize(對於寬度及高度兩者)經設定為4,且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有自16×16(亦即,MinQTSize為16×16)至128×128(亦即,CTU大小)之大小。根據QTBT分割之一個實例,若葉四分樹節點為128×128,則葉四分樹節點不可藉由二進位樹進一步***,此係由於葉四分樹節點之大小超過MaxBTSize(亦即,64×64)。否則,葉四分樹節點藉由二進位樹進一步分割。因此,四分樹葉節點亦為二進位樹之根節點並具有為0之二進位樹深度。到達MaxBTDepth之二進位樹深度(例如,4)意指不存在進一步***。具有等於MinBTSize(例如,4)之寬度的二進位樹節點意指不存在進一步水平***。類似地,具有等於MinBTSize之高度的二進位樹節點意指不進一步垂直***。二進位樹之葉節點(CU)在無更進一步分割之情況下被進一步處理(例如,藉由執行預測程序及變換程序)。 圖2A說明使用QTBT分割技術分割的區塊50(例如,CTB)之實例。如圖2A中所示,使用QTBT分割技術,經由每一區塊之中心對稱地***所得區塊中的每一者。圖2B說明對應於圖2A之區塊分割的樹狀結構。圖2B中之實線指示四分樹***且點線指示二進位樹***。在一個實例中,在二進位樹之每一***(亦即,非葉)節點中,語法元素(例如,旗標)經傳信以指示執行的***之類型(例如,水平或垂直),其中0指示水平***且1指示垂直***。對於四分樹***,不存在對於指示***類型之需要,此係由於四分樹***始終將區塊水平地及垂直地***成具有相等大小之4個子區塊。 如圖2B中所示,在節點70處,使用四分樹分割將區塊50***成圖2A中之展示的四個區塊51、52、53及54。區塊54並不進一步***,且因此為葉節點。在節點72處,使用二進位樹分割將區塊51進一步***成兩個區塊。如圖2B中所示,節點72係以1標記,指示垂直***。因而,在節點72處之***導致區塊57及包括區塊55及區塊56兩者之區塊。藉由節點74處之另一垂直***產生區塊55及區塊56。在節點76處,使用二進位樹分割將區塊52進一步***成兩個區塊58及59。如圖2B中所示,節點76係以1標記,指示水平***。 在節點78處,使用四分樹分割將區塊53***成4個相等大小區塊。區塊63及區塊66係自此四分樹分割而產生且不進一步***。在節點80處,使用垂直二進位樹***首先***左上方區塊,從而產生區塊60及右垂直區塊。接著使用水平二進位樹***將右垂直區塊***成區塊61及區塊62。在節點84處,使用水平二進位樹***將在節點78處自四分樹***所產生的右下區塊***成區塊64及區塊65。 在QTBT分割之一個實例中,舉例而言,與HEVC相反(其中針對明度及色度區塊共同地執行四分樹分割),可針對I圖塊彼此獨立地執行明度及色度分割。亦即,在正在研究的一些實例中,明度區塊及色度區塊可經單獨地分割,以使得明度區塊及色度區塊不直接地重疊。因而,在QTBT分割之一些實例中,可以使得至少一個分割色度區塊並不在空間上與單個分割明度區塊對準的方式來分割色度區塊。亦即,與特定色度區塊共置的明度樣本可在兩個或大於兩個不同明度分割區內。 以下章節描述用於判定視訊資料區塊之位置相關框內預測組合(PDPC)寫碼模式之參數的技術。當使用PDPC寫碼模式寫碼視訊資料時,視訊編碼器22及/或視訊解碼器30可使用一或多個經參數化等式,該等等式定義如何基於經濾波及未經濾波參考值且基於經預測像素之位置(或像素之色彩分量值)組合預測。本發明描述若干組參數,以使得視訊編碼器22可經組態以測試該等組參數(例如,經由使用速率失真分析)並將最佳參數(例如,導致在被測試的彼等參數當中之最佳速率失真效能的參數)傳信至視訊解碼器30。在其他實例中,視訊解碼器30可經組態以自視訊資料之特性判定PDPC參數(例如,區塊大小、區塊高度、區塊寬度等)。 圖3A說明根據本發明之技術使用未經濾波參考(
r
)的4×4區塊(
p
)之預測。圖3B說明根據本發明之技術使用經濾波參考(s)的4×4區塊(q)之預測。儘管圖3A及圖3B兩者說明4×4像素區塊及17個(4×4+1)各別參考值,但本發明之技術可應用至任何區塊大小及任何數目之參考值。 當執行PDPC寫碼模式時,視訊編碼器22及/或視訊解碼器30可利用經濾波(
q
)及未經濾波(
p
)預測之間的組合,以使得可使用來自經濾波(
s
)及未經濾波(
r
)參考陣列之像素值計算待寫碼的當前區塊之預測區塊。 在PDPC之技術的一個實例中,給定任何兩組像素預測
及
僅分別地使用未經濾波及經濾波參考
r
及
s
來計算,藉由
指示之像素之經組合預測值係由以下公式定義:
(1) 其中
為組合參數之集合。權重
之值可為0與1之間的值。權重
及
之總和可等於一。 在某些實例中,具有與區塊中之像素之數目一樣大的參數之集合可為不實際的。在此等實例中,可由許多較小參數之集合加等式定義
以計算來自彼等參數之所有組合值。在此實例中,可使用以下公式:
(2) 其中
、
、
、
、
及
為預測參數,
N
為區塊大小,
及
為使用根據HEVC標準的經計算之預測值,對於特定模式,分別地使用未經濾波及經濾波引用,且
(3) 為由預測參數定義之標準化因數(亦即,用以使總體權數經指派至
並將
添加至1)。 公式2可經廣義化用於公式2A中之任何視訊寫碼標準:
(2A) 其中
、
、
、
、
及
為預測參數,
N
為區塊大小,
及
為使用根據視訊寫碼標準(或視訊寫碼方案或算法)的經計算之預測值,對於特定模式,分別地使用未經濾波及經濾波引用,及
(3A) 為由預測參數定義之標準化因數(亦即,用以使總體權數經指派至
並將
添加至1)。 此等預測參數可包括權重,以根據所使用之框內預測模式類型(例如,HEVC之DC、平坦及33定向模式)提供經預測術語之最佳線性組合。舉例而言,HEVC含有35個框內預測模式。可用框內預測模式中之每一者的預測參數
、
、
、
、
、
及
中之每一者的值(亦即,用於每一框內預測模式的
、
、
、
、
、
及
的35個值)建構查找表。此等值可在具有視訊的位元串流中經編碼或可為事先藉由編碼器及解碼器已知之常量值且可不需要在檔案或位元串流中傳輸。用於
、
、
、
、
、
及
之值可由發現用於針對培訓視訊之集合產生最佳壓縮的預測參數之該等值的最佳化培訓算法來判定。 在另一實例中,針對每一框內預測模式存在複數個預定義預測參數集合(在(例如)查找表中),且將所選擇的預測參數集(而非參數本身)在經編碼檔案或位元串流中傳輸至解碼器。在另一實例中,用於
、
、
、
、
、
及
之值可藉由視訊編碼器在運行中產生且將其在經編碼檔案或位元串流中傳輸至解碼器。 在另一實例中,執行此等技術之視訊寫碼器件可使用HEVC之經修改版本而不是使用HEVC預測,類似於使用65定向預測而不是33定向預測的視訊寫碼器件。實際上,可使用任何類型的框內預測。 在另一實例中,公式可經選擇以便於計算。舉例而言,吾人可使用以下類型之預測
(4) 其中
(5) 且
。 (6) 此方法可採用HEVC (或其他)預測之線性。將
h
定義為來自預定義集合的濾波器
k
之脈衝回應,若吾人具有
(7) 其中「*」表示卷積,則
(8) 亦即,可自線性組合參考計算線性組合預測。 公式4、6及8可針對公式4A、6A及8A中之任何視訊寫碼標準而經廣義化:
(4A) 其中
(5A) 且
。 (6A) 此方法可利用寫碼標準之預測之線性。將
h
定義為來自預定義集合的濾波器
k
之脈衝回應,若吾人具有
(7A) 其中「*」表示卷積,則
(8A) 亦即,可自線性組合參考計算線性組合預測。 在一實例中,預測函數可僅使用參考向量(例如,
r
及
s
)作為輸入。在此實例中,若參考已經濾波或未經濾波,則不改變參考向量之行為。若
r
及
s
相等(例如,一些未經濾波參考
r
恰好與另一經濾波參考
s
相等),則應用至經濾波及未經濾波參考之預測函式(例如,
(亦寫成
p
(x,y,
r
)等於
(亦寫成
p
(x,y,
s
))相等。另外,像素預測
p
及
q
可為當量(例如,給定相同輸入產生相同輸出)。在此類實例中,公式(1)至(8)可用像素預測
重寫,從而替換像素預測
。 在另一實例中,預測(例如,函數之集合)可取決於參考已經濾波的資訊而變化。在此實例中,可指示函數之不同集合(例如,
及
)。在此情況下,即使r與s相等,
及
仍可為不相等的。換言之,視輸入是否已經濾波或未經濾波而定,相同輸入可產生不同輸出。在此實例中,
可不能夠由
![Figure 02_image098](https://patentimages.storage.***apis.com/0e/6f/88/5d73711fb21fc9/02_image098.png)
取代。 所展示的預測等式之優點為可藉由參數化公式使用諸如培訓之技術針對不同類型的視訊紋理判定最佳化參數之集合(亦即,最佳化預測準確度的最佳化參數之集合)。反之,在一些實例中,可針對一些典型類型之結構,藉由計算預測符參數之若干集合,且具有壓縮方案(其中編碼器測試來自各集合的預測符,且將產生最佳壓縮之預測符編碼為旁側資訊),來擴展此方法。 在上文所描述的技術之一些實例中,當啟用PDPC寫碼模式時,用於PDPC模式之框內預測加權及控制使用經濾波或未經濾波之樣本的PDPC參數經預計算並儲存於查找表(LUT)中。在一個實例中,視訊解碼器30根據區塊大小及框內預測方向判定PDPC參數。用於PDPC寫碼模式的先前技術假定框內預測區塊大小始終為正方形。 在HEVC及JEM之實例中,可修勻框內參考。舉例而言,可將濾波器應用於框內參考。在HEVC中,在自框內參考產生框內預測之前,以濾波器被應用於框內參考(與當前經寫碼區塊有關的相鄰者樣本)的方式使用模式相關框內修勻(MDIS)。視訊編碼器22及視訊解碼器30可基於當前框內預測模式接近於水平或垂直方向的程度導出其中允用MDIS的某些框內預測模式。可基於當前模式與水平及垂直模式索引之間的框內模式索引絕對差導出其中允用MDIS的模式。若絕對差超過某一臨限值(例如,臨限值可與區塊大小相關),則不應用MDIS濾波器,否則,應用MDIS濾波器。換言之,對於遠離水平或垂直方向(例如,相比於臨限值)的框內模式,應用框內參考濾波器。在一些實例中,MDIS未應用於諸如DC或平坦模式之非角模式。 在JEM中,用平滑濾波器寫碼模式(例如,參考樣本自適應性濾波(RSAF)或自適應性參考樣本修勻(ARSS))替換MDIS,在一些實例中,該平滑濾波器寫碼模式可應用於除DC模式之外的所有框內預測模式。大體而言,此等技術可被稱為框內參考樣本修勻濾波器。視訊編碼器22可經組態以產生並發信語法元素(例如,旗標),該語法元素指示框內參考樣本平滑濾波器是否應用於當前區塊。在一些實例中,視訊編碼器22可能不會經組態以顯式地寫碼指示濾波器是否應用於當前區塊的語法元素。在本發明之情況下,顯式地寫碼語法元素指實際編碼或解碼經編碼視訊位元串流中之語法元素的值。亦即,顯式地寫碼可指視訊編碼器22產生用於語法元素之值,並將該值顯式地編碼至經編碼視訊位元串流中。同樣,顯式地寫碼可指視訊解碼器30接收經編碼位元串流中之語法元素的值,並顯式地解碼該語法元素之該值。 在一些實例中,視訊編碼器22未經組態以發信並顯式地編碼語法元素(例如,旗標),該語法元素指示是否將框內參考樣本平滑濾波器應用於視訊資料之當前區塊。實情為,視訊編碼器22經組態以「隱藏」變換係數中之旗標的值。亦即,指示是否將框內參考樣本平滑濾波器應用於當前區塊的旗標之值未經顯式地編碼,而是可由視訊解碼器30基於與當前區塊相關聯之變換係數的某些值或特性進行判定(例如,隱式地解碼)。舉例而言,若變換係數滿足某同位條件(例如,具有正值或負值),則視訊解碼器30將旗標導出為具有值1,否則,視訊解碼器30將旗標之值導出為0,或反之亦然。 在本發明之情況下,術語解碼可總體上包含語法元素之值之顯式及隱式解碼兩者。在顯式解碼中,經編碼語法元素存在於經編碼視訊位元串流中。視訊解碼器30顯式地解碼經編碼語法元素以判定語法元素之值。在隱式解碼中,未在經編碼視訊位元串流中發送語法元素。實情為,視訊解碼器30基於一些預定準則,自視訊寫碼統計(例如,變換係數之同位)導出語法元素之值。 用於JEM中之另一方法為PDPC模式。如上文所描述,PDPC為加權框內預測符及框內參考樣本的寫碼模式,其中可基於區塊大小(包括寬度及高度)及框內預測模式導出該等權重。 以下內容描述用於預測方向之判定、預測模式之判定、寫碼模式之判定、框內濾波於視訊寫碼(例如,視訊編碼及/或視訊解碼)中之使用的判定,及顯式地寫碼及發信語法元素的本發明之實例技術。本文中揭示之技術可用於任何組合中,且用於與其他技術之任何結合中。在一些實例中,本發明之寫碼技術可使用語法元素(例如,旗標)來實現,該等語法元素可顯式地進行寫碼及發信、隱藏於變換係數資訊或其他處中、在無發信的情況下在視訊編碼器22及視訊解碼器30兩者處予以導出,及其類似者。 參考框內參考樣本修勻濾波器及PDPC模式(一般而言,「寫碼模式」)描述本發明之技術。出於說明及描述目的使用框內參考樣本修勻及PDPC模式。本發明之技術不限於彼等實例,且所揭示之技術可應用於其他視訊寫碼模式、技術及工具。 最初,論述與框內參考樣本平滑濾波器語法元素(例如,旗標)相關的技術。本發明提議視訊編碼器22以顯式方式產生及/或發信框內參考樣本平滑濾波器旗標。亦即,視訊編碼器22可經組態以顯式地編碼指示是否將特定寫碼模式(例如,框內參考樣本平滑濾波器)用於寫碼視訊資料區塊的語法元素。舉例而言,視訊編碼器22可產生框內參考樣本平滑濾波器旗標並在經編碼視訊位元串流中將其發信。以此方式,視訊編碼器22可避免如在框內修勻旗標未經顯式寫碼時可進行的,修改變換係數以確保同位條件有效(例如,變換係數之同位條件正確地指示旗標之值)的任何需求。此技術可降低視訊編碼器22處的明顯複雜性。視訊解碼器30可經組態以接收經編碼視訊位元串流中的經顯式寫碼之語法元素(例如,框內參考樣本平滑濾波器旗標),(例如)而非自變換係數之同位導出旗標之值。視訊解碼器30可接著顯式地解碼框內參考樣本平滑濾波器旗標之值。 然而,在一些實例中,寫碼框內參考樣本平滑濾波器語法元素可為一些區塊的負擔(亦即,可顯著增大用以寫碼該位元的位元數目)。舉例而言,在與區塊相關的殘餘資訊較小且少數位元被用以編碼區塊的情況下,用以發信語法元素的位元(例如,框內參考樣本平滑濾波器旗標)可相比所要的產生更高的位元速率比。為解決此潛在的問題,視訊編碼器22可經組態以在視訊資料區塊具有某一數目個非零變換係數,或非零變換係數之數目超過某一臨限值的情況下,顯式地編碼及發信框內參考樣本平滑濾波器旗標。舉例而言,臨限值可等於3,意謂著若視訊資料區塊具有3個或更多個非零變換係數,則視訊編碼器22發信(例如,顯式地編碼)框內參考樣本平滑濾波器旗標。否則,視訊編碼器22不顯式地編碼框內參考樣本平滑濾波器旗標。其他臨限值實例包括0、1、2或任何其他數目個非零變換係數。 因而,根據本發明之一個實例,視訊編碼器22可經組態以判定用於編碼視訊資料之第一區塊之寫碼模式(例如,使用框內參考樣本平滑濾波器)。基於是否將框內參考樣本平滑濾波器用於視訊資料之第一區塊,視訊編碼器22可經組態以在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,顯式地編碼指示是否將寫碼模式(例如,框內參考樣本平滑濾波器)用於視訊資料之第一區塊的第一語法元素(例如,框內參考樣本平滑濾波器旗標)。亦即,若視訊資料之第一區塊與數目大於臨限值之若干非零變換係數相關聯,則視訊編碼器22顯式地編碼第一語法元素。視訊編碼器22可在經編碼視訊位元串流中發信第一語法元素。 對於視訊資料之第二區塊,視訊編碼器22可經組態以在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下,未編碼指示是否將寫碼模式用於視訊資料之第二區塊的語法元素(例如,框內參考樣本平滑濾波器旗標)之值。亦即,視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯。 以互逆方式,視訊解碼器30可經組態以接收視訊資料之第一區塊,並在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,接收指示是否將寫碼模式(例如,使用框內參考樣本平滑濾波器)用於視訊資料之第一區塊的第一語法元素(例如,框內參考樣本平滑濾波器旗標)。視訊解碼器30可經進一步組態以顯式地解碼所接收第一語法元素的值,並根據第一語法元素之值將寫碼模式(例如,使用框內參考樣本平滑濾波器)應用於視訊資料之第一區塊。 在視訊編碼器22並不顯式地編碼語法元素(例如,針對如上文所述之視訊資料之第二區塊)的狀況下,視訊解碼器30可經組態以接收視訊資料之第二區塊,在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下,推斷指示是否將寫碼模式(例如,框內參考樣本平滑濾波器)用於視訊資料之第二區塊的第二語法元素之值,且根據第二語法元素之推斷值應用寫碼模式(例如,使用框內參考樣本平滑濾波器)。如在下文更詳細地論述,視訊解碼器30可經組態以使用一或多個技術來推斷語法元素之值,包括自與視訊資料區塊相關聯之變換係數的特性推斷語法元素之值,及/或基於一些預定義預設值推斷語法元素之值(例如,始終應用框內參考樣本平滑濾波器,從不應用框內參考樣本平滑濾波器、應用預設濾波器等)。 在上文實例中,寫碼模式為使用框內參考樣本平滑濾波器。在下文論述之其他實例中,藉由經顯式寫碼之語法元素指示的寫碼模式可為PDC模式。然而,本發明之技術可與其他寫碼模式一起使用。 在一些實例中,視訊編碼器22可經組態以在判定是否顯式地編碼用於寫碼模式之語法元素時,針對視訊資料區塊之明度及色度分量兩者共同地將與視訊資料區塊相關聯之非零變換係數的數目與臨限值進行比較。亦即,視訊編碼器22可針對明度區塊及色度區塊一起考慮若干非零係數。視訊解碼器30可經組態以在判定是否已顯式地編碼並將接收用於寫碼模式之語法元素時與視訊編碼器22執行相同比較。 在其他實例中,視訊編碼器22可經組態以在判定是否顯式地編碼用於寫碼模式之語法元素時僅針對明度區塊比較非零變換係數。在此實例中,視訊編碼器22可經組態以單獨地針對明度區塊及色度區塊產生用於寫碼模式之語法元素。因而,進一步在此實例中,視訊編碼器22可在判定是否針對色度區塊顯式地編碼用於寫碼模式之語法元素時,僅僅針對色度區塊考慮非零變換係數。又,視訊解碼器30可經組態以在針對明度及/或色度寫碼區塊判定是否已顯式地編碼並將接收用於寫碼模式之語法元素時與視訊編碼器22執行相同比較。 在另一實例中,視訊編碼器22及視訊解碼器30經組態以計數非零變換係數以判定顯式地寫碼語法元素的方式可與圖塊類型相關。舉例而言,視訊編碼器22及視訊解碼器30可經組態以將用於計數非零變換係數的一個技術用於I圖塊,且將用於計數非零變換係數之另一不同技術用於非I圖塊(例如,P圖塊或B圖塊)。 在另一實例中,視訊編碼器22及視訊解碼器30可經組態以使用取決於一起抑或單獨地寫碼明度及色度分量的技術來計數非零變換係數。舉例而言,在一些分割結構中,明度及色度分量具有相同分割結構。在其他分割結構(例如,QTBT分割之實例)中,可獨立地分割明度及色度分量,使得其各別分割區結構彼此不同。在此實例中,單獨寫碼可意謂明度及色度區塊可具有不同的分割表示或樹狀結構。在此實例中,當單獨及/或獨立明度/色度寫碼經允用於I圖塊時,視訊編碼器22及視訊解碼器30可經組態以針對明度分量計數非零變換係數。對於非I圖塊,當未允用單獨寫碼時,視訊編碼器22及視訊解碼器30可經組態以針對明度及色度變換係數兩者或僅僅針對明度變換係數計數非零變換係數。 在另一實例中,當視訊編碼器22及視訊解碼器30經組態以針對明度及色度分量兩者計數非零係數時,按分量執行非零係數計數。舉例而言,視訊編碼器22及視訊解碼器30可包括三個非零係數計數器;每一色彩分量各一個計數器(例如,Y、Cb及Cr)。在另一實例中,視訊編碼器22及視訊解碼器30可包括兩個計數器;一個計數器用於一明度分量,且一個計數器用於兩個色度分量。在此實例中,可根據分量設定臨限值,且臨限值可針對不同彩色分量而不同。 在一個實例中,用於顯式地寫碼及/或發信框內參考樣本平滑濾波器旗標的臨限值與用以顯式地寫碼及發信主要及/或次要變換索引或旗標的臨限值相同。在此實例中,不同視訊寫碼技術之間(例如,變換發信與框內參考樣本平滑濾波器旗標發信之間)存在某些程度的一致性,且可使用一個非零係數計數及臨限值,其可簡化實施。 在另一實例中,視訊編碼器22及/或視訊解碼器30可僅針對非變換跳過區塊,基於非零變換係數之臨限值判定顯式地寫碼框內參考樣本平滑濾波器旗標。亦即,對於變換跳過區塊,視訊編碼器22及視訊解碼器30可能不會顯式地寫碼框內參考樣本平滑濾波器旗標。對於非變換跳過區塊(亦即,應用變換之區塊),視訊編碼器22及視訊解碼器30可顯式地寫碼框內參考樣本平滑濾波器旗標。變換跳過為不將水平或垂直變換或該等兩個變換應用於區塊之殘餘(亦即,經跳過)的方法。該變換可為任何變換:主要變換或次要變換或該等變換兩者。 在另一實例中,視訊編碼器22及/或視訊解碼器30可僅針對用特定框內預測模式寫碼之區塊,基於非零變換係數之臨限值判定顯式地寫碼框內參考樣本平滑濾波器旗標。舉例而言,視訊編碼器22及/或視訊解碼器30可針對用除平坦模式、線性模型(LM)預測模式或DC模式之外的框內預測模式寫碼之區塊,基於非零變換係數之臨限值判定顯式地寫碼框內參考樣本平滑濾波器旗標。舉例而言,若所涉及分量(例如,明度或色度分量)之區塊使用平坦模式進行寫碼,則視訊編碼器22及/或視訊解碼器30將不會在判定顯式地寫碼框內參考樣本平滑濾波器旗標時考慮此所涉及分量的若干非零變換係數。以此方式,視訊編碼器22經組態以基於用以編碼視訊資料區塊之框內預測模式顯式地寫碼框內參考樣本平滑濾波器旗標。同樣,視訊解碼器30經組態以基於用以編碼視訊資料區塊之框內預測模式接收框內參考樣本平滑濾波器旗標。 在另一實例中,除將非零變換係數之數目與臨限值進行比較之外,視訊編碼器22及視訊解碼器30可應用區塊大小臨限值,以便判定是否顯式地寫碼框內參考樣本平滑濾波器旗標。舉例而言,視訊編碼器22可經組態以針對大小大於或等於預定最小大小且小於預定最大區塊大小之區塊顯式地寫碼及發信框內參考樣本平滑濾波器旗標,其中最小及最大區塊大小可針對視訊編碼器22及視訊解碼器30兩者為可組態的或固定的。同樣,視訊解碼器30可經組態以針對大小大於或等於預定最小大小且小於預定最大區塊大小之區塊接收及顯式地解碼框內參考樣本平滑濾波器旗標。 因此,在此實例中,視訊編碼器22可經組態以在視訊資料之第一區塊大於或等於預定大小的狀況下顯式地寫碼框內參考樣本平滑濾波器旗標。同樣,視訊解碼器30可經組態以在視訊資料之第一區塊大於或等於預定大小的狀況下接收及顯式地解碼框內參考樣本平滑濾波器旗標。 最小區塊大小臨限值可設定成大於或等於8×8,意謂著小於8×8(例如,4×4、4×8、8×4及類似者)的所有區塊受限,且未針對此等區塊發信框內參考樣本平滑濾波器旗標。類似地,最大區塊臨限值可(例如)設定成32×32。在另一實例中,臨限值可表示為寬度*高度。亦即,8×8轉換成64,且32×32轉換成1024。為檢查當前區塊是否受限於顯式地寫碼框內參考樣本平滑濾波器旗標,視訊編碼器22及視訊解碼器30可按臨限檢查區塊之寬度*高度。 在上文的框內參考樣本平滑濾波器旗標未顯式地進行寫碼及/或發信的實例中之任一者中,視訊解碼器30可經組態以將一些預設平滑濾波器應用於視訊資料區塊。舉例而言,視訊解碼器30可應用MDIS濾波器(其與模式相關),視訊解碼器30可應用任何其他濾波器,或視訊解碼器30可應用無濾波。 在本發明之其他實例中,視訊編碼器22可經組態以顯式地寫碼及發信僅僅用於某些框內預測模式之旗標(例如,框內參考樣本平滑濾波器旗標)。舉例而言,視訊編碼器22可經組態以針對可允用MDIS的框內預測模式(例如,MDIS模式)、針對MDIS模式及平坦模式,或針對可用框內預測模式之任何其他框內預測模式子集顯式地寫碼及發信框內參考樣本平滑濾波器旗標。 在另一實例中,視訊編碼器22及視訊解碼器33經組態以將框內參考樣本平滑濾波器應用於用遠離水平或垂直方向(例如,相比於臨限值)的框內預測模式編碼之視訊資料區塊。另外或視情況,視訊編碼器22及視訊解碼器33經組態以將框內參考樣本平滑濾波器應用於使用平坦框內預測模式或其他非角框內預測模式寫碼之視訊資料區塊。視訊編碼器22及視訊解碼器30可經組態以導出用以判定是否應用框內參考樣本平滑濾波器之框內預測模式之子集。視訊編碼器22及視訊解碼器33可經組態以基於框內預測模式方向導出子集。在一個實例中,視訊編碼器22及視訊解碼器33可經組態以基於框內預測模式之索引與水平、垂直及/或對角框內預測模式之索引的遠近程度(例如,基於臨限值)導出框內預測模式之子集。可針對非角方向指派框內預測模式之另一單獨子集,諸如平坦及/或DC框內模式及類似者。 在另一實例中,視訊編碼器22及視訊解碼器30經組態以針對視訊資料區塊之不同彩色分量顯式地寫碼及發信框內參考樣本平滑濾波器旗標。舉例而言,視訊編碼器22及視訊解碼器33經組態以針對明度分量顯式地寫碼及發信一旗標。另外,視訊編碼器22及視訊解碼器33經組態以針對色度Cb (例如,Chroma_Cb)及色度Cr (例如,Chroma_Cr)分量顯式地寫碼及發信一個旗標。一個分量之旗標的發信可視已針對另一分量發信之旗標的值而定。舉一個實例,視訊編碼器22可經組態以針對明度及色度分量顯式地編碼及發信框內參考樣本平滑濾波器旗標。當針對色度發信旗標時,分別藉由視訊編碼器22及視訊解碼器30進行的對彼旗標之熵寫碼/剖析可視針對明度發信之旗標的值而定。可由背景脈絡值反映相依性(但不限於此)。 在另一實例中,框內參考樣本平滑濾波器旗標可能不會被發信,而是藉由視訊解碼器30針對所解碼之視訊資料區塊根據框內預測模式索引導出。舉例而言,使用具有偶數模式索引之框內預測模式編碼的視訊資料區塊使用框內參考樣本平滑濾波器(允用旗標),且使用具有奇數模式索引之框內預測模式編碼的視訊資料區塊並未應用框內參考樣本平滑濾波器(停用旗標),或反之亦然。 在一些實例中,視訊編碼器22及視訊解碼器30可將框內修勻應用於具有特定框內模式之第一區塊,且框內修勻應用於具有接近於用於第一區塊之框內模式之一框內模式的相鄰者區塊可向框內預測提供較佳變體。此係因為相鄰者框內預測模式方向(例如,關於臨限值彼此緊鄰或彼此接近之框內預測模式方向)可提供類似框內預測符(由於方向接近),但修勻旗標可進一步區分預測符。在一個實例中,視訊編碼器22及視訊解碼器30可經組態每隔一個框內預測模式執行框內修勻。舉例而言,可針對具有偶數索引之框內預測模式執行框內修勻,且可能不會針對具有奇數索引之框內預測模式執行框內修勻,或反之亦然。在其他實例中,可每隔兩個框內預測模式、每隔其他個框內預測模式或針對框內預測模式之任何子集執行框內預測。 另外,無需顯式地發信框內參考樣本平滑濾波器旗標,且可保存位元。非角框內預測模式可與單獨規則相關聯。舉例而言,視訊編碼器22及視訊解碼器30可經組態以針對使用平坦框內預測模式寫碼之視訊資料區塊始終應用框內參考樣本修勻。在另一實例中,視訊編碼器22及視訊解碼器30可經組態以針對使用平坦框內預測模式寫碼之視訊資料區塊不應用框內參考樣本修勻。在另外其他實例中,視訊編碼器22及視訊解碼器30可經組態以顯式地寫碼框內參考樣本平滑濾波器旗標,以指示是否將框內參考樣本修勻應用於使用平坦框內預測模式寫碼之視訊資料區塊。 在一些實例中,用於框內參考樣本平滑濾波器旗標熵寫碼的背景脈絡建模(亦即,用於熵寫碼之背景脈絡,諸如CABAC)可與框內預測模式相關。舉例而言,視訊編碼器22及視訊解碼器30可經組態以針對某些框內預測模式使用一個背景脈絡來熵寫碼框內參考樣本平滑濾波器旗標,且視訊編碼器22及視訊解碼器30可經組態以針對其他框內預測模式使用另一背景脈絡熵寫碼框內參考樣本平滑濾波器旗標。背景脈絡指派可係基於可用框內預測模式之框內預測模式的子集。亦即,視訊編碼器22及視訊解碼器30可經組態以基於視訊資料之當前區塊之框內預測模式所屬的框內預測模式子集,指派用於寫碼框內參考樣本平滑濾波器旗標之背景脈絡。舉例而言,框內預測模式之子集可為非角模式、角模式、可應用MDIS之模式,及/或平坦模式。視訊編碼器22及視訊解碼器30可經組態以基於當前框內預測模式接近於特定模式之程度(例如,基於臨限值)導出視訊資料之當前區塊所屬的子集。舉例而言,視訊編碼器22及視訊解碼器30可經組態以判定用於當前框內預測模式之索引接近於用於水平框內預測模式、垂直框內預測模式、對角框內預測模式或其他框內預測模式之索引的程度。可針對非角方向指派另一單獨子集,諸如平坦及/或DC框內模式及類似者。 現將論述PDPC模式發信技術。在本發明之一個實例中,PDPC模式使用可受限,且視訊編碼器22經組態以針對受限狀況不發信PDPC旗標。PDPC旗標或更一般化的PDPC語法元素指示將PDPC模式用於特定視訊資料之特定區塊。可類似於用於如上文所述之框內參考樣本平滑濾波器旗標的技術施加限制。 在一個實例中,視訊編碼器22可經組態以在視訊資料區塊具有某一數目個非零變換係數或非零變換係數之數目超過某一臨限值的情況下顯式地編碼及發信PDPC模式旗標。舉例而言,臨限值可等於3,意謂著若視訊資料區塊具有3個或更多個非零變換係數,則視訊編碼器22發信(例如,顯式地編碼)PDPC模式旗標。否則,視訊編碼器22並不顯式地編碼PDPC模式旗標。在一些實例中,臨限值可與用於發信變換索引的相同。其他臨限值實例包括0、1、2或任何其他數目個非零變換係數。在一個實例中,臨限值等於2,意謂著視訊編碼器22在視訊資料區塊具有超過1個非零變換係數的情況下發信PDPC模式旗標。 因而,根據本發明之一個實例,視訊編碼器22可經組態以判定用於編碼視訊資料之第一區塊之寫碼模式(例如,使用PDPC模式)。基於是否將PDPC模式用於視訊資料之第一區塊,視訊編碼器22可經組態以在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,顯式地編碼指示是否將寫碼模式(例如,PDPC模式)用於視訊資料之第一區塊的第一語法元素(例如,PDPC模式旗標)。亦即,若視訊資料之第一區塊與數目大於臨限值之若干非零變換係數相關聯,則視訊編碼器22顯式地編碼第一語法元素。視訊編碼器22可在經編碼視訊位元串流中發信第一語法元素。 對於視訊資料之第二區塊,視訊編碼器22可經組態以在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下,未編碼指示是否將寫碼模式用於視訊資料之第二區塊的語法元素(例如,PDPC模式旗標)之值。亦即,視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯。 以互逆方式,視訊解碼器30可經組態以接收視訊資料之第一區塊,並在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,接收指示是否將寫碼模式(例如,使用PDPC模式)用於視訊資料之第一區塊的第一語法元素(例如,PDPC模式旗標)。視訊解碼器30可經進一步組態以顯式地解碼所接收第一語法元素的值,並根據第一語法元素之值將寫碼模式(例如,PDPC模式)應用於視訊資料之第一區塊。 在視訊編碼器22並不顯式地編碼語法元素(例如,針對如上文所述之視訊資料之第二區塊)的狀況下,視訊解碼器30可經組態以接收視訊資料之第二區塊,在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下,推斷指示是否將寫碼模式(例如,PDPC模式)用於視訊資料之第二區塊的第二語法元素之值,且根據第二語法元素之推斷值應用該寫碼模式(例如,PDPC模式)。 在一些實例中,視訊編碼器22可經組態以在判定是否顯式地編碼用於寫碼模式(例如,PDPC模式)之語法元素時,針對視訊資料區塊之明度及色度分量兩者共同地將與視訊資料區塊相關聯之非零變換係數的數目與臨限值進行比較。亦即,視訊編碼器22可針對明度區塊及色度區塊一起考慮若干非零係數。視訊解碼器30可經組態以在判定是否已顯式地編碼並將接收用於寫碼模式之語法元素時與視訊編碼器22執行相同比較。 在其他實例中,視訊編碼器22可經組態以在判定是否顯式地編碼用於寫碼模式(例如,PDPC模式)之語法元素時僅針對明度區塊比較非零變換係數。在此實例中,視訊編碼器22可經組態以單獨地針對明度區塊及色度區塊產生用於寫碼模式之語法元素。因而,進一步在此實例中,視訊編碼器22可在判定是否針對色度區塊顯式地編碼用於寫碼模式(例如,PDPC模式)之語法元素時,僅僅針對色度區塊考慮非零變換係數。又,視訊解碼器30可經組態以在針對明度及/或色度寫碼區塊判定是否已顯式地編碼並將接收用於寫碼模式之語法元素時與視訊編碼器22執行相同比較。 在另一實例中,視訊編碼器22及視訊解碼器30經組態以計數非零變換係數以判定顯式地編碼語法元素的方式可與圖塊類型相關。舉例而言,視訊編碼器22及視訊解碼器30可經組態以將用於計數非零變換係數的一個技術用於I圖塊,且將用於計數非零變換係數之另一不同技術用於非I圖塊(例如,P圖塊或B圖塊)。 在另一實例中,視訊編碼器22及視訊解碼器30可經組態以使用取決於一起抑或單獨地寫碼明度及色度分量的技術來計數非零變換係數。舉例而言,在一些分割結構中,明度及色度分量具有相同分割結構。在其他分割結構(例如,QTBT分割之實例)中,可獨立地分割明度及色度分量,使得其各別分割區結構彼此不同。在此實例中,單獨寫碼可意謂明度及色度區塊可具有不同的分割表示或樹狀結構。在此實例中,當單獨及/或獨立明度/色度寫碼經允用於I圖塊時,視訊編碼器22及視訊解碼器30可經組態以針對明度分量計數非零變換係數。對於非I圖塊,當未允用單獨寫碼時,視訊編碼器22及視訊解碼器30可經組態以針對明度及色度變換係數兩者或僅僅針對明度變換係數計數非零變換係數。 在另一實例中,當視訊編碼器22及視訊解碼器30經組態以針對明度及色度分量兩者計數非零係數時,按分量執行非零係數計數。舉例而言,視訊編碼器22及視訊解碼器30可包括三個非零係數計數器;每一色彩分量各一個計數器(例如,Y、Cb及Cr)。在另一實例中,視訊編碼器22及視訊解碼器30可包括兩個計數器;一個計數器用於一明度分量,且一個計數器用於兩個色度分量。在此實例中,可根據分量設定臨限值,且臨限值可針對不同彩色分量而不同。 在另一實例中,視訊編碼器22及/或視訊解碼器30可僅針對非變換跳過區塊,基於非零變換係數之臨限值判定顯式地寫碼PDPC模式旗標。亦即,對於變換跳過區塊,視訊編碼器22及視訊解碼器30可能不會顯式地寫碼PDPC模式旗標。對於非變換跳過區塊(亦即,應用變換之區塊),視訊編碼器22及視訊解碼器30可顯式地寫碼PDPC模式旗標。變換跳過為不將水平或垂直變換或該等兩個變換應用於區塊之殘餘(亦即,經跳過)的方法。該變換可為任何變換:主要變換或次要變換或該等變換兩者。 在另一實例中,視訊編碼器22及/或視訊解碼器30可僅針對用特定框內預測模式寫碼之區塊,基於非零變換係數之臨限值判定顯式地寫碼PDPC模式旗標。舉例而言,視訊編碼器22及/或視訊解碼器30可針對用除平坦模式、線性模型(LM)預測模式或DC模式之外的框內預測模式寫碼之區塊,基於非零變換係數之臨限值判定顯式地寫碼PDPC模式旗標。舉例而言,若所涉及分量(例如,明度或色度分量)之區塊使用平坦模式進行寫碼,則視訊編碼器22及/或視訊解碼器30將不會在判定顯式地寫碼PDPC模式旗標時考慮此所涉及分量的若干非零變換係數。以此方式,視訊編碼器22經組態以基於用以編碼視訊資料區塊之框內預測模式顯式地寫碼PDPC模式旗標。同樣,視訊解碼器30經組態以基於用以編碼視訊資料區塊之框內預測模式接收PDPC模式旗標。 在另一實例中,除將非零變換係數之數目與臨限值進行比較之外,視訊編碼器22及視訊解碼器30可應用區塊大小臨限值,以便判定是否顯式地寫碼PDPC模式旗標。舉例而言,視訊編碼器22可經組態以針對大小大於或等於預定最小大小且小於預定最大區塊大小之區塊顯式地寫碼及發信PDPC模式旗標,其中最小及最大區塊大小可針對視訊編碼器22及視訊解碼器30兩者為可組態的或固定的。同樣,視訊解碼器30可經組態以針對大小大於或等於預定最小大小且小於預定最大區塊大小之區塊接收及顯式地解碼PDPC模式旗標。 因此,在此實例中,視訊編碼器22可經組態以在視訊資料之第一區塊大於或等於預定大小的狀況下顯式地寫碼PDPC模式旗標。同樣,視訊解碼器30可經組態以在視訊資料之第一區塊大於或等於預定大小的狀況下接收及顯式地解碼PDPC模式旗標。 最小區塊大小臨限值可設定成大於或等於8×8,意謂著小於8×8(例如,4×4、4×8、8×4及類似者)的所有區塊受限,且未針對此等區塊發信PDPC模式旗標。類似地,最大區塊臨限值可(例如)設定成32×32。在另一實例中,臨限值可表示為寬度*高度。亦即,8×8轉換成64,且32×32轉換成1024。為檢查當前區塊是否受限於顯式地寫碼PDPC模式旗標,視訊編碼器22及視訊解碼器30可按臨限檢查區塊之寬度*高度。 在上文的框內參考樣本平滑濾波器旗標未顯式地進行寫碼及/或發信的實例中之任一者中,視訊解碼器30可經組態以針對某些框內預測模式導出用於PDPC模式旗標之一些預設值。在一個實例中,對於一些平滑框內預測模式(例如,平坦模式),始終應用PDPC模式。 在另一實例中,視訊編碼器22及視訊解碼器30經組態以針對視訊資料區塊之不同彩色分量顯式地寫碼及發信PDPC模式旗標。舉例而言,視訊編碼器22及視訊解碼器33經組態以針對明度分量顯式地寫碼及發信一旗標。另外,視訊編碼器22及視訊解碼器33經組態以針對色度Cb (例如,Chroma_Cb)及色度Cr (例如,Chroma_Cr)分量顯式地寫碼及發信一個旗標。一個分量之旗標的發信可視已針對另一分量發信之旗標的值而定。舉一個實例,視訊編碼器22可經組態以針對明度及色度分量顯式地編碼及發信PDPC模式旗標。當針對色度發信旗標時,分別藉由視訊編碼器22及視訊解碼器30進行的對彼旗標之熵寫碼/剖析可視針對明度發信之旗標的值而定。可由背景脈絡值反映相依性(但不限於此)。 另外或替代地,可基於框內預測模式基礎執行PDPC模式限制。舉例而言,視訊編碼器22及視訊解碼器30可經組態以不應用PDPC模式,且針對某些框內預測模式或針對框內預測模式子集的一些子集,視訊編碼器22經組態以不顯式地編碼PDCPC旗標。視訊編碼器22及視訊解碼器30可經組態以基於當前框內預測模式接近於特定模式之程度(例如,基於臨限值)導出視訊資料之當前區塊所屬的子集。舉例而言,視訊編碼器22及視訊解碼器30可經組態以判定用於當前框內預測模式之索引接近於用於水平框內預測模式、垂直框內預測模式、對角框內預測模式或其他框內預測模式之索引的程度。可針對非角方向指派另一單獨子集,諸如平坦及/或DC框內模式及類似者。在一個特定實例中,PDPC模式未應用於平坦模式。 在另一實例中,PDPC模式可與其他視訊寫碼工具或技術組合,諸如上文所描述之次要變換及/或框內參考樣本修勻濾波器。可針對某些框內模式允許此組合,且針對允許PDPC模式之狀況發信PDPC旗標模式。框內模式選擇可為上文所描述之實例中的一者。 在一些實例中,用於PDPC模式旗標熵寫碼的背景脈絡建模(亦即,用於熵寫碼之背景脈絡,諸如CABAC)可與框內預測模式及/或區塊大小相關。舉例而言,視訊編碼器22及視訊解碼器30可經組態以針對某些框內預測模式使用一個背景脈絡來熵寫碼PDPC模式旗標,且視訊編碼器22及視訊解碼器30可經組態以針對其他框內預測模式使用另一背景脈絡熵寫碼PDPC模式旗標。背景脈絡指派可係基於可用框內預測模式之框內預測模式的子集。亦即,視訊編碼器22及視訊解碼器30可經組態以基於視訊資料之當前區塊之框內預測模式所屬的框內預測模式子集,指派用於寫碼PDPC模式旗標之背景脈絡。舉例而言,框內預測模式之子集可為非角模式、角模式、可應用MDIS之模式,及/或平坦模式。視訊編碼器22及視訊解碼器30可經組態以基於當前框內預測模式接近於特定模式之程度(例如,基於臨限值)導出視訊資料之當前區塊所屬的子集。舉例而言,視訊編碼器22及視訊解碼器30可經組態以判定用於當前框內預測模式之索引接近於用於水平框內預測模式、垂直框內預測模式、對角框內預測模式或其他框內預測模式之索引的程度。可針對非角方向指派另一單獨子集,諸如平坦及/或DC框內模式及類似者。 圖4為說明可實施本發明之技術之實例視訊編碼器22的方塊圖。出於解釋之目的而提供圖4,且不應將所述圖視為對如本發明中廣泛例示及描述之技術的限制。然而,本發明之技術可適用於其他寫碼標準或方法。 在圖4之實例中,視訊編碼器22包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單元120及框內預測處理單元126。框間預測處理單元120可包括運動估計單元及運動補償單元(圖中未示)。 視訊資料記憶體101可經組態以儲存待由視訊編碼器22之組件編碼之視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體101中之視訊資料。經解碼圖像緩衝器116可為儲存參考視訊資料以供藉由視訊編碼器22用於(例如)在框內或框間預測模式中編碼視訊資料的參考圖像記憶體。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成,諸如,動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM))、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體101及經解碼圖像緩衝器116可由同一記憶體器件或單獨的記憶體器件提供。在各種實例中,視訊資料記憶體101可與視訊編碼器22之其他組件一起在晶片上,或相對於彼等組件在晶片外。視訊資料記憶體101可與圖1之儲存媒體20相同或為其部分。 視訊編碼器22接收視訊資料。視訊編碼器22可編碼視訊資料圖像之圖塊中之每一CTU。CTU中之每一者可與相等大小之明度寫碼樹型區塊(CTB)及圖像之對應CTB相關聯。作為編碼CTU之部分,預測處理單元100可執行分割以將CTU之CTB分割成逐漸較小的區塊。在一些實例中,視訊編碼器22可使用QTBT結構分割區塊。較小區塊可為CU之寫碼區塊。舉例而言,預測處理單元100可根據樹狀結構分割與CTU相關聯的CTB。根據本發明的一或多種技術,對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在針對各別非葉節點的複數個允許之***圖案且對應於各別非葉節點之視訊區塊根據該複數個允許之***圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。 視訊編碼器22可編碼CTU之CU以產生該等CU之經編碼的表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元100可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此,每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器22及視訊解碼器30可支援具有各種大小之PU。如上文所指示,CU之大小可指CU之明度寫碼區塊的大小,且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N,則視訊編碼器22及視訊解碼器30可支援用於框內預測之2N×2N或N×N之PU大小,及用於框間預測的2N×2N、2N×N、N×2N、N×N或相似大小之對稱PU大小。視訊編碼器22及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。 框間預測處理單元120可藉由對CU之每一PU執行框間預測產生用於PU之預測性資料。用於PU之預測性資料可包含PU之預測性區塊及PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中,框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊,所有PU經框內預測。因此,若PU在I圖塊中,則框間預測處理單元120並不對PU執行框間預測。因此,對於在I模式中進行編碼之區塊,經預測之區塊係使用空間預測自相同圖框內的先前經編碼之相鄰區塊形成。若PU在P圖塊中,則框間預測處理單元120可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中,則框間預測處理單元120可使用單向或雙向框間預測以產生PU之預測性區塊。 框內預測處理單元126可藉由對PU執行框內預測而產生PU之預測性資料。PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。框內預測處理單元126可經組態以判定在使用框內預測來預測視訊資料區塊時應用的一或多個寫碼模式,包括應用框內參考樣本平滑濾波器及/或PDPC模式。框內預測處理單元126及/或視訊編碼器22之另一組件可經組態以針對框內參考樣本平滑濾波器及PDPC模式語法寫碼執行上文所描述之顯式寫碼技術。 為對PU執行框內預測,框內預測處理單元126可使用多個框內預測模式,以產生用於PU之多組預測性資料。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU,假定自左至右自上而下之編碼次序,則相鄰PU可在PU上方、右上方、左上方或左邊。框內預測處理單元126可使用各種數目種框內預測模式,例如,33種定向框內預測模式。在一些實例中,框內預測模式之數目可取決於與PU相關聯之區域的大小。 預測處理單元100可自藉由框間預測處理單元120針對PU產生之預測性資料或藉由框內預測處理單元126針對PU產生之預測性資料中選擇用於CU之PU之預測性資料。在一些實例中,預測處理單元100基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。選定之預測性資料的預測性區塊在本文中可被稱作選定之預測性區塊。 殘餘產生單元102可基於CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)及CU之PU的選定預測性區塊(例如,預測性明度區塊、預測性Cb區塊及預測性Cr區塊)而產生CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)。舉例而言,殘餘產生單元102可產生CU之殘餘區塊,使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU的對應選定預測性區塊中之對應樣本之間的差的值。 變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此,TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及定位可或可不基於CU之PU的預測區塊之大小及定位。被稱為「殘餘四分樹」(RQT)之四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。 變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言,變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用至變換區塊。在一些實例中,變換處理單元104不將變換應用於變換區塊。在此等實例中,變換區塊可經處理為變換係數區塊。 量化單元106可將係數區塊中之變換係數量化。量化過程可減少與變換係數中之一些或全部相關聯的位元深度。舉例而言,在量化期間,可將
n
位元變換係數降值捨位至
m
位元變換係數,其中
n
大於
m
。量化單元106可基於與CU相關聯之量化參數(QP)值來量化與CU之TU相關聯的係數區塊。視訊編碼器22可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損失。因此,經量化變換係數可具有比最初變換係數低的精度。 反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊,以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本,以產生與TU相關聯的經重建構之變換區塊。重建構藉由以此方式重建構CU之每一TU的變換區塊,視訊編碼器22可重建構CU之寫碼區塊。 濾波器單元114可執行一或多個解塊操作以減少與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後,儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像,以對其他圖像之PU執行框間預測。此外,框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊,以對處於與CU相同之圖像中的其他PU執行框內預測。 熵編碼單元118可自視訊編碼器22之其他功能組件接收資料。舉例而言,熵編碼單元118可自量化單元106接收係數區塊且可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作,以產生經熵編碼資料。舉例而言,熵編碼單元118可對資料執行CABAC操作、背景脈絡自適應性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之背景脈絡自適應性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器22可輸出包括由熵編碼單元118所產生之經熵編碼資料的位元串流。舉例而言,位元串流可包括表示用於CU之RQT的資料。 圖5為說明經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。出於解釋之目的而提供圖5,且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的,本發明描述在HEVC寫碼之背景脈絡中的視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法,包括允許非正方形分割及/或獨立明度及色度分割的技術。 在圖5之實例中,視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160,及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中,視訊解碼器30可包括更多、更少或不同的功能組件。 視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的視訊資料,諸如經編碼視訊位元串流。儲存於視訊資料記憶體151中之視訊資料可(例如)自電腦可讀媒體16、自(例如)諸如攝影機之自本地視訊源、經由視訊資料之有線或無線網路通信,或藉由存取實體資料儲存媒體獲得。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存用於視訊解碼器30 (例如)以框內或框間預測模式解碼視訊資料或以供輸出之參考視訊資料的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可藉由多種記憶體器件(諸如DRAM (包括SDRAM、MRAM、RRAM),或其他類型之記憶體器件)中之任一者形成。可藉由相同記憶體器件或單獨記憶體器件來提供視訊資料記憶體151及經解碼圖像緩衝器162。在各種實例中,視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件而言在晶片外。視訊資料記憶體151可與圖1之儲存媒體28相同或係該儲存媒體之部分。 視訊資料記憶體151接收且儲存位元串流之經編碼視訊資料(例如,NAL單元)。熵解碼單元150可自視訊資料記憶體151接收經編碼視訊資料(例如,NAL單元),且可剖析NAL單元以獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取之語法元素而產生經解碼視訊資料。熵解碼單元150可執行大體上與熵編碼單元118之彼程序互逆的程序。 根據本發明之一些實例,熵解碼單元150可判定樹狀結構作為自位元串流獲得語法元素之部分。樹狀結構可指定如何將初始視訊區塊(諸如,CTB)分割成較小視訊區塊(諸如,寫碼單元)。根據本發明的一或多種技術,對於在樹狀結構之每一深度層級處的樹狀結構之每一各別非葉節點,存在針對各別非葉節點的複數個允許之***圖案且對應於各別非葉節點之視訊區塊根據該複數個允許之***圖案中的一者而分割成對應於各別非葉節點之子節點的視訊區塊。 除自位元串流獲得語法元素之外,視訊解碼器30可對未經分割之CU執行重建構操作。為對CU執行重建構操作,視訊解碼器30可對CU之每一TU執行重建構操作。藉由針對CU之每一TU執行重建構操作,視訊解碼器30可重建構CU之殘餘區塊。 作為對CU之TU執行重建構操作之部分,反量化單元154可反量化(亦即,解量化)與TU相關聯之係數區塊。在反量化單元154反量化係數區塊之後,反變換處理單元156可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言,反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。 若使用框內預測編碼PU,則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元166可基於自位元串流獲得之一或多個語法元素而判定PU之框內預測模式。框內預測處理單元166可經組態以判定在使用框內預測來預測視訊資料區塊時應用的一或多個寫碼模式,包括應用框內參考樣本平滑濾波器及/或PDPC模式。框內預測處理單元166及/或視訊解碼器30之另一組件可經組態以針對框內參考樣本平滑濾波器及PDPC模式語法寫碼執行上文所描述之顯式寫碼技術。 若使用框間預測編碼PU,則熵解碼單元150可判定PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元164可基於一或多個參考區塊產生PU之預測性區塊(例如,預測性明度、Cb及Cr區塊)。 重建構單元158可使用CU之TU之變換區塊(例如,明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如,明度、Cb及Cr區塊)(亦即,可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。舉例而言,重建構單元158可將變換區塊(例如,明度、Cb及Cr變換區塊)之樣本添加至預測性區塊(例如,明度、Cb及Cr預測性區塊)之對應樣本,以重建構CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。 濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於隨後運動補償、框內預測及在顯示器件(諸如,圖1之顯示器件32)上之呈現。舉例而言,視訊解碼器30可基於經解碼圖像緩衝器162中之區塊對其他CU之PU執行框內預測或框間預測操作。 圖6為說明本發明之實例編碼方法的流程圖。圖6之技術可由視訊編碼器22之一或多個結構組件執行。 在本發明之一個實例中,視訊編碼器22可經組態以判定用於編碼視訊資料之第一區塊之寫碼模式(600)。在本發明之一個實例中,寫碼模式為框內參考樣本修勻模式或PDPC模式中之至少一者。視訊編碼器22亦可經組態以在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,顯式地編碼指示是否將寫碼模式用於視訊資料之第一區塊的第一語法元素(602)。在本發明之一個實例中,臨限值為1、2或3個非零係數中之一者。視訊編碼器22亦可在經編碼視訊位元串流中發信第一語法元素(604)。 在本發明之另一實例中,為顯式地編碼第一語法元素,視訊編碼器22可經進一步組態以基於用以編碼視訊資料之第一區塊的框內預測模式而顯式地編碼第一語法元素。 在本發明之另一實例中,為顯式地編碼第一語法元素,視訊編碼器22可經進一步組態以在視訊資料之第一區塊大於或等於預定大小的狀況下顯式地編碼第一語法元素。 在本發明之另一實例中,若干非零變換係數包括針對視訊資料之第一區塊之明度及色度分量兩者的若干非零變換係數。在本發明之另一實例中,視訊資料之第一區塊包括視訊資料之一明度區塊,且若干非零變換係數包括針對視訊資料之明度區塊之若干非零變換係數。在本發明之另一實例中,視訊資料之第一區塊並非為變換跳過區塊。 在本發明之另一實例中,視訊編碼器22經進一步組態以基於用以編碼視訊資料之第一區塊之框內預測模式判定用於編碼第一語法元素之背景脈絡,並使用所判定背景脈絡編碼第一語法元素。 在本發明之另一實例中,視訊編碼器22經進一步組態以判定用於編碼視訊資料之第二區塊之寫碼模式,並在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下不編碼指示是否將寫碼模式用於視訊資料之第二區塊的第二語法元素之值。 圖7為說明本發明之實例解碼方法的流程圖。圖7之技術可由視訊解碼器30之一或多個結構組件執行。 在本發明之一個實例中,視訊解碼器30可經組態以接收視訊資料之第一區塊(700)。視訊解碼器30可經進一步組態以在視訊資料之第一區塊與數目大於或等於臨限值之若干非零變換係數相關聯的狀況下,接收指示是否將寫碼模式用於視訊資料之第一區塊的第一語法元素(702),並顯式地解碼所接收第一語法元素之值(704)。在本發明之一個實例中,臨限值為1、2或3個非零係數中之一者。視訊解碼器30可根據第一語法元素之值將寫碼模式應用於視訊資料之第一區塊(706)。在本發明之一個實例中,寫碼模式為框內參考樣本修勻模式或PDPC模式中之至少一者。 在本發明之另一實例中,為接收第一語法元素,視訊解碼器30可經進一步組態以基於用以編碼視訊資料之第一區塊之框內預測模式接收第一語法元素。 在本發明之另一實例中,為接收第一語法元素,視訊解碼器30可經進一步組態以在視訊資料之第一區塊大於或等於預定大小的狀況下接收第一語法元素。 在本發明之另一實例中,若干非零變換係數包括針對視訊資料之第一區塊之明度及色度分量兩者的若干非零變換係數。在另一實例中,視訊資料之第一區塊包括視訊資料之一明度區塊,且若干非零變換係數包括針對視訊資料之該明度區塊之若干非零變換係數。在另一實例中,視訊資料之第一區塊並非為變換跳過區塊。 在本發明之另一實例中,視訊解碼器30可經組態以基於用以編碼視訊資料之第一區塊之框內預測模式判定用於解碼第一語法元素之背景脈絡,並使用所判定背景脈絡解碼第一語法元素。 在本發明之另一實例中,視訊解碼器30可經組態以接收視訊資料之第二區塊,在視訊資料之第二區塊與數目小於臨限值之若干非零變換係數相關聯的狀況下推斷指示是否將寫碼模式用於視訊資料之第二區塊的第二語法元素之值,並根據第二語法元素之推斷值應用寫碼模式。 已出於說明的目的,關於HEVC標準之擴展及藉由JVET研究之JEM軟體模型描述本發明之某些態樣。然而,本發明中描述的技術可用於其他視訊寫碼過程,包括在開發中或尚未開發的其他標準或專屬視訊寫碼過程。 如本發明中所描述之視訊寫碼器可指視訊編碼器或視訊解碼器。類似地,視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地,視訊寫碼可指視訊編碼或視訊解碼(在適用時)。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如,並非所有所描述動作或事件為實踐該等技術所必要)。此外,在某些實例中,可例如經由多線程處理、中斷處理或多個處理器同時而非順序執行動作或事件。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體,該通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式,電腦可讀媒體大體可對應於(1)為非暫時形的有形電腦可讀儲存媒體,或(2)通信媒體,諸如,信號或載波。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包含電腦可讀媒體。 藉助於實例而非限制,此電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體或可用來儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外,任何連接被適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源發射指令,則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是針對非暫時性有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。 可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此,如本文中所使用之術語「處理器」可指前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。此外,在一些實例中,本文所描述之功能性可提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。又,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於廣泛多種器件或裝置中,包括無線手持機、積體電路(IC)或IC集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。相反地,如上所述,各種單元可與合適的軟體及/或韌體一起組合在編解碼器硬體單元中或由互操作硬體單元之集合提供,硬件單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。