TW202107897A - 視訊編碼及解碼之二次轉換 - Google Patents

視訊編碼及解碼之二次轉換 Download PDF

Info

Publication number
TW202107897A
TW202107897A TW109125897A TW109125897A TW202107897A TW 202107897 A TW202107897 A TW 202107897A TW 109125897 A TW109125897 A TW 109125897A TW 109125897 A TW109125897 A TW 109125897A TW 202107897 A TW202107897 A TW 202107897A
Authority
TW
Taiwan
Prior art keywords
conversion
block
lfnst
coding
size
Prior art date
Application number
TW109125897A
Other languages
English (en)
Inventor
法布列斯 萊拉涅克
卡蘭 納塞
坦吉 波依里爾
法蘭克 卡爾平
Original Assignee
法商法國內數位Ｖｃ控股簡易股份公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商法國內數位Ｖｃ控股簡易股份公司 filed Critical 法商法國內數位Ｖｃ控股簡易股份公司
Publication of TW202107897A publication Critical patent/TW202107897A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係為一種用以編碼/解碼圖像之方法及裝置，在INTRA(框內)模式中使用二次轉換以用於視訊編碼及解碼，更具體地，在框內子分區模式中使用二次轉換以用於一編碼單元之轉換單元。根據該編碼單元及轉換單元之各種參數，提出不同之用信號發送及選擇變化。

Description

視訊編碼及解碼之二次轉換
本發明的至少一實施例通常相關視訊壓縮的領域，尤其至少一實施例的目標為使用二次轉換用於框內子區塊分區的視訊編碼或解碼。
為達成高壓縮效率，影像及視訊編碼方案通常採用預測及轉換以利用視訊內容中的時空冗餘。通常，使用框內或框間預測以利用框內或框間相關性，然後將原始區塊與預測區塊之間的差異(通常表示為預測誤差或預測殘餘)進行轉換、量化及熵編碼。為要重建視訊，藉由對應到熵編碼、量化、轉換及預測的逆過程以解碼壓縮的資料。
本發明的一或多個實施例在INTRA(框內)模式中使用二次轉換以用於視訊編碼及解碼，更具體地，在框內子分區模式中使用二次轉換以用於一編碼單元的轉換單元。根據該編碼單元及轉換單元的各種參數，提出不同的用信號發送及選擇變化。
根據本發明的至少一實施例的第一方面，揭示一種視訊編碼方法，包括在一編碼單元上應用第一轉換，決定是否要應用第二轉換以及何時應用第二轉換：用信號發送第二轉換的使用以用於一編碼單元，及在該編碼單元的轉換單元上執行第二轉換，然後利用用信號發送資訊以編碼該編碼單元，其中在框內子分區模式中編碼數個編碼單元。
根據本發明的至少一實施例的第二方面，揭示一種視訊解碼方法，包括，當用信號發送第二轉換以用於該編碼單元時，在該轉換單元上執行第二逆轉換，及在該編碼單元的轉換單元上執行第一逆轉換，及解碼逆轉換單元，其中在框內子分區模式中編碼數個編碼單元。
根據本發明的至少一實施例的第三方面，揭示一種裝置，包括編碼器，用以編碼圖像資料以用於一圖像或視訊中的至少一區塊，其 中該編碼器係配置用以在一編碼單元上應用第一轉換，決定是否要應用第二轉換及何時應用第二轉換：用信號發送第二轉換的使用以用於一編碼單元，及在該編碼單元的轉換單元上執行第二轉換，然後利用用信號發送資訊以編碼該編碼單元，其中在框內子分區模式中編碼數個編碼單元。
根據本發明的至少一實施例的第四方面，揭示一種裝置，包括解碼器用以解碼圖像資料以用於一圖像或視訊中的至少一區塊，其中解碼器係配置用以，當用信號發送第二轉換以用於該編碼單元時，在該轉換單元上執行第二逆轉換及在該編碼單元的轉換單元上執行第一逆轉換，然後解碼逆轉換單元，其中在框內子分區模式中編碼數個編碼單元。
根據本發明的至少一實施例的第五方面，提出一種電腦程式，包括可由處理器執行的程式碼指令，該電腦程式實現根據本發明至少第一(或第二)方面的方法的步驟。
根據本發明的至少一實施例的第六方面，提出一種電腦程式產品，其係儲存在非暫態電腦可讀取媒體上及包括可由處理器執行的程式碼指令，該電腦程式產品實現根據本發明至少第一(或第二)方面的方法的步驟。
100:視訊編碼器
101:編碼預處理
102,235:影像劃分
105:決定
125:轉換
130:量化
140,240:逆量化
145:熵編碼
150,250:逆轉換
155,255:結合
160,260:框內預測
165,265:環內濾波器
170,275:移動補償
175:移動估算
180,280:參考圖像緩衝器
200:視訊解碼器
230:熵解碼
270:得到預測區塊
285:解碼後處理
300:系統
301:處理器
302:記憶體
303:編碼器/解碼器模組
304:儲存裝置
305:通訊介面
306:顯示介面
307:聲頻介面
308:周邊介面
309:輸入裝置
310:內部匯流排
320:通訊通道
330:顯示器
340:揚聲器
350:周邊設備
600:解碼過程
601:應用一次轉換
602:檢查二次轉換
603:用信號發送二次轉換的使用
604:應用二次轉換
605:在TU上執行迴路
609:殘餘解碼
610:檢查是否解析LFNST索引
615,810:LFNST索引設為0
620:解析LFNST索引
630:逆量化
640:TU索引設為0
650,710:測試LFNST索引
655:測試是否解析LFNST
660,740:執行逆LFNST
670,720:導出一次轉換對
680,730:應用逆一次轉換
690,760:迭代步驟
750:應用逆二維DCT2轉換
以下將參考附圖並藉由實施例以描述本發明，俾能更進一步了解本發明的技術特徵，圖中：
圖1係以方塊圖描繪視訊編碼器100的範例，如高效視訊編碼(HEVC)編碼器；
圖2係以方塊圖描繪視訊解碼器200的範例，如HEVC解碼器；
圖3係以方塊圖描繪一系統的範例，在該系統中實現本發明的各種方面及實施例；
圖4描繪可能的框內子分區(ISP)模式的範例；
圖5描繪ISP模式中所使用預定義轉換對的範例；
圖6A描繪編碼過程在框內子區塊分區模式中使用二次轉換時在高階的示範實施例；
圖6B描繪解碼過程在框內子區塊分區模式中使用二次轉換時在高階的示範實施例；
圖6C描繪一框內(INTRA)CU的解碼過程的示範實施例，該框內CU係在框內子區塊分區模式中編碼並使用LFNST作為二次轉換；
圖6D及圖6E係以示範實施例描繪是否應解析LFNST索引的測試，分別以“或(OR)”或“及(AND)”的方式；
圖7描繪解碼過程的示範實施例，其中基於與考慮在ISP模式中編碼的CU相關聯的LFNST索引，導出用於每個TU的逆一次轉換；
圖8描繪解碼過程的示範實施例，其中預定二次轉換的選擇；
圖9描繪解碼過程的示範實施例，其中預定二次轉換的選擇及藉由旗標用信號發送二次轉換的使用；
圖10描繪解碼過程的示範實施例，其中二次轉換的使用係隱含的；
圖11描繪解碼過程的示範實施例，其中在TU等級完成二次轉換的使用；
圖12A及圖12B描繪解碼過程的示範實施例，其中將二次轉換的使用限制到TU的子集；及
圖13描繪一示範實施例，其中在ISP模式中編碼的框內CU內的TU之間分割比例不同。
本發明的不同實施例涉及在框內子分區模式中使用二次轉換以用於一編碼單元的轉換單元的視訊編碼及解碼。根據該編碼單元及轉換單元的各種參數，可使用本發明申請案所述的各種方法及其他方面以用於用信號發送及待使用的轉換的選擇。
此外，雖然說明相關VVC(多功能視訊編碼)的特定草案或相關HEVC(高效視訊編碼)規範的原理，但本發明的方面不限於VVC或HEVC，並且例如可應用到其他標準及建議(無論先前存在的或未來開發的)，以及任何這類標準及建議的延伸(包括VVC及HEVC在內)。除非另有說明，或在技術上排除，否則可個別或組合地使用本發明中說明的方面。
圖1係以方塊圖描繪視訊編碼器100的範例，如HEVC編碼器。圖1亦可描繪一編碼器，其中對HEVC標準作出改進，或採用類似於HEVC技術的編碼器，如JVET(聯合視訊探索小組)開發用於VVC的JEM(聯合探索模型)編碼器。
在編碼視訊序列之前，可使視訊序列經過編碼預處理 (101)。執行這步驟例如藉由對輸入彩色圖像應用色彩轉換(例如從RGB 4：4：4轉換到YCbCr 4：2：0)，或執行輸入圖像分量的重新映射，以便得到對壓縮更有彈性的信號分佈(例如使用色彩分量中的一者的直方圖均衡化)。元資料可與預處理相關聯並附加到位元流。
在HEVC中，為要將具有一或多個圖像的視訊序列進行編碼，將圖像劃分(102)成一或多個圖像切片(slice)，其中各個圖像切片可包括一或多個圖像切片分段。將圖像切片分段組織為編碼單元、預測單元，及轉換單元。HEVC規範在“區塊”與“單元”之間有區分，其中“區塊”定出樣本陣列中特定區域(例如亮度、Y)的位址，而“單元”包括所有編碼的色彩分量(Y、Cb、Cr或單色)的搭配區塊、語法元素，及與這些區塊相關聯的預測資料(例如移動向量)。
為在HEVC中編碼，將圖像劃分成具有可配置大小的正方形編碼樹區塊(CTB)，並將編碼樹區塊的連續集合組成一圖像切片。編碼樹單元(CTU)包含已編碼色彩分量的CTB。一CTB是劃分成數個編碼區塊(CB)的四元樹的根，及一編碼區塊可劃分成一或多個預測區塊(PB)並形成劃分成數個轉換區塊(TB)的四元樹的根。對應到編碼區塊、預測區塊及轉換區塊，一編碼單元(CU)包括數個預測單元(PU)及轉換單元(TU)的樹狀結構集合，一PU包括用於所有色彩分量的預測資訊，及一TU包括用於各色彩分量的餘數編碼語法結構。亮度分量的CB、PB及TB的大小應用於對應的CU、PU及TU。在本發明申請案，可使用“區塊”一詞例如指CTU、CU、PU、TU、CB、PB及TB中的任一者。另外，亦可如在H.264/AVC或其他視訊編碼標準中所規定，使用“區塊”指巨塊及分區，並且更一般地指各種大小的資料陣列。
在編碼器100的範例中，由以下所述編碼器元件對圖像進行編碼。將待編碼的圖像以CU為單位進行處理。使用框內或框間模式以編碼各CU。當在框內模式中編碼CU時，執行框內預測(160)。在框間模式中，執行移動估算(175)及補償(170)。編碼器決定(105)要使用框內模式或框間模式中的何者以編碼CU，並藉由預測模式旗標以指示框內/框間決策。藉由從原始影像區塊中減去(110)預測區塊以計算預測殘餘。
在同一圖像切片內，在框內模式中的CU係從重建的相鄰 樣本中進行預測。在HEVC中有35個一組的框內預測模式可用，包括DC、平面及33個角度預測模式。從目前區塊相鄰的列及行中重建框內預測參考。使用先前重建區塊來的可用樣本，參考在水平和垂直方向中延伸超過區塊大小的兩倍。當使用角度預測模式用於框內預測時，可沿著角度預測模式指示的方向複製參考樣本。
可使用兩個不同選項以編碼用於目前區塊的適用亮度框內預測模式。若適用的模式包含在六個最可能模式(MPM)建構的列表中，則藉由MPM列表中的索引以用信號發送該模式。不然的話，則藉由模式索引的固定長度二進位化以用信號發送該模式。從頂部及左側相鄰區塊的框內預測模式中導出該六種最可能模式(參閱以下表一)。
Figure 109125897-A0202-12-0005-2
用於框間CU，可將移動資訊(例如移動向量及參考圖像索引)在兩種方法中用信號發送，例如“合併模式”或“高階移動向量預測(AMVP)”。
在合併模式中，基於已編碼區塊，視訊編碼器或解碼器組合一候選列表，並且視訊編碼器用信號發送一索引以用於候選列表中的一候選者。在解碼器端，基於用信號發送的候選者以重建移動向量(MV)和參考圖像索引。
在AMVP中，基於從已編碼區塊中確定的移動向量，視訊編碼器或解碼器組合候選列表。然後視訊編碼器用信號發送候選列表中的一索引以識別移動向量預測子(MVP)，並且用信號發送移動向量差 (MVD)。在解碼器端，將移動向量(MV)重建為MVP+MVD。亦將適用的參考圖像索引明確編碼在用於AMVP的CU語法中。
然後將預測殘餘進行轉換(125)及量化(130)，包括如下所述用以調整色度量化參數的至少一實施例。轉換通常係基於可分離的轉換。例如，首先將DCT轉換應用在水平方向中，然後應用在垂直方向中。在最近編解碼器如JEM中，在兩方向中使用的轉換可以不同(例如，在一方向使用DCT，在另一方向使用DST)，這導致更多樣化的二維轉換，而在先前的編解碼器中，用於給定區塊大小的二維轉換的多樣性通常受到限制。
將量化的轉換係數以及移動向量及其他語法元素進行熵編碼(145)以輸出位元流。編碼器亦可跳過轉換，並以4x4 TU為基礎直接應用量化到非轉換的殘餘信號。編碼器亦可繞過轉換及量化兩者，即不應用轉換或量化過程而直接將殘餘進行編碼。在直接PCM編碼中，不應用任何預測，並且直接將編碼單位樣本編碼到位元流中。
編碼器將編碼後的區塊解碼以提供用於進一步預測的參考。將量化的轉換係數進行去量化(140)及逆轉換(150)以解碼預測殘餘。結合(155)解碼的預測殘餘與預測區塊以重建影像區塊。將環內濾波器(165)應用到重建的影像，例如用以執行去區塊/SAO(樣本適應性偏位)濾波以減少編碼假影。濾波後的影像係儲存在參考圖像緩衝器(180)。
圖2係以方塊圖描繪視訊解碼器200的範例，如HEVC解碼器。在解碼器200的範例中，由如下所述解碼器元件將位元流進行解碼。視訊解碼器200通常執行與圖1所示編碼遍歷(pass)互逆的解碼遍歷，其執行視訊解碼作為編碼視訊資料的一部分。圖2亦可描繪一解碼器，其中對HEVC標準作出改進，或採用類似於HEVC的技術的解碼器，如JEM解碼器。
特別地，解碼器的輸入包括視訊位元流，其可由視訊編碼器100產生。首先將位元流進行熵解碼(230)以得到轉換係數、移動向量、圖像劃分資訊，及其他編碼資訊。圖像劃分資訊指示CTU的大小，及CTU分割成CU的方式，並且在適用時可能分割成PU。因此，解碼器可根據解碼圖像劃分資訊將圖像分割(235)成數個CTU，並將每個CTU分割成數 個CU。將轉換係數進行去量化(240)，包括如下所述用以調整色度量化參數的至少一實施例，並進行逆轉換(250)以解碼預測殘餘。
結合(255)解碼的預測殘餘與預測區塊以重建影像區塊。可從框內預測(260)或移動補償預測(即框間預測)(275)中得到(270)預測區塊。如以上所述，可使用AMVP及合併模式技術以導出用於移動補償的移動向量，其可使用插值濾波器以計算用於參考區塊的子整數樣本的插值。將環內濾波器(265)應用到重建的影像。濾波後的影像係儲存在參考圖像緩衝器(280)。
解碼後的圖像可進一步經過解碼後處理(285)，例如逆色彩轉換(例如從YCbCr 4：2：0轉換到RGB 4：4：4)，或反向重映射，執行在編碼預處理(101)中執行的重映射過程的逆。解碼後處理可使用編碼預處理中導出並在位元流中用信號發送的元資料。
圖3係以方塊圖描繪一系統的範例，其中可實現本發明的各種方面及實施例。系統300可具體化為包括有以下所述各種組件的裝置，並且係配置用以執行本發明申請案說明的一或多個方面。這類裝置的範例包括(但不限於)各種電子裝置如個人電腦、膝上型電腦、智慧型手機、平板電腦、數位多媒體機上盒、數位電視接收機、個人視訊記錄系統、連接的家用電器、編碼器、轉換編碼器，及伺服器。系統300的元件(單獨地或以組合方式)可具體化在單個積體電路、多個IC，及/或分離組件中。例如，在至少一實施例中，系統300的處理元件及編碼器/解碼器元件係分佈於多個IC及/或分離組件上。在各種實施例中，系統300的元件係透過內部匯流排310以連通方式耦合。在各種實施例中，系統300例如係藉由通訊匯流排或透過專用輸入及/或輸出埠以通訊方式耦合到其他類似系統或耦合到其他電子裝置。在各種實施例中，系統300係配置用以實現本發明中說明的一或多個方面，如以上說明並修改如下的視訊編碼器100及視訊解碼器200。
系統300包括至少一處理器301，係配置用以執行載入其中的指令，例如用以實現本發明中說明的各種方面。處理器301可包括嵌入式記憶體、輸入輸出介面，及本領域已知的其他各種電路設計。系統300包括至少一記憶體302(例如依電性記憶體裝置，及/或永久性記憶體裝 置)。系統300包括一儲存裝置304，其可包括永久性記憶體及/或依電性記憶體，包括(但不限於)EEPROM、ROM、PROM、RAM、DRAM、SRAM、快閃記憶體、磁碟驅動器，及/或光碟驅動器。作為非限定範例，儲存裝置304可包括內部儲存裝置，附接的儲存裝置，及/或網路可存取儲存裝置。
系統300包括編碼器/解碼器模組303，係配置例如用以處理資料以提供編碼的視訊或解碼的視訊，並且編碼器/解碼器模組303可包括其本身的處理器及記憶體。編碼器/解碼器模組303表示可包括在裝置中用以執行編碼及/或解碼功能的(數個)模組。眾所周知，一裝置可包括編碼模組及解碼模組中的一者或兩者。另外，如熟諳此藝者所熟知，編碼器/解碼器模組303係可實現為系統300的分開元件，或可併入處理器301內作為硬體與軟體的組合。
待載入到處理器301或編碼器/解碼器303上用以執行本發明中所述各種方面的程式碼係儲存在儲存裝置304中，並且後續載入到記憶體302中由處理器301執行。根據各種實施例，在執行本發明中所述處理的效能期間，處理器301、記憶體302、儲存裝置304及編碼器/解碼器模組303中的一或多者可儲存各種項目中的一或多者。這類儲存的項目可包括(但不限於)輸入視訊、解碼的視訊或已解碼視訊的一部分、位元流、矩陣、變數，以及從等式、公式、運算及運算邏輯的處理來的中間結果或最後結果。
在數個實施例中，使用在處理器301及/或編碼器/解碼器模組303內部的記憶體以儲存指令，及用以提供工作記憶體用於編碼或解碼期間所需的處理。然而，在其他實施例中，使用在處理裝置(例如，處理裝置可係處理器301或編碼器/解碼器模組303)外部的記憶體用於這些功能中的一或多者。外部記憶體可係記憶體302及/或儲存裝置304，例如動態依電性記憶體及/或永久性快閃記憶體。在數個實施例中，使用外部永久性快閃記憶體以儲存電視的作業系統。在至少一實施例中，快速外部動態依電性記憶體如RAM係作為工作記憶體使用，用於視訊編碼及解碼操作，如用於MPEG-2、HEVC或VVC。
透過如方塊309所指示的各種輸入裝置，可提供輸入到系 統300的元件。這類輸入裝置包括(但不限於)(i)一射頻(RF)部分，其接收例如廣播公司透過空中傳送的RF信號，(ii)合成輸入端子，(iii)USB輸入端子，及/或(iv)HDMI輸入端子。
在各種實施例中，方塊309的輸入裝置具有如本技術已知相關聯的各別輸入處理元件。例如，RF部分可與用於下列者所需的元件相關聯：(i)選擇一期望頻率(亦稱為選擇一信號，或將一信號限制頻寬到一頻帶)，(ii)將選取的信號降頻轉換，(iii)再次限制頻寬到較窄頻帶以選擇(例如)一信號頻帶，其在某些實施例可稱為通道，(iv)將降頻轉換及限制頻寬後的信號解調，(v)執行糾錯，及(vi)解多工以選擇期望的資料封包流。各種實施例的RF部分包括用以執行這些功能的一或多個元件，例如，選頻器、信號選擇器、頻寬限制器、通道選擇器、濾波器、降頻轉換器、解調器、糾錯器，及多工解訊器。RF部分可包括調諧器，其執行各種這些功能，例如包括將接收到的信號降頻轉換到較低頻率(例如，中頻或近基頻)或降到基頻。在一個機上盒實施例中，RF部分及其相關的輸入處理元件接收在有線(例如纜線)媒體上傳送的RF信號，並藉由濾波、降頻轉換，及再次濾波到一期望頻帶以執行頻率選擇。各種實施例重新安排上述(及其他)元件的順序、移除一些此等元件，及/或添加其他執行類似或不同功能的元件。添加元件可包括在現有元件之間***元件，例如，***放大器及類比至數位轉換器。在各個實施例中，RF部分包括天線。
另外，USB及/或HDMI端子可包括各別介面處理器，用以在USB及/或HDMI連接上將系統300連接到其他電子裝置。應瞭解，輸入處理的各種方面，例如里德-所羅門糾錯，例如可視需要實現在分開的輸入處理IC內或在處理器301內。同樣地，USB或HDMI介面處理的方面例如可視需要實現在分開的介面IC內或在處理器301內。將解調、糾錯及解多工後的資料流提供給各種處理元件，例如包括處理器301，及編碼器/解碼器303，與記憶體及儲存元件結合操作以視需要處理資料流用於輸出裝置上的呈現。
可將系統300的各種元件設置在一體成型殼體內。在一體成型殼體內，可使用合適的連接安排(例如，本技術已知的內部匯流排，包括I2C匯流排、佈線及印刷電路板)，以互連各種元件並在其間傳輸資 料。
系統300包括通訊介面305，允許經由通訊通道320與其他裝置進行通訊。通訊介面305可包括(但不限於)一收發器，係配置用以在通訊通道320上發送及接收資料。通訊介面305可包括(但不限於)數據機或網路卡，並且通訊通道320例如可實現在有線及/或無線媒體內。
在各種實施例中，使用Wi-Fi網路如IEEE 802.11將資料以串流傳輸到系統300。這些實施例的Wi-Fi信號係在適用於Wi-Fi通訊的通訊通道320及通訊介面305上接收。通常將這些實施例的通訊通道320連接到存取點或路由器，以便提供存取到外部網路(包括網際網路)，用以允許串流應用及其他在空中的通訊。其他實施例使用機上盒以將串流資料提供給系統300，以便在輸入方塊309的HDMI連接上傳遞資料。更多其他實施例使用輸入方塊309的RF連接以將串流資料提供給系統300。
系統300可提供輸出信號給各種輸出裝置，包括顯示器330、揚聲器340及其他周邊設備350。在各種實施例範例中，其他周邊設備350包括下列中的一或多者：獨立性DVR、光碟播放器、立體聲系統、照明系統及其他基於系統300的輸出提供功能的裝置。在各種實施例中，在系統300與顯示器330、揚聲器340或其他周邊設備350之間使用傳訊如AV.Link、CEC或其他通訊協定以通訊控制信號，以便利用或不用用戶干預允許裝置對裝置的控制。輸出裝置可透過各別介面306、307及308經由專用連接以通訊方式耦合到系統300。或者，輸出裝置可經由通訊介面305使用通訊通道320而連接到系統300。在電子裝置如電視中，顯示器330及揚聲器340可與系統300的其他組件整合在單個單元中。在各種實施例中，顯示介面306包括顯示驅動器，例如，時序控制器(T Con)晶片。
例如，若輸入309的RF部分係分開的機上盒的一部分，則顯示器330及揚聲器340或者可與其他組件中的一或多者分開。在顯示器330及揚聲器340係外部組件的各種實施例中，可經由專用輸出連接，例如包括HDMI埠、USB埠，或COMP輸出以提供輸出信號。本文所述實施方式例如可實現在方法或過程、設備、軟體程式、資料流，或信號中。即使僅在單一形式的實施方式的上下文中討論(例如，僅討論作為方法)， 所討論特徵的實施方式亦可實現在其他形式(例如，設備或程式)中。一設備例如係可實現在適當的硬體、軟體及韌體中。該等方法例如係可實現在一設備如處理器中，處理器通常指處理裝置，例如包括電腦、微處理器、積體電路，或可程式化邏輯裝置。處理器亦包括通訊裝置，例如電腦、手機、可攜式/個人數位助理器(“PDA”)，及其他有助於終端用戶之間資訊通訊的設備。
圖4描繪可能的框內子分區(ISP)模式的範例。ISP模式係使用於框內預測，並且包括將一編碼單元分割成相同大小的2或4個轉換單元，以水平或垂直方式執行此分割。如表二所示，分割取決於區塊大小，基本上，4x4係無法分割，大小為4x8或8x4的CU分割為2個TU，其他CU分割為4個TU。
Figure 109125897-A0202-12-0011-3
在使用ISP模式編碼的CU內，循序將TU解碼，並使用相同框內預測模式從TU到TU地進行框內預測，該框內預測模式係在CU等級用信號發送。最後，亦根據框內子分區的大小以調適殘餘編碼。實際上，子分區的大小可能為1xN、Nx1、2xN或Nx2，在這些各別情況下使用大小為1x16、16x1、2x8或8x2的編碼組。
例如可透過二個連續旗標用信號發送ISP編碼模式：
- intra_subpartitions_mode_flag指示ISP模式的使用以用於一給定框內CU。
- intra_subpartitions_split_flag指示分割成框內子分區的方向，其中當無法直接從CU大小推斷出分割方向時，0指示水平分割，1指示垂直分割。
圖5描繪在ISP模式中使用的預定轉換對的範例。實際 上，當ISP係使用於一給定框內CU時，則使用一預定轉換對以編碼及解碼該CU中所包含的(2個或4個)TU中的每一者。根據轉換區塊的大小，選擇轉換對作為沿著水平或垂直方向應用的DCT2與DST7之間的組合。即，選擇水平(trTypeHor)及垂直(trTypeVer)轉換如下：
trTypeHor=(寬度>=4 &&寬度<=16)？DST7：DCT2
trTypeVer=(高度>=4 &&高度<=16)？DST7：DCT2
這種類型的選擇產生4個不同配對的集合，其係DCT2及DST7之間的組合，如圖5所示。在轉換單元上應用的可分離轉換稱為一次轉換。
除一次轉換以外，在一些情況下，可在從一次轉換發出的轉換係數的子集上應用所謂的低頻非可分離轉換(LFNST，先前稱為非可分離二次轉換(NSST))。LFNST提高視訊編解碼器的編碼效率。可定義二個LFNST轉換集：一個用於大殘餘區塊，另一個用於小殘餘區塊。用於各集合，定義4組轉換，其中各組包含2個轉換矩陣。該組的選擇取決於框內預測模式，並且將轉換索引(以下稱為LFNST索引)編碼在位元流中。與一次轉換不同，LFNST係訓練有素的轉換，係藉由從一些大型資料集殘餘資料中習得。然而，傳統上，在ISP模式中編碼的INTRA CU(框內CU)的情況下，不應用LFNST二次轉換。
在解碼器端，逆LFNST轉換發生在逆量化之後及逆一次轉換之前，在圖2的步驟240與250之間。在編碼器上，LFNST發生在正向一次轉換與量化級之間，在圖1的步驟125與130之間。LFNST可採取二種可能的非可分離轉換形式：4x4 LFNST及8x8 LFNST。4x4 LFNST適用於小區塊，即min(width,height)<8的區塊，其中width及height表示區塊的寬度及高度。8x8 LFNST適用於較大區塊，即min(width，height)>4的區塊。
正向4x4 LFNST的應用如下，其係應用到所考慮的轉換區塊的4x4最低頻子區塊上。輸入16係數表示為16x1向量
Figure 109125897-A0202-12-0012-28
。LFNST轉換在於以下運算：
Figure 109125897-A0202-12-0012-4
 其中T係一個16x16矩陣，F為輸出轉換16x1向量。然後將
Figure 109125897-A0202-12-0013-29
重新組織為一個4x4子區塊，其按掃描順序成為最低頻編碼組。
關於較大區塊，將8x8 LFNST應用如下，以3個左上角轉換4x4子區塊為輸入，係正向一次轉換區塊。因此，這對應到48個轉換係數。然後將LFNST按掃描順序應用到48個最低頻係數，組織在係數的48x1向量(X48)中。因此，正向LFNST採取以下形式：
Figure 109125897-A0202-12-0013-5
在解碼器端，將T_16x48的48x16轉置矩陣應用在逆量化係數上以執行逆LFNST轉換。
可使用四組LFNST轉換，分別用於4x4 LFNST及8x8 LFNST。這些組係基於框內預測模式定義的。用於各組，可使用2個LFNST轉換矩陣(核心)。透過LFNST索引語法元素，將使用的轉換矩陣用信號發送。
以下所描述的實施例已考慮到前述內容。
在至少一實施例中，在框內子區塊劃分模式中，將二次轉換用於編碼單元的轉換單元。這允許藉由向低頻帶進一步壓縮轉換係數的能量以提高壓縮效率，使量化後的轉換殘餘區塊的熵編碼更有效率。以下基於本原理以一些變化描述不同的實施例。
圖6A描繪編碼過程在框內子區塊分割模式中使用二次轉換時在高階的示範實施例。例如由圖3的處理器301執行此實施例，首先，在步驟601中，處理器301應用一次轉換到編碼單元。在步驟602中，處理器檢查是否應使用二次轉換。在至少一實施例中，二次轉換係LFNST(例如在圖6C所詳細描繪)，並且該測試係LFNST的適用性的傳統測試。在至少一實施例中，根據圖6D或圖6E的過程以執行步驟602的測試。當不應使用二次轉換時，該過程結束，並且可將編碼單元以傳統方式編碼。當應使用二次轉換時，該過程在步驟603中用信號發送二次轉換的使用以用於編碼單元。然後，在步驟604中，確定二次轉換並將其應用到一轉換單元上。重複步驟604以用於編碼單元的所有轉換單元。當已處理過所有轉換單元時，在步驟605中，該過程結束，並且可將編碼單元以傳統方式 編碼。
可透過不同機制以完成用信號發送二次轉換的使用。在一個示範實施例中，使用專用旗標。在另一個實施例中，使用索引，該索引具有一值，其從轉換列表中識別出待使用的轉換，以及零值對應到不使用二次轉換的情況。
圖6B描繪解碼過程在框內子區塊劃分模式中使用二次轉換時在高階的示範實施例。例如由圖3的處理器301執行此實施例。首先，在步驟650中，處理器檢查是否用信號發送二次轉換以及是否應使用二次轉換。在至少一實施例中，二次轉換係LFNST(例如在圖6C所詳細描繪)，以及該測試係LFNST的適用性的傳統測試。在至少一實施例中，根據圖6D或圖6E的過程以執行步驟650的測試。當為該情況時，在步驟660中，確定二次轉換並將其應用到編碼單元的轉換單元。在步驟680中，在轉換單元上執行逆一次轉換，並且在步驟690中，該過程從步驟650開始迭代直到已處理過所有TU。然後，解碼過程以傳統方式繼續進行以使解碼完成。
圖6C係以示範實施例描繪在框內子區塊劃分模式中編碼的INTRA CU(框內CU)的解碼過程，其使用LFNST作為二次轉換。例如由圖3的處理器301執行此實施例。根據至少一實施例，待用於框內子區塊劃分模式中編碼的INTRA CU的二次轉換係LFNST，並且透過一索引LFNST idx用信號發送其使用：當索引為零時，不使用LFNST；當索引不同於零時，則指示應使用轉換列表中的哪個轉換。
首先，在步驟609中，將殘餘進行解碼。在步驟610中，處理器檢查是否要解析LFNST索引以用於CU。此測試涉及個別地測試是否要解析LFNST索引以用於CU的TU。在圖6D中描述此測試的或(OR)替代方案，在圖6E中描述及(AND)替代方案。關於決定是否要解析LFNST索引以用於TU的條件與傳統使用的條件相同：
- 所考慮分量中的CU大小在寬度及高度上至少為4；
- 在SPS等級上允許LFNST；
- 在雙樹情況下，CU中的有效係數數量嚴格地大於1，或在單樹情況下嚴格地大於2；
- 在用於大小至少為4x4的轉換區塊的4x4編碼組中(除最低頻4x4編碼組以外)，或在大小等於4或8的方形轉換區塊中具有掃描位置大於7，非零量化係數存在於所考慮CU的TU中。
當不要使用LFNST時，則在步驟615中將LFNST索引設為0。這意味著不應用LFNST以用於所考慮的CU，因此不將LFNST應用在所考慮CU中包含的任何TU中。
在步驟620中，解析LFNST索引。若索引為0，則稍後不應用LFNST。若索引不同於0，則稍後應用對應的LFNST轉換。
在步驟630中，以傳統方式執行逆量化，並且在步驟640中將TU計數索引設為零。在步驟650中，測試LFNST索引並將其同時用作指示不使用LFNST的旗標(當等於0時)及用作指示要使用哪個轉換的值。若LFNST索引不同於0，則在步驟660中在解碼器端執行逆LFNST(二次轉換)。在亮度與色度分量之間共享編碼樹的情況下，這包括所考慮的CU中包含的2或4個亮度轉換區塊，以及CU中包含的色度轉換區塊。然後，在步驟670中，以傳統方式確定一次轉換對，並且在目前TU上應用逆一次轉換。在步驟690中，該過程驗證該過程在結束之前已處理過所有TU，或當至少一個TU尚未經處理時從步驟650開始迭代。
當應用到VVC時，圖6C的實施例需要修改編碼單元語法。在表三中描述此修改，並以灰色背景識別。此修改包括移除關於IntraSubPartitionSplitType的測試，而且當IntraSubPartitionSplitType等於ISP_NO_SPLIT時用以授權LFNST的使用。結果，在框內子區塊劃分模式中使用二次轉換。
Figure 109125897-A0202-12-0016-6
圖6D及圖6E分別以“或(OR)”或“及(AND)”的方式描繪是否應解析LFNST索引的測試的示範實施例。此測試例如係使用在圖6A的步驟602、圖6B的步驟650、圖6C的步驟610及655中。圖6D的測試以“或”的方式操作，因此一旦檢測到用於CU的TU中的一者的有效條件，就解析LFNST索引。對照下，圖6E的測試以“及”的方式操作，因此一旦檢測到用於CU中的一TU的非有效條件，就不解析LFNST索引，這表示為要解析LFNST索引，用於所有TU的條件皆應為有效。
圖7描繪解碼過程的示範實施例，其中導出用於每個TU的逆一次轉換係基於與所考慮在ISP模式中編碼的CU相關聯的LFNST索引。在此實施例中，在ISP框內CU中的每個TU上執行迴路並測試是否使用二次轉換。在此實施例中，在步驟710中藉由測試LFNST索引以完成此測試。當LFNST索引為零時，則在此CU的編碼不使用二次轉換。在這種情況下，在步驟720中，例如使用圖5的表以傳統方式執行一次轉換的選擇。然後，在步驟730中，將選取的一次轉換應用到TU，並且在步驟760中該過程繼續在該等TU上進行迴路。回到步驟710，當LFNST索引不同於0時，則使用二次轉換與用於一次轉換的{DCT2，DCT2}對結合。在這種情況下，根據LFNST索引以識別二次轉換，並且在步驟740中在TU上執行逆轉換。在步驟750中，在TU上執行逆二維DCT2轉換。該過程在處理過所有TU時即結束。
圖8描繪解碼過程的示範實施例，其中預定二次轉換的選擇。在此實施例中，首先驗證是否滿足用於LFNST的條件，如傳統上用於LFNST所做的。若不是這種情況，則在步驟810中，將LFNST索引設為0。否則，將LFNST索引設為1。換言之，在此實施例中，預定二次轉換。唯一的選擇為列表中的第一個轉換對。如在先前實施例中，當使用二次轉換時，待使用的一次轉換為二維DCT2對。
在此實施例的變化中，為要選擇另一個二次轉換，若為在ISP模式中編碼的框內CU，則可由解碼器推斷另一個LFNST索引值。
圖9描繪解碼過程的示範實施例，其中預定二次轉換的選擇，並且藉由旗標用信號發送二次轉換的使用。鑑於先前實施例使用不同於0的LFNST索引值以指示二次轉換的使用，此實施例使用專用旗標以用信號發送LFNST的使用以用於在ISP模式中編碼的框內CU。在這種情況下，當使用LFNST時(旗標設為真)，則推斷LFNST索引為一固定值。在一個示範實施例中，此固定值等於1用以選擇第一轉換對。與先前實施例類似，當使用LFNST時，將待應用於在目前CU的二維一次轉換推斷為DCT2_DCT2。
圖10描繪解碼過程的示範實施例，其中二次轉換的使用係隱含的。在圖7、圖8及圖9的先前實施例的此變化中，LFNST的使用係隱含的，並且二次轉換的選擇(由LFNST索引所攜)係顯性的。另外，若為在ISP中編碼的框內CU，則推斷該二維一次轉換為DCT2_DCT2。
在至少一實施例中，用於框內ISP CU，LFNST的使用取決於所考慮的CU的大小。例如，若CU在寬度及高度的大小比一給定閥值低，則不使用LFNST用於所考慮的CU。實際上，如用於基於矩陣的框內預測(MIP)情況，可在CU大小上強加相同約束以允許LFNST的使用。當應用到VVC時，此實施例需要修改編碼單元語法，如表四所描述並以灰色背景突顯。
Figure 109125897-A0202-12-0018-7
根據一變化實施例，當ISP模式有效用於所考慮的CU時，若CU大小在寬度及高度上大於或等於16，則允許LFNST。
根據一變化實施例，當ISP模式有效用於所考慮的CU時，若CU大小在寬度及高度上大於或等於32，則允許LFNST。
通常，熟諳此藝者應理解，LFNST(其已設計用於區塊大小在寬度及高度上大於或等於4)可執行良好用於CU大小，以便TU大小在寬度及高度上至少等於4。
在至少一實施例中，根據所考慮CU的ISP模式，用以允許LFNST用於ISP模式中編碼的框內CU的條件確實取決於因CU分割而產生的亮度轉換區塊大小。令tbWidth及tbHeight表示亮度轉換區塊的寬度及高度。在此提出的實施例中，若亮度轉換區塊大小在寬度及高度上至少為4，則通常可允許LFNST。當應用到VVC時，此實施例需要修改編碼單元語法，如表五所描述並以灰色背景突顯。
Figure 109125897-A0202-12-0019-8
圖11描繪解碼過程的示範實施例，其中在TU等級完成二次轉換的使用。在此實施例中，若為框內ISP編碼單元，則用信號發送一LFNST索引用於CU中所包含的每個轉換單元。用信號發送LFNST的使用的條件與傳統上使用的相同，不同的是在TU等級上用信號發送LFNST索引，以便用信號發送每個TU一個LFNST索引。如在圖11中可看出，在此實施例中，在CU中包含的TU上的迴路包括LFNST索引的解析以用於每個TU。
作為此實施例的結果，可在所考慮CU中包含的TU之間使用不同的逆一次轉換。由於將LFNST分配給ISP模式中編碼的編碼單元內的每個TU時引入一些彈性，因此這可能導致編碼效率提高超越先前的實施例。因此，關於率失真優化，編碼器具有更多的自由以找出最佳待使用的編碼模式以用於ISP模式中的框內CU。
圖12A及圖12B描繪解碼過程的示範實施例，其中將二次轉換的使用限於TU的子集。根據這些實施例，雖然在框內ISP編碼單元內的TU等級上用信號發送LFNST索引，卻用於編碼單元中所包含TU的子集。在圖12A所描繪的第一變化中，不允許LFNST用於CU的第一個TU，並且可將傳統的轉換選擇用於此TU。然而，用於CU的其他TU，如先前實施例中所說明的，允許LFNST並用信號發送。在圖12B所描繪的第二變化中，不允許LFNST用於CU的前兩個TU，並且可使用傳統的 轉換選擇以用於該TU。然而，用於CU的其他TU，如先前實施例中所說明的，允許LFNST並且用信號發送。
圖13描繪一示範實施例，其中在ISP模式中編碼的框內CU內的TU之間有不同的分割比率。在此實施例中，ISP模式將框內CU分割成3個TU而不是4個。沿著所考慮的分割方向(水平或垂直)，相對於父CU的TU大小則可為1/4、1/4及1/2。在此實施例中，只有第三個TU使用LFNST。在圖13所描繪的範例中，前兩個TU的大小等於父CU的1/4。使用傳統的一次轉換選擇類型用於這些TU，但不使用LFNST。第三個TU的大小等於CU大小的1/2。用於CU的這個最後TU，使用DCT2作為一次轉換，並允許LFNST。如先前實施例中所說明，可在CU等級或在TU等級用信號發送LFNST索引。
在先前所提實施例的變化實施例中，可使用大區塊8×8 LFNST以應用LFNST到大小等於所考慮CU大小的一半或1/4的TU。在前述實施例的至少另一變化實施例中，亦可將這些8×8 LFNST基礎函數應用到大小為2×N、N×2、1×N或N×1的轉換區塊，N為非零正整數值。
在先前提出的實施例的變化實施例中，為要增加LFNST的使用用於較大區塊(通常8×8區塊)，改變關於CU大小的約束，例如使用表六：
Figure 109125897-A0202-12-0020-9
在該等新的情況下，8x16及16x8的情況係隱含地分割如大小為8x8的兩個作為結果的TU。
在一個變化實施例中，修改ISP的傳統分割決策以有利於在兩方向中至少四個樣本的TU上的LFNST，換言之，改變ISP條件如用以禁止1xN、Nx1、2xN及Nx2。
在另一個實施例中，與VVC草案6規範相比，修改在ISP模式中編碼的CU的情況下應用LFNST的條件。實際上，一個TU係由一個或數個轉換區塊組成。在VVC草案6的情況下，在單樹配置中編碼的框內CU的情況下，一個TU中包含數個轉換區塊。單樹意指使用單個編碼樹以將一個CTU劃分為編碼單元以用於所有亮度及色度分量。因此，在這種情況下，CU係由一個亮度及2個色度編碼區塊組成。另外，由單個TU形成的CU包括一個亮度及2個色度轉換區塊。在VVC草案6中，允許LFNST用於此一CU的一個條件在於CU中的至少一個轉換區塊包含殘餘資料，其中最後有效係數位置(即在轉換區塊中具有最大掃描位置的非零轉換係數的位置)並非殘餘區塊中的(0,0)位置。
在此提出的實施例中，添加一附加條件，其陳述若編碼單元中包含的所有亮度轉換區塊具有不同於係數位置0的最後有效係數位置，則允許LFNST用於ISP模式中編碼的CU。
根據另一實施例，根據ISP用於所考慮框內編碼單元的使用，修改LFNST索引的熵編碼。在VVC草案6中，藉由2個二進位元素(bin)用信號發送LFNST。第一個bin指示LFNST索引是否為零，即，其指示是否使用LFNST以用於目前CU。若第一個bin等於1，則第二個bin指示是否LFNST索引等於1或2。在VVC草案6中，第一個bin係基於上下文編碼。使用的CABAC上下文取決於是否使用分離的樹模式以用於所考慮的CU。根據本實施例，用以用信號發送LFNST索引的第一個bin的上下文亦取決於ISP模式是否關閉或開啟以用於所考慮的CU。因此，在此實施例中，與VVC草案6相比，用以編碼LFNST索引的第一個bin的上下文的數量加倍：使用4個上下文而不是2個。
另外，根據另一變化，在框內圖像切片的情況下，與添加的CABAC上下文相關聯的初始條件概率將設為代表極低概率的值，使LFNST索引不同於0。實際上，已觀察到所提出LFNST與ISP編碼模式的組合在框間圖像中帶來壓縮效益，但該效益在框內圖像中低很多。
根據另一實施例，在規範上允許LFNST與ISP的組合使用只用於單樹模式中編碼的框內編碼單元。
根據另一實施例，在規範上允許LFNST與ISP的組合使 用只用於INTRA圖像切片中編碼的框內編碼單元。
根據另一實施例，無論單樹或雙樹模式，在規範上允許LFNST與ISP的組合使用用於所有的框內編碼單元，但只在單樹情況中由編碼器端率失真搜索將這種模式組合評估為候選模式。
根據另一實施例，無論單樹或雙樹模式，在規範上允許LFNST與ISP的組合使用用於所有的框內編碼單元，但只在INTRA圖像切片中由編碼器端率失真搜索將這種模式組合評估為候選模式。
各種實施方式涉及解碼。如在本發明申請案使用的“解碼”例如可涵蓋在接收的編碼序列上執行的全部或部分過程，為要產生適於顯示的最終輸出。在各種實施例中，這類過程包括通常由解碼器執行的一或多個過程，例如熵解碼、逆量化、逆轉換，及差分解碼。在各種實施例中，這類過程亦(或者)包括由本發明申請案所述各種實施方式的解碼器執行的過程，例如在圖6B至圖13提出的實施例。
作為進一步的範例，在一實施例中，“解碼”只涉及熵解碼，在另一實施例中，“解碼”只涉及差分解碼，以及在另一實施例中，“解碼”涉及熵解碼與差分解碼的組合。基於特定描述的上下文，是否希望“解碼過程”的說法特定地涉及一操作子集或一般性地涉及較廣泛的解碼過程將顯而易見，咸信為熟諳此藝者所完全理解。
各種實施方式涉及編碼。與上述關於“解碼”的討論類似的方式，在本發明申請案使用的“編碼”可涵蓋例如在輸入視訊序列上執行的全部或部分過程，為要產生編碼的位元流。在各種實施例中，這類過程包括通常由編碼器執行的一或多個過程，例如劃分、差分編碼、轉換、量化，及熵編碼。在各種實施例中，這類過程亦(或者)包括由本發明申請案所述各種實施方式的編碼器執行的過程，例如，圖6B至圖13的實施例。
作為進一步的範例，在一實施例中，“編碼”只涉及熵編碼，在另一實施例中，“編碼”只涉及差分編碼，以及在另一實施例中，“編碼”涉及差分編碼與熵編碼的組合。基於特定描述的上下文，是否希望“編碼過程”的說法特定地涉及一操作子集或一般性地涉及較廣泛的編碼過程將顯而易見，咸信為熟諳此藝者所完全理解。
請注意，在本文中使用的語法元素係描述性用詞，因此， 不排除使用其他語法元素名稱。
本發明申請案說明各式各樣的方面，包括工具、特徵、實施例、模型、方法等。用特異性來說明許多這些方面，並且至少為顯示各別的特徵，通常以聽起來可能受限制的方式來說明。然而，這是為清楚說明的目的，並不限制該等方面的應用或範圍。實際上，可將所有不同方面進行組合及互換以提供進一步的方面。此外，亦可同樣將這些方面與先前申請文件中說明的方面進行組合及互換。可將在本發明申請案說明及涵蓋的方面實現在許多不同形式中。上述圖1、圖2及圖3提供一些實施例，但亦涵蓋其他實施例，並且附圖的討論並不限制實施方式的廣度。
在本發明申請案，“重建”與“解碼”等用詞可互換使用，“像素”與“樣本”等用詞可互換使用，“影像”、圖像”，與“訊框”等用詞可互換使用，“索引”與“idx”等用詞可互換使用。通常(但不一定)，“重建”一詞係使用在編碼器端，而“解碼”一詞係使用在解碼器端。
在本文中說明各種方法，並且每個方法包括一或多個步驟或動作用以達成所述方法。除非該方法的適當操作需要特定順序的步驟或動作，否則可修改或組合特定步驟及/或動作的順序及/或使用。
在本發明申請案使用的各種數值，例如關於區塊大小。特定值係為示範目的，並且所描述的方面不受限於這些特定值。
提及“一個實施例”或“一實施例”或“一個實施方式”或“一實施方式”以及其別的變化，意指結合該實施例所描述的特定特徵、結構、特性等係包括在至少一實施例中。因此，在本發明整個申請書的不同地方出現“在一個實施例中”或“在一實施例中”或“在一個實施方式中”或“在一實施方式中”等說法，以及其他任何變化，不一定全涉及相同實施例。
另外，本發明申請案或其申請專利範圍可涉及“確定”各種資訊片段。確定資訊例如可包括下列中的一或多者；估算資訊、計算資訊、預測資訊，或從記憶體中擷取資訊。
此外，本發明申請案或其申請專利範圍可涉及“存取”各種資訊片段。存取資訊例如可包括下列中的一或多者：接收資訊、(例如 從記憶體中)擷取資訊、儲存資訊、移動資訊、複製資訊、計算資訊、預測資訊，或估算資訊。
另外，本發明申請案或其申請專利範圍可涉及“接收”各種資訊片段。如同“存取”，希望接收係一廣義用詞，接收資訊例如可包括下列中的一或多者：存取資訊，或(例如從記憶體中)擷取資訊。此外，例如在儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、拭除資訊、計算資訊、確定資訊、預測資訊或估算資訊的操作期間，通常以一方式或另一方式涉及“接收”。
應了解，以下“/”、“及/或”以及“的至少一者”中任一者的使用，例如在“A/B”、“A及/或B”以及“A及B中的至少一者”的情況中，希望涵蓋僅選擇第一個列出的選項(A)，或僅選擇第二個列出的選項(B)，或選擇兩選項(A及B)。作為進一步範例，在“A、B及/或C”及“A、B及C中的至少一者”的情況中，這類說法希望涵蓋僅選擇第一個列出的選項(A)，或僅選擇第二個列出的選項(B)，或僅選擇第三個列出的選項(C)，或僅選擇第一個及第二個列出的選項(A及B)，或僅選擇列出的第一個及第三個選項(A及C)，或者僅選擇列出的第二個及第三個選項(B及C)，或者選擇所有三個選項(A及B及C)。如本領域及相關領域的一般技術人員所顯而易見的，這可延伸用於盡可能多的列出項目。
如熟諳此藝者應顯而易見的，實施方式可產生各種不同的信號，係格式化用以攜帶例如可儲存或傳輸的資訊。該資訊例如可包括用以執行方法的指令，或由一所述實施方式所產生的資料。例如，可將信號格式化用以攜帶所述實施例的位元流。可將此一信號例如格式化為電磁波(例如使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼資料流及利用編碼的資料流以調變載波。信號所攜帶的資訊例如可為類比或數位資訊。如眾所周知，可在各種不同的有線或無線鏈結上傳輸信號，可將信號儲存在處理器可讀取媒體上。
600:解碼過程
609:殘餘解碼
610:檢查是否解析LFNST索引
615:LFNST索引設為0
620:解析LFNST索引
630:逆量化
640:TU索引設為0
650:測試LFNST索引
655:測試是否解析LFNST
660:執行逆LFNST
670:導出一次轉換對
680:應用逆一次轉換
690:迭代步驟

Claims (10)

  1. 一種視訊編碼方法，包括：
    將一框內編碼區塊分割為至少二轉換區塊；
    在編碼區塊之轉換區塊上應用(601)第一轉換；
    對要應用第二轉換之決策(602)作出回應：
    用信號發送(603)第二轉換之使用以用於一編碼區塊；及
    在該編碼區塊之轉換區塊上執行(604)第二轉換；及
    利用用信號發送資訊以編碼該編碼區塊。
  2. 如申請專利範圍第1項之方法，其中當該編碼區塊之大小在寬度及高度大於一閥值時，或當該編碼區塊之大小在寬度或高度大於一閥值時，或當該編碼區塊之大小在寬度及高度小於一閥值時，或當該轉換區塊之大小在寬度及高度大於一閥值時，或當該轉換區塊之大小在寬度或高度大於一閥值時，或當該轉換區塊之大小在寬度及高度小於一閥值時，將應用第二轉換。
  3. 如申請專利範圍第1項之方法，其中在轉換區塊等級選擇第二轉換。
  4. 一種視訊解碼方法，包括：
    對代表用於一編碼區塊之第二轉換之資訊作出回應(650)，該編碼區塊係分割為至少二轉換區塊：
    在該編碼區塊之轉換區塊上執行逆第二轉換(660)；及
    在該編碼區塊之轉換區塊上執行逆第一轉換(680)；及
    解碼該逆轉換區塊。
  5. 一種視訊編碼裝置(100、300)，包括處理器，係配置用以：
    在一編碼區塊上應用(601)第一轉換；
    將一框內編碼區塊分割為至少二轉換區塊；
    在一編碼區塊上應用(601)第一轉換；
    對將要應用第二轉換之決策(602)作出回應：
    用信號發送(603)第二轉換之使用以用於一編碼區塊；及
    在該編碼區塊之轉換區塊上執行(604)第二轉換；及
    利用用信號發送資訊以編碼該編碼區塊。
  6. 一種視訊解碼裝置(200、300)，包括處理器，係配置用以：
    對代表用於一編碼區塊之第二轉換之資訊作出回應(650)，該編碼區塊係分割為至少二轉換區塊：
    在該編碼區塊之轉換區塊上執行逆第二轉換(660)；及
    在該編碼區塊之轉換區塊上執行逆第一轉換(680)；及
    解碼該逆轉換區塊。
  7. 如申請專利範圍第6項之裝置，其中當該編碼區塊之大小在寬度及高度大於一閥值時，或當該編碼區塊之大小在寬度或高度大於一閥值時，或當該編碼區塊之大小在寬度及高度小於一閥值時，或當該轉換區塊之大小在寬度及高度大於一閥值時，或當該轉換區塊之大小在寬度或高度大於一閥值時，或當該轉換區塊之大小在寬度及高度小於一閥值時，將應用第二轉換。
  8. 如申請專利範圍第6項之裝置，其中在轉換區塊等級選擇第二轉換。
  9. 一種電腦程式，包括程式碼指令，當其由處理器執行時用以實現如申請專利範圍第2項之方法之步驟。
  10. 一種非暫態電腦可讀取媒體，包括程式碼指令，當其由處理器執行時用以實現如申請專利範圍第2項之方法之步驟。
TW109125897A 2019-08-06 2020-07-31 視訊編碼及解碼之二次轉換 TW202107897A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP19306007 2019-08-06
EP19306007.6 2019-08-06
EP19306174.4 2019-09-23
EP19306174 2019-09-23
EP19306182 2019-09-24
EP19306182.7 2019-09-24

Publications (1)

Publication Number Publication Date
TW202107897A true TW202107897A (zh) 2021-02-16

Family

ID=71728748

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125897A TW202107897A (zh) 2019-08-06 2020-07-31 視訊編碼及解碼之二次轉換

Country Status (8)

Country Link
US (1) US20220345744A1 (zh)
EP (1) EP4011073A1 (zh)
KR (1) KR20220036982A (zh)
CN (1) CN114208178A (zh)
BR (1) BR112022001333A2 (zh)
CA (1) CA3149102A1 (zh)
TW (1) TW202107897A (zh)
WO (1) WO2021023552A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
CN114631314A (zh) * 2019-09-13 2022-06-14 交互数字Vc控股法国有限公司 变换大小与编码工具的相互作用
CN116527937A (zh) 2019-09-21 2023-08-01 Lg电子株式会社 图像解码方法、图像编码方法和数据发送方法
AU2020375518B2 (en) * 2019-11-01 2024-02-29 Lg Electronics Inc. Image coding method based on transform, and device therefor
CN114830655B (zh) * 2019-12-12 2023-08-18 寰发股份有限公司 视频编解码的方法与装置
WO2021141443A1 (ko) * 2020-01-10 2021-07-15 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN115606182A (zh) * 2020-03-25 2023-01-13 抖音视界有限公司（Cn） 使用增强二次变换的编解码视频处理

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
EP3443746B1 (en) * 2016-05-17 2021-07-21 ARRIS Enterprises LLC Template matching for jvet intra prediction
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
EP3462744A1 (en) * 2017-09-28 2019-04-03 Thomson Licensing Method and apparatus for encoding a picture block
US10827173B2 (en) * 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding

Also Published As

Publication number Publication date
EP4011073A1 (en) 2022-06-15
WO2021023552A1 (en) 2021-02-11
CN114208178A (zh) 2022-03-18
BR112022001333A2 (pt) 2022-03-22
CA3149102A1 (en) 2021-02-11
US20220345744A1 (en) 2022-10-27
KR20220036982A (ko) 2022-03-23

Similar Documents

Publication Publication Date Title
TW202107897A (zh) 視訊編碼及解碼之二次轉換
CN112352427B (zh) 基于图像块的非对称二元分区的视频编码和解码的方法和装置
EP3881541A1 (en) Virtual pipeline for video encoding and decoding
TW202118300A (zh) 同質語法
US20210400276A1 (en) Quantization for video encoding and decoding
JP2022510471A (ja) ピクチャの符号化および復号の方法および装置
CN112740674A (zh) 使用双预测进行视频编码和解码的方法和装置
CN113170210A (zh) 视频编码和解码中的仿射模式信令
CN114641994A (zh) 编码和解码方法及装置
TW202041033A (zh) 視訊編碼及解碼之熵編碼
TW202044835A (zh) 在視訊編碼之餘數編碼中常規二進位字元之彈性分配
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
JP7506063B2 (ja) ビデオ符号化および復号のための複数のコーディングユニットの中でグループ化するパラメータ
CN115769587A (zh) 精细控制图像编码和解码过程的方法和设备
EP4078953A1 (en) Subblock merge candidates in triangle merge mode
TW202106031A (zh) 使用高階語法元素用信號發送解碼資料之方法及裝置
CN112740683A (zh) 用于在为亮度和色度使用单独的译码树时确定色度量化参数的方法及装置
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
EP4014490A1 (en) Quantization matrix prediction for video encoding and decoding
CN114503562A (zh) 扩展运动信息比较
CN112913248A (zh) 用译码类型或译码树类型的信令进行视频编码和解码的方法和装置
CN113170149A (zh) 用于图片编码和解码的方法和设备