TWI681671B - 多重轉換預測 - Google Patents

多重轉換預測 Download PDF

Info

Publication number
TWI681671B
TWI681671B TW107110036A TW107110036A TWI681671B TW I681671 B TWI681671 B TW I681671B TW 107110036 A TW107110036 A TW 107110036A TW 107110036 A TW107110036 A TW 107110036A TW I681671 B TWI681671 B TW I681671B
Authority
TW
Taiwan
Prior art keywords
conversion
candidate
mode
conversion mode
reconstructed
Prior art date
Application number
TW107110036A
Other languages
English (en)
Other versions
TW201842779A (zh
Inventor
徐志瑋
江嫚書
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201842779A publication Critical patent/TW201842779A/zh
Application granted granted Critical
Publication of TWI681671B publication Critical patent/TWI681671B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供了一種有效的多重轉換的發送方法，以進一步提供編解碼性能。不是使用以預設且固定的方式分配給不同轉換的碼字，而是不同轉換模式被動態地映射到不同的碼字。預設程式被使用以將碼字分配給不同轉換模式。成本被計算以用於每個候選轉換模式，且具有最小成本的轉換模式被選擇為預測轉換模式，所選擇的預測轉換模式被分配最短碼字。

Description

多重轉換預測 【相關申請的交叉引用】
本發明主張在2017年03月31日提出申請的申請號為62/479,351的美國臨時專利申請以及在2017年03月31日提出申請的申請號為62/480,253的美國臨時專利申請的優先權。上述列出的申請的內容以引用方式併入本文中。
本發明一般涉及視訊處理。具體地，本發明涉及發送轉換操作的選擇。
除非此處另有說明外，本部分所描述的方法相對於下面列出的申請專利範圍而言不是先前技術，並且透過本部分的引入不被承認是先前技術。
高效視訊編解碼(High-Efficiency Video Coding，HEVC)是由關於視訊編解碼的聯合探索團隊開發的新國際視訊編解碼標準。HEVC以混合基於塊的運動補償的類DCT轉換編解碼架構為基礎。壓縮的基礎單元，稱為編碼單元(coding unit，CU)，為2Nx2N正方形塊，每個編碼單元可以被遞迴地分割成四個更小的編碼單元，直到預定義最小尺寸被達到。每個編碼單元包含一個或複數個預測單元(prediction unit，PU)。預測之後，一個編碼單元被進一步分割成轉換單元( transform unit，TU)以用於轉換和量化。
像很多其他先前標準，HEVC採用離散余弦轉換類型II(Discrete Cosine Transform type II，DCT-II)作為其核心轉換，因為其具有較強的“能量壓縮”特性。大部分的訊號資訊趨於被集中在DCT-II的少量低頻分量中，其基於瑪律可夫(Markov)處理的某些限制近似於用於訊號的卡洛南-洛伊變換(Karhunen-Loève Transform，KLT)(其在去相關意義上是最優的)。訊號f[n]的N點DCT-II被定義為：
Figure 107110036-A0305-02-0004-3
,k=0,1,2,...,N-1,
Figure 107110036-A0305-02-0004-2
對於畫面內預測殘差，存在除了可以用作核心轉換的DCT-II之外的轉換。在JCTVC-B024、JCTVC-C108和JCTVC-E125中，離散正弦轉換(Discrete Sine Transform，DST)被引入以可選地與DCT一起使用，以用於傾斜畫面內模式(oblique intra modes)。對於畫面間預測殘差，DCT-II是當前HEVC中使用的唯一轉換。然而，DCT-II不是所有情況下的最優轉換。在JCTVC-G281中，離散正弦轉換類型VII(Discrete Sine Transform type VII，DST-VII)和離散余弦轉換類型IV(Discrete Cine Transform type IV，DST-IV)被提出以在一些情況下替代DCT-II。同樣地，在JVET-D1001中，適應性多重轉換方案用於畫面內編解碼塊和畫面間編解碼塊的殘差編解碼。在HEVC中，除了當前轉換之外，其採用自DCT/DST族選擇的複數個轉換。新引入的轉換矩陣是DST-VII、DCT-VIII、DST-I和DCT-V。表1概述了N點輸入的每個轉換的轉換基礎函數。
Figure 107110036-A0305-02-0005-4
除了DCT轉換作為轉換單元的核心轉換之外，二次轉換用於進一步壓縮係數的能量並提高編解碼效率。例如，在JVET-D1001中，基於Hypercube-Givens轉換(Hypereube-Givens Transform，HyGT)的不可分離轉換用作二次轉換，其稱為不可分離二次轉換(non-separable secondary transform，NSST)。這個正交轉換的基礎元素是Givens旋轉，其由正交矩陣G(m,n,θ)來定義，具有由如下定義所示的元素：
Figure 107110036-A0305-02-0006-5
HyGT透過組合超立方體排列中的Givens旋轉的集合來實作。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非明顯的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
一些實施例提供了在編碼或解碼視訊圖像中的像素塊時發送轉換的選擇的方法。編碼器或解碼器接收透過使用從複數個候選轉換模式中選擇的目標轉換模式編碼的複數個轉換係數。編碼器或解碼器計算每個候選轉換模式的成本，並識別最低成本候選轉換模式作為預測轉換模式。編碼器或解碼器根據複數個候選轉換模式的順序，將不同長度的複數個碼字分配給複數個候選轉換模式。預測轉換模式被分配最短碼字。編碼器或解碼器識別匹配目標轉換模式的候選轉換模式，并將相應碼字分配給識別的候選轉換模式。
在一些實施例中，複數個候選轉換模式中的每個 轉換模式是不可分離二次轉換模式。在一些實施例中，複數個候選轉換模式中的每個轉換模式是核心轉換。在一些實施例中，像素塊由特定畫面內編解碼模式編解碼成轉換係數集。複數個候選轉換模式中的每一個是被映射到特定畫面內編解碼模式的候選轉換模式。在一些實施例中，複數個候選轉換模式的順序是基於複數個候選轉換模式的複數個已計算成本的。在一些實施例中，複數個候選轉換模式的順序是基於預設表格的，其中預設表格基於與預測轉換模式的複數個關係來指定順序。與每個候選轉換模式相關的成本可以是透過適應性地縮放或選擇像素塊的複數個轉換係數來計算的。與每個候選轉換模式相關的成本也可以是透過適應性地縮放或選擇像素塊的複數個已重構殘差來計算的。與每個候選轉換模式相關的成本可以是透過計算差值來確定，該差值為塊的複數個重構像素與複數個空間相鄰塊中的複數個重構像素之間的差來確定的，其中塊的複數個重構像素是自一個候選轉換模式而得的塊的重構殘差與塊的複數個已預測像素而被重構的。在一些實施例中，與每個候選轉換模式相關的複數個轉換係數是在重構相應候選轉換模式的殘差時適應性地縮放或選擇的。與每個候選轉換模式相關的像素塊的已重構殘差是在重構相應候選轉換模式的複數個像素時適應性地縮放或選擇的。正在重構的塊的像素集包括相鄰於複數個空間相鄰塊的複數個像素且不包括塊的所有像素。與每個候選轉換模式相關的成本是透過測量塊的已重構殘差的能量來確定的。
200‧‧‧集
400、500‧‧‧轉換單元
600‧‧‧編碼器
605‧‧‧視訊源
608‧‧‧減法器
609‧‧‧殘差訊號
610‧‧‧轉換模組
611‧‧‧量化模組
612、1012‧‧‧已量化係數
613、1013‧‧‧預測像素資料
614、1005‧‧‧逆量化模組
615、1015‧‧‧逆轉換模組
616、1016‧‧‧轉換係數
617‧‧‧已重構像素資料
619‧‧‧已重構殘差
620、1025‧‧‧畫面內圖像估計模組
625‧‧‧畫面內圖像預測模組
630、1035‧‧‧運動補償模組
635‧‧‧運動估計模組
636‧‧‧去量化轉換係數
645、1045‧‧‧環路濾波器
650‧‧‧已重構圖像暫存器
665、1065‧‧‧運動向量暫存器
675、1075‧‧‧運動向量預測模組
690‧‧‧熵編碼器
695、1095‧‧‧位元流
700‧‧‧轉換預測模組
705‧‧‧轉換模式編碼
710‧‧‧碼字
800、1200‧‧‧轉換成本分析模組
810~813、820、1210~1213、1220‧‧‧逆轉換
830~833、1230~1233‧‧‧已重構殘差
840~843、1240~1243‧‧‧成本
890~893、1290~1293‧‧‧碼字映射
900、1300‧‧‧流程
910~960、1310~1370‧‧‧步驟
1000‧‧‧視訊解碼器
1017‧‧‧已解碼像素資料
1019‧‧‧已重構殘差訊號
1050‧‧‧已解碼圖像暫存器
1055‧‧‧顯示設備
1090‧‧‧解析器
1100‧‧‧轉換碼字解碼模組
1400‧‧‧電子系統
1405‧‧‧匯流排
1410‧‧‧處理單元
1415‧‧‧影像處理單元
1420‧‧‧系統記憶體
1425‧‧‧網路
1430‧‧‧唯讀記憶體
1435‧‧‧永久存放裝置
1440‧‧‧輸入裝置
1445‧‧‧輸出設備
下列圖式用以提供本發明的進一步理解，並被納入且構成本發明的一部分。這些圖式說明了本發明的實施方式，並與說明書一起用以解釋本發明的原理。為了清楚地說明本發明的概念，這些圖式無需按照比例繪製，例如，與實際實施方式中的尺寸相比，一些元件可以不按照比例被示出。
第1圖顯示了68種畫面內預測模式與35個不可分離二次轉換集之間的相應關係。
第2圖示出了示例的不可分離二次轉換集及由截斷一元(truncate unary)編解碼所生成的其相應碼字。
第3圖示出了基於與轉換集的不同不可分離二次轉換模式相關的成本的不可分離二次轉換集的示例碼字分配。
第4圖示出了基於每個候選轉換模式的當前塊的已重構像素與相鄰塊的已重構像素之間的相關性的轉換單元的成本計算。
第5圖示出了基於測量每個候選轉換模式的已重構殘差的能量的轉換單元的成本計算。
第6圖示出了使用動態碼字分配以發送從複數個候選轉換中選擇一轉換的示例視訊編碼器。
第7圖示出了實作用於發送從複數個轉換中進行選擇的動態碼字分配的編碼器的部分結構。
第8圖概念性示出了成本分析及由轉換預測模組執行的碼字分配操作。
第9圖概念性示出了透過使用動態碼字分配發送從複數個候選轉換中選擇一轉換的流程。
第10圖示出了使用動態碼字分配以接收從複數個候選轉換中選擇一轉換的示例視訊解碼器。
第11圖示出了實作用於接收核心轉換的選擇和二次轉換的選擇的動態碼字分配的解碼器的部分結構。
第12圖概念性示出了成本分析及由轉換碼字解碼模組執行的碼字分配操作。
第13圖概念性示出了使用動態碼字分配以接收從複數個候選轉換中選擇一轉換的流程。
第14圖概念性示出了實作本發明的一些實施例的電子系統。
在下面詳細的說明書中，為了透徹理解相關教示內容，透過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者複數個示例性實施方式的電路。
隨著越來越多轉換正在被引入且用於編解碼，多重轉換的發送變得更加複雜，其可能需要更高的位元速率。然而，具有更高壓縮效率的多重轉換發送方案可以提高整體編解碼性能。
本發明一些實施例提供了有效的多重轉換的發送方法以進一步提高編解碼性能。不是使用以預設且固定的方式 分配給不同轉換的碼字，本方法將不同轉換模式動態地映射到不同碼字(轉換模式可以是特定轉換，或者根本不是轉換)。在一些實施例中，本方案使用預設程式以將碼字分配給不同轉換模式。在本程式中，成本被計算以用於每個候選轉換模式，並且具有最小成本的轉換模式被選擇為預測轉換模式，並且所選擇的預測轉換模式被分配最短碼字。
在一些實施例中，複數個候選轉換模式中的每個轉換模式是核心轉換，其可以是DCT或DST的類型。在一些實施例中，複數個候選轉換模式中的每個轉換模式是不可分離二次轉換模式。
在JEM-4.0(JVET的參考軟體)中，存在35×3個不可分離二次轉換以均用於4x4轉換單元尺寸和8x8轉換單元尺寸，其中35是由畫面內預測模式所指定的轉換集的數量，3是可用於每個畫面內預測模式的候選二次轉換的數量。不可分離二次轉換基於HyGT。這個正交轉換的基礎元素是Givens旋轉。每個畫面內預測模式的三種候選轉換可以被視為畫面內預測模式的不可分離二次轉換的不同的旋轉角度(即θ)。
第1圖顯示了68種畫面內預測模式與35個不可分離二次轉換集之間的相應關係。因此，例如，由畫面內模式48畫面內編解碼的像素塊將使用不可分離二次轉換集20以用於二次轉換。儘管第1圖中未示出，但是此像素塊可以使用二次轉換的不可分離二次轉換集20的3種可能的轉換中的任何一個或不使用這3種可能的轉換。像素塊可以是編碼單元、轉換單元、宏塊或被編碼為單元的任何像素矩形陣列。
第2圖示出了示例的不可分離二次轉換集200及其基於截斷一元(truncate unary)編解碼的相應碼字。本示例的不可分離二次轉換集可以是35個不可分離二次轉換集中的任何一個。轉換集200可以具有四種模式，其對應於在集200中選擇一個轉換或沒有不可分離二次轉換。每個模式與指示二次轉換被使用的索引相關，以使得四種模式被索引為‘0’到‘3’。不可分離二次轉換模式‘0’對應於沒有不可分離二次轉換。不可分離二次轉換模式‘1’對應於集200的第一不可分離二次轉換。不可分離二次轉換模式‘2’對應於集200的第二不可分離二次轉換。不可分離二次轉換模式‘3’對應於集200的第三不可分離二次轉換。每個不可分離二次轉換模式也被映射到一碼字。在本示例中，基於截斷一元編解碼的不可分離二次轉換模式被分配碼字。具體地，不可分離二次轉換模式‘0’被映射到最短碼字‘0’，而不可分離二次轉換模式‘1’、不可分離二次轉換模式‘2’和不可分離二次轉換模式‘3’分別被映射到更長的碼字‘10’、碼字‘110’、碼字‘111’。
第3圖示出了基於與轉換集的不同不可分離二次轉換模式相關的成本的不可分離二次轉換集的示例碼字分配。在本示例中，不可分離二次轉換模式‘3’具有最低成本，從而其被分配最短碼字“0”。因此不可分離二次轉換碼字‘3’也被選擇為預測的二次轉換。不可分離二次轉換模式‘0’具有次最低成本，從而其被分配次最短碼字“10”。不可分離二次轉換模式‘1’和不可分離二次轉換模式‘2’具有兩個最高成本，從而其分別被分配兩個最長的碼字“110”和碼字“111”。總之，不同的不 可分離二次轉換模式以由其各自的成本所確定的順序被分配不同長度的碼字。
第2圖和第3圖示出了透過根據成本排列不同二次轉換模式而將不同長度的碼字分配給不同的二次轉換。在一些實施例中，不同長度的碼字可以被分配給其他類型的候選轉換模式。具體地，在一些實施例中，不同長度的碼字透過根據成本排列不同核心轉換模式而被分配給不同的核心轉換模式。例如，在一些實施例中，對於每個畫面內編解碼塊，不同的可能核心轉換(例如，DCT-II、DCT-V、DCT-VIII、DST-I和DST-VII)的成本被計算，且具有最低成本的核心轉換被選擇為預測的核心轉換，並被分配最短碼字。
在一些實施例中，基於已計算成本而分配碼字的方案僅應用於候選轉換模式的子集。換言之，候選轉換模式中的一個或複數個被分配固定碼字，而無論成本如何，而剩餘的候選轉換模式基於與這些轉換模式相關的成本而被動態分配碼字。
通常，一個順序被創建以用於這個集中間的轉換，並且碼字根據此順序來進行分配。此外，更短的碼字被分配給位於此順序的前面附近的轉換，而更長的碼字被分配給位於此順序的末端附近的轉換。
存在將碼字分配給不同可能轉換的若干方法。在一些實施例中，預設表格被使用以指定與所選擇的預測的轉換相關的順序。例如，如果預測轉換是基於特定旋轉角度的二次轉換，則基於近旋轉角度的二次轉換被定位在此順序的前面附 近，而基於遠旋轉角度的二次轉換被定位到此順序的末端。在一些實施例中，基於結合第3圖所描述的成本，此順序被創建，其中最低成本轉換被選擇為預測的轉換，並被分配最短碼字。
在預測轉換模式被確定且所有其他轉換模式也被映射到順序或排序列表中之後，透過比較目標轉換與預測的轉換，編碼器可以發送目標轉換。目標轉換是由編碼器或編解碼流程選擇以編碼用於傳送或存儲的像素塊。如果目標轉換恰好是預測的轉換，則預測的轉換的碼字(通常是最短碼字)可以用於發送。如果不是這種情況，則編碼器還可以搜索排序列表以定位目標轉換在此順序中的位置及相應碼字。下面將結合第6圖-第8圖描述使用動態碼字以發送轉換選擇的示例編碼器。
在解碼器處，相同的成本計算被執行以用於轉換集中的不同轉換，基於相同的成本計算，相同的預測轉換被識別出，並且相同的排序列表被創建。如果解碼器接收預測的轉換的碼字，則解碼器將瞭解到目標轉換是預測的轉換。如果不是這種情況，則解碼器可以在排序列表中查找碼字，以識別出目標轉換。如果預測是成功的(例如，預測的轉換的擊中率較高，使得最短碼字被非常頻繁地使用)，則轉換選擇的發送可以使用更少碼元進行編解碼，而無需預測順序。下面將結合第10圖-第12圖描述接收動態碼字以選擇轉換的示例解碼器。
不同的方法可以被使用以計算多重轉換的成本。當特定轉換被應用時，特定轉換的成本是自當前塊的已重構像素或已重構殘差計算的。當前塊的量化轉換係數(或轉換單元係數)(由核心轉換和/或二次轉換所產生的)被去量化，隨後 被逆轉換(由逆二次轉換和/或核心轉換)，以生成已重構殘差。(殘差指的是由畫面內或畫面間預測所生成的塊的源像素值與塊的已預測像素值之間的像素值差；以及已重構殘差是自轉換係數重構的殘差。)透過將塊的已重構殘差與由畫面內或畫面間預測生成的預測子或已預測像素相加，當前塊的已重構像素可以被重構。(當前塊的已重構像素稱為特定核心轉換或二次轉換的一個假設重構，以用於一些實施例)。
在一些實施例中，邊界匹配方法被使用，以計算成本。假設已重構像素高度相關於重構相鄰像素，則特定轉換模式的成本可以透過測量邊界相似度而被計算。依據本發明的一實施方式，正在重構的該塊的像素集包括該複數個空間相鄰塊邊界處的複數個像素且不包括該塊的所有像素。
第4圖示出了基於當前塊的已重構像素與相鄰塊的已重構像素(塊的每個像素值由p標記)之間的相關性的轉換單元400的成本計算。對於轉換單元400，一個假設重構被生成以用於一個特定(核心或二次)轉換。在一些實施例中，與假設重構相關的成本被計算為：
Figure 107110036-A0305-02-0014-6
該成本基於沿著轉換單元的頂端邊界和左側邊界(具有先前重構塊的邊界)的像素而被計算。在本邊界匹配流程中，僅邊緣像素被重構。在一些實施例中，當用於不同核心轉換的成本計算重構像素時，逆二次轉換可以被省略以用於降低複雜度。在一些實施例中，當複數個已重構殘差時，複數個 轉換係數可以被適應性地縮放或選擇。也就是說，與每個候選轉換模式相關的成本是透過適應性地縮放或選擇像素塊的複數個轉換係數而被計算。在一些實施例中，當重構塊的複數個像素時，複數個已重構的殘差可被適應性地縮放或選擇。也就是說，與每個候選轉換模式相關的成本是透過適應性地縮放或選擇像素塊的複數個已重構殘差而被計算。在一些實施例中，邊界像素的不同數量或邊界的不同形狀(例如，僅頂端、僅上方、僅左側或者其他延伸)被使用以計算成本。在一些實施例中，不同的成本函數可以被使用以測量邊界相似度。例如，在一些實施例中，邊界匹配成本函數可以把用於二次轉換的相應的畫面內預測模式的方向考慮在內用於成本的計算。
在一些實施例中，不是基於已重構像素執行邊界匹配，成本是基於已重構殘差的特徵而被計算，例如，透過測量已重構殘差的能量。第5圖示出了基於測量已重構殘差的能量的轉換單元500的成本計算(位於像素位置處的每個殘差被標記為r。)。特定轉換的成本被計算為透過使用此轉換重構的選擇的殘差集的絕對值之和。
在不同的實施例中，殘差的不同集(或不同形狀)可以被使用以生成成本。具體地，成本1被計算為頂端列和左側的殘差的絕對值之和：
Figure 107110036-A0305-02-0015-7
具體地，成本2被計算為殘差的中心區域的絕對 值之和：
Figure 107110036-A0305-02-0016-8
具體地，成本3被計算為殘差的右下角區域的絕對值之和：
Figure 107110036-A0305-02-0016-9
示例視訊編碼器
第6圖示出了使用動態碼字分配以發送從複數個候選轉換中選擇一轉換的示例視訊編碼器600。如圖所示，視訊編碼器600從視訊源605接收輸入視訊訊號並將該訊號編碼成位元流695。視訊編碼器600具有用於編碼視訊訊號605的若干組件或模組，包括轉換模組610、量化模組611、逆量化模組614、逆轉換模組615、畫面內圖像估計模組620、畫面內圖像預測模組625、運動補償模組630、運動估計模組635、環路濾波器645、已重構圖像暫存器650、運動向量暫存器665、運動向量預測模組675以及熵編碼器690。
在一些實施例中，模組610-模組690是由計算設備或電子裝置的一個或複數個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組610-模組690是由電子裝置的一個或複數個積體電路(integrated circuit，IC)實作的硬體電路的模組。雖然模組610-模組690被示出為分離 的模組，但是一些模組可以被組合成單個模組。
視訊源605提供原始視訊訊號，其呈現沒有壓縮的每個視訊資訊框的像素資料。減法器608計算視訊源605的原始視訊像素資料與來自於運動補償630或者畫面內圖像預測625的預測像素資料613之間的差。轉換610將此差(或殘差像素資料)轉換為轉換係數(例如，透過執行離散餘弦轉換)。量化器611將轉換係數量化為已量化資料(或已量化係數)，其由熵編碼器690編碼到位元流695中。
逆量化模組614去量化已量化資料(或已量化係數)612，以獲得轉換係數，逆轉換模組615對轉換係數執行逆轉換以產生已重構殘差619。已重構殘差619與預測像素資料613進行相加，以產生已重構像素資料617。在一些實施例中，已重構像素資料617被暫時存儲在線暫存器(未示出)中以用於畫面內圖像預測和空間運動向量預測。已重構像素由環路濾波器645進行濾波並被存儲在已重構圖像暫存器650中。在一些實施例中，已重構圖像暫存器650是視訊編碼器600的外部的記憶體。在一些實施例中，已重構圖像暫存器650是視訊編碼器600的內部的記憶體。
畫面內圖像估計模組620基於已重構像素資料617執行畫面內預測，以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器690以被編碼到位元流695中。畫面內預測資料還由畫面內圖像預測模組625使用，以產生預測像素資料613。
運動估計模組635透過產生對存儲在已重構圖像 暫存器650中的先前已解碼資訊框的像素資料的運動向量，執行畫面間預測。這些運動向量被提供給運動補償模組630以產生預測像素資料。不是將完整實際運動向量編碼到位元流中，視訊編碼器600使用運動向量預測產生預測的運動向量，並且用於運動補償的運動向量與預測的運動向量之間的差被編碼為殘差運動資料並被存儲在位元流695中。
基於生成用於編碼先前視訊資訊框的參考運動向量(motion vector，MV)，即，用於執行運動補償的運動補償運動向量，運動向量預測模組675生成預測的運動向量。運動向量預測模組675從來自于運動向量暫存器665的先前視訊資訊框中檢索出參考運動向量。視訊編碼器600將生成以用於當前視訊資訊框的運動向量存儲在運動向量暫存器665中作為用於生成預測的運動向量的參考運動向量。
運動向量預測模組675使用參考運動向量創建預測的運動向量。預測的運動向量可以由空間運動向量預測或時間運動向量預測計算。預測的運動向量可以由空間運動向量預測子或時間運動向量預測計算。當前資訊框(殘差運動資料)的預測的運動向量與運動補償運動向量(motion compensation MV，MC MV)之間的差由熵編碼器690編碼進位元流695中。
熵編碼器690透過使用諸如上下文適應性二進制算術編碼(Context-based Adaptive Binary Arithmetic Coding，CABAC)或霍夫曼編碼(Huffman encoding)的熵編碼技術將各種參數和資料編碼到位元流695中。熵編碼器690將諸如已量化轉換資料和殘差運動資料的參數編碼到位元流中。
環路濾波器645對已重構像素資料617進行濾波操作或平滑操作以減少編碼的失真，特別是在像素像素塊的邊界處。在一些實施例中，所執行的濾波操作包括採樣自適應偏移(Sample Adaptive Offset，SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(Adaptive Loop Filter，ALF)。
第7圖示出了實作用於發送從複數個轉換中進行選擇的動態碼字分配的編碼器600的部分。具體地，編碼器600實作用於發送核心轉換或二次轉換的選擇的動態碼字。
在一個實施例中，轉換模組610對殘差訊號609執行核心轉換和不可分離二次轉換，並且逆轉換模組615執行相應的逆核心轉換和逆二次轉換。編碼器600選擇用於轉換模組610和逆轉換模組615的核心轉換(目標核心模式)和二次轉換(目標不可分離二次轉換模式)。在另一實施例中，轉換模組610僅對殘差訊號609執行核心轉換，並且逆轉換模組615僅執行相應的逆核心轉換。編碼器600選擇核心轉換(目標核心模式)以用於轉換模組610和逆轉換模組615。
為了最小化用於發送當前塊的轉換的選擇的位元數量，編碼器600包括轉換預測模組700，其執行以由轉換模組610和逆轉換模組615所使用的核心轉換和/或二次轉換為目標的預測。(因此，用於編碼的核心轉換和二次轉換稱為目標轉換)。
在一些實施例中，當前編解碼像素塊時，編碼器600執行不可分離二次轉換或核心轉換的轉換模式預測。例如，當當前塊由畫面內預測編解碼時，編碼器600可以執行用 於發送不可分離二次轉換模式選擇但不用於發送核心模式選擇的轉換預測。當當前塊由畫面間預測編解碼時，編碼器600可以執行用於發送核心模式選擇但不用於發送不可分離二次轉換模式選擇的轉換預測。編碼器可以執行用於不可分離二次轉換但不用於核心轉換的轉換預測，以用於畫面內片段的畫面內塊。編碼器可以執行用於核心但不用於不可分離二次轉換的轉換預測，以用於畫面間片段的畫面間塊。
當轉換預測被執行以用於發送核心轉換時，轉換預測模組700執行候選核心轉換(例如，DST-VII、DCT-VIII、DST-I和DCT-V)中的每個的成本分析。基於成本分析，轉換預測模組700將碼字分配給候選核心轉換中的每個。基於目標核心轉換的標識和分配給候選核心轉換的碼字，轉換預測模組700(在轉換模式編碼705處)識別分配給匹配候選核心轉換的碼字710。這個碼字710被提供給熵編碼器690，以在位元流695中發送目標核心轉換。
同樣地，當轉換預測被執行以用於發送不可分離二次轉換時，轉換預測模組700執行候選二次(即不可分離二次轉換)轉換模式(位於不同HyGT旋轉角度的不可分離二次轉換或者根本沒有不可分離二次轉換)中的每個的成本分析。基於成本分析，轉換預測模組700將碼字分配給候選二次轉換中的每個。基於目標二次轉換的標識和分配給候選二次轉換的碼字，轉換預測模組700識別(在轉換模式編碼705處)分配給匹配候選二次轉換的碼字710。這個碼字710被提供給熵編碼器690，以在位元流695中發送目標二次轉換。
在一些實施例中，編碼器執行不可分離二次轉換與核心轉換一起的轉換模式預測。換句話說，轉換預測模組700生成每個可能的不可分離二次轉換與核心轉換的組合的碼字。每個可能的不可分離二次轉換與核心轉換的組合的成本被計算，且最短碼字(即，‘0’)將被分配給最低成本的不可分離二次轉換與核心轉換的組合。每個不可分離二次轉換與核心轉換的組合可以被認為是一個候選轉換模式，並且轉換預測模組700計算成本，並分配碼字以用於NxM種候選轉換模式，其中N是可能的不可分離二次轉換模式的數量，M是可能的核心轉換模式的數量。
第8圖概念性示出了成本分析及由轉換預測模組700執行的碼字分配操作。這些操作在第7圖和第8圖中一起被示出，其由轉換預測模組700中的轉換成本分析模組800執行。
如圖所示，轉換成本分析模組800接收當前塊的逆量化模組614的輸出，其包括去量化轉換係數636。基於候選轉換模式中的每個(模式0-模式3分別的逆轉換810-逆轉換813)，轉換成本分析模組800對去量化轉換係數636執行逆量化。轉換成本分析模組800還可以執行其他所需的逆轉換820(例如，在逆二次轉換中的每個之後的逆核心轉換)。每個逆候選轉換模式的結果被作為這個候選轉換模式的已重構殘差(模式0-模式3的已重構殘差830-已重構殘差833)。隨後，轉換成本分析模組800計算候選轉換模式中每個的成本(分別為模式0-模式3的成本840-成本843)。基於候選轉換模式的 已重構殘差和/或自重構圖像暫存器650檢索的像素值(例如，相鄰塊的已重構像素的)，這些成本被計算。上面結合第4圖和第5圖描述了候選轉換模式的成本的計算。
基於候選轉換模式的已計算成本的結果，轉換成本分析模組800執行碼字分配，並產生每個候選轉換模式的碼字映射，即890-893。這些映射將碼字分配給每個候選轉換模式。具有最低已計算成本的候選轉換模式被選擇或識別為預測轉換模式，並被分配最短碼字(例如，第3圖中的不可分離二次轉換模式3)，其在預測的轉換匹配目標轉換時降低位元速率。如前面所述，碼字的分配基於不同候選轉換模式的順序，這個順序可以基於已計算成本或基於與諸如HyGT的旋轉角度的所選擇的預測的轉換相關的預設表格。
第9圖概念性示出了透過使用動態碼字分配發送從複數個候選轉換中選擇一轉換的流程900。在一些實施例中，透過執行存儲在電腦可讀介質中的指令，實作視訊編碼器600的計算設備的一個或複數個處理單元(例如，處理器)執行流程900。在一些實施例中，實作編碼器600的電子裝置執行流程900。在一些實施例中，視訊編碼器600在對視訊圖像的當前像素塊進行編碼時，執行流程900。編碼器可以在發送核心轉換或二次轉換(例如，不可分離二次轉換)模式時執行流程900。
流程900始於編碼器600接收(在步驟910中)轉換係數，其(在編碼器600處)由用於編碼像素塊的目標轉換模式進行編碼。目標轉換模式是自複數個候選轉換模式選擇 的。
編碼器600(在步驟920中)計算每個候選轉換模式的成本。在一些實施例中，成本透過測量每個候選轉換的已重構殘差的能量而被計算。在一些實施例中，成本透過匹配相鄰塊的像素與每個候選轉換的已重構像素而被計算。編碼器600(在步驟930中)也識別最低成本候選轉換模式作為預測轉換模式。
編碼器600(在步驟940中)根據複數個候選轉換模式的順序，將不同長度的碼字分配給複數個候選轉換。此順序可以是基於候選轉換模式的已計算成本。預測轉換模式被分配最短碼字。
編碼器600(在步驟950中)識別出匹配目標轉換模式的候選轉換模式。編碼器600(在步驟960中)將分配給所識別的匹配候選轉換模式的碼字編碼到位元流中。隨後，流程900結束。
示例視訊解碼器
第10圖示出了使用動態碼字分配以接收從複數個候選轉換中選擇一轉換的示例視訊解碼器1000。如圖所示，視訊解碼器1000是圖像解碼或視訊解碼電路，其接收位元流1095並將位元流的內容解碼為視訊資訊框的像素資料以用於輸出。視訊解碼器1000具有用於解碼位元流1095的若干組件或模組，包括逆量化模組1005，逆轉換模組1015，畫面內圖像預測模組1025，運動補償模組1035，環路濾波器1045，已解碼圖像暫存器1050，運動向量暫存器1065，運動向量預測 模組1075和位元流解析器1090。
在一些實施例中，模組1010-模組1090是由計算設備的一個或複數個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組1010-1090是由電子設備的一個或複數個積體電路實作的硬體電路的模組。雖然模組1010-1090被表示為分離的模組，但是一些模組可以被組合成單個模組。
解析器1090(或熵解碼器)接收位元流1095，並且根據由視訊編碼或圖像編碼標准定義的語法執行原始解析。所解析的語法元素包括各種頭元素，旗標以及已量化資料(或已量化係數)1012。解析器1090透過使用諸如上下文適應性二進制算術編碼或霍夫曼編碼的熵編碼技術來解析出各種語法元素。
逆量化模組1005對已量化資料(或已量化係數)1012進行去量化以獲得轉換係數，並且逆轉換模組1015對轉換係數1016執行逆轉換以產生已重構殘差訊號1019。已重構殘差訊號1019與來自於畫面內預測模組1025或運動補償模組1035的預測像素資料1013進行相加，以產生已解碼像素資料1017。已解碼像素資料由環路濾波器1045濾波並被存儲在已解碼圖像暫存器1050中。在一些實施例中，已解碼圖像暫存器1050是視訊解碼器1000的外部記憶體。在一些實施例中，已解碼圖像暫存器1050是視訊解碼器1000的內部記憶體。
畫面內圖像預測模組1025從位元流1095接收畫面內預測資料，並且根據其產生來自於存儲在已解碼畫面暫存 器1050中的已解碼像素資料1017的預測像素資料1013。在一些實施例中，已解碼像素資料1017也被存儲在用於畫面內圖像預測和空間運動向量預測的線暫存器(未示出)中。
在一些實施例中，已解碼圖像暫存器1050的內容被用於顯示。顯示設備1055直接檢索出已解碼圖像暫存器1050的內容以進行顯示，或將已解碼圖像暫存器的內容檢索到顯示暫存器。在一些實施例中，顯示設備透過像素傳輸從已解碼圖像暫存器1050接收像素值。
根據運動補償運動向量，自於存儲在已解碼圖像暫存器1050中的已解碼像素資料1017，運動補償模組1035產生預測像素資料1013。這些運動補償運動向量透過將自位元流1095接收的殘差運動資料與自運動向量預測模組1075接收的預測的運動向量進行相加而被解碼。
基於生成以用於先前視訊資訊框的參考運動向量，例如，用於執行運動補償的運動補償運動向量，運動向量預測模組1075產生預測的運動向量。運動向量預測模組1075從運動向量暫存器1065中檢索先前視訊資訊框的參考運動向量。視訊解碼器1000將生成以用於當前視訊資訊框的運動補償運動向量存儲在運動向量暫存器1065中作為用於產生預測的運動向量的參考運動向量。
環路濾波器1045對已解碼像素資料1017執行濾波操作或平滑操作，以減少編解碼偽影，特別是在像素像素塊的分界線處。在一些實施例中，所執行的濾波操作包括採樣適應性偏移。在一些實施例中，濾波操作包括適應性環路濾波器。
第11圖示出了實作接收核心轉換的選擇和二次轉換的選擇的動態碼字分配的解碼器1000的部分。
熵解碼器1090解析位元流1095，並僅獲得核心轉換模式的碼字，或者用於編碼當前像素塊的核心轉換的碼字和二次轉換(即不可分離二次轉換)模式的碼字(即目標轉換)。轉換碼字解碼模組1100解碼已解析碼字，以識別目標核心轉換和/或二次轉換。隨後，逆轉換模組1015根據所識別的核心轉換模式和/或二次轉換模式，執行逆轉換操作。
為了正確解碼目標核心轉換模式和/或二次轉換模式的已解析碼字，解碼器1000執行不同候選轉換的成本分析，並產生核心轉換模式和/或二次轉換模式的碼字映射，即碼字映射1290-碼字映射1293。這些映射將碼字分配給每個候選轉換模式。在一些實施例中，基於當前塊是畫面內編解碼還是畫面間編解碼，或者當前塊是位於畫面內片段還是畫面間片段中，轉換碼字解碼模組1100將基於已解析碼字使用碼字映射1290-碼字映射1293來查找匹配核心轉換或二次轉換。根據本發明的一實施方式，複數個候選轉換模式中的每一個是被映射到特定畫面內編解碼模式的候選轉換模式。在一些實施例中，每個候選轉換可以對應於核心轉換與二次轉換的組合，並且轉換碼字解碼模組1100相應地將已解析碼字映射到核心轉換與二次轉換的匹配組合。匹配的核心轉換與二次轉換的標識被提供給逆轉換模組1015。
第12圖概念性示出了成本分析及執行以用於轉換碼字解碼模組1100的碼字分配操作。這些操作在第11圖和第 12圖中一起被示出，其由將解碼器1000中的轉換成本分析模組1200執行。
如圖所示，轉換成本分析模組1200接收當前塊的逆量化模組1014的輸出，其包括已去量化的轉換係數1016。基於候選轉換模式中每個(模式0-模式3分別的逆轉換1210-逆轉換1213)，轉換成本分析模組1200對轉換係數1016執行逆轉換。轉換成本分析模組1200還可以執行其他所需的逆轉換1220(例如，在逆二次轉換中的每個之後的逆核心轉換)。每個逆候選轉換模式的結果被作為這個候選轉換模式的已重構殘差(分別為模式0-模式3的已重構殘差1230-已重構殘差1233)。隨後，轉換成本分析模組1200計算候選轉換模式中每個的成本(分別為模式0-模式3的成本1240-成本1243)。基於候選轉換模式的已重構殘差和/或自已解碼圖像暫存器1050檢索的像素值(例如，用於相鄰塊的已解碼像素)，這些成本被計算。上面結合第4圖和第5圖描述了候選轉換模式的成本的計算。
基於候選轉換模式的已計算成本的結果，轉換成本分析模組1200執行碼字分配，其將碼字分配給每個候選轉換模式(模式0-模式3分別的已分配的碼字1290-碼字1293)。具有最低已計算成本的候選轉換模式對應於預測的轉換模式，並被分配最短碼字。碼字的分配基於不同候選轉換模式的順序，這個順序以已計算成本或基於與諸如HyGT的旋轉角度的所選擇的預測的轉換相關的預設表格為基礎的。
第13圖概念性示出了使用動態碼字分配以接收從 複數個候選轉換中選擇一轉換的流程1300。在一些實施例中，透過執行存儲在電腦可讀介質中的指令，實作解碼器1000的計算設備的一個或複數個處理單元(例如，處理器)執行流程1300。在一些實施例中，實作解碼器1000的電子裝置執行流程1300。在一些實施例中，解碼器1000在對視訊圖像中的當前像素塊進行解碼時，執行流程1300。解碼器可以在解析位元流1095，並解碼核心轉換或二次轉換(例如，不可分離二次轉換)模式的選擇時，執行流程1300。
流程1300始於解碼器1000(在步驟1310中)接收轉換係數，轉換係數由用於編碼像素塊的目標轉換模式(在編碼器處)進行編碼。目標轉換模式是複數個候選轉換模式中的一個。
解碼器1000(在步驟1320中)計算每個候選轉換模式的成本。在一些實施例中，成本透過測量每個候選轉換(逆變換的輸出)的已重構殘差的能量而被計算。在一些實施例中，每一個成本是透過將相鄰塊的像素與經由所有候選轉換中其中一個候選轉換而得的重構像素(預測像素和一個候選轉換而得的重建殘差之和)進行匹配而被計算。解碼器1000(在步驟1330中)也識別最低成本候選轉換模式作為預測轉換模式。
解碼器1000(在步驟1340中)根據複數個候選轉換模式的順序，將不同長度的碼字分配給複數個候選轉換。此順序可以是基於候選轉換模式的已計算成本。具有最低成本的候選轉換模式被分配最短碼字。
解碼器1000(在步驟1350中)自位元流解析出碼 字。解碼器1000(在步驟1360中)匹配已解析碼字與分配給候選轉換模式的碼字，以識別目標轉換。隨後，解碼器1000(在步驟1370中)透過使用所識別的候選轉換模式，解碼當前像素塊，即基於所識別的目標轉換模式執行逆轉換。隨後，流程1300結束。
示例電子系統
很多上述的特徵和應用可以被實作為軟體處理，其被指定為記錄在電腦可讀存儲介質(computer readable storage medium)(也稱為電腦可讀介質)上的指令集。當這些指令由一個或者複數個計算單元或者處理單元(例如，一個或者複數個處理器、處理器核或者其他處理單元)來執行時，則這些指令使得該處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器(flash drive)、隨機存取記憶體(random access memory，RAM)晶片、硬碟、可讀寫可程式設計唯讀記憶體(erasable programmable read only memory，EPROM)，電可擦除可程式設計唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)等。該電腦可讀介質不包括透過無線或有線連接的載波和電訊號。
在本說明書中，術語“軟體”意味著包括唯讀記憶體中的韌體或者存儲在磁存放裝置中的應用程式，該應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可 以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實作方式，該機器實作方式執行和實施該軟體程式的操作。
第14圖概念性示出了實作本發明一些實施例的電子系統1400。電子系統1400可以是電腦(例如，臺式電腦、個人電腦、平板電腦等)、電話、PDA或者其他種類的電子設備。這個電子系統包括各種類型的電腦可讀媒質和用於各種其他類型的電腦可讀媒質的介面。電子系統1400包括匯流排1405、處理單元1410、影像處理單元(graphics-processing unit，GPU)1415、系統記憶體1420、網路1425、唯讀記憶體(read-only memory，ROM)1430、永久存放裝置1435、輸入裝置1440和輸出設備1445。
匯流排1405集體表示與大量的電子系統1400通信連接的內部設備的所有系統匯流排、外設匯流排和晶片組匯流排。例如，匯流排1405透過影像處理單元1415、唯讀記憶體1430、系統記憶體1420和永久存放裝置1435，與處理單元1410通信連接。
對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行本發明的處理。在不同實施例中，該處理單元可以是單個處理器或者多核處理器。某些指令被傳輸影像處理單元1415和並被其執行。該影像處理單元1415可以卸載各種計算或補充由處理單元1410提供的影像 處理。
唯讀記憶體1430存儲處理單元1410或者電子系統的其他模組所需要的靜態資料和指令。另一方面，永久存放裝置1435是一種讀寫記憶體設備(read-and-write memory)。這個設備是一種非易失性(non-volatile)記憶體單元，其即使在電子系統1400關閉時也存儲指令和資料。本發明的一些實施例使用大型存放區設備(例如磁片或光碟及其相應的磁碟機)作為永久存放裝置1435。
其他實施例使用卸載式存放裝置設備(如軟碟、快閃記憶體設備等，以及其相應的磁碟機)作為該永久存放裝置。與永久存放裝置1435一樣，系統記憶體1420是一種讀寫記憶體設備。但是，與存放裝置1435不一樣的是，該系統記憶體1420是一種易失性(volatile)讀寫記憶體，例如隨機讀取記憶體。系統記憶體1420存儲一些處理器在運行時需要的指令和資料。在一些實施例中，根據本發明的處理被存儲在該系統記憶體1420、永久存放裝置1435和/或唯讀記憶體1430中。例如，各種記憶體單元包括用於根據一些實施例的處理多媒體剪輯的指令。對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行某些實施例的處理。
匯流排1405也連接到輸入裝置1440和輸出設備1445。該輸入裝置1440使得使用者溝通資訊並選擇指令到該電子系統上。該輸入裝置1440包括字母數位元鍵盤和指點設備(也被稱為“遊標控制設備”)，攝像機(如網路攝像機 (webcam))，用於接收語音命令的麥克風或類似的設備等。輸出設備1445顯示由電子系統生成的圖像或以其他方式輸出的資料。輸出設備1445包括印表機和顯示裝置，例如陰極射線管(cathode ray tube，CRT)或液晶顯示器(liquid crystal display，LCD)，以及揚聲器或類似的音訊輸出設備。一些實施例包括諸如同時用作輸入裝置和輸出設備的觸控式螢幕等設備。
最後，如第14圖所示，匯流排1405也透過網路介面卡(未示出)將電子系統1400耦接到網路1425。在這個方式中，電腦可以是電腦網路(例如，局域網(local area network，LAN)、廣域網路(wide area network，WAN)或者內聯網)或者網路的網路(例如互聯網)的部分。電子系統1400的任一或者所有元件可以與本發明結合使用。
一些實施例包括電子元件，例如，微處理器、存放裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質(可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質)。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟(read-only compact disc，CD-ROM)，可燒錄光碟(recordable compact disc，CD-R)、可讀寫光碟(rewritable compact disc，CD-RW)、唯讀數位通用光碟(read-only digital versatile disc)(例如，DVD-ROM，雙層DVD-ROM)、各種可記錄/可讀寫DVD(例如DVD RAM、DVD-RW、DVD+RW等)、快閃記憶體(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固態硬碟、唯讀和可燒錄藍光® (Blu-Ray®)盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器(interpreter)而執行的高級代碼的檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路(application specific integrated circuit，ASIC)或現場可程式設計閘陣列(field programmable gate array，FPGA)。在一些實施例中，這種積體電路執行存儲在該電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件(programmable logic device，PLD)，ROM或RAM設備中的軟體。
如本發明的說明書和任一請求項中所使用，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子設備或其他技術設備。這些術語不包括人或群體。為了本說明書的目的，術語顯示或顯示裝置指在電子設備上進行顯示。如本發明的說明書和任一請求項中所使用，術語“電腦可讀介質”、“電腦可讀媒質”和“機器可讀介質”完全局限於有形的、物理的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被 實施，而不脫離本發明的精神。此外，大量的圖(包括第9圖和第13圖)概念性示出了處理。這些處理的具體操作可以不以所示以及所描述的確切順序來被執行。這些具體操作可用不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施例中被執行。另外，該處理透過使用幾個子處理而被實作，或者作為更大巨集處理的部分。因此，本領域通常知識者將能理解的是，本發明不受前述說明性細節的限制，而是由請求項加以界定。
附加說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是“相關聯的”，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為“相互關聯”，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互“可操作連接”或“可操作耦接”，以實作特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以根據上下文和/或應用從複數轉換 為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域的通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作“開放”術語，例如，“有”應理解為“至少有”，“包括”應解釋為“包括但不限於”等。本領域的通常知識者可以進一步理解，若計畫介紹特定數量的請求項內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面請求項可能包含短語“至少一個”和“一個或複數個”，以介紹請求項內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“a”或“an”介紹請求項內容，而限制了任何特定的請求項。甚至當相同的請求項包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“a”或“an”，則應被解釋為表示至少一個或者更多，對於用於介紹請求項的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書 中、請求項中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，請求項表示真實的範圍和精神。

Claims (15)

  1. 一種視訊編解碼方法，包括：接收像素塊的複數個轉換係數，該複數個轉換係數透過使用從複數個候選轉換模式中選擇的目標轉換模式而被編碼；計算每個候選轉換模式的成本，並識別最低成本候選轉換模式作為預測轉換模式；根據該複數個候選轉換模式的順序，將不同長度的複數個碼字分配給該複數個候選轉換模式，其中該預測轉換模式被分配最短碼字；識別匹配該目標轉換模式的候選轉換模式，并將相應碼字分配給識別的候選轉換模式；以及透過使用該識別的轉換模式，編解碼該像素塊以用於傳輸或顯示。
  2. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，該複數個候選轉換模式中的每個轉換模式是不可分離二次轉換模式。
  3. 根據申請專利範圍第2項所述之視訊編解碼方法，其中，該像素塊由特定畫面內編解碼模式編解碼成轉換係數集，其中該複數個候選轉換模式中的每一個是被映射到該特定畫面內編解碼模式的候選轉換模式。
  4. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，該複數個候選轉換模式中的每個轉換模式是核心轉換。
  5. 根據申請專利範圍第1項所述之視訊編解碼方法，其中， 該複數個候選轉換模式的順序以該複數個候選轉換模式的複數個已計算成本為基礎。
  6. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，該複數個候選轉換模式的順序是基於預設表格的，其中該預設表格基於與該預測轉換模式的複數個關係來指定該順序。
  7. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，與每個候選轉換模式相關的成本是透過適應性地縮放或選擇該像素塊的複數個轉換係數而被計算。
  8. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，與每個候選轉換模式相關的成本是透過適應性地縮放或選擇該像素塊的複數個已重構殘差而被計算。
  9. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，與每個候選轉換模式相關的成本是透過計算差值來確定，該差值為塊的複數個重構像素和複數個空間相鄰塊中的複數個重構像素之間的差值，其中該塊的複數個重構像素是由相應候選轉換模式而得的複數個殘差和複數個已預測像素所重構，而複數個空間相鄰塊中的複數個重構像素是由相鄰塊的複數個殘差和相鄰塊的複數個已預測像素所重構。
  10. 根據申請專利範圍第9項所述之視訊編解碼方法，其中，在重構該相應候選轉換模式的該複數個殘差時，與每個候選轉換模式相關的複數個轉換係數適應性地被縮放或選擇。
  11. 根據申請專利範圍第9項所述之視訊編解碼方法，其中，在重構該相應候選轉換模式的該複數個像素時，與每個候選轉換模式相關的該像素塊的該複數個已重構殘差適應性地被縮放或選擇。
  12. 根據申請專利範圍第9項所述之視訊編解碼方法，其中，正在重構的該塊的像素集包括該複數個空間相鄰塊邊界處的複數個像素且不包括該塊的所有像素。
  13. 根據申請專利範圍第1項所述之視訊編解碼方法，其中，與每個候選轉換模式相關的成本是透過測量該塊的該複數個已重構殘差的能量而被確定。
  14. 一種電子裝置，包括：視訊轉碼器電路，用於：接收複數個轉換係數，該複數個轉換係數透過使用從複數個候選轉換模式中選擇的目標轉換模式而被編碼；計算每個候選轉換模式的成本，並識別最低成本候選轉換模式作為預測轉換模式；根據該複數個候選轉換模式的順序，將不同長度的複數個碼字分配給該複數個候選轉換模式，其中該預測轉換模式被分配最短碼字；識別匹配該目標轉換模式的候選轉換模式；將分配給識別匹配的候選轉換模式的碼字編碼到位元流中；以及存儲或傳輸編碼的該位元流。
  15. 一種電子裝置，包括： 視訊解碼器電路，用於：接收複數個轉換係數，該複數個轉換係數透過使用從複數個候選轉換模式中選擇的目標轉換模式而被編碼；計算每個候選轉換模式的成本，並識別最低成本候選轉換模式作為預測轉換模式；根據該複數個候選轉換模式的順序，將不同長度的複數個碼字分配給該複數個候選轉換模式，其中該預測轉換模式被分配最短碼字；從位元流中解析碼字，並將解析的該碼字與分配給複數個候選轉換模式的複數個碼字進行匹配，以識別該目標轉換模式；透過使用識別的目標轉換模式，解碼像素塊；以及輸出解碼的該像素塊。
TW107110036A 2017-03-31 2018-03-23 多重轉換預測 TWI681671B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762479351P 2017-03-31 2017-03-31
US201762480253P 2017-03-31 2017-03-31
US62/479,351 2017-03-31
US62/480,253 2017-03-31
US15/928,092 2018-03-22
US15/928,092 US20180288439A1 (en) 2017-03-31 2018-03-22 Multiple Transform Prediction

Publications (2)

Publication Number Publication Date
TW201842779A TW201842779A (zh) 2018-12-01
TWI681671B true TWI681671B (zh) 2020-01-01

Family

ID=63671255

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110036A TWI681671B (zh) 2017-03-31 2018-03-23 多重轉換預測

Country Status (4)

Country Link
US (1) US20180288439A1 (zh)
CN (1) CN110476426A (zh)
TW (1) TWI681671B (zh)
WO (1) WO2018177300A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841578B2 (en) * 2018-02-12 2020-11-17 Tencent America LLC Method and apparatus for using an intra prediction coding tool for intra prediction of non-square blocks in video compression
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
CN116847081A (zh) * 2018-04-01 2023-10-03 Lg电子株式会社 图像解码设备、图像编码设备和用于发送视频信号的设备
US10536720B2 (en) * 2018-05-07 2020-01-14 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US10645396B2 (en) * 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
US10666981B2 (en) 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10687081B2 (en) * 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
CN116055718A (zh) 2018-09-05 2023-05-02 Lg电子株式会社 设备对图像信号进行编码/解码的方法及比特流发送方法
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11546632B2 (en) 2018-12-19 2023-01-03 Lg Electronics Inc. Method and device for processing video signal by using intra-prediction
US11025909B2 (en) * 2019-03-21 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020228673A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Conditional use of reduced secondary transform for video processing
CN113950828B (zh) 2019-06-07 2024-07-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
EP3754981A1 (en) * 2019-06-20 2020-12-23 InterDigital VC Holdings, Inc. Explicit signaling of reduced secondary transform kernel
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN115699737A (zh) * 2020-03-25 2023-02-03 抖音视界有限公司 变换跳过模式的隐式确定
WO2023131299A1 (en) * 2022-01-07 2023-07-13 Mediatek Inc. Signaling for transform coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299622A (zh) * 2011-01-07 2013-09-11 联发科技（新加坡）私人有限公司 改进型帧内亮度预测模式编码方法及装置
US9219915B1 (en) * 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US5646618A (en) * 1995-11-13 1997-07-08 Intel Corporation Decoding one or more variable-length encoded signals using a single table lookup
US9055298B2 (en) * 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
JPWO2009157581A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
ES2765527T3 (es) * 2011-04-20 2020-06-09 Panasonic Ip Corp America Dispositivo y método para la ejecución de la codificación de Huffman
AU2012200319B2 (en) * 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
KR101749297B1 (ko) * 2012-04-12 2017-06-21 미디어텍 싱가폴 피티이. 엘티디. 크로마 서브샘플링 포맷들의 블록 파티션을 위한 방법 및 장치
CN103686165B (zh) * 2012-09-05 2018-01-09 乐金电子(中国)研究开发中心有限公司 深度图像帧内编解码方法及视频编解码器
CN103888762B (zh) * 2014-02-24 2017-01-11 西南交通大学 一种基于hevc标准的视频编码框架
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
KR102434480B1 (ko) * 2016-02-12 2022-08-19 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10666984B2 (en) * 2016-03-08 2020-05-26 Qualcomm Incorporated Apparatus and method for vector-based entropy coding for display stream compression
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299622A (zh) * 2011-01-07 2013-09-11 联发科技（新加坡）私人有限公司 改进型帧内亮度预测模式编码方法及装置
US9219915B1 (en) * 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding

Also Published As

Publication number Publication date
WO2018177300A1 (en) 2018-10-04
TW201842779A (zh) 2018-12-01
US20180288439A1 (en) 2018-10-04
CN110476426A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
TWI681671B (zh) 多重轉換預測
TWI677234B (zh) 二次轉換核心尺寸選擇
TWI749503B (zh) 核心轉換和次級轉換間之交互作用及其裝置
CN112640448B (zh) 编码转换系数的熵编解码方法与装置
TWI723448B (zh) 圖像以及視訊資料中編碼單元的熵編解碼
US8687692B2 (en) Method of processing a video signal
US11303898B2 (en) Coding transform coefficients with throughput constraints
TWI830629B (zh) 轉換省略區塊之傳訊編碼技術
CN112567747A (zh) 共享候选列表
JP2024045720A (ja) インタ予測における大域的運動制約運動ベクトル
TWI751811B (zh) 多重轉換選擇的發信
CN112042194B (zh) 一种编码/解码的方法及电子装置
CN114128260A (zh) 全局运动矢量的高效编码
EP3861732A1 (en) Methods and systems of exponential partitioning
TWI832602B (zh) 轉換係數符號的熵編碼
WO2023131299A1 (en) Signaling for transform coding
KR20220045231A (ko) 서브화상 구조의 시그널링
TW202404354A (zh) 利用卷積模型的預測改進
TW202315405A (zh) 視訊編解碼方法及其裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees