TWI709330B - 調色板解碼的裝置和方法 - Google Patents

調色板解碼的裝置和方法 Download PDF

Info

Publication number
TWI709330B
TWI709330B TW108107348A TW108107348A TWI709330B TW I709330 B TWI709330 B TW I709330B TW 108107348 A TW108107348 A TW 108107348A TW 108107348 A TW108107348 A TW 108107348A TW I709330 B TWI709330 B TW I709330B
Authority
TW
Taiwan
Prior art keywords
palette
color
storage device
pixel
codec
Prior art date
Application number
TW108107348A
Other languages
English (en)
Other versions
TW201939954A (zh
Inventor
陳啟民
邱銘豪
鄭佳韻
張永昌
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201939954A publication Critical patent/TW201939954A/zh
Application granted granted Critical
Publication of TWI709330B publication Critical patent/TWI709330B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

調色板解碼裝置包括：調色板顏色存儲設備，其存儲調色板顏色；顏色索引存儲設備，其存儲像素的顏色索引；以及調色板值處理電路，其通過從顏色索引存儲設備和調色板顏色存儲設備讀取資料來為每個像素生成調色板值。幀被劃分為第一編解碼單元，並且每個第一編解碼單元被細分為一個或多個第二編解碼單元。在調色板值處理電路生成第一編解碼單元中的最後一個像素的調色板值之前，調色板值處理電路生成第一編解碼單元中的非最後像素的調色板值，並由視訊解碼器的重構電路使用。

Description

調色板解碼的裝置和方法
交叉引用：
本申請要求2018年3月6日提交的美國臨時申請案62/639,025的優先權，其內容一併引用在此。
本發明有關於視訊解碼，更具體而言，有關於調色板解碼的裝置和方法。
傳統的視訊編解碼標準通常採用基於塊的編解碼技術來利用空間和時間冗餘。例如，基本方法是將源幀劃分為多個塊(或編解碼單元)，對每個塊執行幀內預測/幀間預測，變換每個塊的殘差，以及執行量化和熵編碼。此外，生成重構幀以提供用於編解碼後續塊的參考像素資料。對於某些視訊編解碼標準，可以使用環路濾波器來增強重構幀的圖像品質。視訊解碼器用於執行由視訊編碼器執行的視訊編碼操作的逆操作。
屏幕內容可以是計算機生成的包括文本、圖形和動畫的內容。例如，屏幕內容可以用在諸如桌面共享、視訊會議、社交網路和遠程教育的應用中。由於提出的用於捕獲的圖像內容編解碼技術不能為屏幕內容提供最佳編解碼效率，因此屏幕內容的編解碼應該與攝影內容的編解碼不同。當通過使用不同的編解碼工具(例如，調色板編解碼)在視訊編碼器處對屏幕內容進行編碼而不 是將其用於捕獲的圖像內容時，在視訊解碼器中需要適當的解碼方案(例如，調色板解碼)以重構屏幕內容。
要求保護的發明的一個目的是提供一種用於調色板解碼的裝置和方法。
根據本發明的第一方面，公開了示例性視訊解碼器。示例性視訊解碼器包括調色板解碼設備，其具有調色板顏色存儲設備、顏色索引存儲設備和調色板值處理電路。調色板顏色存儲設備被配置為存儲從位元流解碼的調色板顏色。顏色索引存儲設備被佈置為存儲像素的顏色索引，其中顏色索引從位元流解碼。調色板值處理電路被配置為通過從顏色索引存儲設備讀取該每個像素的顏色索引，搜索存儲在調色板顏色存儲設備中的調色板顏色，並通過調色板顏色設置該每個像素的調色板值，為多個像素的每個像素生成調色板值，其中調色板顏色存儲設備由該每個像素的顏色索引來索引。幀被劃分為多個第一編解碼單元，並且每個第一編解碼單元被細分為一個或多個第二編解碼單元。在調色板值處理電路生成第一編解碼單元中的最後一個像素的調色板值之前，調色板值處理電路生成第一編解碼單元中的非最後像素的調色板值，並由視訊解碼器的重構電路使用。
根據本發明的第二方面，公開了示例性視訊解碼方法。示例性視訊解碼方法包括：將從位元流解碼的調色板顏色存儲到調色板顏色存儲設備中；將像素的顏色索引存儲到顏色索引存儲設備中，其中顏色索引從位元流中解碼；通過從顏色索引存儲設備讀取所述每個像素的顏色索引，搜索存儲在調色板顏色存儲設備中的調色板顏色，並通過調色板顏色設置所述每個像素的調色板值，為每個像素生成調色板值，其中調色板顏色存儲設備由所述每個像素的 顏色索引來索引。幀被劃分為多個第一編解碼單元，並且每個第一編解碼單元被細分為一個或多個第二編解碼單元。在生成第一編解碼單元中的最後像素的調色板值之前，生成第一編解碼單元中的非最後像素的調色板值，並通過重構非最後像素來使用調色板值。
根據本發明的第三方面，公開了示例性視訊解碼器。示例性視訊解碼器包括調色板解碼裝置，其具有調色板顏色存儲設備、顏色索引存儲設備和調色板值處理電路。調色板顏色存儲設備被配置為存儲從位元流解碼的調色板顏色。顏色索引存儲設備被配置為存儲像素的顏色索引，其中顏色索引從位元流解碼。調色板值處理電路被配置為通過從顏色索引存儲設備讀取所述每個像素的顏色索引，搜索存儲在調色板顏色存儲設備中由每個像素的顏色索引索引的調色板顏色，並通過調色板顏色設置所述每個像素的調色板值，為多個像素的每個像素生成調色板值。幀被劃分為多個第一編碼單元，並且第一編碼單元中的每一個被細分為一個或多個第二編碼單元。直到該第一組的調色板解碼所需的所有調色板顏色存儲在該調色板顏色存儲設備中以及該第一組的所有像素的顏色索引存儲在該顏色索引存儲設備中，調色板值處理電路才開始生成至少一個第一編解碼單元的第一組中的第一像素的調色板值。根據從調色板顏色存儲設備和顏色索引存儲設備讀取的資料生成第一組中的像素的調色板值的處理時間與將至少一個第一編解碼單元的第二組的調色板解碼所需的調色板顏色寫入調色板顏色存儲裝置和將第二組像素的顏色索引寫入顏色索引存儲設備的處理時間重疊。
在閱讀了在各個附圖和圖示中示出的優選實施例的以下詳細描述之後，本發明的這些和其他目的無疑將對所屬領域具有通常知識者變得顯而易見。
10:熵解碼器
100:調色板解碼裝置
102:調色板值處理電路
104:顏色索引存儲設備
106:調色板顏色存儲設備
20:重構電路
202~214、302~308、902~922:步驟
800、1000:視訊解碼器
802:殘差解碼電路
804:加法器電路
806、820:多工器
808:殘差緩衝器
810:去塊濾波器
812:參考幀緩衝器
814:幀內預測電路
816:運動向量生成電路
818:運動補償電路
1002:調色板緩衝器
1004:殘差緩衝器
1006:選擇電路
第1圖是示出根據本發明的實施例的調色板解碼設備的圖。
第2圖是示出根據本發明實施例的在幀的一個MI單元中重構像素的像素值所涉及的調色板解碼處理的流程圖。
第3圖是示出根據本發明的實施例的調色板解碼處理中涉及的基於TU的調色板值計算處理的流程圖。
第4圖是示出根據本發明的一個實施例存儲在第1圖所示的調色板顏色存儲裝置中的多個調色板顏色表的圖。
第5圖是示出了根據本發明實施例的將像素的顏色索引寫入第1圖所示的顏色索引存儲設備，以創建一個TU的顏色索引圖的操作的圖。
第6圖是示出根據本發明的一個實施例從第1圖所示的顏色索引存儲設備讀取顏色索引圖的顏色索引的操作的圖。
第7圖是示出示出了根據本發明的一個實施例由第1圖所示的調色板值處理電路執行的調色板值生成處理的圖。
第8圖是圖示根據本發明的實施例的第一視訊解碼器的圖。
第9圖是示出根據本發明的實施例的解碼幀的MI單元中的TU所涉及的控制流程的流程圖。
第10圖是圖示根據本發明的實施例的第二視訊解碼器的圖。
第11圖是圖示根據本發明的實施例的基於管線的調色板解碼過程的圖。
貫穿以下描述和申請專利範圍使用某些術語，其涉及特定組件。如所屬領域具有通常知識者將理解的，電子設備製造商可以通過不同的名稱來指代組件。本文檔無意區分名稱不同但功能不同的組件。在以下描述和申請專利 範圍中，術語“包括”和“包含”以開放式的方式使用，因此應該被解釋為表示“包括但不限於......”。而且，術語“耦合”旨在表示間接或直接電連接。因此，如果一個設備耦合到另一個設備，則該連接可以通過直接電連接，或通過經由其他設備和連接的間接電連接。
調色板編碼利用屏幕內容中幾乎沒有唯一顏色的事實，並嘗試發送這些唯一顏色的調色板。本發明在視訊解碼器中提出了一種高性能和低成本的調色板解碼方案。第1圖是示出根據本發明的實施例的調色板解碼裝置的圖。調色板解碼裝置100可以在諸如AV1解碼器的視訊解碼器中實現。調色板解碼裝置100包括調色板值處理電路102、顏色索引存儲設備104和調色板顏色存儲設備106。顏色索引存儲設備104和調色板顏色存儲設備106中的任何一個可以通過以下實現：諸如靜態隨機存取記憶體(SRAM)的片上記憶體，諸如動態隨機存取記憶體(DRAM)的片外記憶體，或其組合。
視訊解碼器中的熵解碼器10接收從視訊編碼器產生的位元流BS。熵解碼器10對位元流BS進行解碼以獲得發送的(signaled)調色板相關資訊，並將解碼的調色板相關資訊提供給調色板解碼裝置100。例如，從位元流BS導出的調色板相關資訊可包括調色板大小(size)資料D_IN1、調色板顏色資料D_IN2和顏色索引資料D_IN3。在該實施例中，調色板顏色存儲設備106被佈置為存儲從位元流BS解碼的調色板顏色，顏色索引存儲設備104被佈置為存儲從位元流BS解碼的像素的顏色索引，並且調色板值處理電路102通過從顏色索引存儲設備104讀取像素的顏色索引，搜索存儲在調色板顏色存儲設備106中的調色板顏色(通過像素的顏色索引來索引)，以及通過調色板顏色存儲設備106中找到的調色板顏色來設置像素的調色板值，來生產每個像素的調色板值。調色板值處理電路102還用於產生調色板值輸出D_OUT到視訊解碼器的重構電路20，其中調色板值輸出D_OUT包括重構像素所需的調色板值。
為了實現高性能和低成本的調色板解碼，調色板解碼裝置100被設計為以基於小尺寸編解碼單元的方式而不是基於大尺寸編解碼單元的方式執行調色板解碼。例如，一個幀可以被劃分為多個模式資訊(mode info，簡寫為MI)單元，並且每個MI單元可以被劃分為一個或多個變換單元(transform unit，簡寫為TU)。在確定另一個小尺寸編解碼單元(例如，另一個TU)中的像素的調色板值之前，調色板解碼裝置100可以開始在一個小尺寸編解碼單元(例如，一個TU)中輸出像素的調色板值以用於在重構電路20處重構。換句話說，在調色板值處理電路102生成大尺寸編解碼單元(例如，一個MI單元)中的最後一個像素的調色板值之前，大尺寸編解碼單元(例如，一個MI單元)中的非最後像素的調色板值由調色板值處理電路102生成，並由視訊解碼器的重構電路20使用。以這種方式，調色板解碼裝置100不需要大尺寸緩衝器來將所有像素的調色板值保持在一個大尺寸編解碼單元(例如，一個MI單元)中，從而放寬了緩衝器要求。此外，重構電路20可以在調色板解碼裝置100獲得大尺寸編碼單元(例如，一個MI單元)中的所有像素的調色板值之前，開始重構一個大尺寸編解碼單元(例如，一個MI單元)中的像素，從而提高整體解碼性能。
第2圖是示出根據本發明實施例的在幀的一個MI單元中重構像素的像素值所涉及的調色板解碼處理的流程圖。假設結果基本相同，則不需要以第2圖所示的確切順序執行步驟。在步驟202，調色板解碼裝置100從熵解碼器10獲得調色板大小資料D_IN1。在步驟204，調色板解碼裝置100從熵解碼器10獲得調色板顏色資料D_IN2。在步驟206，調色板解碼裝置100從熵解碼器10獲得顏色索引資料D_IN3。在步驟208，在視訊解碼器處開始對殘差資料的解碼。在步驟210，調色板解碼裝置100通過參考經由位元流BS信令的語法元素來檢查MI單元是否使用調色板模式。如果MI單元未使用調色板模式，則中止MI單元的調色板解碼處理。如果MI單元使用調色板模式，則流程進行到步驟212。調色板解碼裝置100 根據調色板大小資料D_IN1、調色板顏色資料D_IN2和顏色索引資料D_IN3給出的資訊確定MI單元中的像素的調色板值。在步驟214，重構電路20使用MI單元中的像素的調色板值來重構像素。
如上所述，調色板解碼裝置100被設計為以基於小尺寸編解碼單元的方式執行調色板解碼，以實現高性能和低成本的調色板解碼。例如，調色板值處理電路102執行步驟212以基於TU的方式計算像素的調色板值。第3圖是示出根據本發明的實施例的調色板解碼處理中涉及的基於TU的調色板值計算處理的流程圖。假設結果基本相同，則不需要以第3圖所示的確切順序執行步驟。在步驟302，調色板值處理電路102檢查顏色索引存儲設備104中是否存在多於“N”個顏色索引，其中N是整數，M是要在當前TU中計算的所有調色板值的數量，1
Figure 108107348-A0305-02-0009-28
N
Figure 108107348-A0305-02-0009-16
M。在步驟302檢查的條件滿足之前，流程不進行到步驟304。在步驟304，調色板值處理電路102從顏色索引存儲設備104獲得“O”顏色索引，並從調色板顏色存儲設備106獲得相應的調色板顏色，其中O是整數且1
Figure 108107348-A0305-02-0009-17
O
Figure 108107348-A0305-02-0009-18
N。另外，重構電路200獲得相應的殘差資料。在步驟306，調色板值處理電路102根據“O”顏色索引和相應的調色板顏色計算“O”調色板值。另外，重構電路200根據調色板值處理電路102確定的調色板值計算重構結果。在步驟308，調色板值處理電路102檢查計算的調色板值計數是否達到M。當計算的調色板值計數達到M時，這意味著調色板值處理電路102已經確定了與當前TU相關的所有調色板值。因此，完成了當前TU的調色板值計算處理。當計算的調色板值計數尚未達到M時，流程進行到步驟302。所提出的基於編解碼單元的調色板解碼方案(例如，基於TU的調色板解碼方案)的進一步細節描述如下。
如上所述，調色板顏色存儲設備106被佈置為存儲從位元流BS解碼的調色板顏色。在該實施例中，調色板值處理電路102以基於TU的方式計算像素的調色板值。當一個MI單元使用調色板模式時，MI單元中包括的每個TU的調色板 解碼共享用於調色板編碼MI單元的相同調色板顏色(即，基色(base color))。第4圖是示出根據本發明實施例的存儲在調色板顏色存儲設備106中的多個調色板顏色表的圖。一個MI單元的調色板編碼可以建立Y平面的亮度調色板顏色表TB_Y、U平面的色度調色板顏色表TB_U和V平面的色度調色板顏色表TB_V。具有調色板大小N+1的亮度調色板顏色表TB_Y具有分別由顏色索引(調色板索引)0-N索引的8位元調色板顏色Y0-YN，其中2
Figure 108107348-A0305-02-0010-19
N+1
Figure 108107348-A0305-02-0010-26
8。在該示例中，色度調色板顏色表TB_U和TB_V可以具有相同的調色板大小M+1但是具有不同的調色板顏色，其中2
Figure 108107348-A0305-02-0010-21
M+1
Figure 108107348-A0305-02-0010-25
8。具有調色板大小M的色度調色板顏色表TB_U具有分別由顏色索引(調色板索引)0-M索引的8位元調色板顏色U0-UM。具有調色板大小M的色度調色板顏色表TB_V具有分別由顏色索引(調色板索引)0-M索引的8位元調色板顏色V0-VM。調色板顏色Y0-YN、U0-UM、V0-VM和一個MI單元的調色板大小N+1和M+1被編碼並通過位元流BS發信。因此，在從位元流BS解碼用於一個MI單元的調色板顏色Y0-YN、U0-UM、V0-VM和調色板大小N+1和M+1之後，獲得由視訊編碼器處的調色板編碼使用的相同的亮度調色板顏色表TB_Y、色度調色板顏色表TB_U和色度調色板顏色表TB_V，並將其存儲在視訊解碼器處的調色板顏色存儲設備106中。
如上所述，顏色索引存儲設備104被佈置為存儲從位元流BS解碼的顏色索引。關於視訊編碼器處的調色板編碼，通過使用代表調色板顏色Y0-YN之一的顏色索引(調色板索引)0-N之一對像素的Y通道值進行調色板編碼，通過使用代表調色板顏色U0-UM之一的顏色索引(調色板索引)0-M之一對像素的U通道值進行調色板編碼，並且通過使用代表調色板顏色V0-VM之一的顏色索引(調色板索引)0-M之一對像素的V通道值進行調色板編碼。對於在調色板模式下編碼的一個TU中包括的每個像素，像素的YUV顏色索引被編碼並經由位元流BS發信。因此，在從位元流BS解碼像素的YUV顏色索引之後，獲得像素的YUV顏 色索引並將其存儲在視訊解碼器處的顏色索引存儲設備104中。
根據調色板模式，可以以波前順序在視訊編碼器處預測一個TU中的像素以允許並行計算。因此，可以以波前順序(wavefront order)對相同TU中的像素的Y顏色索引進行編碼和發送，可以以波前順序對相同TU中的像素的U顏色索引進行編碼和發送，並且可以以波前順序對相同TU中的像素的V顏色索引進行編碼和發送。在該實施例中，熵解碼器10可以以波前順序解碼和輸出相同TU中的像素的Y顏色索引，可以以波前順序解碼和輸出相同TU中的像素的U顏色索引，並且可以以波前順序解碼和輸出相同TU中的像素的V顏色索引。第5圖是示出根據本發明實施例的將像素的顏色索引寫入顏色索引存儲設備104以創建一個TU的顏色索引圖的操作的圖。假設要調色板解碼的當前TU的大小是8x8。通過以與解碼順序相同的寫緩衝器順序依次寫入TU中的像素的Y顏色索引，在顏色索引存儲設備104中創建TU的Y平面的亮度顏色索引圖M_CB_Y。如第5圖所示，寫緩衝器順序是波前順序，如附圖標記所示。
一個像素的Y顏色索引用於指示亮度調色板顏色表TB_Y中的調色板顏色。因此，從顏色索引存儲設備104讀取亮度顏色索引圖M_CB_Y中的Y顏色索引，用於計算用於重構TU中的像素的Y通道值的調色板值。第6圖是示出根據本發明實施例的從顏色索引存儲設備104讀取顏色索引圖的顏色索引的操作的圖。由於亮度顏色索引圖M_CB_Y中的Y顏色索引用於計算用於重構TU中的像素的Y通道值的調色板值，因此排列在亮度顏色索引圖M_CB_Y中的Y顏色索引以與殘差資料輸出順序相同的讀緩衝器順序從顏色索引存儲設備104讀取。在第6圖中，讀緩衝器順序是由附圖標記指示的逐列(column-by-column)順序。
類似地，通過以與解碼順序相同的寫緩衝器順序依次將TU中的像素的U顏色索引寫入至寫緩衝器，在顏色索引存儲設備104中創建TU的U平面的色度顏色索引圖M_CB_U，排序在色度顏色索引圖M_CB_U中的U顏色索引以與殘 差資料輸出順序相同的讀緩衝器順序從顏色索引存儲設備104讀取。此外，通過以與解碼順序相同的寫緩衝器順序依次寫入TU中的像素的V顏色索引，在顏色索引存儲設備104中創建TU的V平面的色度顏色索引圖M_CB_V，並且以與殘差資料輸出順序相同的讀緩衝器順序從顏色索引存儲設備104讀取在亮度顏色索引圖M_CB_V中排列的V顏色索引。由於所屬領域具有通常知識者在閱讀上述針對亮度顏色索引圖M_CB_Y的段落之後可以容易地理解寫入緩衝區順序的細節和色度顏色索引圖M_CB_U和M_CB_V的讀取緩衝區順序，因此為了簡潔起見，在此省略進一步的描述。
當調色板顏色存儲設備106中的亮度調色板顏色表TB_Y和色度調色板顏色表TB_U和TB_V可用，且顏色索引存儲設備104中的亮度顏色索引圖M_CB_Y和色度顏色索引圖M_CB_U和M_CB_V可用時，調色板值處理電路102根據從顏色索引存儲設備104讀取的顏色索引和存儲在調色板顏色存儲設備106中的調色板顏色，計算一個TU中的像素的調色板值。
第7圖是示出根據本發明實施例的調色板值處理電路102執行的調色板值生成處理的圖。調色板值處理電路102將控制信號CS輸出到調色板顏色存儲設備106，用於選擇亮度調色板顏色表TB_Y和色度調色板顏色表TB_U和TB_V中的一個，並進一步將控制信號CS輸出到顏色索引存儲設備104，用於選擇亮度顏色索引圖M_CB_Y和色度顏色索引圖M_CB_U和M_CB_V中的一個，其中控制信號CS用作平面選擇信號。調色板值處理電路102將索引位址ADR_IDX輸出到顏色索引存儲設備104，用於從所選擇的顏色索引圖(即，由控制信號CS選擇的顏色索引圖)中選擇像素的顏色索引，搜索所選擇的調色板顏色表(即，由控制信號CS選擇的調色板顏色表)，用於由存儲在索引位址ADR_IDX處的所選顏色索引來索引的調色板顏色，並通過在選定的調色板顏色表中找到的調色板顏色設置像素的調色板值PV。
例如，當此時需要重構像素的Y通道值時，調色板值處理電路102更新控制信號CS以選擇亮度調色板顏色表TB_Y和亮度顏色索引圖M_CB_Y並且更新索引位址ADR_IDX以選擇存儲在亮度顏色索引圖M_CB_Y中的像素的Y顏色索引。因此，由調色板值處理電路102確定並輸出與像素的Y通道值的重構相關聯的調色板值PV。
作為另一示例，當此時需要重構像素的U通道值時，調色板值處理電路102更新控制信號CS以選擇色度調色板顏色表TB_U和色度顏色索引圖M_CB_U，並更新索引位址ADR_IDX以選擇存儲在色度顏色索引圖M_CB_U中的像素的U顏色索引。因此，由調色板值處理電路102確定並輸出與重構像素的U通道值相關聯的調色板值PV。
再例如，當此時需要重構像素的V通道值時，調色板值處理電路102更新控制信號CS以選擇色度調色板顏色表TB_V和色度顏色索引圖M_CB_V，並更新索引位址ADR_IDX以選擇存儲在色度顏色索引圖M_CB_V中的像素的V顏色索引。因此，由調色板值處理電路102確定並輸出與重構像素的V通道值相關聯的調色板值PV。
在該實施例中，調色板值處理電路102被佈置為執行基於TU的調色板值計算處理。因此，顏色索引存儲設備104可以由具有足以緩衝基於TU的調色板值計算處理所需的顏色索引的存儲容量的小尺寸緩衝器實現，和/或調色板顏色存儲設備106可以通過其存儲容量足以緩衝基於TU的調色板值計算處理所需的調色板顏色的小尺寸緩衝器實現。
如第7圖所示，調色板顏色存儲設備106存儲單個MI單元的亮度調色板顏色表TB_Y和色度調色板顏色表TB_U、TB_V，其中同一MI單元中的每個TU的調色板解碼共享相同的亮度調色板顏色表TB_Y和色度調色板顏色表TB_U、TB_V。在一個示例性設計中，調色板顏色存儲設備106存儲在幀的第一MI單元 中的每個TU的調色板解碼所需的調色板顏色(例如，由第一MI單位的調色板模式使用的亮度調色板顏色表TB_Y和色度調色板顏色表TB_U、TB_V)，然後，通過重寫第一MI單元中每個TU的調色板解碼所需的調色板顏色的至少一部分(即，部分或全部)，在幀的第二MI單元中存儲每個TU的調色板解碼所需的調色板顏色(例如，第二MI單元的調色板模式使用的亮度調色板顏色表TB_Y和色度調色板顏色表TB_U、TB_V)。由於調色板顏色存儲設備106的存儲容量等於一個MI單元的調色板解碼所需的調色板顏色的最大大小，調色板顏色存儲設備106的有限存儲容量用於緩沖一個MI單元的調色板模式使用的調色板顏色表，並重新用於緩衝另一個MI單元的調色板模式使用的調色板顏色表。
如第7圖所示，顏色索引存儲設備104存儲單個TU的亮度顏色索引圖M_CB_Y和色度顏色索引圖M_CB_U、M_CB_V，其中相同TU中的所有像素的Y顏色索引排列在亮度顏色索引圖M_CB_Y中，相同TU中的所有像素的U顏色索引排列在色度顏色索引圖M_CB_U中，並且相同TU中的所有像素的V顏色索引排列在色度顏色索引圖M_CB_V中。在一個示例性設計中，顏色索引存儲設備104存儲包括在第一TU中的像素的顏色索引(例如，第一TU的亮度顏色索引圖M_CB_Y和色度顏色索引圖M_CB_U、M_CB_V)，然後通過重寫包括在第一TU中的像素顏色索引的至少一部分(即部分或全部)來存儲包括在第二TU中的像素的顏色索引(例如，第二TU的亮度顏色索引圖M_CB_Y和色度顏色索引圖M_CB_U、M_CB_V)。由於顏色索引存儲設備104的存儲容量等於一個TU中所有像素的顏色索引的最大大小，因此顏色索引存儲設備104的有限存儲容量用於緩沖一個TU中的像素的顏色索引，並重新用於緩衝另一個TU中像素的顏色索引。簡言之，調色板值處理電路102以基於TU的方式計算像素的調色板值，因此允許顏色索引存儲設備104的存儲容量小於一幀中所有像素的顏色索引的大小。
關於視訊解碼器中的低成本調色板解碼設計，調色板顏色存儲設備 106的最大存儲容量可能能夠緩衝僅由單個MI單元的調色板模式使用的調色板顏色，以及顏色索引存儲設備104的最大存儲容量可能能夠緩衝僅包括在單個TU中的像素的顏色索引。然而，這僅用於說明目的，並不意味著是對本發明的限制。在成本和性能之間存在權衡。在一個替代設計中，調色板顏色存儲設備106的最大存儲容量可以能夠緩衝由要被解碼的幀中包括的K個MI單元(K
Figure 108107348-A0305-02-0015-23
2)的調色板模式所使用的調色板顏色，和/或顏色索引存儲設備104的最大存儲容量可以能夠緩衝要解碼的MI單元的L個TU(L
Figure 108107348-A0305-02-0015-24
2)中包括的像素的顏色索引，其中要解碼的幀可以被劃分為K'個MI單元(K'>K)，並且要解碼的MI單元可以被分成L'個TU(L'>L)。例如，調色板顏色存儲設備106可以由乒乓緩衝器(ping-pong buffer)實現，和/或顏色索引存儲設備104可以由乒乓緩衝器實現。
調色板解碼裝置100的調色板值輸出D_OUT包括用於像素重構的調色板值。根據TU的編解碼模式，在TU中重構像素可能需要像素的調色板值，或像素的殘差資料，或像素的調色板值和殘差資料兩者。第8圖是圖示根據本發明的實施例的第一視訊解碼器的圖。例如，視訊解碼器800可以是AV1解碼器。如第8圖所示，視訊解碼器800包括上述熵解碼器(由“熵解碼”表示)10、調色板解碼裝置(由“調色板解碼”表示)100和重構電路(由“REC”表示)20，並且還包括殘差解碼電路(由“IS/IQ/IT”表示)802、加法器電路804、多個多工器(由“MUX”表示)806和820、殘差緩衝器808、去塊濾波器(由“DF”表示)810、至少一個參考幀緩衝器812、幀內預測電路(由“IP”表示)814、運動向量生成電路(由“MV生成”表示)816，以及運動補償電路(用“MC”表示)818。
調色板解碼裝置100能夠生成要重構的一個TU中包括的每個像素的調色板值PV。殘差解碼電路802能夠為要重構的一個TU中包括的每個像素生成殘差資料(residue data)RD。例如，殘差解碼電路802可以將逆掃描(IS)、逆量化(IQ)和逆變換(IT)應用於位元流BS的熵解碼結果，以獲得殘差資料RD。 加法器電路840被佈置為將調色板值PV添加到殘差資料RD以生成調整後的殘差資料。多工器806包括第一輸入埠、第二輸入埠、第三輸入埠和輸出埠，其中第一輸入埠被佈置為接收調色板解碼裝置100的輸出作為模式0資料D_M0(例如，D_M0=PV)，第二輸入埠用於接收加法器電路804的輸出作為模式1資料D_M1(例如，D_M1=PV+RD)，第三輸入埠用於接收殘差解碼電路816的輸出作為模式2資料D_M2(例如，D_M2=RD)，並且輸出埠被佈置為將模式0資料D_M0、模式1資料D_M1和模式2資料D_M1中的一個輸出到殘差緩衝器808。
多工器806由從調色板解碼裝置100的控制邏輯產生的模式選擇信號MS控制。換句話說，模式選擇信號MS確定調色板解碼裝置100的輸出、加法器電路804的輸出和殘差解碼電路816的輸出中的哪一個被存儲到殘差緩衝器808中。重構器20從殘差緩衝器808讀取存儲的資料，用於在一個TU中重構像素。當重構TU不需要殘差資料時，模式選擇信號MS由模式0(其為“僅調色板值”模式)設置，使得多工器806將TU中像素的調色板值PV傳遞給殘差緩衝器808用於重構。當TU的重構需要調色板值以及殘差資料時，模式選擇信號MS由模式1(其是“調色板值加殘差資料”模式)設置，使得多工器806傳遞組合調色板值PV和殘差資料RD的結果到殘差緩衝器808，以用於重構。當重構TU不需要調色板值時，模式選擇信號MS由模式2設置(其為“僅殘差資料”模式)，使得多工器806將殘差資料RD傳遞到殘差緩衝器808以供重構使用。
第9圖是示出根據本發明的實施例的解碼幀的MI單元中的TU所涉及的控制流程的流程圖。假設結果基本相同，則不需要以第9圖所示的確切順序執行步驟。在步驟902，開始MI單元的解碼。在步驟904，檢查MI單元是否使用調色板模式。如果MI單元未使用調色板模式，則不需要執行所提出的基於TU的調色板解碼處理，並且流程前進到步驟918。在步驟918，開始MI單元中的當前TU的解碼。在步驟920，多工器806從殘差解碼電路802獲得殘差資料RD，並將殘差 資料RD存儲到殘差緩衝器808中以用於重構。在步驟922，檢查當前TU是否是MI單元中的最後一個TU。當當前TU是MI單元中的最後一個TU時，MI單元的解碼結束。當當前TU不是MI單元中的最後一個TU時，流程前進到步驟918以處理MI單元中的下一個TU。
當步驟904指示MI單元使用調色板模式時，流程前進到步驟906。在步驟906，開始解碼MI單元中的當前TU。在步驟908，檢查當前TU是否使用跳過模式。當當前TU使用跳過模式時，沒有資訊從視訊編碼器發送到視訊解碼器。例如，位元流BS不具有編解碼變換係數，沒有報頭(header)，並且沒有用於跳過模式TU的幀內/幀間預測資訊。因此，對於當前TU是跳過模式TU，沒有從殘差解碼電路802生成殘差資料RD。在步驟910，多工器806從調色板解碼裝置100獲得調色板值PV，並將調色板值PV存儲到殘差緩衝器808中以用於重構。應當注意，在當前TU是跳過模式TU的條件下，沒有從位元流BS解碼當前TU的殘差資料，並且殘差緩衝器808用作用於緩沖當前TU的調色板值的調色板緩衝器。在步驟916，檢查當前TU是否是MI單元中的最後一個TU。當當前TU是MI單元中的最後一個TU時，MI單元的解碼結束。當當前TU不是MI單元中的最後一個TU時，流程前進到步驟906以處理MI單元中的下一個TU。
當步驟908指示當前TU未使用跳過模式時，從殘差解碼電路802生成殘差資料RD，以用於為非跳過模式TU的當前TU。在步驟912，加法器電路804從調色板解碼裝置100獲得調色板值PV，並從殘差解碼電路802獲得殘差資料RD。作為示例而非限制，當前TU的所有殘差資料RD準備好時，殘差解碼電路802斷言(assert)殘差資料就緒的信號，並且調色板解碼裝置100不執行用於生成當前TU的調色板值PV的調色板值計算處理，直到殘差解碼電路802斷言殘差資料就緒信號為止。在步驟914，多工器806從加法器電路804接收經調整的殘差資料，並將經調整的殘差資料存儲到殘差緩衝器808中以用於重構。在步驟916， 檢查當前TU是否是MI單元中的最後一個TU。當當前TU是MI單元中的最後一個TU時，MI單元的解碼結束。當當前TU不是MI單元中的最後一個TU時，流程前進到步驟906以處理MI單元中的下一個TU。
重構電路20在殘差緩衝器808中讀取存儲的資料以用於重構。另外，當使用幀內模式或幀間模式對TU進行編碼時，重構電路20還使用預測值PRED，其中預測值PRED可以是由幀內預測電路814確定的幀內模式預測值或者由運動向量生成電路816和運動補償電路818確定的幀間預測值。具體地，當使用幀內模式對當前TU進行編碼時，多工器820將幀內模式預測值輸出到重構電路20；當使用幀間模式對當前TU進行編碼時，多工器820將幀間模式預測值輸出到重構電路20。去塊濾波器810用於在重構之後執行去塊處理。因此，從重構電路20生成的重構幀通過去塊濾波器810存儲到參考幀緩衝器814中。
第8圖中所示的架構包括：使用相同的殘差緩衝器808在不同的時序(timing)來存儲通過在調色板模式MI單元中重構跳過模式TU所使用的模式0資料D_M0，通過在調色板模式MI單元中重構非跳過模式TU而使用的模式1資料D_M1，以及通過在非調色板模式MI單元中重構TU而使用的模式2資料D_M2。以這種方式，可以放寬視訊解碼器的緩衝要求。然而，這僅用於說明目的，並不意味著是對本發明的限制。實際上，使用所提出的高性能和低成本調色板解碼裝置100的任何視訊解碼器都落入本發明的範圍內。在替代設計中，一個調色板緩衝器和一個殘差緩衝器均可以在使用所提出的高性能和低成本調色板解碼裝置100的視訊解碼器中實現。
第10圖是圖示根據本發明的實施例的第二視訊解碼器的圖。例如，視訊解碼器1000可以是AV1解碼器。如第10圖所示，視訊解碼器800包括上述熵解碼器10、調色板解碼裝置100、重構電路20、殘差解碼電路802、去塊濾波器810、參考幀緩衝器812、幀內預測電路814、運動向量生成電路816、運動補償 電路818、多工器820，還包括調色板緩衝器1002、殘差緩衝器1004和選擇電路(用“SEL”表示)1006。調色板緩衝器1002用於存儲從調色板解碼裝置100生成的像素的調色板值PV。殘差緩衝器1004用於存儲從殘差解碼電路802生成的像素的殘差資料RD。選擇器電路1006由調色板解碼裝置100的控制邏輯產生的模式選擇信號MS控制，並具有第一輸入埠、第二輸入埠和輸出埠，其中第一輸入埠用於接收從調色板緩衝器1002中讀取的調色板值PV，第二輸入埠用於接收從殘差緩衝器1004讀取的殘差資料RD，輸出埠用於輸出調色板緩衝器1002的資料輸出中的一個或兩個(即，從調色板緩衝器1002讀取的調色板值PV)，以及將殘差緩衝器1004的資料輸出(即，從殘差緩衝器1004讀取的殘差資料RD)輸出到重構電路20。
在要解碼的當前TU是調色板模式MI單元中的跳過模式TU的第一種情況下，從調色板解碼裝置100生成當前TU的調色板值PV並將其存儲到調色板緩衝器1002中，同時對於當前TU，不從殘差解碼電路802產生殘差資料。由於模式選擇信號MS由模式0(其為“僅調色板值”模式)設置，因此選擇器電路1006將從調色板緩衝器1002讀取的調色板值PV傳遞到重構電路20，以重構當前TU。
在要解碼的當前TU是調色板模式MI單元中的非跳過模式TU的第二種情況下，從調色板解碼裝置100生成當前TU的調色板值PV並將其存儲到調色板緩衝器1002中，當前TU的殘差資料RD從殘差解碼電路802產生並存儲到殘差緩衝器1004中。由於模式選擇信號MS由模式1設置(其為“調色板值加殘差資料”模式)，選擇器電路1006將從調色板緩衝器1002讀取的調色板值PV和從殘差緩衝器1004讀取的殘差資料RD傳遞到重構電路20，以重構當前TU，其中每個像素的調色板值PV和殘差資料RD的總和在由加法器電路實現的重構電路20處實現。
在要解碼的當前TU是非調色板模式MI單元中的TU的第三種情況下，從殘差解碼電路802生成當前TU的殘差資料RD並將其存儲到殘差緩衝器 1004中，同時對於當前TU，不從調色板解碼裝置100生成調色板值。由於模式選擇信號MS由模式2設置(其為“僅殘差資料”模式)，因此選擇器電路1006將從殘差緩衝器1004讀取的殘差資料RD傳遞到重構電路20，以重構當前TU。
在以上實施例中，調色板解碼裝置100可以以基於小尺寸編解碼單元(例如，TU)的方式而不是基於大尺寸編解碼單元(例如，MI)的方式來執行調色板解碼。或者，調色板解碼裝置100可以在基於大尺寸編解碼單元(例如MI)的管線中執行調色板解碼。與在沒有管線的大尺寸編解碼單元(例如MI)中執行的調色板解碼相比，在基於大尺寸編解碼單元(例如MI)的管線中執行的調色板解碼可以具有改進的性能。第11圖是圖示根據本發明的實施例的基於管線的調色板解碼過程的圖。顏色索引存儲設備104可以被配置為具有足以緩衝由一個或多個MI單元組成的一個MI組中的所有像素的顏色索引的存儲容量。另外，調色板顏色存儲設備106可以被配置為具有足以緩衝由一個或多個MI單元組成的一個MI組的調色板解碼所需的調色板顏色的存儲容量。此外，直到MI組的調色板解碼所需的所有調色板顏色存儲在調色板顏色存儲設備106中及MI組的所有像素的顏色索引存儲在顏色索引存儲設備104中，調色板值處理電路102才開始生成由一個或多個MI單元組成的MI組中的第一像素的調色板值。
為了清楚和簡單起見，假設每個MI組僅具有單個MI單元。如第11圖所示，第一MI組(由MI單元MI0組成)的調色板解碼所需的調色板顏色在第一時間段T0期間被寫入調色板顏色存儲設備106，並且第一MI組(其由MI單元MI0組成)中的所有像素的顏色索引在第一時間段T0期間被寫入顏色索引存儲設備104中。在第一MI組(其由MI單元MI0組成)的調色板解碼所需的調色板顏色在調色板顏色存儲設備106中可用(are available)，並且第一MI組(其由MI單元MI0組成)中的所有像素的顏色索引在顏色索引存儲設備104中可用後，調色板值處理電路102開始生成第一MI組(由MI單元MI0組成)中的像素的調色板值。在第 二時間段T1期間，調色板值處理電路102根據從調色板顏色存儲設備106和顏色索引存儲設備104讀取的資料，生成第一MI組(由MI單元MI0組成)中的像素的調色板值。另外，第二MI組(由MI單元MI1組成)的調色板解碼所需的調色板顏色在第二時間段T1期間被寫入調色板顏色存儲設備106，並且第二MI組(其由MI單元MI1組成)中的所有像素的顏色索引，在第二時間段T1期間被寫入顏色索引存儲設備104中。因此，將第二MI組(由MI單元MI1組成)的調色板解碼所需的調色板顏色寫入調色板顏色存儲設備106以及將第二MI組(由MI單元MI1組成)中的所有像素的顏色索引寫入到顏色索引存儲設備104的處理時間，與根據從調色板顏色存儲設備106和顏色索引存儲設備104讀取的資料產生第一MI組(由MI單元MI0組成)中的像素的調色板值的處理時間重疊。
類似地，在第二MI組(其由MI單元MI1組成)的調色板解碼所需的調色板顏色在調色板顏色存儲設備106中可用，並且第二MI組(其由MI單元MI1組成)中的所有像素的顏色索引在顏色索引存儲設備104中可用後，調色板值處理電路102開始生成第二MI組(由MI單元MI1組成)中的像素的調色板值。在第三時間段T2期間，調色板值處理電路102根據從調色板顏色存儲設備106和顏色索引存儲設備104讀取的資料，生成第二MI組(由MI單元MI1組成)中的像素的調色板值。另外，第三MI組(由MI單元MI2組成)的調色板解碼所需的調色板顏色在第三時間段T2期間被寫入調色板顏色存儲設備106，並且第三MI組(其由MI單元MI2組成)中的所有像素的顏色索引，在第三時間段T2期間被寫入顏色索引存儲設備104中。因此，將第三MI組(由MI單元MI2組成)的調色板解碼所需的調色板顏色寫入調色板顏色存儲設備106以及將第三MI組中的所有像素的顏色索引寫入到顏色索引存儲設備104的處理時間，與根據從調色板顏色存儲設備106和顏色索引存儲設備104讀取的資料產生第二MI組(由MI單元MI1組成)中的像素的調色板值的處理時間重疊。
應該注意，第11圖中所示的基於管線的調色板解碼處理僅用於說明目的，並不意味著是對本發明的限制。
所屬領域具有通常知識者將容易地觀察到，可以在保留本發明的教導的同時對裝置和方法進行多種修改和更改。因此，上述公開內容應被解釋為僅受所附請求項的範圍和界限的限制。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
202~214:步驟

Claims (22)

  1. 一種視訊解碼器，包括：調色板解碼裝置，包括：調色板顏色存儲設備，用於存儲從位元流解碼的多個調色板顏色；顏色索引存儲設備，用於存儲多個像素的多個顏色索引，其中該多個顏色索引從該位元流中解碼；以及調色板值處理電路，用於通過以下方式為該多個像素的每個像素生成調色板值：從該顏色索引存儲設備讀取該每個像素的顏色索引；搜索存儲在該調色板顏色存儲設備中的調色板顏色，該調色板顏色由該每個像素的該顏色索引來索引；以及通過該調色板顏色設置該每個像素的該調色板值；其中，幀被劃分為多個第一編解碼單元，該多個第一編解碼單元的每個被細分為一個或多個第二編解碼單元，並且在該調色板值處理電路生成該第一編解碼單元中的最後一個像素的調色板值之前，該第一編解碼單元中的非最後像素的調色板值由該調色板值處理電路生成，並由該視訊解碼器的重構電路使用。
  2. 如申請專利範圍第1項所述之視訊解碼器，其中，該顏色索引存儲設備存儲包括在該多個第二編解碼單元之一中的多個像素的多個顏色索引，然後通過重寫包括在該多個第二編解碼單元中的該一個中的多個像素的該多個顏色索引的至少一部分，來存儲包括在該多個第二編解碼單元中的另一個中的多個像素的多個顏色索引。
  3. 如申請專利範圍第2項所述之視訊解碼器，其中，該顏色索引存儲設備的存儲容量等於一個第二編解碼單元中的所有像素的顏色索引的最大大小。
  4. 如申請專利範圍第2項所述之視訊解碼器，其中每個第一編解碼單元是模式資訊單元，並且每個第二編解碼單元是變換單元。
  5. 如申請專利範圍第1項所述之視訊解碼器，其中，該顏色索引存儲設備的存儲容量小於一個第一編解碼單元中的所有像素的顏色索引的大小。
  6. 如申請專利範圍第1項所述之視訊解碼器，其中，該調色板顏色存儲裝置存儲該多個第一編解碼單元其中一個中的每個第二編解碼單元的調色板解碼所需的多個調色板顏色，然後通過重寫該多個第一編解碼單元之一中的每個第二編解碼單元的調色板解碼所需的該多個調色板顏色的至少一部分，來存儲該多個第一編解碼單元中的另一個中的每個第二編解碼單元的調色板解碼所需的多個調色板顏色。
  7. 如申請專利範圍第6項所述之視訊解碼器，其中，該調色板顏色存儲設備的存儲容量等於一個第一編解碼單元的調色板解碼所需的多個調色板顏色的最大大小。
  8. 如申請專利範圍第6項所述之視訊解碼器，其中每個第一編解碼單元是模式資訊單元，並且每個第二編解碼單元是變換單元。
  9. 如申請專利範圍第1項所述之視訊解碼器，其中，該調色板解碼裝置為一個第二編解碼單元中的每個像素生成調色板值，並為另一個第二編解碼單元中的每個像素生成調色板值；以及該視訊解碼器還包括：殘差解碼電路，用於解碼該位元流的熵解碼結果，以為該另一個第二編解碼單元中的該每個像素生成殘差資料，並為又一個第二編解碼單元中的每個像素生成殘差資料；加法器電路，用於將該另一個第二編解碼單元中的該每個像素的該調色板值與該另一個第二編解碼單元中的該每個像素的該殘差資料相加，以生成該另一個第二編解碼單元中的該每個像素的調整後的殘差資料；存儲設備；以及多工器，具有第一輸入埠、第二輸入埠、第三輸入埠和輸出埠，其中該第一輸入埠用於接收該調色板解碼裝置的輸出，該第二輸入埠用於接收該加法器電路的輸出，該第三輸入埠用於接收該殘差解碼電路的輸出，該輸出埠用於分別在不同時序輸出該調色板解碼裝置的該輸出、該加法器電路的該輸出和該殘差解碼電路的該輸出到該存儲設備；其中，該重構電路從該存儲設備讀取存儲的資料以進行重構。
  10. 如申請專利範圍第1項所述之視訊解碼器，還包括：第一存儲設備，其中，該調色板值處理電路還用於將多個調色板值存儲到該第一存儲設備中；第二存儲設備；殘差解碼電路，用於對該位元流的熵解碼結果進行解碼，生成多個殘差資 料，並將該多個殘差資料存儲到該第二存儲設備中；以及選擇器電路，具有第一輸入埠、第二輸入埠和輸出埠，其中該第一輸入埠設置為接收從該第一存儲設備讀取的該多個調色板值，該第二輸入埠設置為接收從該第二存儲設備讀取的多個殘差資料，並且該輸出埠被佈置成將該多個調色板值和該多個殘差資料中的一個或兩個輸出到該重構電路。
  11. 一種視訊解碼方法，包括：將從位元流解碼的多個調色板顏色存儲到調色板顏色存儲設備中；將多個像素的多個顏色索引存儲到顏色索引存儲設備中，其中該多個顏色索引從該位元流中解碼；以及通過以下方式為該多個像素的每個像素生成調色板值：從該顏色索引存儲設備讀取該每個像素的顏色索引；搜索存儲在該調色板顏色存儲設備中的調色板顏色，該調色板顏色由該每個像素的該顏色索引索引；以及通過該調色板顏色設置該每個像素的該調色板值；其中，幀被劃分為多個第一編解碼單元，該多個第一編解碼單元的每個被細分為一個或多個第二編解碼單元，並且在生成第一編解碼單元中的最後一個像素的調色板值之前，生成該第一編解碼單元中的非最後像素的調色板值，並用於該非最後像素的重構。
  12. 如申請專利範圍第11項所述之視訊解碼方法，其中，將多個像素的多個顏色索引存儲到該顏色索引存儲設備中包括：存儲包括在該多個第二編解碼單元之一中的多個像素的多個顏色索引；以 及通過重寫包括在該多個第二編解碼單元中的該一個中的多個像素的該多個顏色索引的至少一部分，來存儲包括在該多個第二編解碼單元中的另一個中的多個像素的多個顏色索引。
  13. 如申請專利範圍第12項所述之視訊解碼方法，其中，該顏色索引存儲設備的存儲容量等於一個第二編解碼單元中的所有像素的顏色索引的最大大小。
  14. 如申請專利範圍第12項所述之視訊解碼方法，其中，其中每個第一編解碼單元是模式資訊單元，並且每個第二編解碼單元是變換單元。
  15. 如申請專利範圍第11項所述之視訊解碼方法，其中，該顏色索引存儲設備的存儲容量小於一個第一編解碼單元中的所有像素的顏色索引的大小。
  16. 如申請專利範圍第11項所述之視訊解碼方法，其中，將從該位元流解碼的多個調色板顏色存儲到該調色板顏色存儲裝置中包括：存儲該多個第一編解碼單元之一中的每個第二編解碼單元的調色板解碼所需的多個調色板顏色；以及通過重寫該多個第一編解碼單元之一中的每個第二編解碼單元的調色板解碼所需的該多個調色板顏色的至少一部分，來存儲該多個第一編解碼單元中的另一個中的每個第二編解碼單元的調色板解碼所需的多個調色板顏色。
  17. 如申請專利範圍第16項所述之視訊解碼方法，其中，該調色板顏色存儲設備的存儲容量等於一個第一編解碼單元的調色板解碼所需的多個調色板顏色的最大大小。
  18. 如申請專利範圍第16項所述之視訊解碼方法，其中每個第一編解碼單元是模式資訊單元，並且每個第二編解碼單元是變換單元。
  19. 如申請專利範圍第11項所述之視訊解碼方法，其中，為一個第二編解碼單元中的每個像素生成調色板值，並且為另一個第二編解碼單元中的每個像素生成調色板值，該視訊解碼方法還包括：解碼該位元流的熵解碼結果，以生成用於該另一個第二編解碼單元中的該每個像素的殘差資料，並生成用於又一個第二編解碼單元中的每個像素的殘差資料；通過將該另一個第二編解碼單元中的該每個像素的該調色板值與該另一個第二編解碼單元中的該每個像素的該殘差資料相加，生成該另一個第二編解碼單元中的該每個像素的調整後的殘差資料；以及在不同時序將包括為該一個第二編解碼單元生成的多個調色板值的第一輸入，包括為該另一個第二編解碼單元生成的調整後的殘差資料的第二輸入，以及包括為該又一個第二編解碼單元生成的殘差資料的第三輸入存儲到同一存儲設備中，其中從該存儲設備讀取存儲的資料以重構像素。
  20. 如申請專利範圍第11項所述之視訊解碼方法，還包括： 將多個調色板值存儲到第一存儲設備中；對該位元流的熵解碼結果進行解碼，生成多個殘差資料，並將該多個殘差資料存儲到第二存儲設備中；以及通過以下方式執行像素重構：從該第一存儲設備讀取該多個調色板值；或者從該第二存儲設備讀取該多個殘差資料；或者從該第一存儲設備讀取該多個調色板值，並從該第二存儲設備讀取該多個殘差資料。
  21. 一種視訊解碼器，包括：調色板解碼裝置，包括：調色板顏色存儲設備，用於存儲從位元流解碼的多個調色板顏色；顏色索引存儲設備，用於存儲多個像素的多個顏色索引，其中該多個顏色索引從該位元流中解碼；以及調色板值處理電路，用於通過以下方式為該多個像素的每個像素生成調色板值：從該顏色索引存儲設備讀取該每個像素的顏色索引；搜索存儲在該調色板顏色存儲設備中的調色板顏色，該調色板顏色由該每個像素的該顏色索引索引；以及通過該調色板顏色設置該每個像素的該調色板值；其中，幀被劃分為多個第一編解碼單元，並且每個第一編解碼單元被細分為一個或多個第二編解碼單元；其中，該調色板值處理電路不開始生成至少一個第一編解碼單元的第一組中的第一像素的調色板值，直到該第一組的調色板解碼所需的所有 調色板顏色存儲在該調色板顏色存儲設備中，以及該第一組的所有像素的顏色索引存儲在該顏色索引存儲設備中；以及其中，根據從該調色板顏色存儲設備和該顏色索引存儲設備讀取的資料生成該第一組中的多個像素的多個調色板值的處理時間與將至少一個第一編解碼單元的第二組的調色板解碼所需的多個調色板顏色寫入該調色板顏色存儲裝置和將該第二組的多個像素的多個顏色索引寫入該顏色索引存儲設備的處理時間重疊。
  22. 如申請專利範圍第21項所述之視訊解碼器，其中每個第一編解碼單元是模式資訊單元，並且每個第二編解碼單元是變換單元。
TW108107348A 2018-03-06 2019-03-06 調色板解碼的裝置和方法 TWI709330B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862639025P 2018-03-06 2018-03-06
US62/639,025 2018-03-06

Publications (2)

Publication Number Publication Date
TW201939954A TW201939954A (zh) 2019-10-01
TWI709330B true TWI709330B (zh) 2020-11-01

Family

ID=67842282

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108107348A TWI709330B (zh) 2018-03-06 2019-03-06 調色板解碼的裝置和方法

Country Status (3)

Country Link
US (1) US10659794B2 (zh)
CN (1) CN111669597B (zh)
TW (1) TWI709330B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022532444A (ja) * 2019-09-07 2022-07-14 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオデータを復号化する方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、デコーダ可読記憶媒体、およびコンピュータプログラム製品
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode
WO2022030980A1 (ko) * 2020-08-04 2022-02-10 현대자동차주식회사 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
CN116996687A (zh) * 2023-07-21 2023-11-03 深圳市战音科技有限公司 一种图像拆分编码方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189319A1 (en) * 2014-01-02 2015-07-02 Qualcomm Incorporated Color index coding for palette-based video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291940B2 (en) * 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10091512B2 (en) * 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189319A1 (en) * 2014-01-02 2015-07-02 Qualcomm Incorporated Color index coding for palette-based video coding

Also Published As

Publication number Publication date
CN111669597A (zh) 2020-09-15
US10659794B2 (en) 2020-05-19
US20190281312A1 (en) 2019-09-12
TW201939954A (zh) 2019-10-01
CN111669597B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
TWI709330B (zh) 調色板解碼的裝置和方法
US10911754B2 (en) Image coding method using history-based motion information and apparatus for the same
JP2020174358A (ja) ビットストリーム内で、ｌｄｒピクチャのピクチャ／ビデオ・フォーマットと、このｌｄｒピクチャおよびイルミネーション・ピクチャから取得された復号済みのｈｄｒピクチャのピクチャ／ビデオ・フォーマットとをシグナリングする方法および装置
JP2014239473A (ja) Ｊｐｅｇまたは他の符号化規格のための回転トランスコーディング
CN105472371B (zh) 视频码流处理方法和装置
TW202044833A (zh) 使用不同色度格式之三角預測單元模式中之視訊寫碼
JP7305851B2 (ja) 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
TW202211684A (zh) 編碼方法、解碼方法、編碼器、解碼器以及編碼系統
WO2020143585A1 (zh) 视频编码器、视频解码器及相应方法
JP6209026B2 (ja) 画像符号化装置及びその制御方法
TW202002654A (zh) 具有群組分流位元子之係數寫碼
TW202209879A (zh) 圖像編碼方法、圖像解碼方法及相關裝置
TW202029753A (zh) 用於視訊寫碼之廣角框內預測
CN116325723B (zh) 用于视频解码的方法、计算机设备及介质
US7197078B2 (en) Video coding/decoding buffering apparatus and buffering method thereof
KR20230097129A (ko) 교차-컴포넌트 변환 계수 레벨 재구성에서의 오프셋 도출
JP2018125882A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2009171541A (ja) ピクチャフレームを処理する装置および方法
CN115552901A (zh) 用于频率相关的联合分量二次变换的方法和装置
JP2017069617A (ja) 半導体装置および画像符号化方法
TWI834269B (zh) 視訊處理方法及裝置
JP2022540659A (ja) ルマツークロマ量子化パラメータテーブルシグナリング
KR20230157975A (ko) 딥러닝 기반 yuv 비디오 압축을 위한 모션 흐름 코딩
KR20220088888A (ko) 인트라 예측을 위한 신경망의 반복 트레이닝
CN114788275A (zh) 用于联合Cb-Cr编码的量化矩阵的推导