TWI606718B - 規定視覺動態範圍編碼操作及參數 - Google Patents

規定視覺動態範圍編碼操作及參數 Download PDF

Info

Publication number
TWI606718B
TWI606718B TW105124615A TW105124615A TWI606718B TW I606718 B TWI606718 B TW I606718B TW 105124615 A TW105124615 A TW 105124615A TW 105124615 A TW105124615 A TW 105124615A TW I606718 B TWI606718 B TW I606718B
Authority
TW
Taiwan
Prior art keywords
rpu
data
vdr
decoder
decoding
Prior art date
Application number
TW105124615A
Other languages
English (en)
Other versions
TW201642656A (zh
Inventor
曲晟
尹鵬
葉研
賀玉文
華特 吉希
蘇關明
袁玉斐
薩米爾 胡亞卡爾
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201642656A publication Critical patent/TW201642656A/zh
Application granted granted Critical
Publication of TWI606718B publication Critical patent/TWI606718B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

規定視覺動態範圍編碼操作及參數
本發明一般關於視頻編碼系統，且更特別地是關於編碼、解碼、和表現視覺動態範圍影像的系統。
已開發出顯示技術以支援傳輸並呈現基於特定視頻格式的視頻內容。例如，MPEG視頻編碼器和解碼器可支援編碼成MPEG視頻格式的視頻內容。其他視頻編碼器和解碼器可支援編碼成不同視頻格式的視頻內容。
如手持裝置的消費者裝置通常係以一限定組合的視頻編碼系統來安裝或配置，其中每個視頻編碼系統可支援限定組合之視頻格式中的一特定視頻格式。於是，若一件視頻內容未以預期的視頻格式來編碼並傳送，則裝置將有可能無法找到適當的視頻解碼器來解碼和幫助呈現視頻內容。即使呈現了，所呈現的視頻內容仍可能包含所接收的視頻內容之不正確的解釋或表示，且在色彩和亮度值中產生可見的加工物。
在本章節中所描述的方法係為可能採取的方法，而不 一定是先前已設想到或採取的方法。因此，除非另有指明，否則不應假設本章節中所描述的任一方法僅因為包含在本章節中而被視為先前技術。同樣地，除非另有指明，否則不應假設關於一或多個方法所識別的問題在基於本章節之基礎下而被認為是在任何先前技術中。
102‧‧‧VDR編碼器
104‧‧‧VDR信號
106‧‧‧色彩空間轉換
108‧‧‧SDR信號
110‧‧‧VDR RPU
112‧‧‧RPU處理模組
114‧‧‧參考圖片儲存
116‧‧‧基本層SDR編碼器
118‧‧‧殘餘非線性量化器
120‧‧‧增強層編碼器
122‧‧‧參考圖片儲存
124‧‧‧增強層位元流
126‧‧‧VDR RPU位元流
128‧‧‧基本層位元流
130‧‧‧殘餘值
202‧‧‧VDR編碼器
204‧‧‧VDR信號
206‧‧‧色彩空間轉換
208‧‧‧SDR信號
210‧‧‧VDR RPU
212‧‧‧RPU處理模組
214‧‧‧參考圖片儲存
216‧‧‧基本層SDR編碼器
220‧‧‧增強層VDR編碼器
222‧‧‧參考圖片儲存
224‧‧‧增強層位元流
226‧‧‧VDR RPU位元流
228‧‧‧基本層位元流
1102-1110‧‧‧方塊
1152-1158‧‧‧方塊
1200‧‧‧計算機系統
1202‧‧‧匯流排
1204‧‧‧處理器
1206‧‧‧主記憶體
1208‧‧‧唯讀記憶體
1210‧‧‧儲存裝置
1212‧‧‧顯示器
1214‧‧‧輸入裝置
1216‧‧‧游標控制
1218‧‧‧通訊介面
1220‧‧‧網路連結
1222‧‧‧區域網路
1224‧‧‧主機電腦
1226‧‧‧網際網路服務提供者
1228‧‧‧網際網路
1230‧‧‧伺服器
本發明僅經由在附圖中的舉例，而非限定來說明，在附圖中的相同參考數字係指類似元件，而其中：第1圖和第2圖繪示在示範實施例中之視覺動態範圍(VDR)編碼器，其基於依照一或多個VDR規定的編碼語法來產生參考處理單元(RPU)資料；第3圖繪示在示範實施例中之包含一NAL標頭及一列位元組序列承載資料的NAL資料單元；第4圖繪示RPU資料標頭的佈置。第5圖繪示在示範實施例中之RPU資料標頭剖析；第6圖繪示RPU資料的佈置，第7圖至第9圖繪示在示範實施例中之RPU資料解碼；第10圖繪示在一示範實施例中之剖析來自RPU資料的編碼語法之VDR解碼器；第11A圖和第11B圖繪示根據本發明之示範實施例的示範程序流程；及第12圖繪示根據本發明之一實施例之於其上可實作如本文所述之電腦或計算裝置的示範硬體平台。
【發明內容及實施方式】
本文中說明有關使用一階層式VDR編解碼器來編碼、解碼、和表現視覺動態範圍影像的示範實施例。在下面的說明中，為了解釋之目的，提出了許多具體的細節以提出對於本發明的全面性了解。然而，將清楚明白無需這些具體細節仍可實行本發明。在其他情況下，不會詳盡說明熟知結構和裝置以避免不必要地封閉、模糊、或混淆本發明。
本文根據下列之綱要來說明示範實施例：
1. 一般概要
2. VDR編碼器
3. RPU資料單元
4. RPU資料解碼-序列級及/或訊框級
5. RPU資料解碼-分割級
6. RPU資料解碼-色度映射
7. RPU資料解碼之額外實例
8. 示範程序流程
9. 實作機制-硬體概要
10. 等效物、延伸物、替代物及雜項
1. 一般概要
本概要提出了本發明之示範實施例的一些態樣之基本說明。應注意本概要並非示範實施例之態樣的廣泛或詳盡 概要。此外，應注意本概要將不被視為識別示範實施例之任何特定顯著態樣或元件，也不被視為描述特定示範實施例和一般本發明之任何範圍。本概要僅提出有關為簡明和簡化格式的示範實施例之某些概念，且應被視為僅僅是下列之示範實施例的更詳細說明之概念性序言。
本文所述之技術支援將由不同視頻編碼系統產生的參考處理資料傳輸和發信至共同媒介中的下游裝置。如本文所使用，「共同媒介」之詞可指一共同參考處理單元(RPU)資料格式，其係配置以攜帶基於種類繁多的視覺動態範圍(VDR)規定之任一者而產生的參考處理資料。如本文所使用，在共同媒介中攜帶的參考處理資料提供一編碼語法，其包含複數個規定所使用或待使用於編碼和解碼與參考處理資料關聯的視頻資料之操作和參數的語法元素。如本文所述之語法元素能夠描述不同VDR規定之一些或所有者共有或只專用於不同VDR規定之一或更多者而並非所有者的操作。例如可在下游(例如，消費者)裝置中實作共同參考處理資料解碼/剖析程序以解碼編碼語法、或其中的語法元素，無論編碼語法係關於哪個VDR規定。因此，下游裝置不需要為消費者裝置係或將配置以支援之每個現存或新的VDR規定實作個別和不同的參考處理資料解碼/剖析程序。下游裝置的提供者可能僅需要專注於提供支援用於編碼和解碼如以現有或新的VDR規定之媒體樣本的演算法和操作。相同參考處理資料解碼/剖析程序可重覆使用或本質上重覆使用於包括尚待開發之 VDR規定的所有VDR規定，因為如本文所述之技術使用共同媒介以傳送或發信與在不同VDR規定下產生之媒體樣本關聯的參考處理資料。如本文所使用，「媒體樣本」之詞係指形成如本文所述之VDR資料的資料(當與參考處理資料合併時)。
多個層(或位元流)可用來將VDR資料(媒體樣本和參考處理單元資料)從如VDR編碼器的上游裝置傳送至下游裝置。在多個層中傳送的VDR資料可用來支援多種顯示技術，其可包括但不僅限於反向相容顯示技術和新的高動態範圍(HDR)顯示技術之任一者。如本文所使用，「VDR」或「視覺動態範圍」之詞可指比標準動態範圍更寬的動態範圍，且可包括，但不限於高達瞬間感知動態範圍的寬動態範圍和人類視覺能瞬間感知的色域。如本文所使用，「多層」或「多個層」之詞可指兩個或更多包含基本層(BL)、參考處理單元(RPU)層及增強層(EL)的位元流，其傳送在(視頻信號)彼此之間具有一或多個邏輯依賴關係的多個視頻或影像信號。
基本層可藉由上游裝置傳送從SDR信號取得或從VDR信號中之輸入VDR資料映射的BL資料(基本層媒體樣本)。一或多個增強層(EL)可藉由上游裝置傳送從至少部分的VDR信號取得之EL資料(增強層媒體樣本)。在一些實施例中，為了利用與相同輸入VDR資料相關之BL資料與EL資料兩者間的統計冗餘，EL資料可被減少(可能是冗餘的)以包含基於BL視頻資料與輸入 VDR視頻資料之預測值間的殘餘值或不同值。在一些實施例中，VDR編碼器可配置以應用準確的預測演算法使得殘餘值被降為零；因此，EL資料可用來保持減少組合之與準確的預測演算法相關之層間參考圖片而不會保持無用的零殘餘值。用於無殘餘視頻編碼系統的層間參考圖片可能不是為了單一VDR影像，而是為了一組相關輸入VDR影像而產生。
在一些實施例中，RPU層可傳送由上游裝置產生的參考處理資料(或者表示為RPU資料)。如VDR編碼器的上游裝置可使用RPU資料以將編碼語法發信至如VDR解碼器的下游裝置。編碼語法使得VDR解碼器能基於BL和EL層中的BL資料和EL資料來重建VDR影像。
在RPU資料中攜帶的語法元素之實例可包括，但不限於層間預測係數、殘餘非線性反量化參數、色度重新抽樣過濾係數、色彩空間轉換指示器及其他VDR語法元素(例如，由用以產生BL和EL資料的VDR編碼器及用以解碼BL和EL資料的VDR解碼器進行之功能及或操作的旗標和描述符)。RPU資料中的語法元素可分類成序列級、訊框級、分割級、或功能/操作級之其一者。
輸入VDR媒體內容(例如，HDR電影)可再分成序列(例如，對應於場景或一部分場景等)、訊框(或影像或圖片)、或分割(或部分影像)。在序列、訊框或分割級的語法元素可明確地編碼在目前RPU資料中、或可從先前在對應序列、訊框或分割級發送的RPU資料預測。 額外地、選擇性地、或替代地，語法元素可出現在序列、訊框和分割級之一個以上者。
如本文所述之包括分層式編解碼器架構(BL、EL和RPU層)的技術可藉由不同的VDR編碼系統來實作。例如，實作一些技術的第一VDR編碼系統可以是一基於殘餘的分層式編解碼器，其中基本層和增強層都使用一色度格式(例如，4：2：0)和一低位元深度(例如，8位元)；實作一些技術的第二VDR編碼系統可以是一基於信號的分層式編解碼器，其中增強層使用比基本層(4：2：0 8位元)之色度格式(例如，4：2：0)和位元深度(例如，8位元)更寬的色度格式(例如，4：4：4)和更高的位元深度(例如，12位元以上)。尤其是，解碼如本文所述之技術的RPU資料可能在最初支援一組一或多個不同VDR規定的VDR編碼系統中實作且當隨後支援額外VDR規定時可藉由稍微或不改變VDR編碼系統來重覆使用。
RPU層的已編碼位元流、或其中的RPU資料可與其他層中的已編碼位元流、或其中的BL和EL資料同步。例如，RPU資料和BL/EL資料的同步可透過依照顯示順序的圖片顯示數(例如，如H.264中規定的picture_order_count)。
如本文所述之技術支援複數個使用於層間預測、反映射、色度重新抽樣、如在分割之邊界區域中的內插法之資料處理、空間縮放、非線性量化等的操作。有些支援的操 作可共用於不同VDR規定之一些或所有者，而有些其他支援的操作可特用於一或多個規定而非所有的VDR規定。例如，非線性量化/反量化可以如EL資料的殘餘值對VDR規定進行。
如本文所述之技術支援如由彈性編碼語法所驅動的視頻編碼和解碼。這種方法允許平行和連續最佳化編碼器和解碼器設計，例如，以增進的演算法、實作成本、速度等。連同分層式VDR資料的編碼語法藉由利用目前RPU資料與先前傳送之RPU資料間的冗餘可有效地被VDR編碼器傳輸和發信至VDR解碼器。編碼語法對VDR解碼器提供一路線圖(例如，完整的)以有效地進行例如反向資料流中的解碼操作。
在一些示範實施例中，如本文所述之機制形成一部分的媒體處理系統，包括但不限於手持裝置、遊戲機、電視、膝上型電腦、易網機、平板電腦、蜂巢式無線電話、電子書閱讀器、銷售點終端機、桌上型電腦、電腦工作站、電腦資訊站、或各種其他類型之終端機和媒體處理單元之任一者。
本領域之熟知技術者將顯而易見針對本文所述之較佳實施例的各種修改和一般原理及特徵。因此，預期本揭露不會限於所顯示之實施例，而是應被賦予符合本文所述之原理和特徵的最廣範圍。
2. VDR編碼器
VDR編碼器可使用依照一或多個不同VDR規定之其一者的編碼語法來產生BL資料、EL資料和RPU資料。這些不同的VDR規定可以包含不同組合之主要及/或次要版本號碼的不同版本(同樣可使用識別特定VDR規定的其他方式)來標記或識別。如本文所使用，VDR規定可提供可包括在編碼語法中的語法元素之規定，其可從如VDR編碼器的上游裝置發信至如VDR解碼器的下游裝置。
第1圖繪示基於依照一或多個VDR規定的編碼語法來產生RPU資料的VDR編碼器102。在一些實施例中，至少兩個VDR規定(例如，分別以第一版本(「1.0」)或第二版本(「1.x」)標記)會被VDR編碼器102支援。VDR編碼器102可配置以依照語法元素對BL資料、EL資料、RPU資料、層間預測資料及中間媒體資料進行操作，語法元素係依照一或多個由VDR編碼器102支援的VDR規定來編譯。這些不同的VDR規定可包括，但不限於支援反向相容性的第一版本及不支援反向相容性的第二版本。如本文所使用，「反向相容性」之術語係指BL資料是否包含為了在SDR顯示器上觀看而最佳化的SDR影像。VDR編碼器102可與一或多個計算裝置實作。
在一實施例中，VDR編碼器102係配置以接收一(輸入)VDR信號104並從VDR信號104取得一輸入VDR影像。如本文所使用，「輸入VDR影像」可包含寬或高動態範圍影像資料來解碼來源影像之VDR版本，其 依序可以是由高端影像取得裝置擷取的列影像。輸入VDR影像可能是在支援高動態範圍色域之輸入色彩空間中的高位元深度(例如，10+位元)影像。如本文所述之VDR編碼系統所接收或處理的一或多個VDR信號之實例包括，但不限於12位元的P3 D65 RGB 444信號、12位元的建議(Rec.)709 RGB 444信號、12位元的DCDM X’Y’Z’444信號、為16位元TIFF檔案格式的視頻資料等之任一者。
在一實例中，表現在輸入VDR影像中的每個像素包含用於為色彩空間(例如，RGB色彩空間)定義之所有通道(例如，紅、綠、和藍色通道)的像素值。每個像素可選擇性地及/或替代地包含用於色彩空間中的一或多個通道之升採樣或降採樣像素值。應注意在一些實施例中，除了如紅、綠和藍之三個主要色彩之外，不同的主要色彩也可同時使用在如本文所述之色彩空間中，例如，用來支援寬色域；在那些實施例中，如本文所述之影像資料包括用於那些不同主要色彩之額外像素值且可同時被如本文所述之技術處理。
在一實施例中，VDR編碼器102可在一映射色彩空間(例如，YCbCr空間、RGB空間、或另一色彩空間之其一者)中進行層間預測相關操作。在一些實施例中，若輸入色彩空間不同於映射色彩空間，則輸入VDR影像可藉由色彩空間轉換單元從輸入色彩空間轉換成映射色彩空間。
在一實施例中，VDR編碼器102係配置以接收一(輸入)SDR信號108並從SDR信號108取得BL資料，如第1圖所示。如本文所述之VDR編碼系統所接收的一或多個SDR信號之實例包括，但不限於8位元的YCbCr信號、為8位元YUV檔案格式的視頻資料等之任一者。
如本文所使用，「BL資料」可指低位元深度(例如，8位元)影像資料，其可能或可能不會為了在SDR顯示器上觀看而最佳化。如本文所使用，「低位元深度」之詞係指在具有低位元深度之編碼空間中量化的影像資料；低位元深度之實例包含8位元，而「高位元深度」之詞係指在具有高位元深度之編碼空間中量化的影像資料；高位元深度之實例是10、12以上之位元。特別是，「低位元深度」或「高位元深度」之詞並非係指像素值之最低位元或最高位元。
在第一實例中，BL資料包含為了在SDR顯示器上觀看而最佳化的SDR影像且可與支援反向相容性的第一版本之VDR規定關聯。SDR影像可包含由著色師進行的色彩校正，以使SDR影像在相對較窄或標準動態範圍內盡可能看起來逼真。例如，與造成輸入VDR影像之來源HDR影像中之一些或所有像素相關的色調資訊可能在SDR影像中改變或校正，以在標準動態範圍內產生逼真的影像。
在第二實例中，VDR編碼器102係配置以將VDR-SDR(例如，色調)映射施用於輸入VDR影像以取得BL 資料，而不是從如同第1圖之108的輸入SDR信號取得BL資料。在本實例中的BL資料可能不會為了在SDR顯示器上觀看而最佳化，且可能與不支援反向相容性的第二版本之VDR規定關聯。BL資料可包含輸入VDR影像的低位元表示法。VDR-SDR映射可例如基於全域量化、線性量化、線性伸縮、基於曲線的量化、機率密度函數(Pdf)最佳化量化、LLoyd-Max量化、基於分割的量化、知覺量化、串色通道/向量量化、或其他類型的量化之一或更多者。額外地、選擇性地、或替代地，VDR-SDR映射可例如包括去噪處理、訊框對準處理、色彩分級處理等之零或更多者。本實例中的BL資料在標準動態範圍內可能不會為了呈現逼真的影像而最佳化。反而，BL資料可意味著藉由下游裝置有效地與EL資料結合以建構對應於從第1圖之輸入VDR信號取得的輸入VDR影像之輸出VDR影像。
在一實施例中，VDR編碼器102、或其中的基本層SDR編碼器(116)係配置以將輸入SDR影像(其可從SDR信號108或根據對從VDR信號104取得之輸入VDR影像的映射操作取得)編碼成一基本層位元流128。
在一實施例中，VDR編碼器102採用如H.264/MPEG-4 AVC(IS 14496-10)、HEVC、MPEG-4 Part2(IS 14496-2)、MPEG-2(IS 11138-2)、VP8、VC-1、及/或其他的混合視頻編碼模型。意味著在基本層中編碼的媒體樣本可根據相同影像中的相鄰樣本來預測 (使用畫面內預測)或可根據來自屬於相同基本層之過去已解碼影像的樣本來預測(畫面間預測)。這些待用於預測之已解碼BL樣本可儲存或緩衝在參考圖片儲存(用於基本層)114內。
在一實施例中，VDR編碼器102更配置以基於已解碼BL樣本對意味著在增強層中編碼的媒體樣本進行層間預測。已解碼之BL樣本可從參考圖片儲存114(其可以是一或多個記憶體緩衝區或其他形式的記憶體空間)取回。
VDR編碼器102、或其中的VDR RPU 110可配置以產生用於被VDR編碼器102進行之編碼相關操作的編碼語法。這些編碼相關操作包括所進行用來產生待在增強層位元流124中傳輸之EL資料的操作。在如本文所述之技術下，用於編碼相關操作的編碼語法會被VDR編碼器發信至VDR解碼器，使得VDR解碼器使用用於解碼相關操作的相同編碼語法。在一些實施例中，被VDR編碼器發信至VDR解碼器的編碼語法可規定一或多個單獨被VDR解碼器而不被VDR編碼器進行的額外操作。
編碼語法可包含依照由VDR編碼器102支援的特定VDR規定之複數個語法元素且可包括，但不限於層間預測係數、殘餘非線性反量化參數、色度重新抽樣過濾係數、色彩空間轉換指示器、或其他VDR語法元素(例如，由用以產生BL和EL資料的VDR編碼器及用以解碼BL和EL資料的VDR解碼器進行之功能及或操作的旗標 和描述符)。
在一實施例中，RPU處理模組112係配置以基於編碼語法來進行一系列序列級、訊框級、和分割級操作(其可包括但不僅限於與預測相關的操作)。例如，RPU處理模組112可進行如在編碼語法中規定之如SDR-VDR映射的反映射、色度升採樣、一或多個視頻資料處理操作(例如，濾波、內插、重標等)、或非線性量化(NLQ)之操作。因此，預測參考值可被RPU處理模組112產生。
在一實施例中，VDR編碼器102可進行一或多個操作以產生從輸入VDR影像(從VDR信號104得到)得到的VDR影像資料和轉換的色彩空間之間的殘餘值(130)及預測參考值(若需要的話)。殘餘值可能在線性或對數域方面有所不同。在一實施例中，VDR編碼器102、或其中的殘餘降採樣/重新抽樣單元可配置以對殘餘值(130)進行一或多個降採樣/重新抽樣操作以產生降採樣(例如，8位元)的殘餘值以供進一步處理。在一實施例中，VDR編碼器102、或其中的殘餘非線性量化器(NLQ；118)可配置以對殘餘值(130)或降採樣的殘餘值進行一或多個非線性量化操作，並提供非線性量化殘餘值給VDR編碼器102的其他單元以供進一步處理。
在一實施例中，VDR編碼器102、或其中的增強層(為了說明之目的只有8位元/4：2：0)編碼器(120)係配置以將殘餘值(在一些實施例中其可被非線性量化及/或降採樣)編碼成增強層位元流124作為EL資料。
在VDR編碼器102、或增強層(為了說明之目的只有8位元/4：2：0)編碼器(120)採用混合視頻編碼模型的實施例中，殘餘值可根據相同影像中的相鄰殘餘值樣本來預測(使用畫面內預測)或可根據從屬於相同增強層之過去已解碼影像的殘餘值樣本來預測(畫面間預測)。在一實施例中，用於預測之相同層EL樣本係儲存或緩衝在參考圖片儲存(用於增強層)122內。
在一實施例中，VDR編碼器102、或其中的VDR RPU 110係配置以將作為一部分RPU資料的編碼語法編碼成VDR RPU位元流126。RPU資料可包括，但不限於SDR-VDR映射參數、應用以產生預測參考影像之預測方法所使用的多項式參數、NLQ參數、由VDR RPU(110)進行之一或多個視頻資料處理操作所使用的參數之任一者。VDR RPU 110可設定旗標或RPU資料單元中的標頭欄位以指示出編碼語法中的語法元素是否可從先前發送給前序列、前訊框、或前分割的RPU資料預測。
BL編碼器(116)和EL編碼器(120)之一或兩者可使用如H.264/MPEG-4 AVC、HEVC、MPEG-2、VP8、VC-1、及/或其他的複數個編解碼器之一或更多者來實作。
對應VDR解碼器(其對第1圖所示之VDR解碼器實作一反向資料流且支援VDR編碼器102產生編碼語法的相同VDR規定)可用來解碼由VDR編碼器102產生的BL、EL和RPU位元流並產生輸入VDR影像的重建版 本。
第2圖繪示產生對應於一或多個不同VDR規定之RPU資料的VDR編碼器(202)。VDR編碼器202可(但不限於)與第三版本(例如，表示為「2.0」)的VDR規定關聯，其可能不同於由VDR編碼器102實作的第一版本或第二版本。VDR編碼器202可與一或多個計算裝置實作。
在一示範實施例中，VDR編碼器202係配置以接收一(輸入)VDR信號204以及從VDR信號204得到的輸入VDR影像。輸入VDR影像可包含在支援高動態範圍色域之輸入色彩空間中的高位元深度(例如，10+位元)影像資料。
在一些實施例中，若輸入色彩空間不同於VDR編碼器202進行預測操作的映射色彩空間，則輸入VDR影像可藉由色彩空間轉換單元從輸入色彩空間轉換成映射色彩空間。
在一實施例中，VDR編碼器202係配置以接收(輸入)SDR信號208並從SDR信號208取得BL資料，如第2圖所示。替代地，VDR編碼器202係配置以將VDR-SDR(例如，色調)映射施用於輸入VDR影像以取得BL資料，而不是從SDR信號解碼BL資料。BL資料可包含低位元深度(例如，8位元)影像資料，其可能或可能不會為了在SDR顯示器上觀看而最佳化。與VDR編碼器202關聯的BL資料可能或可能不會類似於與如上述之 VDR編碼器102關聯的BL資料。
在一實施例中，VDR編碼器202、或其中的基本層SDR編碼器(216)係配置以將BL資料(其可從SDR信號208或根據從VDR信號204取得之輸入VDR影像上的映射操作取得)編碼成基本層位元流228。
在一實施例中，由BL資料表示的媒體樣本可根據相同影像中的相鄰樣本來預測(例如，使用畫面內預測)或可根據從屬於相同基本層之過去已解碼影像的樣本來預測(例如，使用畫面間預測)。這些樣本可儲存或緩衝在參考圖片儲存(用於基本層)214內。
在一實施例中，VDR編碼器202係配置以基於BL資料樣本來進行用於有關增強層之高位元深度媒體樣本的層間預測。BL資料樣本可從一或多個記憶體緩衝區或其他形式的記憶體空間中的參考圖片儲存214取得。在一些實施例中，VDR編碼器202係設計用來基於準確的預測演算法來進行一或多個操作，其使用層間參考圖片和已解碼BL樣本以不產生任何用於高位元深度媒體樣本的殘餘值(或者，即使產生，殘餘值卻都為零)。於是，高位元深度媒體樣本可基於至少部分層間參考圖片和已解碼BL樣本來準確地預測。
VDR編碼器202、或其中的VDR RPU 210可配置以產生用於待在增強層位元流224中傳輸之EL資料(其可包含層間參考圖片)的編碼語法。編碼語法可包含依照由VDR編碼器202支援的VDR規定之複數個語法元素且可 包括，但不限於層間預測係數、色度重新抽樣過濾係數、色彩空間轉換指示器、其他VDR語法元素(例如，VDR編碼器所進行之功能及或操作的旗標和描述符以產生BL和EL資料等)、等等。
在一實施例中，RPU處理模組212係配置以基於編碼語法進行一系列操作(其可包括但不限於只與預測相關的操作)。例如，RPU處理模組212可進行如在編碼語法中規定之如SDR-VDR映射的反色調映射、色度升採樣、及一或多個視頻資料處理操作(例如，濾波、內插、重標等)之操作。在一實施例中，RPU處理模組212不產生任何殘餘值(或所有殘餘值皆為零，因為VDR編碼器202或其中的RPU處理模組212進行準確的預測操作)。在本實施例中，由於增強層VDR編碼器220正在對像素資料運作，因此RPU處理模組212不會進行殘餘非線性量化(NLQ)以產生EL資料。由此，VDR RPU 210所產生的編碼語法可能不具有與殘餘非線性量化(NLQ)相關的參數。
在一實施例中，RPU處理模組212係配置以基於編碼語法來產生層間參考圖片。不必為每個輸入VDR影像產生如本文所述之層間參考圖片；可能會為一系列從VDR信號204得到的一或多個連續VDR影像產生層間參考圖片。來自層間參考圖片的媒體樣本可儲存或緩衝在參考圖片儲存(用於增強層)222內。
在一實施例中，VDR編碼器202、或其中的增強層編 碼器(220)係配置以基於至少部分層間參考圖片及/或從VDR信號204得到的輸入VDR影像來將輸出EL信號編碼成增強層位元流224。
在一實施例中，VDR編碼器202、或其中的VDR RPU(210)係配置以將作為至少部分RPU資料的編碼語法編碼成VDR RPU位元流226。
基本層編碼器(216)和增強層編碼器(220)之一或兩者可使用如H.264/MPEG-4 AVC、HEVC、MPEG-2、VP8、VC-1、及/或其他的複數個編解碼器之一或更多者來實作。
對應VDR解碼器(其對第2圖所示之VDR解碼器實作一反向資料流且支援VDR編碼器202產生編碼語法的相同VDR規定)可用來解碼由第三版本之VDR編碼器202產生的位元流並產生輸入VDR影像的重建版本。
額外地、選擇性地、或替代地，對應於其他版本之VDR規定的VDR編解碼器(或編碼系統)可由如本文所述之技術所支援。
在一些實施例中，由如VDR編碼器(例如，第1圖之102、或第2圖之202)之上游裝置產生的RPU資料可提供給複數個網路抽象層(NAL)資料單元中的下游裝置。在一實施例中，如第3圖所示，NAL資料單元包含一NAL標頭及一列位元組序列承載資料(RBSP)。僅為了說明之目的，當NAL資料單元中的RBSP被用來封裝RPU資料時，則NAL標頭中的欄位「NAL_unit_type」可 設定成25或不同於在H.264/MPEG-4 AVC規定(IS 14496-10)中規定的那些NAL類型之另一識別數。
在一些實施例中，NAL資料單元之RBSP中的RPU資料包含一RPU資料標頭及一RPU資料。RPU資料單元可用來作為一共同媒介以將RPU資料從上游裝置傳送至下游裝置，其中RPU資料可與複數個VDR規定(例如，不同版本)之任一者關聯。RPU資料標頭可包含識別編解碼器或編碼系統類型(例如，用於3D編碼系統或用於VDR編碼系統)及在複數個不同VDR規定當中之特定VDR規定的標頭欄位。RPU資料標頭亦可包含在RPU資料單元中傳送之RPU資料的一或多個高級(例如，序列級和訊框級)部分。
RPU資料亦可用來藉由上游裝置將可用於解碼多層式視頻信號且用於以已解碼視頻信號來重建VDR影像的旗標、操作及參數之集合的描述符(或語法描述)傳輸至下游裝置。如由RPU資料所述之用於重建VDR影像之一或多個旗標、操作及參數可能與層間預測相關。如本文所述之用於層間預測的旗標、操作及參數可能與反映射、色度升採樣、及其他如顯示管理的功能之一或更多者相關。額外地、選擇性地、或替代地，如由RPU資料所述之用於重建VDR影像之一或多個功能、操作及參數可能與附屬於或甚至除了層間預測以外的資料處理相關。
第4圖繪示在一示範實施例中之RPU資料標頭的佈置。在一實施例中，RPU資料標頭包含複數個標頭欄位。 僅為了說明之目的，標頭欄位可包括，但不限於「rpu_type」、「rpu_format」、「vdr_rpu_profile」、「vdr_rpu_level」、「vdr序列級資訊」、「vdr訊框級資訊」等等之任一者。
標頭欄位「rpu_type」可用來識別RPU資料是否與3D編解碼器(例如，當rpu_type=0或1)、或VDR編解碼器(例如，當rpu_type=2)相關。標頭欄位「rpu_type」可用來容納額外之尚待開發的新視頻編解碼器。標頭欄位「rpu_format」可用來識別一或多個與RPU資料相關的VDR版本。僅為了說明之目的，標頭欄位「rpu_format」的最高位元可用來區別VDR編解碼器的主要差別，而相同欄位的最低位元可用來區別VDR編解碼器的些微改變。例如，當標頭欄位「rpu_format」的最高位元(例如，最高3個)是0，則RPU資料係與VDR版本1.x流程相關；另一方面，當標頭欄位「rpu_format」的最高位元(例如，最高3個)是1，則RPU資料係與VDR版本2.0流程相關。
一或多個不同的RPU設定檔可被如本文所述之VDR編碼系統支援。標頭欄位「vdr_rpu_profile」可用來識別關於RPU資料的設定檔。例如，標頭欄位之0值指示出一基線設定檔，其規定YCbCr的映射色彩空間、4：2：0的映射色度格式、多項式映射方法、及全域唯一的映射分割；標頭欄位之1值指示出一主設定檔，其規定所有映射色彩空間、所有映射色度格式、所有映射方法、及區域可 以的映射分割(全域分割或區域分割)。在一些實施例中，標頭欄「vdr_rpu_profile」之其他可能的值被保留待由正在開發或尚待開發的新設定檔所使用。標頭欄位「vdr_rpu_level」可額外地及/或選擇性地用來進一步區別以RPU資料進行之RPU處理的複雜程度。
在本文所述之技術下，包含一或多個依照VDR規定之語法元素的編碼語法可在RPU位元流中由VDR編碼器傳輸/發信至VDR解碼器。語法元素可規定使用在VDR編碼操作及對應VDR解碼操作中的旗標、操作、及參數。在語法元素中表示的參數可以是不同的係數類型，且可被規定成具有不同精密度、位元長度、或字組長度等的邏輯值、整數(固定點)值、或浮點數值。
編碼語法中的一些語法元素可分類成序列級資訊，其為了全序列之連續影像而保持不變。序列級資訊之實例包括，但不限於語法元素「chroma_sample_loc_type」、「vdr_color_primaries」、「vdr_chroma_format_idc」等等之任一者，雖然應注意相同語法元素可用來作為序列級、或不同級的各種代碼語法。如第4圖所示，序列級資訊係置於標頭欄位「vdr序列級資訊」中，其可以是一複合欄位且依序包含一旗標vdr_seq_info_present_flag以指示出任何特定序列級資訊是否直接與一或多個目前RPU資料單元編碼或序列級資訊是否可從先前RPU資料預測。
在一些實施例中，基於傳輸效率之原因，VDR編碼 器可能不會為每個影像(在本說明書之內容中可交替地以訊框表示)將序列級資訊發送給VDR解碼器。反而，可一次對每個序列的連續訊框發送序列級參數。然而，基於隨機存取、錯誤校正及穩固性之原因，本發明之實施例不排除在相同序列內重覆序列級參數一次、兩次等。在一實例中，在包含100個連續影像的序列中，序列級參數可在10個訊框、25個訊框、50個訊框等之後的序列中重覆。在另一實例中，序列級參數可在用於每個瞬間解碼更新(IDR)圖片、每兩個IDR圖片等的序列內重覆。
編碼語法中的一些語法元素可分類成訊框級資訊，其為了全訊框而保持不變。在一些實施例中，訊框級資訊係置於標頭欄位「vdr訊框級資訊」中，如第4圖所示。在一些實施例中，一些或所有訊框級資訊可從在前RPU資料單元中發送之訊框級語法元素預測。
例如，關於一組圖片(GOP)、一個場景、一串訊框等的層間預測係數可能是相同的或類似的。因此，可不必為每個訊框重覆訊框級資訊。對於具有相同RPU識別符(Id)的一或多個目前RPU資料單元，VDR編碼器可將RPU資料單元之RPU資料欄位「vdr_rpu_id」中的RPUID(或識別符)發信給VDR解碼器以指示出訊框級資訊被直接編碼(因此可在不參考由不同RPU ID識別之先前RPU資料下被直接取回)在目前RPU資料單元中。
在一些實施例中，可設定一或多個目前RPU資料單元中的旗標「use_prev_vdr_rpu_flag」以對VDR解碼器指 示出應重覆使用或使用一或多個先前發送的RPU資料單元中的訊框級資訊來預測有關一或多個目前RPU資料單元的訊框級資訊。可在一或多個目前RPU資料單元中的RPU資料欄位「prev_vdr_rpu_id」中識別先前發送的RPU資料單元。因此，可避免發送一或多個目前RPU資料單元中的可預測訊框級語法元素。在一些實施例中，亦可避免對目前RPU資料單元分配RPU ID，因為目前RPU資料單元不會直接攜帶已直接編碼的訊框級語法元素。RPU ID的最大數及其對應訊框級語法元素可基於減少位元流傳輸的資料量與增加在VDR解碼器的記憶體使用之間的成本效益折衷而用於預測。
在一些實施例中，如本文所述之技術支援將影像分成一或多個部分。有些可用來規定編碼語法的語法元素可分類成訊框級語法元素，而有些其他語法元素可分類成分割級語法元素。
4. RPU資料解碼-序列級及/或訊框級
第5圖繪示可用來解碼(或剖析)來自RPU資料單元的序列級及/或訊框級語法元素的RPU解碼(或剖析)程序。RPU解碼/剖析程序可配置以接收一或多個目前RPU資料單元，並從一或多個目前RPU資料單元中的一或多個RPU資料標頭取得至少一些語法元素。最初，RPU解碼/剖析程序可判斷旗標「use_prev_vdr_rpu_flag」是否存在，若是，則判斷旗標(語法元素)的值為何。
若判斷旗標係設成1(或「是」)，則RPU解碼/剖析程序繼續進行以根據收到之RPU資料單元解碼或剖析語法元素「prev_vdr_rpu_id」，其指出與一或多個先前發送的RPU資料單元中之先前發送的語法元素關聯的預測子(或先前)RPU ID。基於預測子RPU ID，RPU解碼/剖析程序可使用作為金鑰的預測子RPU ID從指定的RPU資料快取取回先前發送的語法元素。具有「use_prev_vdr_flag」設成1(或「是」)的處理路徑可用來根據來自RPU資料快取的相同級之先前發送的語法元素來預測編碼語法中的序列、訊框、及分割級之一些或所有語法元素。
另一方面，若判斷旗標「use_prev_vdr_rpu_flag」是0(或「否」)，則RPU解碼/剖析程序繼續進行以根據收到之RPU資料單元解碼或剖析語法元素「vdr_rpu_id」，其係設成分配給在一或多個目前RPU資料單元中直接編碼的語法元素之目前RPU ID。僅為了說明之目的，這些語法元素可包括，但不限於：「mapping_color_space」、「mapping_chroma_idc」、「chroma_resampling_filter_idc」、「num_pivots_minus2」、「pred_pivot_value[][]」、「nlq_method_idx」、「nlq_num_pivots_minus2」、「nlq_pred_pivot_value[][]」、「enable_residual_spatial_upsampling_flag」、「num_x_partition_minus1」、「num_y_partition_minus1」、 「residual_resampling_filter_idc」、「overlapped_prediction_method」、等等。應注意在各種實施例中，可定義或使用不同的語法元素及/或不同名稱的語法元素來實作如本文所述之技術。
這些語法元素之一或更多者可以是指示出存在或不存在某些對應操作的旗標。例如，旗標「use_prev_vdr_rpu_flag」指示出存在或不存在用來根據用於先前RPU ID之快取語法元素來預測RPU資料的操作。同樣地，旗標「enable_residual_spatial_upsampling_flag」可指示出殘餘重新抽樣過濾操作是否應基於收到之BL和EL資料來進行重建VDR影像。指示器「chroma_resampling_filter_idc」可指示出應使用何種色度重新抽樣過濾基於收到之BL和EL資料來重建VDR影像。在RPU解碼/剖析程序本身中，這些旗標之各者亦用來判斷是否應採用一特定處理路徑。
RPU類型和版本資訊(其可例如指示出RPU資料是否與對應VDR規定之v1.x流程關聯及/或VDR規定是否實作無殘餘EL資料)可用來決定如第5圖所示之RPU解碼/剖析程序中的一些處理路徑。
如語法元素「num_x_partition_minus1」和「num_y_partition_minus1」的參數亦可用來決定RPU解碼/剖析程序的一些處理路徑。例如，若兩個語法元素都具有零值，則指示出可採用全域唯一的分割、對應於全域唯一的分割之處理路徑。另一方面，若這些語法元素之任一者 或兩者具有非零值，則可採用不同的處理路徑，如第5圖所示。
5. RPU資料解碼-分割級
在一些實施例中，分割級語法元素可在一或多個目前RPU資料單元(例如，的一或多個RPU承載資料)中被VDR編碼器傳輸至VDR解碼器。在一示範實施例中，第6圖繪示可用來從一或多個目前RPU資料單元解碼分割級語法元素的RPU資料解碼/剖析程序。一或多個分割級語法元素可與編碼語法相關，或可應用於編碼語法以規定層間預測相關操作及/或其他處理操作。
在一些實施例中，第6圖之RPU資料解碼/剖析程序可實作成函數「vdr_rpu_data_payload()」，其可被例如第5圖之RPU解碼/剖析程序呼叫。
在一些實施例中，對疊代在影像訊框之x和y方向上的每個分割重覆第6圖之一些步驟。如第6圖所示，最初可為每個分割呼叫函數「rpu_data_mapping(x,y)」以解碼可共用於複數個不同DVR規定的分割級語法元素。隨後，可解碼更專用於特定VDR規定的語法元素。解碼更特定語法元素可基於其他語法元素或例如已從一或多個目前RPU資料單元解碼的RPU資訊來進行。例如，基於(1)「rpu_format」欄位和(2)從一或多個目前RPU資料單元之一或多個RPU資料標頭解碼之語法元素「mapping_chroma_idc」(用於版本號v1.x的VDR規 定)或語法元素「vdr_chroma_format_idc」及「sdr_chroma_format_idc」(用於版本號v2.x的VDR規定)，第6圖之RPU資料解碼/剖析程序可判斷是否應對收到之依照「v1.x」或「v2.x」的VDR規定之BL和EL資料進行色度重新抽樣操作。
若判斷VDR規定是版本v1.x且旗標「disable_residual_flag」是假，則可為每個分割呼叫RPU解碼/剖析函數「rpu_data_nlq(x,y)」。此外，如訊框級RPU解碼/剖析函數「rpu_data_residual_resampling(x,y)」的其他解碼/剖析函數亦可當x和y分割索引皆是零時被呼叫，如第6圖所示。
在一些實施例中，由VDR編碼系統實作的VDR規定支援色度重新抽樣、反映射、基於預測的操作，包括但不限於：基於重疊區的預測、殘餘非線性量化/反量化、殘餘色度重新抽樣、空間縮放、資料處理(例如，分割之邊界區域中的內插法)、等等。
對色度重新抽樣而言，VDR規定可支援固定濾波器和顯式1D(2D可分離型)濾波器和2D(非分離型)濾波器、或使用其他亮度或色度通道資訊的濾波器(交互通道重新抽樣濾波器)、等等。語法元素「chroma_resampling_filter_idc」可用來指定上述哪個濾波器作為部分的編碼語法。在如本文所述之技術下，不同色度通道可使用不同濾波器。額外地、選擇性地、或替代地，顯式濾波器可以是對稱或非對稱的。在一些實施例 中，如本文所述之一或多個濾波器係設計成將圖片邊界(或影像邊界)視為在濾波操作中的特定例子。例如，濾波器可簡單地藉由重覆(或第6圖所示)或鏡射來填塞圖片邊界。在一些實施例中，如本文所述之一或多個濾波器係設計用來進行跨不同分割的操作、或用來以相同方式將分割邊界視為圖片邊界。可對相同影像的不同分割使用不同的色度重新抽樣濾波器。額外地、選擇性地、或替代地，濾波器可施用於全影像的所有操作。額外地、選擇性地、或替代地，可對全影像規定特定類型的濾波器，例如，顯式濾波器；然而，可對不同分割規定編碼語法中的不同係數。例如，可在訊框級發信語法元素「chroma_resampling_filter_idc」以指示出特定類型的濾波器係用於整個訊框；然而，可在分割級發信用於訊框內的不同分割之不同濾波器係數。額外地、選擇性地、或替代地，分割級濾波係數可被直接編碼、從目前RPU ID下的一或多個先前分割預測或從先前RPU ID下的一或多個先前RPU資料單元之一或多個分割預測。如本文所述之係數可被非差動地編碼、或差動地編碼(例如，包含相對於不同分割、影像、或色度通道之值的差動值)。色度重新抽樣濾波器也應將色度樣本區位列入考慮。
反映射可對VDR分層式編解碼器發揮重要的作用。如本文所述之VDR規定可支援各種反映射法。反映射法之實例包括，但不僅限於位元移位、多項式、MMR、SOP、1D LUT、曲線配適等之任一者。如第8圖所示之解 碼/剖析函數「rpu_data_mapping()」可用來解碼(或剖析)與所指定的色彩空間之每個色彩元素(亮度或色度元素)中的反映射相關的語法元素。語法元素「syntax mapping_idc」可用來指示出選擇哪個反映射法。由於影像的不同區域可包含不同的視覺內容，因此VDR規定可允許不同分割(亦即，不同區域)使用不同的映射法。影像之每個通道的動態範圍可分成不同區段(或片段)且每個動態範圍區段可使用不同的映射法。此外，不同分割之各者中的每個動態範圍可使用不同的映射法。這種方法可應用於反映射，其中影像中的媒體內容之中間動態範圍係線性的且可以線性映射來處理，而暗和亮範圍係非線性的且應以相對複雜的映射法來處理。在一實施例中，語法pivot_value係用來指示出動態範圍區段。額外地、選擇性地、或替代地，映射樞軸值可在編碼語法中被差動地編碼(例如，如以語法元素「pred_pivot_value」表示)或被直接編碼在發信至下游VDR解碼器之一或多個目前RPU資料單元中。
在一些實施例中，影像中的多個分割之至少一者可使用複數個不同的動態範圍區段。在一些實施例中，決定或設定影像之所有分割中的不同動態範圍區段之最大數量會低於限制。在一些實施例中，影像的所有分割保持相同數量的不同動態範圍區段，雖然不同分割中的動態範圍可選擇性地不同。
對線性映射而言，VDR編碼器可使用編碼語法中的 一或多個語法元素來將多項式係數發信至下游VDR解碼器。替代地，編碼語法中的一或多個語法元素可用來對每個動態範圍區段中的內插像素發信映射樞軸值。映射樞軸值的存在可與語法元素(或旗標)「linear_interp_flag」發信。在一實例中，可發信1D LUT中的資料點之一些或所有值。在另一實例中，1D LUT中的至少一些值可基於使用發信至下游VDR解碼器之映射樞軸值的內插法來建立。
用於對分割的動態範圍映射(例如，色調映射)之係數可被直接編碼、或替代地根據從相同RPU資料單元得到之相鄰分割中的映射動態範圍區段預測。額外地、選擇性地、或替代地，用於分割的係數可根據從先前RPU資料單元得到的映射片段之分割中的映射動態範圍區段預測。例如，用於分割的係數可根據從先前RPU資料單元得到之相同分割中的映射動態範圍區段預測。
如本文所述之技術支援使用不同於編碼色彩空間(其可在序列級資訊中發信，例如，在RPU資料標頭中)的映射色彩空間(例如，如由語法元素「mapping_color_space」表示)。例如，編碼色彩空間可以是YCbCr，而映射色彩空間可以是RGB。其他類型的色彩空間可作為對於編碼空間或映射空間的選擇。對不同分割的映射色彩空間可能是不同的。替代地，對所有分割的映射色彩空間可能是相同的。對映射色彩空間之不同通道的映射法和元資料可能是不同的。替代地，對映射色彩空間之所有通道的映射法和 元資料可能是相同的。在影像中使用多個分割的實施例中，沿著分割邊界有可能存在不連續。在一實施例中，編碼語法可用來發信邊界映射法，其藉由透過基於權重地平均像素值或色彩值及/或透過以線性或非線性法來混合分割邊界來簡單地平滑分割邊界來進行。在一實施例中，可至少部分使用編碼語法中的語法元素「overlapped_prediction_method」以發信邊界映射法。
6. RPU資料解碼-色度映射
第7圖繪示在一示範實施例中之可用來解碼(或剖析)有關色度重新抽樣的語法元素之RPU資料解碼(或剖析)操作(為rpu_data_chroma_resampling()函數的形式)。這些語法元素可，但不僅需要在分割級。RPU資料編碼操作可實作成一解碼/剖析函數，其可例如被第6圖之解碼/剖析程序呼叫。在對全影像的映射色彩空間是相同的實例中，如第7圖所示之語法元素可選擇性地存在於編碼語法中作為訊框級語法元素。
在一些實施例中，可對所有分割保持相同之涉及片段映射操作的區段數。有關內插法的一些語法元素可存在於編碼語法中作為訊框級語法元素，而有關內插法的有些其他語法元素可存在於編碼語法中作為分割級語法元素。
如第7圖所示，「rpu_data_chroma_resampling()」解碼/剖析函數可解碼色彩空間中的色彩元件數。對於每個色彩元件，可重覆一些步驟。
若用於色彩元件的旗標指示使用先前的分割濾波係數，則解碼/剖析函數「rpu_data_chroma_resampling()」繼續進行以取得用於色彩元件的預測子分割資訊。預測子分割資訊可包括從用於先前RPU ID的快取語法元素取得的分割濾波係數、或替代地從來自一或多個目前RPU資料單元的一或多個其他分割之已解碼語法元素取得。
另一方面，若用於色彩元件的旗標指示不使用先前的分割濾波係數，則解碼/剖析函數「rpu_data_chroma_resampling()」繼續進行以從一或多個目前RPU資料單元取得分割濾波係數。這些係數可與2D顯式濾波器、1D垂直顯式濾波器、1D水平顯式濾波器等相關。
使用在動態範圍映射中的相同係數、用於分割的色度重新抽樣或色度映射中的係數可替代地根據從相同的一或多個目前RPU資料單元得到之相鄰分割中的相同係數來預測。額外地、選擇性地、或替代地，用於分割的係數可根據從一或多個先前發送的RPU資料單元得到的映射片段之分割中的相同係數來預測。例如，用於分割的係數可根據從一或多個先前發送的RPU資料單元得到之相同分割中的相同係數來預測。
7. RPU資料解碼之額外實例
第9圖繪示在一示範實施例中之解碼(或剖析)有關分割級中的非線性量化/反量化之語法元素的RPU資料解碼(或剖析)操作(為rpu_data_nlq()函數的形式)。特 定VDR規定可支援非線性量化/反量化。非線性量化/反量化之實例可包括，但不僅限於基於線性靜區、μ-law曲線、拉普拉斯曲線、S形曲線等的非線性量化/反量化之任一者。用於非線性量化/反量化的特定方法可在語法元素「nlq_method_idc」中被發信至下游VDR解碼器。在一實施例中，對影像之所有分割可使用相同方法(例如，可發信語法元素「nlq_method_idc」作為部分之RPU資料標頭中的訊框級資訊)；然而，對於不同分割的方法之係數可能或可能不相同。涉及非線性量化/反量化的資料範圍可分成多個區段；不同區段可具有相同方法的不同係數。
使用在其他操作中的相同其他係數、用於分割的非線性量化/反量化中的係數可被直接編碼、或替代地根據從相同RPU資料單元得到之相鄰分割中的相同係數來預測。額外地、選擇性地、或替代地，用於分割的係數可根據從先前RPU資料單元得到的映射片段之分割中的相同係數來預測。例如，用於分割的係數可根據從先前RPU資料單元得到之相同分割中的相同係數來預測。
在一些實施例中，依照特定VDR規定的編碼語法可規定待對殘餘值進行的色度重新抽樣及/或空間升採樣(例如，1：2)。在一些實施例中，對殘餘值進行的操作係以與如何處理有關如上述之色度重新抽樣濾波器的操作類似的方法在編碼語法中處理。
在一些實施例中，會對在BL和EL信號中編碼的影像資料使用不同的色度格式。例如，BL信號可使用與EL 信號所使用不同的色度格式、不同的色度採樣及不同的位元深度。額外地、選擇性地、或替代地，BL和EL信號可使用不同的色彩空間。
如本文所述之技術支援在色度採樣、色度空間轉換及反映射之間不同的處理順序。在一些實施例中，VDR編碼系統可支援複數個可能的處理順序之一個、兩個或更多者。VDR編碼系統所支援之一個或一個以上的處理順序可能被視為最佳的。例如，用於VDR編碼器(例如，第2圖之202)之輸出位元流(例如，第2圖之BL位元流228和EL位元流224)中的BL和EL資料兩者之編碼色彩空間係如VDR規定的YCbCr；映射色彩空間可以是RGB；輸入SDR信號(例如，第2圖之208)是YCbCr 4：2：0；輸入VDR信號(例如，第2圖之204)是RGB 4：4：4 12位元。在本實例中，層間參考資料可如下地產生。VDR編碼器首先對從輸入SDR信號取得的BL資料進行從4：2：0至4：4：4的色度重新抽樣。接著，可對BL資料(現在為4：4：4的色度格式)進行從YCbCr至RGB的色彩轉換。可對映射色彩空間中的BL資料(現在為4：4：4的色度格式以及在與映射色彩空間相同的映射色彩空間中)進行反映射以在映射色彩空間中產生層間預測值。為了產生EL資料，可對層間預測值進行從RGB至YCbCr的色彩轉換。
8. 示範程序流程
第10圖繪示在一示範實施例中之解碼來自RPU資料的編碼語法之VDR解碼器。編碼語法可依照一特定VDR規定，其可以例如是被第1圖之VDR編碼器102支援的第一版本(「1.0」)或第二版本(「1.x」)。VDR解碼器可配置以依照編碼語法對BL資料、EL資料、RPU資料、層間預測資料及中間媒體資料進行解碼操作。第10圖之VDR解碼器可以一或多個計算裝置、定制及/或現成的硬體裝置、可程式化裝置、上述之任何組合等來實作。
在一些實施例中，第10圖之VDR解碼器可實作第5圖至第9圖所示之一或多個解碼/剖析程序以取得編碼語法和其中的語法元素。第10圖之VDR解碼器可對BL、EL及RPU資料施用解碼操作以建構對應於例如被VDR編碼器(例如，第1圖之102)編碼之輸入VDR影像的輸出VDR影像。
第11A圖繪示根據本發明之一示範實施例的示範程序流程。在一些示範實施例中，一或多個計算裝置或元件可進行此程序流程。在方塊1102中，多層VDR視頻編碼器(例如，第1圖之102或第2圖之202)接收一輸入視覺動態範圍(VDR)影像和與輸入VDR影像關聯的一輸入基本層(BL)影像。
在方塊1104中，多層VDR視頻編碼器產生包含複數個序列級、訊框級、或分割級的語法元素之編碼語法。
在方塊1106中，多層VDR視頻編碼器依照編碼語法將輸入BL影像和輸入VDR影像轉換成BL資料和增強層 (EL)資料。
在方塊1108中，多層VDR視頻編碼器將編碼語法轉換成參考處理單元(RPU)資料。
在方塊1110中，多層VDR視頻編碼器編碼輸出BL資料、EL資料和RPU資料進BL、EL、RPU信號中。
在一實施例中，多層VDR視頻編碼器更配置以進行基於至少部分編碼語法來產生一或多個目前RPU資料單元；及在一或多個目前RPU資料單元中識別編碼語法依照的特定VDR規定。
在一實施例中，一或多個目前RPU資料單元之至少一者包含能夠支援複數個不同VDR規定之任一者的資料結構。
在一實施例中，多層VDR視頻編碼器更配置以進行在一或多個目前RPU資料單元中指示出編碼語法中之複數個語法元素中的至少一語法元素可根據一或多個目前RPU資料單元中的一或多個其他分割來預測。
在一實施例中，多層VDR視頻編碼器更配置以進行在一或多個目前RPU資料單元中指示出編碼語法中之複數個語法元素中的至少一語法元素可根據用於先前輸入VDR影像和與輸入VDR影像關聯的先前輸入BL影像的一或多個先前RPU資料單元來預測。
在一實施例中，輸入VDR影像和先前輸入VDR影像係屬於一序列輸入VDR影像；這序列輸入VDR影像共享序列級的一共同組合語法元素。
在一實施例中，輸入VDR影像和先前輸入VDR影像屬於兩個不同序列的輸入VDR影像；這兩個不同序列的輸入VDR影像之第一序列共享序列級的第一共同組合語法元素；且這兩個不同序列的輸入VDR影像之第二序列共享序列級的不同之第二共同組合語法元素。
在一實施例中，複數個語法元素中的至少一語法元素可用來作為序列級、訊框級、或分割級之二或更多者的語法元素。
在一實施例中，BL資料代表為了在SDR顯示器上觀看而最佳化的標準動態範圍(SDR)影像。在一實施例中，BL資料不代表為了在SDR顯示器上觀看而最佳化的標準動態範圍(SDR)影像。
在一實施例中，EL資料包含輸入VDR影像與基於BL資料而產生的預測VDR影像之間的殘餘值。在一實施例中，EL資料包含用於一序列輸入VDR影像中的兩個或多個輸入VDR影像的層間參考圖片；這兩個或多個輸入VDR影像包括輸入VDR影像。
在一實施例中，複數個語法元素包括參數、係數、樞軸值、指示存在或不存在對應於旗標之操作的旗標、或一或多個類型之包括顯示管理元資料的元資料之一或更多者。
在一實施例中，輸入VDR影像包含在一輸入色彩空間中編碼的影像資料；EL資料包含在一輸出色彩空間中編碼的影像資料；EL資料係基於至少部分映射資料而產 生；映射資料係基於至少部分BL資料而產生；且映射資料包含在一映射色彩空間中編碼的映射影像資料。
在一實施例中，輸入色彩空間、輸出色彩空間、和映射色彩空間之至少二者係不同的。在一實施例中，輸入色彩空間、輸出色彩空間、和映射色彩空間之至少二者係相同的。
在一實施例中，EL資料包含編碼成第一色度格式的影像資料；BL資料包含編碼成不同的第二色度格式的影像資料。在一實施例中，EL資料包含編碼成一色度格式的影像資料；BL資料包含編碼成相同之色度格式的影像資料。
在一實施例中，複數個語法元素發信色度重新抽樣操作、反映射操作、基於非重疊區域的預測操作、基於重疊區域的預測操作、殘餘非線性量化和反量化操作、殘餘色度重新抽樣操作、空間縮放操作、包括內插法的資料處理操作、或顯示管理操作之一或更多者。
在一實施例中，多層VDR視頻編碼器更配置以將與一或多個輸入視頻信號一起呈現、接收、傳輸、或儲存的一或多個輸入VDR影像轉換成與一或多個輸出視頻信號一起呈現、接收、傳輸、或儲存的一或多個輸出VDR影像。
在一實施例中，輸入VDR影像包含編碼成高動態範圍(HDR)影像格式、與美國電影藝術與科學學院(AMPAS)之學院色彩編碼規範(ACES)標準關聯的 RGB色彩空間、數位電影倡導聯盟的P3色彩空間標準、基準輸入媒體公制/基準輸出媒體公制(RIMM/ROMM)標準、sRGB色彩空間、RGB色彩空間、或YCbCr色彩空間之其一者的影像資料。
第11B圖繪示根據本發明之一示範實施例的示範程序流程。在一些示範實施例中，一或多個計算裝置或硬體元件可進行此程序流程。在方塊1152中，多層視頻解碼器(例如，如第10圖所示)接收在BL、EL和RPU信號中的基本層(BL)資料、增強層(EL)資料和參考處理單元(RPU)資料，BL資料、EL資料和RPU資料與一共同視覺動態範圍(VDR)來源影像關聯。
在方塊1154中，多層視頻解碼器將RPU資料解碼成包含序列級、訊框級、或分割級之複數個語法元素之編碼語法。
在方塊1156中，多層視頻解碼器依照編碼語法將BL資料和EL資料轉換成一重建VDR影像。
在方塊1158中，多層視頻解碼器輸出重建VDR影像。
在一實施例中，多層視頻解碼器更配置以進行從一或多個目前RPU資料單元決定編碼語法依照的特定VDR規定；及從一或多個目前RPU資料單元取得至少一部分的編碼語法。
在一實施例中，多層視頻解碼器更配置以進行從一或多個目前RPU資料單元決定編碼語法中之複數個語法元 素中的至少一語法元素可從一或多個目前RPU資料單元中的一或多個其他分割預測。
在一實施例中，多層視頻解碼器更配置以進行從一或多個目前RPU資料單元決定編碼語法中之複數個語法元素中的至少一語法元素可從關於先前重建VDR影像的一或多個先前RPU資料單元預測。
在一實施例中，重建VDR影像和先前重建VDR影像係屬於一序列的重建VDR影像；這序列的重建VDR影像共享序列級的一共同組合語法元素。
在一實施例中，重建VDR影像和先前重建之VDR影像係屬於兩個不同序列的重建VDR影像；這兩個不同序列的重建VDR影像之第一序列共享序列級的第一共同組合語法元素；且這兩個不同序列的重建VDR影像之第二序列共享序列級的不同之第二共同組合語法元素。
在一實施例中，EL資料包含用於一序列重建VDR影像之兩個或多個重建VDR影像的層間參考圖片，且這兩個或多個重建VDR影像包括重建VDR影像。
在一實施例中，重建VDR影像包含在第一色彩空間中編碼的影像資料；EL資料包含在第二色彩空間中編碼的影像資料；重建VDR影像係基於至少部分從BL資料得到之映射資料來產生；且映射資料包含在第三色彩空間中編碼的映射影像資料。
在一實施例中，第一、第二和第三色彩空間之至少二者係不同的。在一實施例中，第一、第二和第三色彩空間 之至少二者係相同的。
在一實施例中，多層視頻解碼器更配置以進行將與一或多個輸入視頻信號一起呈現、接收、傳輸、或儲存的影像資料轉換成與一或多個輸出視頻信號一起呈現、接收、傳輸、或儲存的一或多個輸出VDR影像。
在一實施例中，重建VDR影像包含編碼成高動態範圍(HDR)影像格式、與美國電影藝術與科學學院(AMPAS)之學院色彩編碼規範(ACES)標準關聯的RGB色彩空間、數位電影倡導聯盟的P3色彩空間標準、基準輸入媒體公制/基準輸出媒體公制(RIMM/ROMM)標準、sRGB色彩空間、RGB色彩空間、或YCbCr色彩空間之其一者的影像資料。
在各種示範實施例中，編碼器、解碼器、系統、設備、或一或多個計算裝置進行任何或部分之如所述的上述方法。
9. 實作機制-硬體概要
根據一實施例，本文所述之技術係藉由一或多個專用計算裝置來實作。專用計算裝置可以是固線式的以進行本技術，或可包括如一或多個專用積體電路(ASIC)或持續被編程以進行本技術之現場可程式閘陣列(FPGA)的數位電子裝置，或可包括編程以根據韌體、記憶體、其他儲存器、或以上之組合來進行本技術的一或多個通用硬體處理器。上述專用計算裝置亦可將定制固線式邏輯、 ASIC、或FPGA與定制可程式化結合以實現本技術。專用計算裝置可以是桌上型計算機系統、可攜式計算機系統、手持裝置、網路裝置或合併固線式及/或程式邏輯的任何其他裝置以實作本技術。
例如，第12圖係繪示於其上可實作本發明之一示範實施例的計算機系統1200之方塊圖。計算機系統1200包括匯流排1202或用來傳遞資訊的其他通訊機制、及用來處理資訊而與匯流排1202耦接的硬體處理器1204。硬體處理器1204可例如是一通用微處理器。
計算機系統1200亦包括如隨機存取記憶體(RAM)或其他動態儲存裝置之耦接匯流排1202的主記憶體1206，用來儲存資訊及待由處理器1204執行的指令。主記憶體1206亦可用來在執行待由處理器1204執行的指令期間儲存暫時變數或其他中間資訊。當上述指令儲存在處理器1204可存取的非暫態儲存媒體中時，將計算機系統1200轉化成被定制化以進行指令中所指定的操作之專用機制。
計算機系統1200更包括唯讀記憶體(ROM)1208或耦接匯流排1202的其他靜態儲存裝置，用來為處理器1204儲存靜態資訊和指令。如磁碟或光碟的儲存裝置1210被設置並耦接匯流排1202，用來儲存資訊和指令。
計算機系統1200可經由匯流排1202來耦接如液晶顯示器的顯示器1212，用來對電腦使用者顯示資訊。包括字母數字和其他按鍵的輸入裝置1214係耦接匯流排1202 以對處理器1204傳遞資訊和命令選擇。另一類型的使用者輸入裝置係為如滑鼠、軌跡球、或游標方向鍵的游標控制1216，用來對處理器1204傳遞方向資訊和命令選擇且用來控制顯示器1212上的游標移動。這種輸入裝置一般在第一軸(例如，x)和第二軸(例如，y)之兩軸中具有兩自由度，其允許裝置能指定平面上的位置。
計算機系統1200可使用定制化固線式邏輯、一或多個ASIC或FPGA、韌體及/或與計算機系統結合以使得或程式化計算機系統1200成為一專用機器的程式邏輯來實作本文所述之技術。根據一實施例，計算機系統1200會反應於處理器1204執行一或多個序列之一或多個包含在主記憶體1206中的指令而進行本文所述之技術。上述指令可從如儲存裝置1210的另一儲存媒體讀進主記憶體1206中。執行包含在主記憶體1206中的指令序列會使得處理器1204進行本文所述之程序步驟。在其他實施例中，固線式電路可取代或結合軟體指令來使用。
本文所使用的「儲存媒體」之詞係指任何儲存資料及/或使機器以一特定方式運作的指令之非暫態媒體。上述儲存媒體可包含非揮發性媒體及/或揮發性媒體。例如，非揮發性媒體包括如儲存裝置1210的光或磁碟。揮發性媒體包括如主記憶體1206的動態記憶體。儲存媒體的共同形式包括例如軟碟、軟性磁碟、硬碟、固態硬碟、磁帶、或任何其他磁性資料儲存媒體、CD-ROM、任何其他光學資料儲存媒體、任何具有孔狀圖型的實體媒體、 RAM、PROM、及EPROM、FLASH-EPROM、NVRAM、任何其他記憶體晶片或儲存匣。
儲存媒體與傳輸媒體不同但可結合傳輸媒體來使用。傳輸媒體參與在儲存媒體之間傳輸資訊。例如，傳輸媒體包括同軸電纜、銅線和光纖，其包括包含匯流排1202的電線。傳輸媒體亦能採取聲或光波的形式，例如在無線電波和紅外線資料通訊期間所產生的波。
各種形式的媒體可涉及將一或多個序列的一或多個指令傳送至處理器1204以供執行。例如，指令可最初在遠端電腦的磁碟或固態硬碟上攜帶。遠端電腦能將指令載入其動態記憶體中並使用數據機在電話線上發送指令。計算機系統1200的區域數據機能接收電話線上的資料並使用紅外線傳輸器來將資料轉換成紅外線信號。紅外線偵測器能接收在紅外線信號中傳送的資料且適當電路能將資料置於匯流排1202上。匯流排1202將資料傳送至主記憶體1206，處理器1204可從中取得並執行指令。主記憶體1206所接收的指令可選擇性地在處理器1204執行之前或之後儲存在儲存裝置1210上。
計算機系統1200亦包括耦接匯流排1202的通訊介面1218。通訊介面1218提供耦接連接區域網路1222之匯流排網路連結1220的雙向資料通訊。例如，通訊介面1218可以是整合服務數位網路(ISDN)卡、有線電視數據機、衛星數據機、或用來將一資料通訊連線提供給對應類型之電話線的數據機。作為另一實例，通訊介面1218可 以是區域網路(LAN)卡以將資料通訊連線提供給相容性LAN。亦可實作無線連結。在任何上述實作中，通訊介面1218發送並接收傳送表現各種類型資訊之數位資料流的電、電磁或光信號。
網路連結1220一般透過一或多個網路來對其他資料裝置提供資料通訊。例如，網路連結1220可透過區域網路1222來提供連線給主機電腦1224或網際網路服務提供者(ISP)1226所操作的資料設備。ISP 1226依序透過現今一般稱為「網際網路」1228的全球封包資料通訊網路來提供資料通訊服務。區域網路1222和網際網路1228都使用傳送數位資料流的電、電磁或光信號。通過各種網路的信號和網路連結1220上且通過網路介面1218的信號(其傳送數位資料至計算機系統1200並從中傳送數位資料)係為示範形式的傳輸媒體。
計算機系統1200能透過網路、網路連結1220和通訊介面1218來發送信息並接收包括程式碼的資料。在網際網路的實例中，伺服器1230可能透過網際網路1228、ISP 1226、區域網路1222和通訊介面1218來傳輸對應用程式的請求碼。
當收到程式碼時，處理器1204可執行收到之程式碼、及/或儲存在儲存裝置1210、或非揮發性儲存器中以供之後執行。
10. 等效物、延伸物、替代物及雜項
在前述說明書中，已參考可從實作到實作之間改變的許多具體細節來說明本發明之示範實施例。因此，本發明是什麼、且申請人希望用什麼來成就本發明之唯一且專用的指標係為這組從本申請書以上述申請專利範圍提出包括任何後續校正之特定形式提出的申請專利範圍。本文對包含在上述申請專利範圍中的術語所提出的明確定義應規定如使用在申請專利範圍中之術語的意義。因此，沒有任何未在申請專利範圍中明確說明的限制、元件、特性、特徵、優點或屬性應以任何方式來限制上述申請專利範圍的範圍。由此，本說明書及圖示應被視為說明性而非限制性的意義。

Claims (13)

  1. 一種解碼器，用以產生高動態範圍影像，其中該解碼器包含一或多個處理器與非暫態記憶體，其中以該解碼器產生輸出影像包含：接收參考處理單元(RPU)資料且儲存至少部分之該參考處理單元資料於該非暫態記憶體中；從該參考處理單元資料擷取至少RPU資料標頭與RPU承載資料；接收基本層影像；接收增強層影像；剖析該RPU承載資料以擷取解碼參數；以及基於該解碼參數而結合該基本層影像與該增強層影像以產生該輸出影像，其中剖析該RPU承載資料包含：解碼目前RPU Id值；解碼映射色彩空間指示器；解碼色度重新抽樣過濾指示器；解碼樞軸映射參數；以及解碼區段參數，其中該些解碼參數包含層間預測資料與非線性量化(NLQ)資料。
  2. 如申請專利範圍第1項所述之解碼器，其中剖析該RPU承載資料更包含：決定是否該解碼器可使用來自先前RPU承載資料之解碼參數；以及 基於決定該解碼器可使用來自先前RPU承載資料之解碼參數，解碼先前RPU Id值且終止剖析該RPU承載資料，否則繼續剖析該RPU承載資料。
  3. 如申請專利範圍第2項所述之解碼器，其中決定是否該解碼器可使用來自先前RPU承載資料之解碼參數包含剖析use_prev_vdr_rpu_flag旗標，當該旗標設成1時則該些解碼參數由先前接收RPU承載資料而得到，且當設成0時則該些解碼參數可被明確地得到。
  4. 如申請專利範圍第1項所述之解碼器，其中該層間預測資料係根據rpu_data_mapping( )語法結構所擷取，且該非線性量化(NLQ)資料係根據rpu_data_nlq( )語法結構所擷取。
  5. 如申請專利範圍第4項所述之解碼器，其中該rpu_data_mapping( )語法結構更包含：複數樞軸索引將該輸出影像動態範圍分割為區段，其中對於一或多個樞軸索引，該rpu_data_mapping( )語法結構包括指示反映射方法之對應映射指標；以及其中對於一或多個之該些映射方法，該rpu_data_mapping( )語法包括對應映射參數。
  6. 如申請專利範圍第5項所述之解碼器，其中該反映射方法包含多項式預測法、MMR預測法、或查找表預測法之一者。
  7. 如申請專利範圍第4項所述之解碼器，其中該rpu_data_nlq( )語法結構更包含：複數樞軸索引將該輸出影像動態範圍分割為區段，其中對於一或多個樞軸索引，該rpu_data_nlq( )語法結構包括對應非線性量化器法；以及其中對於一或多個之非線性量化法，該rpu_data_nlq( )語法結構包括對應非線性量化參數。
  8. 如申請專利範圍第7項所述之解碼器，其中該非線性量化器法包含線性靜區法、μ-law法、拉普拉斯法之其中一者，或S形法。
  9. 如申請專利範圍第8項所述之解碼器，其中對於該線性靜區法，該rpu_data_nlq( )語法結構更包含解碼器輸出級值、解碼器殘餘輸入最大值、及解碼器門檻。
  10. 如申請專利範圍第1項所述之解碼器，其中該RPU資料標頭包含：指示該編碼類型的RPU類型旗標，其中該編碼類型包含3D影像或高動態範圍影像編碼之一者；指示該RPU承載資料之版本格式的RPU格式欄位；RPU設定檔欄位；以及RPU級欄位。
  11. 如申請專利範圍第10項所述之解碼器，其中該RPU類型旗標包含rpu_type旗標與包含當rpu_type=2時之高動態範圍影像編碼的該編碼類型。
  12. 一種以解碼器產生高動態範圍影像之方法，其中以該解碼器產生輸出影像包含：接收參考處理單元(RPU)資料且儲存至少部分之該參考處理單元資料於該非暫態記憶體中；從該參考處理單元資料擷取至少RPU資料標頭與RPU承載資料；接收基本層影像；接收增強層影像；剖析該RPU承載資料以擷取解碼參數；以及基於該解碼參數而結合該基本層影像與該增強層影像以產生該輸出影像，其中剖析該RPU承載資料包含：解碼目前RPU Id值；解碼映射色彩空間指示器；解碼色度重新抽樣過濾指示器；解碼樞軸映射參數；以及解碼區段參數，其中該些解碼參數包含層間預測資料與非線性量化(NLQ)資料。
  13. 一種儲存軟體指令的非暫態電腦可讀媒體，具有儲存於其上之用以藉由一或多個處理器執行如申請專利範圍第12項所述之方法的電腦可執行指令。
TW105124615A 2012-01-03 2012-12-14 規定視覺動態範圍編碼操作及參數 TWI606718B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261582614P 2012-01-03 2012-01-03

Publications (2)

Publication Number Publication Date
TW201642656A TW201642656A (zh) 2016-12-01
TWI606718B true TWI606718B (zh) 2017-11-21

Family

ID=47436287

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105124615A TWI606718B (zh) 2012-01-03 2012-12-14 規定視覺動態範圍編碼操作及參數
TW101147479A TWI556629B (zh) 2012-01-03 2012-12-14 規定視覺動態範圍編碼操作及參數

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW101147479A TWI556629B (zh) 2012-01-03 2012-12-14 規定視覺動態範圍編碼操作及參數

Country Status (8)

Country Link
US (2) US10136162B2 (zh)
EP (1) EP2801192B1 (zh)
JP (2) JP5989800B2 (zh)
KR (2) KR20140120320A (zh)
CN (2) CN107896332B (zh)
HK (2) HK1203013A1 (zh)
TW (2) TWI606718B (zh)
WO (1) WO2013103522A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9485508B2 (en) 2013-04-08 2016-11-01 Qualcomm Incorporated Non-entropy encoded set of profile, tier, and level syntax structures
TWI676389B (zh) * 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
CN105409203B (zh) 2013-07-30 2018-07-31 杜比实验室特许公司 用于产生场景稳定元数据的***和方法
TWI713355B (zh) * 2013-09-03 2020-12-11 日商新力股份有限公司 解碼裝置、解碼方法、顯示裝置、及顯示方法
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
WO2015105790A1 (en) * 2014-01-07 2015-07-16 Dolby Laboratories Licensing Corporation Techniques for encoding, decoding and representing high dynamic range images
EP3105926B1 (en) 2014-02-13 2018-04-11 Dolby International AB Piecewise inter-layer prediction for signals with enhanced dynamic range
EP4087247A1 (en) 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US10136147B2 (en) * 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
US10021411B2 (en) * 2014-11-05 2018-07-10 Apple Inc. Techniques in backwards compatible multi-layer compression of HDR video
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
KR20170091744A (ko) 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
JP6937695B2 (ja) 2015-01-30 2021-09-22 インターデジタル ヴイシー ホールディングス， インコーポレイテッド カラー・ピクチャを符号化および復号する方法および装置
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
WO2016120354A1 (en) * 2015-01-30 2016-08-04 Thomson Licensing Method and device for matching colors between color pictures of different dynamic range
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
US10319085B2 (en) * 2015-02-16 2019-06-11 Samsung Electronics Co., Ltd. Metadata-based image processing method and apparatus
EP3259917B1 (en) * 2015-02-17 2019-07-17 Dolby Laboratories Licensing Corporation Inter-layer prediction for signals with enhanced dynamic range
US20160286224A1 (en) * 2015-03-26 2016-09-29 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
EP3076669A1 (en) * 2015-04-03 2016-10-05 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
CN107439012B (zh) 2015-04-06 2018-09-25 杜比实验室特许公司 用于环内转换的方法、装置和计算机可读存储介质
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016198325A1 (en) * 2015-06-08 2016-12-15 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
EP3104609A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
WO2017011636A1 (en) 2015-07-16 2017-01-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
EP3371976A1 (en) * 2015-11-02 2018-09-12 Dolby Laboratories Licensing Corp. Layered representation containing crc codes and delivery of high dynamic range video
GB2547934B (en) 2016-03-03 2021-07-07 V Nova Int Ltd Adaptive video quality
EP3453177A1 (en) * 2016-05-04 2019-03-13 Interdigital VC Holdings, Inc Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function.
US11006152B2 (en) * 2016-05-04 2021-05-11 Interdigital Vc Holdings, Inc. Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
PL3745390T3 (pl) * 2016-05-27 2024-03-04 Dolby Laboratories Licensing Corporation Przechodzenie pomiędzy priorytetem wideo a priorytetem grafiki
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10609367B2 (en) 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
TWI723123B (zh) * 2017-01-23 2021-04-01 香港商斑馬智行網絡（香港）有限公司 圖像融合的方法、裝置和設備
JP6902604B2 (ja) 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
WO2020044253A1 (en) 2018-08-28 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Redundancy removal of partitioning methods
US11677989B2 (en) * 2018-10-09 2023-06-13 V-Nova International Limited Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备
CN114208198A (zh) * 2019-01-31 2022-03-18 联发科技股份有限公司 视频编码中用于帧内分区的转换类型分配方法和装置
US11887209B2 (en) 2019-02-27 2024-01-30 3Shape A/S Method for generating objects using an hourglass predictor
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置
WO2020223496A1 (en) * 2019-04-30 2020-11-05 Beijing Dajia Internet Informationtechnology Co., Ltd. Methods and apparatus of joint coding of chroma residuals
TWI812874B (zh) * 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN111337133B (zh) * 2020-03-02 2021-08-03 浙江大华技术股份有限公司 红外数据的生成方法及装置、解析方法及装置
WO2022245695A1 (en) 2021-05-21 2022-11-24 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
WO2023033991A1 (en) 2021-08-30 2023-03-09 Dolby Laboratories Licensing Corporation Reshaper for learning-based image/video coding
AU2022344154A1 (en) * 2021-09-09 2024-03-28 Dolby Laboratories Licensing Corporation Tensor-product b-spline prediction for hdr video in mobile applications
CN118202645A (zh) * 2022-06-30 2024-06-14 北京小米移动软件有限公司 一种ai模型的传输方法及其装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP2006135521A (ja) 2004-11-04 2006-05-25 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
JP4991851B2 (ja) 2006-07-17 2012-08-01 トムソン ライセンシング ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置
CN101507280B (zh) * 2006-08-25 2012-12-26 汤姆逊许可公司 用于降低分辨率划分的方法和装置
WO2008049446A1 (en) * 2006-10-25 2008-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Quality scalable coding
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
DK2103136T3 (en) * 2006-12-21 2017-12-04 Thomson Licensing METHODS AND APPARATUS FOR IMPROVED SIGNALING USING HIGH-LEVEL SYNTHOLOGY FOR MULTIVIEW VIDEO AND DECODING
CN101569204A (zh) * 2006-12-25 2009-10-28 汤姆逊许可公司 视频数据编码设备、视频数据解码设备和数字数据流
US20100091840A1 (en) * 2007-01-10 2010-04-15 Thomson Licensing Corporation Video encoding method and video decoding method for enabling bit depth scalability
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
CN101682784A (zh) * 2007-04-19 2010-03-24 汤姆逊许可证公司 用于帧内预测的自适应参考图片数据生成
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP4687918B2 (ja) 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
BRPI0815108A2 (pt) * 2007-08-15 2015-01-27 Thomson Licensing Métodos e aparelho para modo de avanço de movimento em vídeo codificado de multi-visitas com o uso de vetores de disparidade regional
KR101365596B1 (ko) 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
CN101822055B (zh) * 2007-10-15 2013-03-13 汤姆森许可贸易公司 可缩放视频的层间残差预测的方法和设备
KR101365597B1 (ko) 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8542748B2 (en) * 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
EP2835976B1 (en) * 2008-04-16 2016-09-21 GE Video Compression, LLC Bit-depth scalability
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
RU2492585C2 (ru) * 2008-07-16 2013-09-10 Нокиа Корпорейшн Способ и устройство для группирования треков и подмножеств треков
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US20100189182A1 (en) * 2009-01-28 2010-07-29 Nokia Corporation Method and apparatus for video coding and decoding
KR101740741B1 (ko) 2009-02-11 2017-06-08 톰슨 라이센싱 톤 매핑 및 톤 역매핑을 이용하는 비트 심도 스케일링 가능 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
US9154807B2 (en) 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
US9282314B2 (en) * 2011-02-24 2016-03-08 Vixs Systems, Inc. Stereoscopic video processing with separable 2D filter
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles

Also Published As

Publication number Publication date
JP6219464B2 (ja) 2017-10-25
JP5989800B2 (ja) 2016-09-07
KR101697149B1 (ko) 2017-01-17
HK1251970A1 (zh) 2019-05-10
EP2801192B1 (en) 2018-09-26
TWI556629B (zh) 2016-11-01
EP2801192A1 (en) 2014-11-12
HK1203013A1 (zh) 2015-10-09
US20140341305A1 (en) 2014-11-20
WO2013103522A1 (en) 2013-07-11
CN107896332B (zh) 2019-11-15
TW201642656A (zh) 2016-12-01
US10136162B2 (en) 2018-11-20
CN104041036B (zh) 2018-02-02
US20170164008A1 (en) 2017-06-08
KR20160029134A (ko) 2016-03-14
TW201347542A (zh) 2013-11-16
JP2016208542A (ja) 2016-12-08
CN104041036A (zh) 2014-09-10
CN107896332A (zh) 2018-04-10
KR20140120320A (ko) 2014-10-13
US10587897B2 (en) 2020-03-10
JP2015503873A (ja) 2015-02-02

Similar Documents

Publication Publication Date Title
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
JP5614900B2 (ja) ３ｄ映像符号化フォーマット
US11595696B2 (en) Subpicture layout and partial output with layers
JP2018530953A (ja) 改善された色再マッピング情報補足エンハンスメント情報メッセージ処理
US11871013B2 (en) Signaling of reference picture resampling with constant window size indication in video bitstream
CN114205600A (zh) 编解码视频中的配置文件、层、级和一般约束指示
JP2022521199A (ja) ビデオビットストリームにおけるレイヤ間予測の信号伝達
JP7368498B2 (ja) コーディング方法、装置、及びコンピュータ・プログラム
TWI761783B (zh) 具輪廓與位階相依寫碼選項之編碼器與解碼器、編碼方法及解碼方法
AU2023251442A1 (en) Method for parameter set reference in coded video stream
US20230089992A1 (en) Method for indication of sublayer numbers in multilayered video stream
US11689741B2 (en) Method for parameter set reference constraints in coded video stream
CN114514742A (zh) 采用已编码视频流中的子图片进行信号发送的用信号发送虚拟边界的方法
RU2773642C1 (ru) Сигнализация для передискретизации опорного изображения
CN117751573A (zh) 视频比特流的下采样信息的信令通知