JP2018515018A - 高ダイナミックレンジおよび広色域ビデオコーディングのためのダイナミックレンジ調整 - Google Patents

Abstract

本開示は、高ダイナミックレンジ/広色域(HDR/WCG)色コンテナに適合するようにビデオデータを処理することを含む、ビデオデータを処理することに関する。以下でより詳細に説明するように、本開示の技法は、ダイナミックレンジ調整(DRA)パラメータを含み、HDR/WCG色コンテナをより良く利用するために、ビデオデータにDRAパラメータを適用する。本開示の技法はまた、ビデオデコーダまたはビデオ後処理デバイスが、ビデオデータの元のまたはネイティブの色コンテナを再構成するために本開示のDRA技法を逆転させることを可能にする、シンタックス要素をシグナリングすることを含み得る。

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、2015年4月17日に出願された米国仮出願第62/149,446号の利益を主張するものである。

本開示は、ビデオ処理に関する。

デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレス放送システム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー無線電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイスなどを含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265、高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されているものなどのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶することがある。

ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的(ピクチャ内)予測および/または時間的(ピクチャ間)予測を含む。ブロックベースのビデオコーディングのために、ビデオスライス(たとえば、ビデオフレーム、またはビデオフレームの一部分)は、ビデオブロックに区分されることがあり、ビデオブロックは、ツリーブロック、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、画素領域から変換領域に変換され、残差変換係数をもたらすことがあり、その残差変換係数は、次いで量子化され得る。最初に2次元アレイに配置される量子化変換係数は、変換係数の1次元ベクトルを生成するために走査されることがあり、エントロピーコーディングが、さらなる圧縮を実現するために適用されることがある。

キャプチャされ、コーディングされ、表示され得る色値の総数は、色域によって定義され得る。色域は、デバイスがキャプチャすること(たとえば、カメラ)または再生すること(たとえば、ディスプレイ)ができる色の範囲を指す。たいてい、色域はデバイスごとに異なる。ビデオコーディングの場合、ビデオデータに関する既定の色域が、ビデオコーディングプロセス中の各デバイスが同じ色域におけるピクセル値を処理するように構成され得るように使用され得る。いくつかの色域は、ビデオコーディングに従来使用されてきた色域よりも大きい色範囲により定義される。大きい色範囲を有するそのような色域は、広色域(WCG)と呼ばれることがある。

ビデオデータの別の態様は、ダイナミックレンジである。ダイナミックレンジは通常、ビデオ信号の最小輝度(たとえば、ルミナンス)と最大輝度との間の比として定義される。過去に使用された一般的なビデオデータのダイナミックレンジは、標準ダイナミックレンジ(SDR)を有すると考えられる。ビデオデータに関する他の例示的な仕様は、最小輝度と最大輝度との間のより大きい比を有する色データを定義する。そのようなビデオデータは、高ダイナミックレンジ(HDR)を有するものとして説明され得る。

Bross他、「High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のJoint Collaborative Team on Video Coding(JCT-VC)、第12回会合、ジュネーブ、スイス、2013年1月14〜23日、JCTVC-L1003v34 Wang他、「High efficiency video coding (HEVC) Defect Report」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のJoint Collaborative Team on Video Coding(JCT-VC)、第14回会合:ウィーン、オーストリア、2013年7月25日〜8月2日、JCTVC-N1003v1 ITU-T H.265, Series H:Audiovisual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Telecommunication Standardization Sector of International Telecommunication Union (ITU)、2013年4月 ITU-R Rec. BT.709、「Parameter values for the HDTV standards for production and international programme exchange」 ITU-R Rec. BT.2020、「Parameter values for ultra-high definition television systems for production and international programme exchange」

本開示は、HDR/WCG色コンテナに適合するようにビデオデータを処理することを含む、ビデオデータを処理することに関する。以下でより詳細に説明するように、本開示の技法は、HDR/WCG色コンテナをより良く利用するために、ビデオデータにダイナミックレンジ調整(DRA)パラメータを適用する。本開示の技法はまた、ビデオデコーダまたはビデオ後処理デバイスが、ビデオデータの元のまたはネイティブの色コンテナを再構成するために本開示のDRA技法を逆転させることを可能にする、シンタックス要素をシグナリングすることを含み得る。

本開示の一例では、ビデオデータを処理する方法は、第1の色コンテナに関係するビデオデータを受信するステップであって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、ステップと、1つまたは複数のダイナミックレンジ調整パラメータを導出するステップであって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、ステップと、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行するステップとを含む。

本開示の別の例では、ビデオデータを処理するように構成された装置は、ビデオデータを記憶するように構成されたメモリと、第1の色コンテナに関係するビデオデータを受信することであって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、受信することと、1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、導出することと、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行することとを行うように構成された1つまたは複数のプロセッサとを備える。

本開示の別の例では、ビデオを処理するように構成された装置は、第1の色コンテナに関係するビデオデータを受信するための手段であって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、手段と、1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段であって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、手段と、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行するための手段とを含む。

別の例では、本開示は、実行されたとき、1つまたは複数のプロセッサに、第1の色コンテナに関係するビデオデータを受信することであって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、受信することと、1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、導出することと、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行することとを行わせる命令を記憶しているコンピュータ可読記憶媒体について説明する。

1つまたは複数の例の詳細が、添付図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

本開示の技法を実装するように構成された例示的なビデオ符号化および復号システムを示すブロック図である。 HDRデータの概念を示す概念図である。 例示的な色域を示す概念図である。 HDR/WCG表現変換の一例を示す流れ図である。 HDR/WCG逆変換の一例を示す流れ図である。 知覚的に均一なコードレベルから線形ルミナンスへの(SDRおよびHDRを含む)ビデオデータ変換に利用される電気光伝達関数(EOTF:electro-optical transfer function)の例を示す概念図である。 例示的な色域における色分布の視覚化を示す概念図である。 例示的な色域における色分布の視覚化を示す概念図である。 本開示の技法に従って動作する例示的なHDR/WCG変換装置を示すブロック図である。 本開示の技法による例示的なHDR/WCG逆変換装置を示すブロック図である。 本開示の技法を実装し得るビデオエンコーダの一例を示すブロック図である。 本開示の技法を実装し得るビデオデコーダの一例を示すブロック図である。 本開示の技法による例示的なHDR/WCG変換プロセスを示すフローチャートである。 本開示の技法による例示的なHDR/WCG逆変換プロセスを示すフローチャートである。

本開示は、高ダイナミックレンジ(HDR)および広色域(WCG)表現を有するビデオデータの処理および/またはコーディングに関する。より詳細には、本開示の技法は、HDRおよびWCGビデオデータのより効率的な圧縮を可能にするためにいくつかの色空間におけるビデオデータに適用されるシグナリングおよび関連動作を含む。本明細書で説明する技法およびデバイスは、HDRおよびWCGビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステム(たとえば、H.265/HEVC、H.264/AVCなど)の圧縮効率を改善することができる。

ハイブリッドベースのビデオコーディング規格を含むビデオコーディング規格は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびITU-T H.264(ISO/IEC MPEG-4 AVCとしても知られる)(それのスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含む)を含む。新しいビデオコーディング規格、すなわち高効率ビデオコーディング(HEVC、H.265とも呼ばれる)の設計は、ITU-T Video Coding Experts Group(VCEG)およびISO/IEC Motion Picture Experts Group(MPEG)のJoint Collaboration Team on Video Coding(JCT-VC)によって確定された。HEVC Working Draft 10(WD10)と呼ばれるHEVCドラフト仕様である、Bross他、「High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のJoint Collaborative Team on Video Coding(JCT-VC)、第12回会合、ジュネーブ、スイス、2013年1月14〜23日、JCTVC-L1003v34は、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。確定されたHEVC規格は、HEVCバージョン1と呼ばれる。

不備のレポートである、Wang他、「High efficiency video coding (HEVC) Defect Report」、ITU-T SG16 WP3およびISO/IEC JTC1/SC29/WG11のJoint Collaborative Team on Video Coding(JCT-VC)、第14回会合: ウィーン、オーストリア、2013年7月25日〜8月2日、JCTVC-N1003v1は、http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zipから入手可能である。確定されたHEVC規格文書は、ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Telecommunication Standardization Sector of International Telecommunication Union (ITU)、2013年4月として公表されており、確定されたHEVC規格の別のバージョンが2014年10月に公表されている。H.265/HEVC仕様書テキストのコピーは、http://www.itu.int/rec/T-REC-H.265-201504-I/enからダウンロードできる。

図1は、本開示の技法を利用することができる例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化されたビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのうちのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信に対応し得る。

宛先デバイス14は、コンピュータ可読媒体16を介して、復号されるべき符号化されたビデオデータを受信することができる。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12がリアルタイムで宛先デバイス14に符号化されたビデオデータを直接送信することを可能にする通信媒体を備え得る。符号化されたビデオデータは、ワイヤード通信プロトコルまたはワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの任意のワイヤレス通信媒体もしくはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、または、ソースデバイス12から宛先デバイス14への通信を容易にするために有用であり得る任意の他の機器を含み得る。

他の例では、コンピュータ可読媒体16は、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-rayディスク、または他のコンピュータ可読媒体などの非一時的記憶媒体を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化されたビデオデータを受信し、たとえば、ネットワーク送信を介して、宛先デバイス14に符号化されたビデオデータを提供することができる。同様に、ディスクスタンプ設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信し、符号化されたビデオデータを含むディスクを製造することができる。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むと理解され得る。

いくつかの例では、符号化されたデータは、出力インターフェース22から記憶デバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-rayディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または、符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたは局所的にアクセスされるデータ記憶媒体のうちのいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、宛先デバイス14に符号化されたビデオデータを送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、(たとえば、ウェブサイト用の)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブが含まれる。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を介して、符号化されたビデオデータにアクセスすることができる。これには、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せが含まれ得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

本開示の技法は、必ずしもワイヤレスの適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上へ符号化されるデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のうちのいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの適用例をサポートするために、一方向または双方向ビデオ送信をサポートするように構成され得る。

図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ダイナミックレンジ調整(DRA)ユニット19と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。本開示によれば、ソースデバイス12のDRAユニット19は、HDRおよびWCGビデオデータのより効率的な圧縮を可能にするためにいくつかの色空間におけるビデオデータに適用されるシグナリングおよび関連動作を含む、本開示の技法を実装するように構成され得る。いくつかの例では、DRAユニット19は、ビデオエンコーダ20とは別個のものであり得る。他の例では、DRAユニット19は、ビデオエンコーダ20の一部であり得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含む場合がある。たとえば、ソースデバイス12は、外部カメラなどの外部ビデオソース18からビデオデータを受信することができる。同様に、宛先デバイス14は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースすることができる。

図1の示されるシステム10は一例にすぎない。HDRおよびWCGビデオデータを処理するための技法は、任意のデジタルビデオ符号化および/またはビデオ復号デバイスによって実行され得る。その上、本開示の技法は、ビデオプリプロセッサおよび/またはビデオポストプロセッサによっても実行され得る。ビデオプリプロセッサは、符号化の前に(たとえば、HEVC符号化の前に)ビデオデータを処理するように構成された任意のデバイスであり得る。ビデオポストプロセッサは、復号の後に(たとえば、HEVC復号の後に)ビデオデータを処理するように構成された任意のデバイスであり得る。ソースデバイス12および宛先デバイス14は、単に、ソースデバイス12が宛先デバイス14に送信するためのコーディングされたビデオデータを生成するようなコーディングデバイスの例である。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化および復号構成要素、ならびにビデオプリプロセッサおよびビデオポストプロセッサ(たとえば、それぞれDRAユニット19および逆DRAユニット31)を含むように、実質的に対称的に動作し得る。したがって、システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のための、ビデオデバイス12、14間の一方向または双方向のビデオ送信をサポートし得る。

ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含む場合がある。さらなる代替として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックスベースのデータを、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成することができる。場合によっては、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き携帯電話またはビデオ付き携帯電話を形成することができる。しかしながら、上述のように、本開示で説明する技法は、ビデオコーディングおよびビデオ処理全般に適用可能であってよく、ワイヤレスおよび/またはワイヤード適用例に適用され得る。各場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化される場合がある。次いで、符号化されたビデオ情報は、出力インターフェース22によって、コンピュータ可読媒体16に出力される場合がある。

宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、ビデオデコーダ30によっても使用される、シンタックス情報を含む場合があり、シンタックス情報は、ブロックおよび他のコーディングされたユニット、たとえばピクチャグループ(GOP)の特性および/または処理を記述するシンタックス要素を含む。ディスプレイデバイス32は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、様々なディスプレイデバイスのうちのいずれかを備え得る。

ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダに含まれてよく、これらのいずれもが、それぞれのデバイスの中で複合エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。

DRAユニット19および逆DRAユニット31はそれぞれ、1つもしくは複数のマイクロプロセッサ、DSP、ASIC、FPGA、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。

いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、ISO/IEC MPEG-4 VisualおよびITU-T H.264(ISO/IEC MPEG-4 AVCとしても知られている)(それのスケーラブルビデオコーディング(SVC)拡張、マルチビュービデオコーディング(MVC)拡張、およびMVCベースの3次元ビデオ(3DV)拡張を含む)などのビデオ圧縮規格に従って動作する。いくつかの事例では、MVCベースの3DVに適合するビットストリームは常に、MVCプロファイル、たとえば、ステレオハイプロファイルに準拠するサブビットストリームを含む。さらに、H.264/AVCに対する3DVコーディング拡張、すなわちAVCベースの3DVを生成するための作業が進行中である。ビデオコーディング規格の他の例としては、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびITU-T H.264、ISO/IEC Visualがある。他の例では、ビデオエンコーダ20およびビデオデコーダ30は、HEVC規格に従って動作するように構成され得る。

以下でより詳細に説明するように、DRAユニット19および逆DRAユニット31は、本開示の技法を実装するように構成され得る。いくつかの例では、DRAユニット19および/または逆DRAユニット31は、第1の色コンテナに関係するビデオデータを受信することであって、第1の色コンテナが、第1の色域および第1の色空間によって定義される、受信することと、1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、ダイナミックレンジ調整パラメータが、ビデオデータの特性に基づく、導出することと、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行することとを行うように構成され得る。

DRAユニット19および逆DRAユニット31はそれぞれ、1つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。上記で説明したように、DRAユニット19および逆DRAユニット31は、それぞれビデオエンコーダ20およびビデオデコーダ30とは別個のデバイスであり得る。他の例では、DRAユニット19は、単一のデバイスにおいてビデオエンコーダ20と一体化されることがあり、逆DRAユニット31は、単一のデバイスにおいてビデオデコーダ30と一体化されることがある。

HEVCおよび他のビデオコーディング規格では、ビデオシーケンスは通常、一連のピクチャを含む。ピクチャは、「フレーム」と呼ばれることもある。ピクチャは、S_L、S_Cb、およびS_Crと示される3つのサンプルアレイを含み得る。S_Lは、ルーマサンプルの2次元アレイ(すなわち、ブロック)である。S_Cbは、Cbクロミナンスサンプルの2次元アレイである。S_Crは、Crクロミナンスサンプルの2次元アレイである。クロミナンスサンプルは、本明細書で「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャはモノクロームであることがあり、ルーマサンプルのアレイだけを含むことがある。

ビデオエンコーダ20は、コーディングツリーユニット(CTU)のセットを生成し得る。CTUの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの2つの対応するコーディングツリーブロックと、コーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備える場合がある。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、CTUは、単一のコーディングツリーブロックと、コーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備える場合がある。コーディングツリーブロックは、サンプルのN×Nブロックであり得る。CTUは、「ツリーブロック」または「最大コーディングユニット」(LCU)と呼ばれることもある。HEVCのCTUは、H.264/AVCなどの他のビデオコーディング規格のマクロブロックと概して類似し得る。しかしながら、CTUは、必ずしも特定のサイズに限定されるとは限らず、1つまたは複数のコーディングユニット(CU)を含み得る。スライスは、ラスター走査において連続的に順序付けられた整数個のCTUを含み得る。

本開示は、1つまたは複数のサンプルブロックのサンプルをコーディングするために使用される1つまたは複数のサンプルブロックおよびシンタックス構造を指すのに、「ビデオユニット」または「ビデオブロック」という用語を使用する場合がある。例示的なタイプのビデオユニットは、HEVCにおけるCTU、CU、PU、変換ユニット(TU)、または他のビデオコーディング規格におけるマクロブロック、マクロブロック区分などを含み得る。

コーディングされたCTUを生成するために、ビデオエンコーダ20は、CTUのコーディングツリーブロック上で4分木区分を再帰的に実行してコーディングツリーブロックをコーディングブロックに分割し得、したがって、「コーディングツリーユニット」という名前である。コーディングブロックは、サンプルのN×Nブロックである。CUは、ルーマサンプルアレイ、Cbサンプルアレイ、およびCrサンプルアレイを有するピクチャの、ルーマサンプルのコーディングブロック、およびクロマサンプルの2つの対応するコーディングブロック、ならびにコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造を備え得る。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、CUは、単一のコーディングブロックと、コーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備える場合がある。

ビデオエンコーダ20は、CUのコーディングブロックを1つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの、長方形(すなわち、正方形または非正方形)のブロックであり得る。CUの予測ユニット(PU)は、ピクチャの、ルーマサンプルの予測ブロック、クロマサンプルの2つの対応する予測ブロック、および予測ブロックサンプルを予測するために使用されるシンタックス構造を含むことができる。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、PUは、単一の予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備える場合がある。ビデオエンコーダ20は、CUの各PUのルーマ予測ブロック、Cb予測ブロック、およびCr予測ブロックの予測ルーマブロック、予測Cbブロック、および予測Crブロックを生成することができる。

ビデオエンコーダ20は、PUに関する予測ブロックを生成するために、イントラ予測またはインター予測を使用し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ20は、PUに関連するピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。

ビデオエンコーダ20がPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ20は、PUに関連するピクチャ以外の1つまたは複数のピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。インター予測は、単方向インター予測(すなわち、単予測)または双方向インター予測(すなわち、双予測)であり得る。単予測または双予測を実行するために、ビデオエンコーダ20は、現在スライスに関する第1の参照ピクチャリスト(RefPicList0)および第2の参照ピクチャリスト(RefPicList1)を生成し得る。

参照ピクチャリストの各々は、1つまたは複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ20は、参照ピクチャ内の参照ロケーションを決定するために、RefPicList0およびRefPicList1の一方または両方において参照ピクチャを探索し得る。さらに、単予測を使用するとき、ビデオエンコーダ20は、参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、PUに関する予測サンプルブロックを生成し得る。その上、単予測を使用するとき、ビデオエンコーダ20は、PUの予測ブロックと参照ロケーションとの間の空間変位を示す単一の動きベクトルを生成し得る。PUの予測ブロックと参照ロケーションとの間の空間変位を示すために、動きベクトルは、PUの予測ブロックと参照ロケーションとの間の水平変位を明示する水平成分を含むことができ、PUの予測ブロックと参照ロケーションとの間の垂直変位を明示する垂直成分を含むことができる。

PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、RefPicList0中の参照ピクチャ中の第1の参照ロケーションおよびRefPicList1中の参照ピクチャ中の第2の参照ロケーションを決定し得る。次いで、ビデオエンコーダ20は、第1および第2の参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、PUに関する予測ブロックを生成し得る。その上、PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、PUのサンプルブロックと第1の参照ロケーションとの間の空間変位を示す第1の動きおよびPUの予測ブロックと第2の参照ロケーションとの間の空間変位を示す第2の動きを生成し得る。

ビデオエンコーダ20がCUの1つまたは複数のPUに関する予測ルーマブロック、予測Cbブロック、および予測Crブロックを生成した後、ビデオエンコーダ20は、CUに関するルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUの予測ルーマブロックのうちの1つの中のルーマサンプルとCUの元のルーマコーディングブロックの中の対応するサンプルとの間の差分を示す。さらに、ビデオエンコーダ20は、CUに関するCb残差ブロックを生成することができる。CUのCb残差ブロックの中の各サンプルは、CUの予測Cbブロックのうちの1つの中のCbサンプルと、CUの元のCbコーディングブロックの中の対応するサンプルとの間の差分を示すことができる。ビデオエンコーダ20は、CUに関するCr残差ブロックを生成することもできる。CUのCr残差ブロックの中の各サンプルは、CUの予測Crブロックのうちの1つの中のCrサンプルと、CUの元のCrコーディングブロックの中の対応するサンプルとの間の差分を示すことができる。

さらに、ビデオエンコーダ20は、四分木区分を使用して、CUのルーマ残差ブロック、Cb残差ブロック、およびCr残差ブロックを1つまたは複数のルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに分解することができる。変換ブロックは、同じ変換が適用されるサンプルの長方形ブロックであり得る。CUの変換ユニット(TU)は、ルーマサンプルの変換ブロックと、クロマサンプルの2つの対応する変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備える場合がある。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、TUは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備える場合がある。したがって、CUの各TUは、ルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに関連付けられ得る。TUに関連するルーマ変換ブロックは、CUのルーマ残差ブロックのサブブロックとすることができる。Cb変換ブロックは、CUのCb残差ブロックのサブブロックとすることができる。Cr変換ブロックは、CUのCr残差ブロックのサブブロックとすることができる。

ビデオエンコーダ20は、TUのルーマ変換ブロックに1つまたは複数の変換を適用して、TUに関するルーマ係数ブロックを生成することができる。係数ブロックは、変換係数の2次元アレイとすることができる。変換係数は、スカラ量とすることができる。ビデオエンコーダ20は、TUのCb変換ブロックに1つまたは複数の変換を適用して、TUに関するCb係数ブロックを生成することができる。ビデオエンコーダ20は、TUのCr変換ブロックに1つまたは複数の変換を適用して、TUに関するCr係数ブロックを生成することができる。

係数ブロック(たとえば、ルーマ係数ブロック、Cb係数ブロック、またはCr係数ブロック)を生成した後に、ビデオエンコーダ20は、係数ブロックを量子化することができる。量子化は、一般に、変換係数が量子化されて、場合によっては、変換係数を表すために使用されるデータの量を低減し、さらなる圧縮をもたらすプロセスを指す。さらに、ビデオエンコーダ20は、ピクチャのCUのTUの変換ブロックを再構成するために、変換係数を逆量子化し、変換係数に逆変換を適用することができる。ビデオエンコーダ20は、CUのTUの再構成された変換ブロックおよびCUのPUの予測ブロックを使用して、CUのコーディングブロックを再構成し得る。ピクチャの各CUのコーディングブロックを再構成することによって、ビデオエンコーダ20は、ピクチャを再構成し得る。ビデオエンコーダ20は、再構成されたピクチャを復号ピクチャバッファ(DPB)に記憶し得る。ビデオエンコーダ20は、DPB中の再構成されたピクチャを、インター予測およびイントラ予測に使用することができる。

ビデオエンコーダ20が係数ブロックを量子化した後に、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素をエントロピー符号化することができる。たとえば、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング(CABAC)を実行することができる。ビデオエンコーダ20は、エントロピー符号化されたシンタックス要素をビットストリームの中に出力することができる。

ビデオエンコーダ20は、コーディングされたピクチャの表現および関連するデータを形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、ネットワーク抽象化レイヤ(NAL)ユニットのシーケンスを備え得る。NALユニットの各々は、NALユニットヘッダを含み、ローバイトシーケンスペイロード(RBSP)をカプセル化する。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプコードは、NALユニットのタイプを示す。RBSPは、NALユニット内にカプセル化されている整数個のバイトを含むシンタックス構造であり得る。いくつかの事例では、RBSPは、0個のビットを含む。

異なるタイプのNALユニットは、異なるタイプのRBSPをカプセル化し得る。たとえば、第1のタイプのNALユニットはピクチャパラメータセット(PPS)のためのRBSPをカプセル化することがあり、第2のタイプのNALユニットはコーディングされたスライスのためのRBSPをカプセル化することがあり、第3のタイプのNALユニットは補足エンハンスメント情報(SEI)のためのRBSPをカプセル化することがあり、以下同様である。PPSとは、0個以上のコーディングされたピクチャ全体に適用するシンタックス要素を含み得るシンタックス構造である。(パラメータセットおよびSEIメッセージのためのRBSPではなく)ビデオコーディングデータのためのRBSPをカプセル化するNALユニットは、ビデオコーディングレイヤ(VCL)NALユニットと呼ばれ得る。コーディングされたスライスをカプセル化するNALユニットは、本明細書ではコーディングされたスライスNALユニットと呼ばれ得る。コーディングされたスライスのためのRBSPは、スライスヘッダおよびスライスデータを含み得る。

ビデオデコーダ30は、ビットストリームを受信し得る。加えて、ビデオデコーダ30は、ビットストリームを構文解析して、ビットストリームからシンタックス要素を復号し得る。ビデオデコーダ30は、ビットストリームから復号されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構成し得る。ビデオデータを再構成するためのプロセスは全般に、ビデオエンコーダ20によって実行されるプロセスと逆であり得る。たとえば、ビデオデコーダ30は、PUの動きベクトルを使用して、現在CUのPUに関する予測ブロックを決定し得る。ビデオデコーダ30は、PUの1つまたは複数の動きベクトルを使用して、PUに関する予測ブロックを生成し得る。

加えて、ビデオデコーダ30は、現在CUのTUに関連する係数ブロックを逆量子化し得る。ビデオデコーダ30は、係数ブロックに対して逆変換を実行して、現在CUのTUに関連する変換ブロックを再構成し得る。ビデオデコーダ30は、現在CUのPUに関する予測サンプルブロックのサンプルを、現在CUのTUの変換ブロックの対応するサンプルに加算することによって、現在CUのコーディングブロックを再構成し得る。ピクチャのCUごとにコーディングブロックを再構成することによって、ビデオデコーダ30はピクチャを再構成し得る。ビデオデコーダ30は、復号されたピクチャを、出力するために、かつ/または他のピクチャを復号する際に使用するために、復号ピクチャバッファに記憶し得る。

次世代ビデオアプリケーションは、HDRおよびWCGを有するキャプチャされた景色を表すビデオデータにより動作することが予想される。利用されるダイナミックレンジおよび色域のパラメータは、ビデオコンテンツの2つの独立した属性であり、デジタルテレビジョンおよびマルチメディアサービスの目的のためのそれらの仕様が、いくつかの国際規格によって定義されている。たとえば、ITU-R Rec. BT.709、「Parameter values for the HDTV standards for production and international programme exchange」は、標準ダイナミックレンジ(SDR)および標準色域などのHDTV(高精細テレビジョン)のためのパラメータを定義しており、ITU-R Rec. BT.2020、「Parameter values for ultra-high definition television systems for production and international programme exchange」は、HDRおよびWCGなどのUHDTV(超高精細テレビジョン)パラメータを指定している。他のシステムにおけるダイナミックレンジおよび色域属性を指定する他の標準開発団体(SDO:standards developing organization)文書もあり、たとえば、DCI-P3色域がSMPTE-231-2(Society of Motion Picture and Television Engineers)において定義されており、HDRのいくつかのパラメータがSMPTE-2084において定義されている。以下では、ビデオデータに関するダイナミックレンジおよび色域の簡単な説明を行う。

ダイナミックレンジは通常、ビデオ信号の最小輝度(たとえば、ルミナンス)と最大輝度との間の比として定義される。ダイナミックレンジはまた、「fストップ」の観点から測定されることがあり、1fストップが、信号のダイナミックレンジの倍増に対応する。MPEGの定義では、HDRコンテンツは、16fストップ超を有する輝度変動を特徴とするコンテンツである。いくつかの用語では、10fストップから16fストップの間のレベルは、中間ダイナミックレンジと見なされるが、それは他の定義ではHDRと見なされる。本開示のいくつかの例では、HDRビデオコンテンツは、標準ダイナミックレンジを有する従来使用されたビデオコンテンツ(たとえば、ITU-R Rec. BT.709によって指定されるビデオコンテンツ)よりも高いダイナミックレンジを有する任意のビデオコンテンツであり得る。

人間視覚系(HVS)は、SDRコンテンツおよびHDRコンテンツよりもはるかに大きいダイナミックレンジを知覚することが可能である。ただし、HVSは、HVSのダイナミックレンジをいわゆる同時レンジに縮小するための適応機構を含む。同時レンジの幅は、現在の照明条件(たとえば、現在の輝度)に依存し得る。HDTVのSDR、UHDTVの予想HDRおよびHVSダイナミックレンジによって提供されるダイナミックレンジの視覚化を図2に示す。

現在のビデオアプリケーションおよびサービスは、ITU Rec.709によって規制され、SDRを提供しており、通常は約0.1〜100カンデラ(cd)/m2(「nit」と呼ばれることが多い)の輝度(たとえば、ルミナンス)のレンジをサポートし、これは10fストップ未満につながる。いくつかの例示的な次世代ビデオサービスは、16fストップまでのダイナミックレンジを提供することが予想される。そのようなコンテンツに関する詳細な仕様は現在開発中であるが、いくつかの初期パラメータがSMPTE-2084およびITU-R Rec. 2020において指定されている。

HDR以外の、より現実的なビデオ体験に関する別の側面は、色次元である。色次元は通常、色域によって定義される。図3は、SDR色域(BT.709カラープライマリ(color primaries)に基づく三角形100)およびUHDTVのためのより広い色域(BT.2020カラープライマリに基づく三角形102)を示す概念図である。図3はまた、天然色素の範囲を表す(舌型エリア104によって画定された)いわゆるスペクトル軌跡を示す。図3によって示されているように、BT.709(三角形100)カラープライマリからBT.2020(三角形102)カラープライマリに移動することは、色が約70%増加したUHDTVサービスを提供することを目指している。D65は、BT.709および/またはBT.2020仕様に関する例示的な白色を明示している。

DCI-P3、BT.709、およびBT.2020色空間に関する色域仕様の例をTable 1(表1)に示す。

Table 1(表1)に見られるように、色域は、白色点のX値およびY値によって、かつ原色(たとえば、赤(R)、緑(G)および青(B))のX値およびY値によって定義され得る。X値およびY値は、CIE 1931色空間によって定義されているように、色の色度(X)および輝度(Y)を表す。CIE 1931色空間は、(たとえば、波長の観点からの)純粋色と人間の眼がそのような色をどのように知覚するかとの間のつながりを定義している。

HDR/WCGビデオデータは通常、4:4:4クロマサブサンプリングフォーマットおよび非常に広い色空間(たとえば、CIE XYZ)により、成分ごとに非常に高い精度(さらには浮動小数点)で収集および記憶される。この表現は、高い精度を目指しており、ほぼ数学的にロスレスである。しかしながら、HDR/WCGビデオデータを記憶するためのそのようなフォーマットは、多くの冗長性を含むことがあり、圧縮目的のために最適化されないことがある。通常は、HVSベースの仮定によるより低い精度フォーマットが最先端のビデオアプリケーションに利用される。

圧縮目的のためのビデオデータフォーマット変換プロセスの一例は、図4に示すように3つの主要プロセスを含む。図4の技法は、ソースデバイス12によって実行され得る。線形RGBデータ110は、HDR/WCGビデオデータであり得、浮動小数点表現で記憶され得る。線形RGBデータ110は、ダイナミックレンジ短縮のために非線形伝達関数(TF)112を使用して短縮され得る。伝達関数112は、任意の数の非線形伝達関数、たとえば、SMPTE-2084において定義されているようにPQ TFを使用して、線形RGBデータ110を短縮することができる。いくつかの例では、色変換プロセス114は、短縮データを、ハイブリッドビデオエンコーダによる圧縮により適している、より短縮的またはロバストな色空間(たとえば、YUVまたはYCrCb色空間)に変換する。次いでこのデータは、変換されたHDR'データ118を生成するために浮動-整数表現量子化ユニット116を使用して量子化される。この例では、HDR'データ118は、整数表現によるものである。HDR'データは今では、ハイブリッドビデオエンコーダ(たとえば、HEVC技法を適用しているビデオエンコーダ20)による圧縮により適したフォーマットによるものである。図4に示すプロセスの順序は、例として与えられており、他の適用例では異なることがある。たとえば、色変換がTFプロセスに先行することがある。さらに、追加の処理、たとえば、空間サブサンプリングが色成分に適用されることがある。

デコーダ側における逆変換が図5に示されている。図5の技法は、宛先デバイス14によって実行され得る。変換されたHDR'データ120は宛先デバイス14において、ハイブリッドビデオデコーダ(たとえば、HEVC技法を適用しているビデオデコーダ30)を使用してビデオデータを復号することを通じて取得され得る。HDR'データ120は次いで、逆量子化ユニット122によって逆量子化され得る。次いで、逆量子化されたHDR'データに逆色変換プロセス124が適用され得る。逆色変換プロセス124は、色変換プロセス114の逆であり得る。たとえば、逆色変換プロセス124は、YCrCbフォーマットからRGBフォーマットに戻す形でHDR'データを変換することができる。次に、線形RGBデータ128を再作成するために、伝達関数112によって短縮されたダイナミックレンジを再加算するために、データに逆伝達関数126が適用され得る。

ここで、図4に示す技法について、より詳細に述べる。一般に、データ(たとえば、HDR/WCGビデオデータ)に伝達関数が適用されて、データのダイナミックレンジが短縮される。そのような短縮は、データをより少ないビットで表すことを可能にする。一例では、伝達関数は、たとえば、Rec. 709においてSDRに関して指定されたように、1次元(1D)非線形関数であり得、エンドユーザディスプレイの電気光伝達関数(EOTF)の逆を反映し得る。別の例では、伝達関数、たとえば、HDRに関してSMPTE-2084において指定されたPQ伝達関数は、輝度変化に対するHVS知覚を近似し得る。OETFの逆のプロセスはEOTF(電気光伝達関数)であり、これはコードレベルを再びルミナンスにマッピングする。図6は、いくつかの色コンテナのダイナミックレンジを短縮するために使用される非線形伝達関数のいくつかの例を示す。伝達関数は、R、GおよびBの各成分に別個に適用されてもよい。

本開示の文脈では、「信号値」または「色値」という用語は、画像要素に関する(R、G、BまたはYなどの)特定の色成分の値に対応するルミナンスレベルを表すために使用され得る。信号値は通常、線形光源レベル(ルミナンス値)を表す。「コードレベル」または「デジタルコード値」という用語は、画像信号値のデジタル表現を指し得る。通常、そのようなデジタル表現は、非線形信号値を表す。EOTFは、ディスプレイデバイス(たとえば、ディスプレイデバイス32)に提供された非線形信号値とディスプレイデバイスによって生成された線形色値との間の関係を表す。

RGBは、画像キャプチャセンサーによって通常生成されるデータのタイプであるので、RGBデータは通常、入力色空間として利用される。だが、RGB色空間は、その成分の間で高い冗長性を有し、短縮的表現のために最適化されていない。より短縮的でよりロバストな表現を実現するために、RGB成分は通常、圧縮により適しているより無相関な色空間、たとえば、YCbCrに変換される(たとえば、色変換が実行される)。YCbCr色空間は、ルミナンス(Y)の形式での輝度およびさほど相関しない異なる成分での色情報(CrCb)を区別する。この文脈では、ロバストな表現は、制限されたビットレートにおいて圧縮されたときの、より高いエラー耐性レベルを特徴とする色空間を指し得る。

色変換の後でもなお、ターゲット色空間における入力データは高いビット深度(たとえば、浮動小数点の正確性)で表され得る。高いビット深度データは、たとえば、量子化プロセスを使用して、ターゲットビット深度に変換され得る。いくつかの研究は、PQ伝達と組み合わせた10〜12ビットの正確性が、丁度可知差異(JND)を下回るひずみを有する16fストップのHDRデータを提供するのに十分であることを示している。一般に、JNDは、(たとえば、HVSによって)差異がわかるために何か(たとえば、ビデオデータ)が変化しなければならない量である。10ビットの正確性で表されるデータは、大半の最先端のビデオコーディングソリューションによりさらにコーディングされ得る。この量子化は、不可逆コーディングの要素であり、変換されたデータにもたらされる不正確性の源である。

次世代HDR/WCGビデオアプリケーションが、HDRおよびCGの異なるパラメータにおいてキャプチャされたビデオデータにより動作すると予想される。異なる構成の例は、最高1000nitまたは最高10,000nitのピーク輝度を有するHDRビデオコンテンツのキャプチャであり得る。異なる色域の例は、BT.709、BT.2020ならびにSMPTE指定P3などを含み得る。

すべての他の現在使用されている色域を組み込む単一の色空間、たとえば、ターゲット色コンテナが、将来利用されることも予想される。そのようなターゲット色コンテナの一例はBT.2020である。単一のターゲット色コンテナのサポートは、低減された数の動作点(たとえば、低減された数の色コンテナ、色空間、色変換アルゴリズムなど)および/または低減された数の必要なアルゴリズムがデコーダ(たとえば、ビデオデコーダ30)によってサポートされるので、HDR/WCGシステムの標準化、実装および展開を著しく単純化する。

そのようなシステムの一例では、ターゲット色コンテナ(たとえば、BT.2020)とは異なるネイティブ色域(たとえば、P3またはBT.709)によりキャプチャされたコンテンツは、処理前に(たとえば、ビデオ符号化の前に)ターゲット色コンテナに変換され得る。以下は、そのような変換のいくつかの例である。
BT.709からBT.2020色コンテナへのRGB変換:
R₂₀₂₀=0.627404078626*R₇₀₉+0.329282097415*G₇₀₉+0.043313797587*B₇₀₉
G₂₀₂₀=0.069097233123*R₇₀₉+0.919541035593*G₇₀₉+0.011361189924*B₇₀₉
B₂₀₂₀=0.016391587664*R₇₀₉+0.088013255546*G₇₀₉+0.895595009604*B₇₀₉
(1)
P3からBT.2020色コンテナへのRGB変換:
R₂₀₂₀=0.753832826496*R_P3+0.198597635641*G_P3+0.047569409186*B_P3
G₂₀₂₀=0.045744636411*R_P3+0.941777687331*G_P3+0.012478735611*B_P3
B₂₀₂₀=-0.001210377285*R_P3+0.017601107390*G_P3+0.983608137835*B_P3
(2)

この変換の間に、P3またはBT.709色域においてキャプチャされた信号のダイナミックレンジは、BT.2020表現で低減され得る。データは浮動小数点の正確性で表されるので、ロスはないが、色変換(たとえば、下の式3に示すRGBからYCrCbへの変換)および量子化(下の式4における例)と組み合わせられたとき、ダイナミックレンジ低減は、入力データに関する量子化誤差の増大につながる。

D_Y'=(Round((1<<(BitDepth_Y-8))*(219*Y'+16)))
D_Cb=(Round((1<<(BitDepth_Cr-8))*(224*Cb+128)))
D_Cr=(Round((1<<(BitDepth_Cb-8))*(224*Cr+128)))
(4)
式(4)では、D_Y'は、量子化されたY'成分であり、D_Cbは、量子化されたCbであり、D_Crは、量子化されたCr成分である。記号<<は、ビット単位右シフトを表す。BitDepth_Y、BitDepth_Cr、およびBitDepth_Cbは、それぞれ、量子化された成分の所望のビット深度である。

さらに、現実世界のコーディングシステムでは、低減されたダイナミックレンジを伴う信号のコーディングは、コーディングされたクロマ成分に関する正確性の著しい低下につながることがあり、閲覧者によって、コーディングアーティファクト、たとえば、色のミスマッチおよび/または色のブリーディングとして観測されることになる。

コンテンツの色域がターゲット色コンテナの色域と同じであるが、コンテンツが(たとえば、いくつかのフレームにおいて、または1つの成分に関して)色コンテナ全体の色域を完全に占有しないときにも、問題が生じ得る。この状況は、図7Aおよび図7Bにおいて視覚化されており、HDRシーケンスの色がxy色平面において示されている。図7Aは、ネイティブBT.709色空間(三角形150)においてキャプチャされた「Tibul」テストシーケンスの色を示す。だが、(点として示されている)テストシーケンスの色は、BT.709の全色域を占有していない。図7Aおよび図7Bでは、三角形152はBT.2020色域を表す。図7Bは、P3ネイティブ色域(三角形154)を有する「Bikes」HDRテストシーケンスの色を示す。図7Bに見られるように、色は、xy色平面におけるネイティブ色域(三角形154)の全範囲を占有していない。

上述の問題に対処するために、以下の技法が検討され得る。1つの例示的な技法は、ネイティブ色空間におけるHDRコーディングを伴う。そのような技法では、HDRビデオコーディングシステムは、様々なタイプの現在知られている色域をサポートし、ビデオコーディング規格の拡張を可能にして、将来の色域をサポートする。このサポートは、異なる色転換変換(color conversion transform)、たとえば、RGBからYCbCrおよびそれらの逆変換をサポートすることのみに限定されず、色域の各々に対して調整される変換関数も指定する。そのような様々なツールのサポートは複雑かつ高価となる。

別の例示的な技法は、色域認識ビデオコーデックを含む。そのような技法では、仮定的ビデオエンコーダは、入力信号のネイティブ色域を推定し、コーディングパラメータ(たとえば、コーディングされたクロマ成分に関する量子化パラメータ)を調整して、低減されたダイナミックレンジに起因するひずみを低減するように構成される。しかしながら、そのような技法は、すべての入力データが整数点の正確性で通常のコーデックに提供されるので、上記の式(4)において行われた量子化に起因して発生し得る正確性の低下を修復することができない。

上記に鑑みて、本開示は、色域変換によってHDR信号表現にもたらされたダイナミックレンジ変動を補償するためにダイナミックレンジ調整(DRA)を実行するための技法、方法および装置を提案する。ダイナミックレンジ調整は、色のミスマッチ、色のブリーディングなどを含む色域変換によって引き起こされるひずみを防止および/または低減するのを助けることができる。本開示の1つまたは複数の例では、エンコーダ側における(たとえば、ソースデバイス12による)量子化の前に、かつデコーダ側における(たとえば、宛先デバイス14による)逆量子化の後に、ターゲット色空間、たとえばYCbCrの各色成分の値に対してDRAが実行される。

図8は、本開示の技法に従って動作する例示的なHDR/WCG変換装置を示すブロック図である。図8では、実線はデータフローを明示し、破線は制御信号を明示する。本開示の技法は、ソースデバイス12のDRAユニット19によって実行され得る。上記で説明したように、DRAユニット19は、ビデオエンコーダ20とは別個のデバイスであり得る。他の例では、DRAユニット19は、ビデオエンコーダ20として同じデバイスに組み込まれ得る。

図8に示すように、RGBネイティブCGビデオデータ200がDRAユニット19に入力される。DRAユニット19によるビデオ前処理の文脈では、RGBネイティブCGビデオデータ200は、入力色コンテナによって定義される。入力色コンテナは、ビデオデータ200の色域(たとえば、BT. 709、BT. 2020、P3など)を定義するとともに、ビデオデータ200の色空間(たとえば、RGB、XYZ、YCrCb、YUVなど)を定義する。本開示の一例では、DRAユニット19は、RGBネイティブCGビデオデータ200の色域と色空間の両方を、HDR'データ216のためのターゲット色コンテナに変換するように構成され得る。入力色コンテナと同様に、ターゲット色コンテナは、色域と色空間の両方を定義し得る。本開示の一例では、RGBネイティブCGビデオデータ200は、HDR/WCGビデオであってよく、BT.2020またはP3色域(あるいは任意のWCG)を有してよく、RGB色空間にあってよい。別の例では、RGBネイティブCGビデオデータ200は、SDRビデオであってよく、BT.709色域を有してよい。一例では、HDR'データ216のためのターゲット色コンテナは、HDR/WCGビデオ(たとえば、BT.2020色域)のために構成されていることがあり、ビデオ符号化にとってより最適な色空間(たとえば、YCrCb)を使用し得る。

本開示の一例では、CGコンバータ202は、RGBネイティブCGビデオデータ200の色域を、入力色コンテナ(たとえば、第1の色コンテナ)の色域からターゲット色コンテナ(たとえば、第2の色コンテナ)の色域に変換するように構成され得る。一例として、CGコンバータ202は、RGBネイティブCGビデオデータ200を、BT.709色表現からBT.2020色表現に変換することができ、その一例を以下に示す。

RGB BT.709サンプル(R₇₀₉、G₇₀₉、B₇₀₉)をRGB BT.2020サンプル(R₂₀₂₀、G₂₀₂₀、B₂₀₂₀)に変換するプロセスは、最初にXYZ表現に変換し、続いて適切な変換行列を使用してXYZからRGB BT.2020に変換することを伴う2ステップ変換により実施され得る。
X=0.412391*R₇₀₉+0.357584*G₇₀₉+0.180481*B₇₀₉
Y=0.212639*R₇₀₉+0.715169*G₇₀₉+0.072192*B₇₀₉ (5)
Z=0.019331*R₇₀₉+0.119195*G₇₀₉+0.950532*B₇₀₉

XYZからR₂₀₂₀G₂₀₂₀B₂₀₂₀(BT.2020)への変換
R₂₀₂₀=clipRGB(1.716651*X-0.355671*Y-0.253366*Z)
G₂₀₂₀=clipRGB(-0.666684*X+1.616481*Y+0.015768*Z) (6)
B₂₀₂₀=clipRGB(0.017640*X-0.042771*Y+0.942103*Z)
同様に、単一のステップおよび推奨される方法は次の通りである。
R₂₀₂₀=clipRGB(0.627404078626*R₇₀₉+0.329282097415*G₇₀₉+0.043313797587*B₇₀₉)
G2020=clipRGB(0.069097233123*R709+0.919541035593*G709+0.011361189924*B709) (7)
B₂₀₂₀=clipRGB(0.016391587664*R₇₀₉+0.088013255546*G₇₀₉+0.895595009604*B₇₀₉)

CG変換後に生じるビデオデータは、図8においてRGBターゲットCGビデオデータ204として示されている。本開示の他の例では、入力色コンテナおよび出力色コンテナに関する色域は同じであり得る。そのような例では、CGコンバータ202は、RGBネイティブCGビデオデータ200に対していかなる変換も実行する必要がない。

次に、伝達関数ユニット206は、RGBターゲットCGビデオデータ204のダイナミックレンジを短縮する。伝達関数ユニット206は、図4を参照しながら上記で説明したのと同じ方法でダイナミックレンジを短縮するために伝達関数を適用するように構成され得る。色変換ユニット208は、RGBターゲットCGビデオデータ204を、入力色コンテナの色空間(たとえば、RGB)からターゲット色コンテナの色空間(たとえば、YCrCb)に変換する。図4を参照しながら上記で説明したように、色変換ユニット208は、短縮データを、ハイブリッドビデオエンコーダ(たとえば、ビデオエンコーダ20)による圧縮により適している、より短縮的またはロバストな色空間(たとえば、YUVまたはYCrCb色空間)に変換する。

調整ユニット210は、DRAパラメータ推定ユニット212によって導出されたDRAパラメータに従って、色変換されたビデオデータのダイナミックレンジ調整(DRA)を実行するように構成される。一般に、CGコンバータ202によるCG変換および伝達関数ユニット206によるダイナミックレンジ短縮の後、生じたビデオデータの実際の色値は、特定のターゲット色コンテナの色域に関して割り振られたすべての利用可能なコードワード(たとえば、各色を表す一意のビットシーケンス)を使用しないことがある。すなわち、いくつかの状況では、入力色コンテナから出力色コンテナへのRGBネイティブCGビデオデータ200の変換は、生じた短縮ビデオデータがすべての可能な色表現を効率的に利用することのないほどに、ビデオデータの色値(たとえば、CrおよびCb)を過度に短縮することがある。上記で説明したように、色に関する低減された範囲の値を伴う信号のコーディングは、コーディングされたクロマ成分に関する正確性の著しい低下につながることがあり、閲覧者によって、コーディングアーティファクト、たとえば、色のミスマッチおよび/または色のブリーディングとして観測されることになる。

調整ユニット210は、特定のターゲット色コンテナに利用可能なコードワードを十分に利用するために、ダイナミックレンジ短縮および色変換の後にビデオデータ、たとえば、RGBターゲットCGビデオデータ204の色成分(たとえば、YCrCb)にDRAパラメータを適用するように構成され得る。調整ユニット210は、ピクセルレベルにおいてビデオデータにDRAパラメータを適用し得る。一般に、DRAパラメータは、実際のビデオデータを表すために使用されるコードワードを、ターゲット色コンテナに利用可能なできるだけ多くのコードワードに拡大する関数を定義する。

本開示の一例では、DRAパラメータは、ビデオデータの成分に適用されるスケールおよびオフセット値を含む。一般に、ビデオデータの色成分の値のダイナミックレンジが低くなるほど、使用され得るスケーリング係数は大きくなる。オフセットパラメータは、ターゲット色コンテナに利用可能なコードワードの中心に色成分の値を集中させるために使用される。たとえば、ターゲット色コンテナが色成分ごとに1024個のコードワードを含む場合、中心コードワードがコードワード512(たとえば、真ん中のコードワード)に移動するように、オフセット値が選択され得る。

一例では、調整ユニット210は、次のようにターゲット色空間(たとえば、YCrCb)におけるビデオデータにDRAパラメータを適用する。
- Y"=scale1*Y'+offset1
- Cb"=scale2*Cb'+offset2 (8)
- Cr"=scale3*Cr'+offset3
上式で、信号成分Y'、Cb'およびCr'は、RGBからYCbCrへの変換(式3における例)から生成された信号である。Y'、Cb'およびCr'はまた、ビデオデコーダ30によって復号されたビデオ信号であり得ることに留意されたい。Y"、Cb"およびCr"は、DRAパラメータが各色成分に適用された後のビデオ信号の色成分である。上記の例に見られるように、各色成分は、異なるスケールおよびオフセットパラメータに関係する。たとえば、scale1およびoffset1がY'成分に使用され、scale2およびoffset2がCb'成分に使用され、scale3およびoffset3がCr'成分に使用される。これは一例にすぎないことを理解されたい。他の例では、同じスケールおよびオフセット値があらゆる色成分に使用され得る。

他の例では、各色成分は、複数のスケールおよびオフセットパラメータに関連付けられ得る。たとえば、CrまたはCb色成分に関するクロマ値の実際の分布は、コードワードの部分ごとに異なり得る。一例として、中心コードワード(たとえば、コードワード512)の上にある使用される一意のコードワードは、中心コードワードの下よりも多いことがある。そのような例では、調整ユニット210は、(たとえば、中心のコードワードよりも大きい値を有する)中心コードワードの上にあるクロマ値に対するスケールおよびオフセットパラメータの1つのセットを適用し、(たとえば、中心コードワードよりも小さい値を有する)中心コードワードの下にあるクロマ値に対するスケールおよびオフセットパラメータの異なるセットを適用するように構成され得る。

上記の例に見られるように、調整ユニット210は、線形関数としてスケールおよびオフセットDRAパラメータを適用する。したがって、調整ユニット210は、色変換ユニット208による色変換の後に、ターゲット色空間においてDRAパラメータを適用する必要はない。これは、色変換がそれ自体で線形プロセスであるからである。したがって、他の例では、調整ユニット210は、任意の色変換プロセスの前に、ネイティブ色空間(たとえば、RGB)においてビデオデータにDRAパラメータを適用することになる。この例では、色変換ユニット208は、調整ユニット210がDRAパラメータを適用した後に、色変換を適用することができる。

本開示の別の例では、調整ユニット210は次のように、ターゲット色空間またはネイティブ色空間のいずれかにおいてDRAパラメータを適用し得る。
- Y"=(scale1*(Y'-offsetY)+offset1)+offsetY
- Cb"=scale2*Cb'+offset2 (9)
- Cr"=scale3*Cr'+offset3
この例では、パラメータscale1、scale2、scale3、offset1、offset2およびoffset3は、上記で説明したのと同じ意味を有する。パラメータoffsetYは、信号の輝度を反映するパラメータであり、Y'の中間値に等しくなり得る。

本開示の別の例では、調整ユニット210は、ネイティブ色空間またはターゲット色空間以外の色空間においてDRAパラメータを適用するように構成され得る。一般に、調整ユニット210は、次のようにDRAパラメータを適用するように構成され得る。
- X'=scale1*X+offset1
- Y'=scale2*Y+offset2 (10)
- Z'=scale3*Z+offset3
上式で、信号成分X、YおよびZは、ターゲット色空間とは異なる色空間、たとえば、RGBまたは中間色空間における信号成分である。

本開示の他の例では、調整ユニット210は、DRAを実行するためにビデオに線形伝達関数を適用するように構成される。そのような伝達関数は、ダイナミックレンジを短縮するために伝達関数ユニット206によって使用される伝達関数とは異なる。上記で定義されたスケールおよびオフセットの項と同様に、調整ユニット210によって適用される伝達関数は、色値を拡大し、ターゲット色コンテナにおける利用可能なコードワードに集中させるために使用され得る。DRAを実行するために伝達関数を適用する例を以下に示す。
- Y"=TF2(Y')
- Cb"=TF2(Cb')
- Cr"=TF2(Cr')
TF2という用語は、調整ユニット210によって適用される伝達関数を明示する。

本開示の別の例では、調整ユニット210は、単一のプロセスにおいて色変換ユニット208の色変換とともにDRAパラメータを適用するように構成され得る。すなわち、調整ユニット210および色変換ユニット208の線形関数は、組み合わせられ得る。f1およびf2がRGB-YCbCr行列およびDRAスケーリング係数の組合せである、組み合わせられた適用の例を下に示す。

本開示の別の例では、DRAパラメータを適用した後、調整ユニット210は、あるターゲット色コンテナに関して指定されたコードワードの範囲外の値をビデオデータが有しないように、クリッピングプロセスを実行するように構成され得る。いくつかの状況では、調整ユニット210によって適用されるスケールおよびオフセットパラメータにより、いくつかの色成分値が、許容可能なコードワードの範囲を超えることがある。この場合、調整ユニット210は、その範囲を超える成分の値を、その範囲における最大値にクリップするように構成され得る。

調整ユニット210によって適用されるDRAパラメータは、DRAパラメータ推定ユニット212によって決定され得る。DRAパラメータ推定ユニット212がDRAパラメータを更新する頻度はフレキシブルである。たとえば、DRAパラメータ推定ユニット212はDRAパラメータを時間レベルで更新することができる。すなわち、新しいDRAパラメータは、ピクチャグループ(GOP)または単一のピクチャ(フレーム)に関して決定され得る。この例では、RGBネイティブCGビデオデータ200は、GOPまたは単一のピクチャであり得る。他の例では、DRAパラメータ推定ユニット212は、DRAパラメータを空間レベルで、たとえば、スライスタイルまたはブロックレベルで更新することができる。この文脈において、ビデオデータのブロックは、マクロブロック、コーディングツリーユニット(CTU)、コーディングユニット、または任意の他のサイズおよび形状のブロックであり得る。ブロックは、正方形、長方形または任意の他の形状であり得る。したがって、DRAパラメータは、より効率的な時間的および空間的な予測およびコーディングに使用され得る。

本開示の一例では、DRAパラメータ推定ユニット212は、RGBネイティブCGビデオデータ200のネイティブ色域とターゲット色コンテナの色域との対応に基づいてDRAパラメータを導出し得る。たとえば、DRAパラメータ推定ユニット212は、あるネイティブ色域(たとえば、BT.709)およびターゲット色コンテナの色域(たとえば、BT.2020)を前提として、スケールおよびオフセット値を決定するために既定のルールのセットを使用し得る。

たとえば、ネイティブ色域およびターゲット色コンテナがxy空間におけるカラープライマリ座標および白色点座標の形態で定義されると仮定する。BT.709およびBT.2020に関するそのような情報の一例を、下のTable 2(表2)に示す。

一例では、BT.2020はターゲット色コンテナの色域であり、BT.709はネイティブ色コンテナの色域である。この例では、調整ユニット210は、YCbCrターゲット色空間にDRAパラメータを適用する。DRAパラメータ推定ユニット212は、次のようにDRAパラメータを推定し、調整ユニット210に転送するように構成され得る。
scale1=1、offset1=0
scale2=1.0698、offset2=0
scale3=2.1735、offset3=0

別の例として、BT.2020がターゲット色域であり、P3がネイティブ色域であり、DRAがYCbCrターゲット色空間において適用されており、DRAパラメータ推定ユニット212は、次のようにDRAパラメータを推定するように構成され得る。
scale1=1、offset1=0
scale2=1.0068、offset2=0
scale3=1.7913、offset3=0

上記の例では、DRAパラメータ推定ユニット212は、あるネイティブ色域およびあるターゲット色域を前提として、使用すべきDRAパラメータを示すルックアップテーブルを調べることによって、上記のスケールおよびオフセット値を決定するように構成され得る。他の例では、DRAパラメータ推定ユニット212は、たとえばTable 2(表2)に示すように、ネイティブ色域およびターゲット色域のプライマリおよび白空間値からDRAパラメータを計算するように構成され得る。

たとえば、XがR、G、B色成分を表す、プライマリ座標(xXt,yXt)によって指定されたターゲット(T)色コンテナを考える。

また、XがR、G、B色成分を表す、プライマリ座標(xXn,yXn)によって指定されたネイティブ(N)色域を考える。

両方の色域に関する白色点座標はwhiteP=(xW,yW)に等しい。DRAパラメータ推定ユニット212は、プライマリ座標と白色点との間の距離の関数として、DRAに関するscale2およびscale3パラメータを導出し得る。そのような式の例を以下に示す。
rdT=sqrt((primeT(1,1)-whiteP(1,1))^2+(primeN(1,2)-whiteP(1,2))^2)
gdT=sqrt((primeT(2,1)-whiteP(1,1))^2+(primeN(2,2)-whiteP(1,2))^2)
bdT=sqrt((primeT(3,1)-whiteP(1,1))^2+(primeN(3,2)-whiteP(1,2))^2)
rdN=sqrt((primeN(1,1)-whiteP(1,1))^2+(primeN(1,2)-whiteP(1,2))^2)
gdN=sqrt((primeN(2,1)-whiteP(1,1))^2+(primeN(2,2)-whiteP(1,2))^2)
bdN=sqrt((primeN(3,1)-whiteP(1,1))^2+(primeN(3,2)-whiteP(1,2))^2)
scale2=bdT/bdN
scale3=sqrt((rdT/rdN)^2+(gdT/gdN)^2)

いくつかの例では、DRAパラメータ推定ユニット212は、ネイティブ色域の既定のプライマリ値からではなく、RGBネイティブCGビデオデータ200における色値の実際の分布からprimeNにおけるプライマリ座標を決定することによってDRAパラメータを推定するように構成され得る。すなわち、DRAパラメータ推定ユニット212は、RGBネイティブCGビデオデータ200に存在する実際の色を分析し、上記の関数においてそのような分析から決定された原色値および白色点を使用して、DRAパラメータを計算するように構成され得る。上記で定義されたいくつかのパラメータの近似値が、計算を容易にするためにDRAとして使用される可能性がある。たとえば、scale3=2.1735はscale3=2に近似され得、これによりいくつかのアーキテクチャでは、より容易な実装が可能になる。

本開示の他の例では、DRAパラメータ推定ユニット212は、ターゲット色コンテナの色域にだけではなく、ターゲット色空間にも基づいて、DRAパラメータを決定するように構成され得る。成分値の値の実際の分布は、色空間ごとに異なり得る。たとえば、クロマ値分布は、一定でないルミナンスを有するYCbCr色空間と比較して、一定のルミナンスを有するYCbCr色空間では異なり得る。DRAパラメータ推定ユニット212は、DRAパラメータを決定するために異なる色空間の色分布を使用し得る。

本開示の他の例では、DRAパラメータ推定ユニット212は、ビデオデータの前処理および/または符号化に関連するいくつかのコスト関数を最小化するために、DRAパラメータに関する値を導出するように構成され得る。一例として、DRAパラメータ推定ユニット212は、上記の量子化ユニット214によってもたらされた量子化誤差(たとえば、式(4)参照)を最小化したDRAパラメータを推定するように構成され得る。DRAパラメータ推定ユニット212は、DRAパラメータの異なるセットが適用されたビデオデータに対して量子化誤差テストを実行することによって、そのような誤差を最小化し得る。DRAパラメータ推定ユニット212は次いで、最低の量子化誤差を生成したDRAパラメータを選択することができる。

別の例では、DRAパラメータ推定ユニット212は、調整ユニット210によって実行されるDRAとビデオエンコーダ20によって実行されるビデオ符号化の両方に関連するコスト関数を最小化するDRAパラメータを選択し得る。たとえば、DRAパラメータ推定ユニット212は、DRAを実行し、DRAパラメータの複数の異なるセットによりビデオデータを符号化することができる。DRAパラメータ推定ユニット212は次いで、DRAおよびビデオ符号化から生じるビットレートならびにこれらの2つの不可逆プロセスによってもたらされるひずみの重み付き和を形成することによって、DRAパラメータのセットごとにコスト関数を計算し得る。DRAパラメータ推定ユニット212は次いで、コスト関数を最小化するDRAパラメータのセットを選択することができる。

DRAパラメータ推定のための上記の技法の各々において、DRAパラメータ推定ユニット212は、成分ごとに別個に、その成分に関する情報を使用してDRAパラメータを決定し得る。他の例では、DRAパラメータ推定ユニット212は、成分間情報(cross-component information)を使用してDRAパラメータを決定することができる。たとえば、Cr成分に関して導出されたDRAパラメータは、CB成分に関するDRAパラメータを導出するために使用され得る。

DRAパラメータを導出することに加えて、DRAパラメータ推定ユニット212は、符号化されたビットストリームにおいてDRAパラメータをシグナリングするように構成され得る。DRAパラメータ推定ユニット212は、DRAパラメータを直接示す1つまたは複数のシンタックス要素をシグナリングし得るか、またはシグナリングのためにビデオエンコーダ20に1つまたは複数のシンタックス要素を提供するように構成され得る。パラメータのそのようなシンタックス要素は、ビデオデコーダ30および/または逆DRAユニット31がビデオデータをそのネイティブ色コンテナにおいて再構成するためにDRAユニット19のプロセスの逆を実行し得るように、ビットストリームにおいてシグナリングされ得る。DRAパラメータをシグナリングするための例示的な技法について以下で述べる。

一例では、DRAパラメータ推定ユニット212は、メタデータとして、補足エンハンスメント情報(SEI)メッセージにおいて、ビデオユーザビリティ情報(VUI)において、ビデオパラメータセット(VPS)において、シーケンスパラメータセット(SPS)において、ピクチャパラメータセットにおいて、スライスヘッダにおいて、CTUヘッダにおいて、またはビデオデータのサイズ(たとえば、GOP、ピクチャ、ブロック、マクロブロック、CTUなど)に関するDRAパラメータを示すのに適した任意の他のシンタックス構造において、符号化されたビデオビットストリームで1つまたは複数のシンタックス要素をシグナリングすることができる。

いくつかの例では、1つまたは複数のシンタックス要素は、明示的にDRAパラメータを示す。たとえば、1つまたは複数のシンタックス要素は、DRAに関する様々なスケールおよびオフセット値であり得る。他の例では、1つまたは複数のシンタックス要素は、DRAに関するスケールおよびオフセット値を含むルックアップテーブルへの1つまたは複数のインデックスであり得る。さらに別の例では、1つまたは複数のシンタックス要素は、DRAに使用すべき線形伝達関数を明示するルックアップテーブルへのインデックスであり得る。

他の例では、DRAパラメータは、明示的にシグナリングされず、むしろDRAユニット19と逆DRAユニット31の両方は、ビットストリームから識別可能であるビデオデータの同じ情報および/または特性を使用して同じ既定のプロセスを使用してDRAパラメータを導出するように構成される。一例として、逆DRAユニット31は、符号化されたビットストリームにおいてビデオデータのネイティブ色コンテナならびに符号化されたビデオデータのターゲット色コンテナを示すように構成され得る。逆DRAユニット31は次いで、上記で定義したように同じプロセスを使用してそのような情報からDRAパラメータを導出するように構成される。いくつかの例では、ネイティブ色コンテナおよびターゲット色コンテナを識別する1つまたは複数のシンタックス要素が、シンタックス構造において供給される。そのようなシンタックス要素は、明示的に色コンテナを示し得るか、またはルックアップテーブルへのインデックスであり得る。別の例では、DRAユニット19は、特定の色コンテナに関するカラープライマリおよび白色点のXY値を示す1つまたは複数のシンタックス要素をシグナリングするように構成され得る。別の例では、DRAユニット19は、DRAパラメータ推定ユニット212によって実行された分析に基づいて、ビデオデータにおける実際の色値のカラープライマリおよび白色点(コンテンツプライマリおよびコンテンツ白色点)のXY値を示す1つまたは複数のシンタックス要素をシグナリングするように構成され得る。

一例として、コンテンツにおける色を含む最小色域のカラープライマリがシグナリングされる可能性があり、ビデオデコーダ30および/または逆DRAユニット31において、DRAパラメータは、コンテナプライマリとコンテンツプライマリの両方を使用して導出される。一例では、コンテンツプライマリは、上記のようにR、GおよびBに関するx成分およびy成分を使用してシグナリングされ得る。別の例では、コンテンツプライマリは、2つの既知のプライマリセットの間の比としてシグナリングされ得る。たとえば、コンテンツプライマリは、BT.709プライマリとBT.2020プライマリとの間の線形位置:x_{r_content}=alfa_r*x_{r_bt709}+(1-alfa_r)*x_{r_bt2020}(G成分およびB成分の場合のalfa_gおよびalfa_bでも同様の式)としてシグナリングされ得、パラメータalfa_rは、2つの既知のプライマリセットの間の比を指定する。いくつかの例では、シグナリングおよび/または導出されたDRAパラメータは、ビデオエンコーダ20および/またはビデオデコーダ30によって、HDR/WCGビデオデータのコーディングに利用される重み付け予測ベースの技法を容易にするために使用され得る。

重み付け予測を利用するビデオコーディング方式では、現在コーディングされているピクチャのサンプルScが、重み(W_wp)およびオフセット(O_wp)とともに取得された参照ピクチャの(単一方向予測のための)サンプルSrから予測され、予測されたサンプルSpが生じる。
Sp=Sr*W_wp+O_wp

DRAを利用するいくつかの例では、参照ピクチャおよび現在コーディングされているピクチャのサンプルが、DRAにより、異なるパラメータ、すなわち、現在ピクチャの場合には{scale1_cur,offset1_cur}、参照ピクチャの場合は{scale1_ref,offset1_ref}を用いて、処理され得る。そのような実施形態では、重み付け予測のパラメータがDRAから導出され得、たとえば、次の通りである。
W_wp=scale1_cur/scale1_ref
O_wp=offset1_cur-offset1_ref

調整ユニット210がDRAパラメータを適用した後、DRAユニット19は次いで、量子化ユニット214を使用してビデオデータを量子化し得る。量子化ユニット214は、図4を参照しながら上記で説明したのと同じ方法で動作し得る。量子化の後、ビデオデータは今度は、HDR'データ216のターゲット色コンテナのターゲット色空間およびターゲット色域において調整される。HDR'データ216は次いで、圧縮のためにビデオエンコーダ20に送られ得る。

図9は、本開示の技法による例示的なHDR/WCG逆変換装置を示すブロック図である。図9に示すように、逆DRAユニット31は、図8のDRAユニット19によって実行された技法の逆を適用するように構成され得る。他の例では、逆DRAユニット31の技法は、ビデオデコーダ30に組み込まれ、ビデオデコーダ30によって実行され得る。

一例では、ビデオデコーダ30は、ビデオエンコーダ20によって符号化されたビデオデータを復号するように構成され得る。復号されたビデオデータ(ターゲット色コンテナにおけるHDR'データ316)は次いで、逆DRAユニット31に転送される。逆量子化ユニット314は、図8の量子化ユニット214によって実行された量子化プロセスを逆転させるために、HDR'データ316に対して逆量子化プロセスを実行する。

ビデオデコーダ30はまた、図8のDRAパラメータ推定ユニット212によって生成された1つまたは複数のシンタックス要素のいずれかを復号し、逆DRAユニット31のDRAパラメータ導出ユニット312に送るように構成され得る。DRAパラメータ導出ユニット312は、上記のように、1つまたは複数のシンタックス要素に基づいてDRAパラメータを決定するように構成され得る。いくつかの例では、1つまたは複数のシンタックス要素は、明示的にDRAパラメータを含む。他の例では、DRAパラメータ導出ユニット312は、図8のDRAパラメータ推定ユニット212によって使用された同じ技法を使用して、DRAパラメータを導出するように構成される。

DRAパラメータ導出ユニット312によって導出されたパラメータは、逆調整ユニット310に送られる。逆調整ユニット310はDRAパラメータを使用して、調整ユニット210によって実行された線形DRA調整の逆を実行する。逆調整ユニット310は、調整ユニット210に関して上記で説明した調整技法のいずれかの逆を適用し得る。さらに、調整ユニット210と同様に、逆調整ユニット310は、任意の逆色変換の前または後に逆DRAを適用し得る。したがって、逆調整ユニット310は、ターゲット色コンテナまたはネイティブ色コンテナにおけるビデオデータに対してDRAパラメータを適用することができる。

逆色変換ユニット308は、ビデオデータをターゲット色空間(たとえば、YCbCr)からネイティブ色空間(たとえば、RGB)に変換する。逆伝達関数306は次いで、伝達関数206によって適用された伝達関数の逆を適用して、ビデオデータのダイナミックレンジを復元する。生じたビデオデータ(RGBターゲットCG304)は、依然としてターゲット色域にあるが、今ではネイティブダイナミックレンジおよびネイティブ色空間にある。次に、逆CGコンバータ302は、RGBターゲットCG304をネイティブ色域に変換して、RGBネイティブCG300を再構成する。

いくつかの例では、追加の後処理技法が逆DRAユニット31によって用いられ得る。DRAを適用することで、ビデオはその実際のネイティブ色域の外に置かれ得る。量子化ユニット214および逆量子化ユニット314によって実行される量子化ステップならびに調整ユニット210および逆調整ユニット310によって実行されるアップサンプリングおよびダウンサンプリング技法により、ネイティブ色コンテナにおける色値がネイティブ色域の外に生じ得る。ネイティブ色域が知られている(または上記で説明したように、シグナリングされる場合、実際の最小コンテンツプライマリである)とき、DRAに関する後処理として、意図された色域に色値(たとえば、RGBまたはCbおよびCr)を戻すために、RGBネイティブCGビデオデータ304に追加のプロセスが適用され得る。他の例では、そのような後処理は、量子化の後またはDRA適用の後に適用され得る。

図10は、本開示の技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20は、DRAユニット19によって処理されているターゲット色コンテナにおけるビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオにおける時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのうちのいずれかを指す場合がある。単方向予測(Pモード)または双予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのうちのいずれかを指す場合がある。

図10に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図10の例では、ビデオエンコーダ20は、モード選択ユニット40と、ビデオデータメモリ41と、復号ピクチャバッファ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。そして、モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測処理ユニット46と、区分ユニット48とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。ブロック境界をフィルタリングしてブロッキネスアーティファクトを再構成されたビデオから除去するために、デブロッキングフィルタ(図10に示さず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタリングする。追加のフィルタ(ループ内またはループ後)も、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタリングし得る。

ビデオデータメモリ41は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ41に記憶されるビデオデータは、たとえば、ビデオソース18から取得され得る。復号ピクチャバッファ64は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオエンコーダ20によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであってもよい。ビデオデータメモリ41および復号ピクチャバッファ64は、ダイナミックランダムアクセスメモリ(DRAM)(シンクロナスDRAM(SDRAM)を含む)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM（登録商標）)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成されてもよい。ビデオデータメモリ41および復号ピクチャバッファ64は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。様々な例では、ビデオデータメモリ41は、ビデオエンコーダ20の他の構成要素とともにオンチップであってもよく、または、これらの構成要素に対してオフチップであってもよい。

符号化プロセスの間に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、時間的予測を行うために、1つまたは複数の参照フレームの中の1つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。代替的に、イントラ予測処理ユニット46は、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライスの中の1つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ20は、たとえば、ビデオデータの各ブロックに対する適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。

その上、区分ユニット48は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分してもよい。たとえば、区分ユニット48は、最初にフレームまたはスライスをLCUに区分し、レートひずみ分析(たとえば、レートひずみ最適化)に基づいて、LCUの各々をサブCUに区分してもよい。モード選択ユニット40は、LCUをサブCUに区分することを示す4分木データ構造をさらに作成してもよい。4分木のリーフノードCUは、1つまたは複数のPUと1つまたは複数のTUとを含んでもよい。

モード選択ユニット40は、たとえば誤差結果に基づいてイントラコーディングモードまたはインターコーディングモードのうちの一方を選択してもよく、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器50に提供し、参照フレームとして使用するための符号化されたブロックを再構成するために加算器62に提供する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット56に提供する。

動き推定ユニット42および動き補償ユニット44は、高集積されてよいが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックに対する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在ピクチャ(または他のコーディングされたユニット)内でコーディングされている現在ブロックに対する、参照ピクチャ(または他のコーディングされたユニット)内の予測ブロックに対する、現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対差分和(SAD)、2乗差分和(SSD)、または他の差分メトリックによって決定される場合があるピクセル差分に関して、コーディングされるべきブロックと厳密に一致することが判明したブロックである。いくつかの例では、ビデオエンコーダ20は、復号ピクチャバッファ64に記憶された参照ピクチャのサブ整数ピクセル位置に関する値を計算してもよい。たとえば、ビデオエンコーダ20は、参照ピクチャの4分の1ピクセル位置の値、8分の1ピクセル位置の値、または他の分数ピクセル位置の値を補間してもよい。したがって、動き推定ユニット42は、フルピクセル位置および分数ピクセル位置に対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力してもよい。

動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのPUに関する動きベクトルを計算する。参照ピクチャは、その各々が復号ピクチャバッファ64に記憶された1つまたは複数の参照ピクチャを識別する、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得る。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送る。

動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを伴い得る。この場合も、動き推定ユニット42および動き補償ユニット44は、いくつかの例では、機能的に統合されてもよい。現在ビデオブロックのPUに関する動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つの中で動きベクトルが指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルーマ成分に対する動き推定を実行し、動き補償ユニット44は、ルーマ成分に基づいて計算された動きベクトルをクロマ成分とルーマ成分の両方に使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30によって使用するための、ビデオブロックおよびビデオスライスに関連するシンタックス要素を生成し得る。

イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。詳細には、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラ予測処理ユニット46は、たとえば、別々の符号化パスの間、様々なイントラ予測モードを使用して現在ブロックを符号化してもよく、イントラ予測処理ユニット46(または、いくつかの例ではモード選択ユニット40)は、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。

たとえば、イントラ予測処理ユニット46は、様々なテストされたイントラ予測モードに対してレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中から最良のレートひずみ特性を有するイントラ予測モードを選択することができる。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された、元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化されたブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測処理ユニット46は、どのイントラ予測モードがブロックのための最良のレートひずみ値を表すかを判定するために、様々な符号化されたブロックに関するひずみおよびレートから比を計算することができる。

ブロックのためのイントラ予測モードを選択した後、イントラ予測処理ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット56に提供し得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化してよい。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)を含んでもよい、送信されたビットストリーム構成データ内に、コンテキストの各々のために使用する、様々なブロックのための符号化コンテキストの定義と、最もあり得るイントラ予測モードの指示と、イントラ予測モードインデックステーブルと、変更されたイントラ予測モードインデックステーブルとを含んでもよい。

ビデオエンコーダ20は、モード選択ユニット40からの予測データをコーディングされている元のビデオブロックから減算することによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を、残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット52は、DCTと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、結果として生じた変換係数を量子化ユニット54に送り得る。

量子化ユニット54は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的には、エントロピー符号化ユニット56が走査を実行し得る。

量子化に続いて、エントロピー符号化ユニット56は、量子化変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディング、または別のエントロピーコーディング技法を実行し得る。コンテキストベースのエントロピーコーディングの場合には、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームは、別のデバイス(たとえば、ビデオデコーダ30)へ送信されるか、または、後の送信もしくは取出しのためにアーカイブされ得る。

逆量子化ユニット58および逆変換処理ユニット60は、たとえば、参照ブロックとして後で使用するためのピクセル領域中の残差ブロックを再構成するために、それぞれ、逆量子化および逆変換を適用する。動き補償ユニット44は、復号ピクチャバッファ64のフレームのうちの1つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算してもよい。動き補償ユニット44はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、1つまたは複数の補間フィルタを再構成された残差ブロックに適用してもよい。加算器62は、復号ピクチャバッファ64に記憶する再構成されたビデオブロックを作成するために、動き補償ユニット44によって作成された動き補償された予測ブロックに再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために、参照ブロックとして、動き推定ユニット42および動き補償ユニット44によって使用されてもよい。

図11は、本開示の技法を実装し得るビデオデコーダ30の一例を示すブロック図である。特に、ビデオデコーダ30は、上記のように、ビデオデータをターゲット色コンテナに復号することができ、次いでこれは逆DRAユニット31によって処理され得る。図11の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、ビデオデータメモリ71と、動き補償ユニット72と、イントラ予測処理ユニット74と、逆量子化ユニット76と、逆変換処理ユニット78と、復号ピクチャバッファ82と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図10)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて、予測データを生成し得るが、イントラ予測処理ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて、予測データを生成し得る。

ビデオデータメモリ71は、ビデオデコーダ30の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ71に記憶されるビデオデータは、たとえば、コンピュータ可読媒体16から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードネットワーク通信もしくはワイヤレスネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって、取得され得る。ビデオデータメモリ71は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコード化ピクチャバッファ(CPB)を形成してもよい。復号ピクチャバッファ82は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオデコーダ30によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであってもよい。ビデオデータメモリ71および復号ピクチャバッファ82は、ダイナミックランダムアクセスメモリ(DRAM)(シンクロナスDRAM(SDRAM)を含む)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM（登録商標）)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成されてもよい。ビデオデータメモリ71および復号ピクチャバッファ82は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。様々な例では、ビデオデータメモリ71は、ビデオデコーダ30の他の構成要素とともにオンチップであってもよく、または、これらの構成要素に対してオフチップであってもよい。

復号プロセスの間に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号して、量子化係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成する。エントロピー復号ユニット70は、動き補償ユニット72に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルにおいてシンタックス要素を受信し得る。

ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、イントラ予測処理ユニット74は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされた(すなわち、BまたはP)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つのリスト内の参照ピクチャのうちの1つから生成されてもよい。ビデオデコーダ30は、復号ピクチャバッファ82に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照ピクチャリスト、リスト0およびリスト1を構成してもよい。動き補償ユニット72は、動きベクトルと他のシンタックス要素とを構文解析することによって、現在ビデオスライスのビデオブロックのための予測情報を決定し、予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)、インター予測スライスタイプ(たとえば、BスライスまたはPスライス)、スライス用の参照ピクチャリストのうちの1つまたは複数に関する構成情報、スライスの各インター符号化されたビデオブロックに関する動きベクトル、スライスの各インターコーディングされたビデオブロックに関するインター予測状態、および現在ビデオスライスの中のビデオブロックを復号するための他の情報を決定するために、受信されたシンタックス要素のうちのいくつかを使用する。

動き補償ユニット72はまた、補間フィルタに基づいて補間を実行してもよい。動き補償ユニット72は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルに関する補間された値を計算してもよい。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、補間フィルタを使用して、予測ブロックを生成してもよい。

逆量子化ユニット76は、ビットストリームの中で提供されエントロピー復号ユニット70によって復号された量子化変換係数を、逆量子化(inverse quantize)すなわち逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するために、ビデオデコーダ30によって計算された量子化パラメータQP_Yをビデオスライス中の各ビデオブロックに使用することを含んでもよい。逆変換処理ユニット78は、ピクセル領域における残差ブロックを生成するために、変換係数に逆変換、たとえば、逆DCT、逆整数変換、または概念的に類似の逆変換プロセスを適用する。

動き補償ユニット72が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換処理ユニット78からの残差ブロックを、動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器80は、この加算演算を実行する1つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタリングするように、デブロッキングフィルタも適用され得る。(コーディングループ内またはコーディングループ後のいずれかの)他のループフィルタも、ピクセル遷移を平滑化するために、または別様にビデオ品質を改善するために使用され得る。次いで、所与のフレームまたはピクチャ中の復号されたビデオブロックが、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ82に記憶される。復号ピクチャバッファ82はまた、復号されたビデオを後で図1のディスプレイデバイス32などのディスプレイデバイス上に提示できるように記憶する。

図12は、本開示の技法による例示的なHDR/WCG変換プロセスを示すフローチャートである。図12の技法は、DRAユニット19および/またはビデオエンコーダ20の一方または両方を含む図1のソースデバイス12によって実行され得る。

本開示の一例では、ソースデバイス12は、第1の色コンテナに関係するビデオデータを受信することであって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、受信すること(1200)と、1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、導出すること(1210)と、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行すること(1220)とを行うように構成され得る。図12の例では、ビデオデータは、ビデオ符号化の前の入力ビデオデータであり、第1の色コンテナがネイティブ色コンテナであり、第2の色コンテナがターゲット色コンテナである。一例では、ビデオデータは、ビデオデータのピクチャグループ、ビデオデータのピクチャ、ビデオデータのマクロブロック、ビデオデータのブロック、またはビデオデータのコーディングユニットのうちの1つである。

本開示の一例では、ビデオデータの特性は第1の色域を含む。一例では、ソースデバイス12は、第1の色コンテナの第1の色域と第2の色コンテナの第2の色域との対応に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成され、第2の色コンテナが、第2の色域および第2の色空間によって定義される。

本開示の別の例では、ソースデバイス12は、第1の色域および第2の色コンテナを示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするように構成され得る。

本開示の別の例では、ソースデバイス12は、ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするように構成され得る。

本開示の別の例では、ビデオデータの特性は輝度情報を含み、ソースデバイス12は、ビデオデータの輝度情報に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成される。本開示の別の例では、ビデオデータの特性は色値を含み、ソースデバイス12は、ビデオデータの色値に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成される。

本開示の別の例では、ソースデバイス12は、ビデオデータを量子化することに関連する量子化誤差、またはビデオデータを符号化することに関連するコスト関数のうちの一方を最小化することによって、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成される。

本開示の別の例では、1つまたは複数のダイナミックレンジ調整パラメータは、ビデオデータの各色成分に関するスケールおよびオフセットを含み、ソースデバイス12は、それぞれの各色成分に関するスケールおよびオフセットの関数に従ってビデオデータの各色成分を調整するようにさらに構成される。

本開示の別の例では、1つまたは複数のダイナミックレンジ調整パラメータは、第1の伝達関数を含み、ソースデバイス12は、ビデオデータに第1の伝達関数を適用するようにさらに構成される。

図13は、本開示の技法による例示的なHDR/WCG逆変換プロセスを示すフローチャートである。図13の技法は、逆DRAユニット31および/またはビデオデコーダ30の一方または両方を含む図1の宛先デバイス14によって実行され得る。

本開示の一例では、宛先デバイス14は、第1の色コンテナに関係するビデオデータを受信することであって、第1の色コンテナに関係するビデオデータが、第1の色域および第1の色空間によって定義される、受信すること(1300)と、1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、ダイナミックレンジ調整パラメータが、第1の色コンテナに関係するビデオデータの特性に基づく、導出すること(1310)と、1つまたは複数のダイナミックレンジ調整パラメータに従ってビデオデータに対してダイナミックレンジ調整を実行すること(1320)とを行うように構成され得る。図13の例では、ビデオデータは、復号されたビデオデータであり、第1の色コンテナがターゲット色コンテナであり、第2の色コンテナがネイティブ色コンテナである。一例では、ビデオデータは、ビデオデータのピクチャグループ、ビデオデータのピクチャ、ビデオデータのマクロブロック、ビデオデータのブロック、またはビデオデータのコーディングユニットのうちの1つである。

本開示の一例では、ビデオデータの特性は第1の色域を含み、宛先デバイス14は、第1の色コンテナの第1の色域と第2の色コンテナの第2の色域との対応に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成され得、第2の色コンテナが、第2の色域および第2の色空間によって定義される。

本開示の別の例では、宛先デバイス14は、第1の色域および第2の色コンテナを示す1つまたは複数のシンタックス要素を受信し、受信された1つまたは複数のシンタックス要素に基づいて1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成され得る。本開示の別の例では、宛先デバイス14は、現在コーディングされているピクチャおよび参照ピクチャに関して1つまたは複数のダイナミックレンジ調整パラメータから重み付け予測のパラメータを導出するように構成され得る。本開示の別の例では、宛先デバイス14は、ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を受信するように構成され得る。

本開示の別の例では、ビデオデータの特性は輝度情報を含み、宛先デバイス14は、ビデオデータの輝度情報に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成される。本開示の別の例では、ビデオデータの特性は色値を含み、宛先デバイス14は、ビデオデータの色値に基づいて、1つまたは複数のダイナミックレンジ調整パラメータを導出するように構成される。

本開示の別の例では、1つまたは複数のダイナミックレンジ調整パラメータは、ビデオデータの各色成分に関するスケールおよびオフセットを含み、宛先デバイス14は、それぞれの各色成分に関するスケールおよびオフセットの関数に従ってビデオデータの各色成分を調整するようにさらに構成される。

本開示の別の例では、1つまたは複数のダイナミックレンジ調整パラメータは、第1の伝達関数を含み、宛先デバイス14は、ビデオデータに第1の伝達関数を適用するようにさらに構成される。

本開示の特定の態様は、説明を目的にHEVC規格の拡張に関して説明されている。しかしながら、本開示で説明する技法は、まだ開発されていない他の標準的なまたは独自のビデオコーディングプロセスを含む、他のビデオコーディングプロセスにとって有用であり得る。

ビデオコーダは、本開示で説明するように、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングは、場合により、ビデオ符号化またはビデオ復号を指すことがある。

例に応じて、本明細書で説明する技法のいずれかのいくつかの行為またはイベントは異なる順序で実行されてもよく、全体的に追加され、統合され、または省略されてもよい(たとえば、説明する行為またはイベントのすべてが技法の実施のために必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、順次的にではなく、たとえばマルチスレッド処理、割り込み処理、または複数のプロセッサを通じて同時に実行され得る。

1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信されることがあり、かつハードウェアに基づく処理ユニットによって実行されることがある。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品がコンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形式の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、いかなる接続も厳密にはコンピュータ可読媒体と呼ばれる。たとえば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まず、代わりに非一時的な有形記憶媒体を指すことを理解されたい。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク（登録商標）(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標）ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せはまた、コンピュータ可読媒体の範囲内に含まれるものとする。

命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価の集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/またはソフトウェアモジュールの中で与えられることがあり、あるいは複合コーデックに組み込まれることがある。また、本技法は、1つまたは複数の回路または論理要素において完全に実装され得る。

本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またICのセット(たとえば、チップセット)を含む、様々なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットが説明されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットは、コーデックハードウェアユニットにおいて結合されることがあり、または適切なソフトウェアおよび/もしくはファームウェアとともに、上で説明されたような1つもしくは複数のプロセッサを含む相互動作可能なハードウェアユニットの集合によって提供されることがある。

様々な例が記載されている。これらおよび他の例は、以下の特許請求の範囲内に入る。

10 ビデオ符号化および復号システム、システム
12 ソースデバイス、デバイス
14 宛先デバイス、デバイス
16 コンピュータ可読媒体
18 外部ビデオソース、ビデオソース
19 ダイナミックレンジ調整(DRA)ユニット
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
31 逆DRAユニット
32 ディスプレイデバイス
40 モード選択ユニット
41 ビデオデータメモリ
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測処理ユニット
48 区分ユニット
50 加算器
52 変換処理ユニット
54 量子化ユニット
56 エントロピー符号化ユニット
58 逆量子化ユニット
60 逆変換処理ユニット
62 加算器
64 復号ピクチャバッファ
70 エントロピー復号ユニット
71 ビデオデータメモリ
72 動き補償ユニット
74 イントラ予測処理ユニット
76 逆量子化ユニット
78 逆変換処理ユニット
80 加算器
82 復号ピクチャバッファ
100 三角形
102 三角形
104 舌型エリア
110 線形RGBデータ
112 非線形伝達関数(TF)、伝達関数
114 色変換プロセス
116 浮動-整数表現量子化ユニット
118 HDR'データ
120 HDR'データ
122 逆量子化ユニット
124 逆色変換プロセス
126 逆伝達関数
128 線形RGBデータ
150 三角形
152 三角形
154 三角形
200 RGBネイティブCGビデオデータ、ビデオデータ
202 CGコンバータ
204 RGBターゲットCGビデオデータ
206 伝達関数ユニット、伝達関数
208 色変換ユニット
210 調整ユニット
212 DRAパラメータ推定ユニット
214 量子化ユニット
216 HDR'データ
300 RGBネイティブCG
302 逆CGコンバータ
304 RGBターゲットCG
306 逆伝達関数
308 逆色変換ユニット
310 逆調整ユニット
312 DRAパラメータ導出ユニット
314 逆量子化ユニット
316 HDR'データ

Claims (46)

1. ビデオデータを処理する方法であって、
   第1の色コンテナに関係するビデオデータを受信するステップであって、前記第1の色コンテナに関係する前記ビデオデータが、第1の色域および第1の色空間によって定義される、ステップと、
   1つまたは複数のダイナミックレンジ調整パラメータを導出するステップであって、前記ダイナミックレンジ調整パラメータが、前記第1の色コンテナに関係する前記ビデオデータの特性に基づく、ステップと、
   前記1つまたは複数のダイナミックレンジ調整パラメータに従って前記ビデオデータに対してダイナミックレンジ調整を実行するステップと
   を含む方法。
2. 前記ビデオデータの前記特性は前記第1の色域を含み、前記方法が、
   前記第1の色コンテナの前記第1の色域と第2の色コンテナの第2の色域との対応に基づいて、前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップ
   をさらに含み、前記第2の色コンテナが、前記第2の色域および第2の色空間によって定義される、請求項1に記載の方法。
3. 前記ビデオデータは、ビデオ符号化の前の入力ビデオデータであり、前記第1の色コンテナがネイティブ色コンテナであり、前記第2の色コンテナがターゲット色コンテナである、請求項2に記載の方法。
4. 前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするステップ
   をさらに含む、請求項3に記載の方法。
5. 前記ビデオデータは、復号されたビデオデータであり、前記第1の色コンテナがターゲット色コンテナであり、前記第2の色コンテナがネイティブ色コンテナである、請求項2に記載の方法。
6. 前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を受信するステップと、
   前記受信された1つまたは複数のシンタックス要素に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップと
   をさらに含む、請求項5に記載の方法。
7. 現在コーディングされているピクチャおよび参照ピクチャに関して前記1つまたは複数のダイナミックレンジ調整パラメータから重み付け予測のパラメータを導出するステップ
   をさらに含む、請求項6に記載の方法。
8. 前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするステップ
   をさらに含む、請求項2に記載の方法。
9. 前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップは、
   前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を受信するステップ
   を含む、請求項2に記載の方法。
10. 前記ビデオデータの前記特性は輝度情報を含み、前記方法が、
    前記ビデオデータの前記輝度情報に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップ
    をさらに含む、請求項1に記載の方法。
11. 前記ビデオデータの前記特性は色値を含み、前記方法が、
    前記ビデオデータの前記色値に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップ
    をさらに含む、請求項1に記載の方法。
12. 前記ビデオデータを量子化することに関連する量子化誤差、または前記ビデオデータを符号化することに関連するコスト関数のうちの一方を最小化することによって、前記1つまたは複数のダイナミックレンジ調整パラメータを導出するステップ
    をさらに含む、請求項1に記載の方法。
13. 前記1つまたは複数のダイナミックレンジ調整パラメータは、前記ビデオデータの各色成分に関するスケールおよびオフセットを含み、前記方法が、
    それぞれの各色成分に関する前記スケールおよび前記オフセットの関数に従って前記ビデオデータの各色成分を調整するステップ
    をさらに含む、請求項1に記載の方法。
14. 前記1つまたは複数のダイナミックレンジ調整パラメータは、第1の伝達関数を含み、前記方法が、
    前記ビデオデータに前記第1の伝達関数を適用するステップ
    をさらに含む、請求項1に記載の方法。
15. 前記ビデオデータは、ビデオデータのピクチャグループ、ビデオデータのピクチャ、ビデオデータのマクロブロック、ビデオデータのブロック、またはビデオデータのコーディングユニットのうちの1つである、請求項1に記載の方法。
16. ビデオデータを処理するように構成された装置であって、
    前記ビデオデータを記憶するように構成されたメモリと、
    1つまたは複数のプロセッサと
    を備え、前記1つまたは複数のプロセッサは、
    第1の色コンテナに関係する前記ビデオデータを受信することであって、前記第1の色コンテナに関係する前記ビデオデータが、第1の色域および第1の色空間によって定義される、受信することと、
    1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、前記ダイナミックレンジ調整パラメータが、前記第1の色コンテナに関係する前記ビデオデータの特性に基づく、導出することと、
    前記1つまたは複数のダイナミックレンジ調整パラメータに従って前記ビデオデータに対してダイナミックレンジ調整を実行することと
    を行うように構成される、装置。
17. 前記ビデオデータの前記特性は前記第1の色域を含み、前記1つまたは複数のプロセッサは、
    前記第1の色コンテナの前記第1の色域と第2の色コンテナの第2の色域との対応に基づいて、前記1つまたは複数のダイナミックレンジ調整パラメータを導出する
    ようにさらに構成され、前記第2の色コンテナが、前記第2の色域および第2の色空間によって定義される、請求項16に記載の装置。
18. 前記ビデオデータは、ビデオ符号化の前の入力ビデオデータであり、前記第1の色コンテナがネイティブ色コンテナであり、前記第2の色コンテナがターゲット色コンテナである、請求項17に記載の装置。
19. 前記1つまたは複数のプロセッサは、
    前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングする
    ようにさらに構成される、請求項18に記載の装置。
20. 前記ビデオデータは、復号されたビデオデータであり、前記第1の色コンテナがターゲット色コンテナであり、前記第2の色コンテナがネイティブ色コンテナである、請求項17に記載の装置。
21. 前記1つまたは複数のプロセッサは、
    前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を受信することと、
    前記受信された1つまたは複数のシンタックス要素に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出することと
    を行うようにさらに構成される、請求項20に記載の装置。
22. 前記1つまたは複数のプロセッサは、
    現在コーディングされているピクチャおよび参照ピクチャに関して前記1つまたは複数のダイナミックレンジ調整パラメータから重み付け予測のパラメータを導出する
    ようにさらに構成される、請求項21に記載の装置。
23. 前記1つまたは複数のプロセッサは、
    前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングする
    ようにさらに構成される、請求項17に記載の装置。
24. 前記1つまたは複数のプロセッサは、
    前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を受信する
    ようにさらに構成される、請求項17に記載の装置。
25. 前記ビデオデータの前記特性は輝度情報を含み、前記1つまたは複数のプロセッサは、
    前記ビデオデータの前記輝度情報に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出する
    ようにさらに構成される、請求項16に記載の装置。
26. 前記ビデオデータの前記特性は色値を含み、前記1つまたは複数のプロセッサは、
    前記ビデオデータの前記色値に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出する
    ようにさらに構成される、請求項16に記載の装置。
27. 前記1つまたは複数のプロセッサは、
    前記ビデオデータを量子化することに関連する量子化誤差、または前記ビデオデータを符号化することに関連するコスト関数のうちの一方を最小化することによって、前記1つまたは複数のダイナミックレンジ調整パラメータを導出する
    ようにさらに構成される、請求項16に記載の装置。
28. 前記1つまたは複数のダイナミックレンジ調整パラメータは、前記ビデオデータの各色成分に関するスケールおよびオフセットを含み、前記1つまたは複数のプロセッサは、
    それぞれの各色成分に関する前記スケールおよび前記オフセットの関数に従って前記ビデオデータの各色成分を調整する
    ようにさらに構成される、請求項16に記載の装置。
29. 前記1つまたは複数のダイナミックレンジ調整パラメータは、第1の伝達関数を含み、前記1つまたは複数のプロセッサは、
    前記ビデオデータに前記第1の伝達関数を適用する
    ようにさらに構成される、請求項16に記載の装置。
30. 前記ビデオデータは、ビデオデータのピクチャグループ、ビデオデータのピクチャ、ビデオデータのマクロブロック、ビデオデータのブロック、またはビデオデータのコーディングユニットのうちの1つである、請求項16に記載の装置。
31. ビデオデータを処理するように構成された装置であって、
    第1の色コンテナに関係するビデオデータを受信するための手段であって、前記第1の色コンテナに関係する前記ビデオデータが、第1の色域および第1の色空間によって定義される、手段と、
    1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段であって、前記ダイナミックレンジ調整パラメータが、前記第1の色コンテナに関係する前記ビデオデータの特性に基づく、手段と、
    前記1つまたは複数のダイナミックレンジ調整パラメータに従って前記ビデオデータに対してダイナミックレンジ調整を実行するための手段と
    を含む装置。
32. 前記ビデオデータの前記特性は前記第1の色域を含み、前記装置が、
    前記第1の色コンテナの前記第1の色域と第2の色コンテナの第2の色域との対応に基づいて、前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段
    をさらに含み、前記第2の色コンテナが、前記第2の色域および第2の色空間によって定義される、請求項31に記載の装置。
33. 前記ビデオデータは、ビデオ符号化の前の入力ビデオデータであり、前記第1の色コンテナがネイティブ色コンテナであり、前記第2の色コンテナがターゲット色コンテナである、請求項32に記載の装置。
34. 前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするための手段
    をさらに含む、請求項33に記載の装置。
35. 前記ビデオデータは、復号されたビデオデータであり、前記第1の色コンテナがターゲット色コンテナであり、前記第2の色コンテナがネイティブ色コンテナである、請求項32に記載の装置。
36. 前記第1の色域および前記第2の色コンテナを示す1つまたは複数のシンタックス要素を受信するための手段と、
    前記受信された1つまたは複数のシンタックス要素に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段と
    をさらに含む、請求項35に記載の装置。
37. 現在コーディングされているピクチャおよび参照ピクチャに関して前記1つまたは複数のダイナミックレンジ調整パラメータから重み付け予測のパラメータを導出するための手段
    をさらに含む、請求項36に記載の装置。
38. 前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を、メタデータ、補足エンハンスメント情報メッセージ、ビデオユーザビリティ情報、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータ、スライスヘッダ、またはCTUヘッダのうちの1つまたは複数において、符号化されたビデオビットストリームでシグナリングするための手段
    をさらに含む、請求項32に記載の装置。
39. 前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための前記手段は、
    前記ダイナミックレンジ調整パラメータを明示的に示す1つまたは複数のシンタックス要素を受信するための手段
    を含む、請求項32に記載の装置。
40. 前記ビデオデータの前記特性は輝度情報を含み、前記装置が、
    前記ビデオデータの前記輝度情報に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段
    をさらに含む、請求項31に記載の装置。
41. 前記ビデオデータの前記特性は色値を含み、前記装置が、
    前記ビデオデータの前記色値に基づいて前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段
    をさらに含む、請求項31に記載の装置。
42. 前記ビデオデータを量子化することに関連する量子化誤差、または前記ビデオデータを符号化することに関連するコスト関数のうちの一方を最小化することによって、前記1つまたは複数のダイナミックレンジ調整パラメータを導出するための手段
    をさらに含む、請求項31に記載の装置。
43. 前記1つまたは複数のダイナミックレンジ調整パラメータは、前記ビデオデータの各色成分に関するスケールおよびオフセットを含み、前記装置が、
    それぞれの各色成分に関する前記スケールおよび前記オフセットの関数に従って前記ビデオデータの各色成分を調整するための手段
    をさらに含む、請求項31に記載の装置。
44. 前記1つまたは複数のダイナミックレンジ調整パラメータは、第1の伝達関数を含み、前記装置が、
    前記ビデオデータに前記第1の伝達関数を適用するための手段
    をさらに含む、請求項31に記載の装置。
45. 前記ビデオデータは、ビデオデータのピクチャグループ、ビデオデータのピクチャ、ビデオデータのマクロブロック、ビデオデータのブロック、またはビデオデータのコーディングユニットのうちの1つである、請求項31に記載の装置。
46. 実行されたとき、1つまたは複数のプロセッサに、
    第1の色コンテナに関係するビデオデータを受信することであって、前記第1の色コンテナに関係する前記ビデオデータが、第1の色域および第1の色空間によって定義される、受信することと、
    1つまたは複数のダイナミックレンジ調整パラメータを導出することであって、前記ダイナミックレンジ調整パラメータが、前記第1の色コンテナに関係する前記ビデオデータの特性に基づく、導出することと、
    前記1つまたは複数のダイナミックレンジ調整パラメータに従って前記ビデオデータに対してダイナミックレンジ調整を実行することと
    を行わせる命令を記憶しているコンピュータ可読記憶媒体。

Images