JP5989800B2 - 視覚ダイナミックレンジコード化動作及びパラメータの指定 - Google Patents

Description

（関連出願の相互参照）
本願は、参照によりその開示全体を組み込む、２０１２年１月３日出願の米国仮出願第６１／５８２６１４号の優先権を主張するものである。

本発明は、一般にビデオコード化システムに関し、さらに詳細には、視覚ダイナミックレンジ画像を符号化、復号及び表現するシステムに関する。

表示技術は、特定のビデオフォーマットに基づくビデオコンテンツの伝送及びレンダリングに対応するように開発されている。例えば、ＭＰＥＧビデオのエンコーダ及びデコーダは、ＭＰＥＧビデオフォーマットでコード化されたビデオコンテンツに対応することができる。その他のビデオのエンコーダ及びデコーダは、異なるビデオフォーマットでコード化されたビデオコンテンツに対応することができる。

手持ち型デバイスなどの消費者デバイスは、通常、限られた１組のビデオフォーマットのうちの特定のビデオフォーマットにそれぞれ対応することができる、限られた１組のビデオコード化システムをインストールされる、又は備えて構成される。したがって、あるビデオコンテンツが予想したビデオフォーマットで符号化及び送達されない場合には、デバイスは、そのビデオコンテンツを復号してレンダリングを助けるための適当なビデオデコーダを見つけることができない可能性が高い。レンダリングしたとしても、レンダリングされたビデオコンテンツが、受信したビデオコンテンツの間違った解釈又は表現を含み、目に見える色及び輝度値のアーチファクトを生じる可能性がある。ＷＯ２００８／０７７２７２Ａ１、ＷＯ２００８／０８３５２１Ａ１、ＷＯ２００９／０５１６９２Ａ２及びＷＯ２０１０／１０５０３６Ａ１には、スケーラブル又は階層的な方法によるビデオデータの符号化が記載されている。

本項で述べる手法は、追求することができる手法であるが、必ずしも既に想起又は追求されている手法であるとは限らない。したがって、特に指定しない限り、本項に記載するいずれの手法も、単に本項に含まれているという事実によって従来技術として認められるものと仮定すべきではない。同様に、１つ又は複数の手法に関して特定される問題は、特に指定しない限り、本項に基づいて任意の従来技術で認識されていると仮定すべきではない。

本発明を、限定ではなく例示を目的として、添付の各図面に示す。これらの図面において、同じ参照番号は、同様の要素を指している。

例示的な実施形態における、１つ又は複数のＶＤＲ仕様に準拠するコード化シンタックスに基づいて参照処理ユニット（ＲＰＵ）データを生成する視覚ダイナミックレンジ（ＶＤＲ）エンコーダを示す図である。 例示的な実施形態における、１つ又は複数のＶＤＲ仕様に準拠するコード化シンタックスに基づいて参照処理ユニット（ＲＰＵ）データを生成する視覚ダイナミックレンジ（ＶＤＲ）エンコーダを示す図である。 例示的な実施形態における、ＮＡＬヘッダ及びローバイトシーケンスペイロードを含むＮＡＬデータユニットを示す図である。 ＲＰＵデータヘッダのレイアウトを示す図である。 例示的な実施形態におけるＲＰＵデータヘッダの構文解析を示す図である。 ＲＰＵデータペイロードのレイアウトを示す図である。 例示的な実施形態におけるＲＰＵデータペイロードの復号を示す図である。 例示的な実施形態におけるＲＰＵデータペイロードの復号を示す図である。 例示的な実施形態におけるＲＰＵデータペイロードの復号を示す図である。 例示的な実施形態におけるＲＰＵデータからコード化シンタックスを構文解析するＶＤＲデコーダを示す図である。 本発明の例示的な実施形態による例示的なプロセスフローを示す図である。 本発明の例示的な実施形態による例示的なプロセスフローを示す図である。 本発明の一実施形態による、本明細書に記載するコンピュータ又はコンピューティングデバイスを実装することができる例示的なハードウェアプラットフォームを示す図である。

本明細書では、階層的ＶＤＲ（visual dynamic range）コーデックを用いて視覚ダイナミックレンジ画像を符号化、復号及び表現することに関する例示的な実施形態について述べる。以下の記述では、説明の目的で、本発明が完全に理解されるように多数の具体的な詳細を記載する。ただし、本発明は、これらの具体的な詳細を用いずに実施することもできることは明らかであろう。場合により、本発明が不要に分かりにくくなる、曖昧になる、又はややこしくなることを避けるために、周知の構造及びデバイスの記述で細部まで網羅しないこともある。

本明細書では、以下の概要に従って例示的な実施形態について述べる。

１．概略
２．ＶＤＲエンコーダ
３．ＲＰＵデータユニット
４．ＲＰＵデータ復号−シーケンスレベル及び／又はフレームレベル
５．ＲＰＵデータ復号−区分レベル
６．ＲＰＵデータ復号−クロママッピング
７．ＲＰＵデータ復号の追加例
８．例示的なプロセスフロー
９．実施態様の機構−ハードウェア概略
１０．等価形態、拡張形態、代替形態など

１．概略
この概略では、本発明の例示的な実施形態のいくつかの態様の基本的な説明を与える。なお、この概略は、この例示的な実施形態の態様の広範又は網羅的な要約ではないことに留意されたい。さらに、この概略は、この例示的な実施形態のいかなる特定の重要な態様又は要素も特定するものではなく、またこの例示的な実施形態又は本発明一般のいかなる範囲も示すものではないと理解すべきものである。この概略は、単に、この例示的な実施形態に関係するいくつかの概念を要約し簡略化した形式で与えるものに過ぎず、後述する様々な例示的な実施形態についてのさらに詳細な記述のための単なる概念的な前置きであるものと理解されたい。

本明細書に記載する技術は、異なるビデオコード化システムが生成した参照処理データの、共通の伝達手段（vehicle）での下流側デバイスへの転送及び信号通信に対応する。本明細書で使用する「共通の伝達手段」という用語は、幅広い視覚ダイナミックレンジ（visual dynamic range：ＶＤＲ）仕様のうちのいずれか１つに基づいて生成された参照処理データを搬送するように構成された、共通参照処理ユニット（reference processing unit：ＲＰＵ）データフォーマットを指すことができる。本明細書で使用する「共通の伝達手段で搬送される参照処理データ」は、その参照処理データと関連するビデオデータの符号化及び復号に使用された、又は使用される複数のシンタックス要素を指定する動作及びパラメータを含むコード化シンタックスを提供する。本明細書で述べるシンタックス要素は、異なるＶＤＲ仕様の一部又は全てに共通の、或いは異なるＶＤＲ仕様の１つ又は複数（ただし全てではない）に特有の動作を記述することができる。コード化シンタックスがどのＶＤＲ仕様と関係しているかに関わらず、共通の参照処理データの復号／構文解析プロセスを、例えば下流側（例えば消費者）デバイスで実施して、コード化シンタックス又はそれに含まれるシンタックス要素を復号することができる。したがって、下流側デバイスは、その消費者デバイスが対応するように構成されている、又は構成されることになる既存の又は新たなＶＤＲ仕様ごとに、個別かつ別個の参照処理データ復号／構文解析プロセスを実施する必要がない。下流側デバイスの提供者は、既存の又は新たなＶＤＲ仕様に指定されるメディアサンプルを符号化及び復号するアルゴリズム及び動作に対応することのみに集中すればよい可能性がある。同じ参照処理データ復号／構文解析プロセスを、これから開発されるＶＤＲ仕様も含めて全てのＶＤＲ仕様について再利用する、又は実質的に再利用することができる。これは、本明細書に記載する技術が、共通の伝達手段を使用して、様々なＶＤＲ仕様で生成されるメディアサンプルに関連する参照処理データを送達又は信号通信するからである。本明細書で使用する「メディアサンプル」という用語は、参照処理データと結合されたときに本明細書で述べるＶＤＲデータを形成するデータを指す。

複数の層（又はビットストリーム）を使用して、ＶＤＲエンコーダなどの上流側デバイスから下流側デバイスにＶＤＲデータ（メディアサンプル及び参照処理ユニットデータ）を送達することができる。複数の層で搬送されるＶＤＲデータは、後方互換性表示技術及び新たな高ダイナミックレンジ（ＨＤＲ）表示技術を含むことができる（ただしこれらのいずれかのみに限定されるわけではない）広範囲の表示技術に対応するために使用することができる。本明細書で使用する「ＶＤＲ」又は「視覚ダイナミックレンジ」という用語は、標準的なダイナミックレンジより広いダイナミックレンジを指すことができ、人間の視覚が瞬時に知覚することができる瞬時知覚可能なダイナミックレンジ及び色域までの広いダイナミックレンジを含むことができる（ただしこれらに限定されない）。本明細書で使用する「多層」又は「複数の層」という用語は、（それらのビデオ信号の）互いの間に１つ又は複数の論理依存関係を有する複数のビデオ又は画像信号を搬送する、基本レイヤ（ＢＬ）、参照処理ユニット（ＲＰＵ）レイヤ、拡張レイヤ（ＥＬ）を含む、２つ以上のビットストリームを指すことができる。

基本レイヤは、上流側デバイスによって標準的ダイナミックレンジ（standard dynamic range：ＳＤＲ）信号から得られる、又はＶＤＲ信号中の入力ＶＤＲデータからマッピングされる、ＢＬデータ（基本レイヤメディアサンプル）を搬送することができる。１つ又は複数の拡張レイヤ（ＥＬ）は、上流側デバイスによって少なくとも部分的にはＶＤＲ信号から得られるＥＬデータ（拡張レイヤメディアサンプル）を搬送することができる。いくつかの実施形態では、ともに同じ入力ＶＤＲデータとの相関があるＢＬデータとＥＬデータの間の統計的冗長性を利用するために、ＥＬデータを、ＢＬビデオデータ及び入力ＶＤＲビデオデータに基づく予測値の間の残差値又は差分値を含むように（冗長性を）低下させることができる。いくつかの実施形態では、ＶＤＲエンコーダは、残差値がゼロまで低下するように正確な予測アルゴリズムを適用するように構成することができる。したがって、ＥＬデータを使用して、無用なゼロ残差値を保持する代わりに、正確な予測アルゴリズムに関するより小さなレイヤ間参照ピクチャのセットを保持するようにすることができる。残差ゼロのビデオコード化システムのレイヤ間参照ピクチャを、単一のＶＤＲ画像についてではなく、相関のある一群の入力ＶＤＲ画像のグループについて生成することができる。

いくつかの実施形態では、ＲＰＵレイヤは、上流側デバイスによって生成された参照処理データ（或いはＲＰＵデータとも記す）を搬送することができる。ＶＤＲエンコーダなどの上流側デバイスは、ＲＰＵデータを使用して、ＶＤＲデコーダなどの下流側デバイスにコード化シンタックスを信号通信することができる。コード化シンタックスによって、ＶＤＲデコーダは、ＢＬレイヤ及びＥＬレイヤのＢＬデータ及びＥＬデータに基づいてＶＤＲ画像を再構築することができる。

ＲＰＵデータに含まれて搬送されるシンタックス要素の例としては、レイヤ間予測係数、残差非線形逆量子化パラメータ、クロマリサンプリングフィルタ係数、色空間変換指標、及びその他のＶＤＲシンタックス要素（例えばＢＬデータ及びＥＬデータを生成するＶＤＲエンコーダ並びにＢＬデータ及びＥＬデータを復号するＶＤＲデコーダによって実行される機能及び／又は動作のフラグ及び記述子など）などが挙げられるが、これらのいずれかに限定されるわけではない。ＲＰＵデータに含まれるシンタックス要素は、シーケンスレベル、フレームレベル、パーティションレベル又は機能／動作レベルの１つに分類することができる。

入力ＶＤＲメディアコンテンツ（例えばＨＤＲ動画）は、複数のシーケンス（例えば複数のシーン、又はシーンの一部分に対応する）、フレーム（又は画像若しくはピクチャ）或いはパーティション（又は画像の一部分）に細分することができる。シーケンスレベル、フレームレベル又はパーティションレベルのシンタックス要素は、現在のＲＰＵデータにおいて明示的にコード化することができる、又は対応するシーケンスレベル、フレームレベル又はパーティションレベルで以前に送信されたＲＰＵデータから予測することができる。これに加えて、又は必要に応じて、又は別法として、シンタックス要素は、シーケンスレベル、フレームレベル及びパーティションレベルのうちの複数のレベルで現れることもある。

階層的コーデックアーキテクチャ（ＢＬレイヤ、ＥＬレイヤ及びＲＰＵレイヤ）を含む本明細書に記載する技術は、様々なＶＤＲコード化システムによって実施することができる。例えば、これらの技術の一部を実施する第１のＶＤＲコード化システムは、基本レイヤ及び拡張レイヤの両方がクロマフォーマット（例えば４：２：０）及び低ビット深度（例えば８ビット）を使用する、剰余ベースの階層的コーデックとすることができ、これらの技術の一部を実施する第２のＶＤＲコード化システムは、拡張レイヤが使用するクロマフォーマット（例えば４：４：４）が基本レイヤのクロマフォーマット（例えば４：２：０）より広く、拡張レイヤが使用するビット深度（例えば１２ビット以上）が基本レイヤのビット深度（８ビット）より高い、信号ベースの階層的コーデックとすることができる。特に、本明細書に記載するＲＰＵデータ復号技術は、１つ又は複数の異なるＶＤＲ仕様からなる１組のＶＤＲ仕様に最初に対応しているＶＤＲコード化システムで実施することができ、後に追加のＶＤＲ仕様に対応するときに、そのＶＤＲコード化システムにほとんど、又は全く変更を加えずに再利用することができる。

ＲＰＵレイヤコード化ビットストリーム、又はそれに含まれるＲＰＵデータは、他のレイヤに含まれるコード化ビットストリーム、又はそれに含まれるＢＬデータ及びＥＬデータと同期させることができる。例えば、ＲＰＵデータとＢＬ／ＥＬデータの同期は、表示順序のピクチャ表示番号（例えばＨ．２６４に指定されるｐｉｃｔｕｒｅ＿ｏｒｄｅｒ＿ｃｏｕｎｔなど）によって行うことができる。

本明細書に記載する技術は、レイヤ間予測、逆マッピング、クロマリサンプリング、パーティションの境界領域の補間などのデータ処理、空間的スケーリング、非線形量子化などに使用される複数の動作に対応する。対応している動作の一部は、様々なＶＤＲ仕様の一部又は全てに共通であることもあるが、別の一部は、１つ又は複数の特定の（ただし全てではない）ＶＤＲ仕様に特有のものであることもある。例えば、非線形量子化／逆量子化は、ＥＬデータとして残差値を使用するＶＤＲ仕様の場合に実行される可能性がある。

本明細書に記載する技術は、フレキシブルなコード化シンタックスによって駆動されるビデオ符号化及び復号に対応する。この手法では、例えば改良されたアルゴリズムを備え、実施コストや速度なども向上させたエンコーダ及びデコーダの設計を、並行に、かつ連続的に最適化することができる。階層的ＶＤＲデータを備えたコード化シンタックスは、現在のＲＰＵデータと以前に送信されたＲＰＵデータの間の冗長性を利用することによって、ＶＤＲエンコーダからＶＤＲデコーダに効率的に伝送及び信号通信することができる。コード化シンタックスは、ＶＤＲデコーダが例えば逆データフローの復号動作を効率的に実行するためのロードマップ（例えばｃｏｍｐｌｅｔｅなど）を提供する。

いくつかの例示的な実施形態では、本明細書に記載する機構は、手持ち型デバイス、ゲーム機、テレビジョン、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、携帯電話、電子書籍リーダ、ＰＯＳ端末、デスクトップコンピュータ、コンピュータワークステーション、コンピュータキオスク、又はその他の様々な種類の端末及びメディア処理ユニットなど（ただしこれらのいずれかに限定されない）のメディア処理システムの一部を構成する。

好ましい実施形態並びに本明細書に記載する一般的な原理及び特徴に加えられる様々な修正は、当業者には容易に明らかになるであろう。したがって、本開示は、記載した実施形態に限定されるものではなく、本明細書に記載する原理及び特徴と矛盾しない限り最大の範囲を有するものとする。

２．ＶＤＲエンコーダ
ＶＤＲエンコーダは、１つ又は複数の異なるＶＤＲ仕様のうちの１つに準拠するコード化シンタックスを使用して、ＢＬデータ、ＥＬデータ及びＲＰＵデータを生成することができる。これらの異なるＶＤＲ仕様は、メジャーバージョン番号及び／又はマイナーバージョン番号の異なる組合せを含む異なるバージョンでラベル付け又は識別することができる（特定のＶＤＲ仕様を識別するその他の方法を使用することもできる。）。本明細書で用いる「ＶＤＲ仕様」は、ＶＤＲエンコーダなどの上流側デバイスからＶＤＲデコーダなどの下流側デバイスに信号通信することができるコード化シンタックスに含めることができるシンタックス要素の仕様を提供することができる。

図１は、１つ又は複数のＶＤＲ仕様に準拠するコード化シンタックスに基づいてＲＰＵデータを生成するＶＤＲエンコーダ１０２を示す図である。いくつかの実施形態では、ＶＤＲエンコーダ１０２は、例えば第１のバージョン（「１．０」）又は第２のバージョン（「１．ｘ」）とラベル付けされる、少なくとも２つのＶＤＲ仕様に対応する。ＶＤＲエンコーダ１０２は、ＶＤＲエンコーダ１０２が対応している１つ又は複数のＶＤＲ仕様に準拠するコード化シンタックスに従ってＢＬデータ、ＥＬデータ、ＲＰＵデータ、レイヤ間予測データ及び中間メディアデータに対する動作を実行するように構成することができる。これらの異なるＶＤＲ仕様としては、後方互換性に対応する第１のバージョン及び後方互換性に対応していない第２のバージョンなどが挙げられるが、これらに限定されるわけではない。本明細書で使用する「後方互換性」という用語は、ＢＬデータがＳＤＲディスプレイ上で見るように最適化されたＳＤＲ画像を含むかどうかということを指している。ＶＤＲエンコーダ１０２は、１つ又は複数のコンピューティングデバイスを用いて実装することができる。

一実施形態では、ＶＤＲエンコーダ１０２は、（入力）ＶＤＲ信号１０４を受信し、このＶＤＲ信号１０４から入力ＶＤＲ画像を導出するように構成される。本明細書で使用する「入力ＶＤＲ画像」は、ソース画像のＶＤＲバージョンを復号するためのダイナミックレンジの広い又は高い画像データを含むことができる。このソース画像は、ハイエンド画像取得装置が取り込んだ生画像とすることができる。入力ＶＤＲ画像は、高ダイナミックレンジの色域に対応する入力色空間内の高ビット深度（例えば１０＋ビット）の画像とすることができる。本明細書に記載するＶＤＲコード化システムが受信又は処理する１つ又は複数のＶＤＲ信号の例としては、１２ビットＰ３ Ｄ６５ ＲＧＢ４４４信号、１２ビット勧告（Ｒｅｃ．）７０９ ＲＧＢ４４４信号、１２ビットＤＣＤＭ Ｘ’Ｙ’Ｚ’４４４信号、１６ビットＴＩＦＦファイルフォーマットのビデオデータなどが挙げられるが、これらに限定されるわけではない。

１つの例では、入力ＶＤＲ画像中に表される各ピクセルは、色空間（例えばＲＧＢ色空間など）で定義される全てのチャネル（例えば赤、緑及び青の色チャネル）のピクセル値を含む。各ピクセルは、必要に応じて、かつ／又は別法として、色空間内のチャネルの１つ又は複数についてのアップサンプリング又はダウンサンプリングされたピクセル値を含む。なお、いくつかの実施形態では、赤、緑及び青などの３原色に加えて、本明細書で述べる色空間内で異なる原色を同時に使用して、広い色域に対応することもでき、それらの実施形態では、本明細書で述べる画像データは、それらの異なる原色についての追加のピクセル値を含み、本明細書に記載する技術によって同時に処理することができることに留意されたい。

一実施形態では、ＶＤＲエンコーダ１０２は、マッピング色空間（例えばＹＣｂＣｒ空間、ＲＧＢ空間、又は別の色空間などのうちの１つ）におけるレイヤ間予測に関する動作）を実行することができる。いくつかの実施形態では、入力色空間がマッピング色空間と異なる場合には、色空間変換ユニットによって、入力ＶＤＲ画像を、入力色空間からマッピング色空間に変換することができる。

一実施形態では、ＶＤＲエンコーダ１０２は、図１に示すように、（入力）ＳＤＲ信号１０８を受信して、ＳＤＲ信号１０８からＢＬデータを導出するように構成される。本明細書に記載するＶＤＲコード化システムが受信する１つ又は複数のＳＤＲ信号の例としては、８ビットＹＣｂＣｒ信号、８ビットＹＵＶファイルフォーマットのビデオデータなどが挙げられるが、これらのいずれかに限定されるわけではない。

本明細書で使用する「ＢＬデータ」は、ＳＤＲディスプレイで見るように最適化されている場合もされていない場合もある低ビット深度の（例えば８ビット）画像データを指すことができる。本明細書で使用する「低ビット深度」という用語は、低いビット深度を有するコード化空間内で量子化された画像データを指し、低ビット深度の例としては、８ビットが挙げられる。一方、「高ビット深度」という用語は、高いビット深度を有するコード化空間内で量子化された画像データを指し、高ビット深度の例としては、１０ビット、１２ビット、又はそれ以上のビットが挙げられる。特に、「低ビット深度」又は「高ビット深度」という用語は、ピクセル値の最下位のビット又は最上位のビットを指しているわけではない。

第１の例では、ＢＬデータは、ＳＤＲディスプレイで見るように最適化されたＳＤＲ画像を含み、後方互換性に対応する第１のバージョンのＶＤＲ仕様と関連づけることができる。ＳＤＲ画像は、カラリストによる色補正を含んで、ＳＤＲ画像が比較的狭いダイナミックレンジ又は標準的なダイナミックレンジ内で可能な限り現実的に見えるようにすることができる。例えば、入力ＶＤＲ画像を生じるソースＨＤＲ画像中のピクセルの一部又は全てに関する色相情報を、ＳＤＲ画像中で変更又は補正して、標準的なダイナミックレンジ内で現実的に見える画像を生成することができる。

第２の例では、ＶＤＲエンコーダ１０２は、図１の１０８のような入力ＳＤＲ信号からＢＬデータを導出するのではなく、入力ＶＤＲ画像にＶＤＲ／ＳＤＲ（例えばトーン）マッピングを適用してＢＬデータを導出するように構成される。この例におけるＢＬデータは、ＳＤＲディスプレイで見るように最適化されていない可能性があり、後方互換性に対応していない第２のバージョンのＶＤＲ仕様と関連づけられている可能性がある。ＢＬデータは、入力ＶＤＲ画像の低ビット表現を含むことができる。ＶＤＲ／ＳＤＲマッピングは、例えば、大域量子化、線形量子化、線形伸長、曲線に基づく量子化、確率密度関数（Ｐｄｆ）最適化量子化、ロイドマックス量子化、パーティションに基づく量子化、知覚量子化、クロスカラーチャネル／ベクトル量子化或いはその他のタイプの量子化のうちの１つ又は複数に基づくことができる。これに加えて、又は必要に応じて、又は別法として、ＶＤＲ／ＳＤＲマッピングは、例えば雑音除去処理、フレーム整列処理、色グレーディング処理などを含まないこともあるし、或いは１つ以上含むこともある。この例におけるＢＬデータは、標準的なダイナミックレンジ内で現実的に見える画像を提示するように最適化されていない可能性がある。それよりも、ＢＬデータは、下流側デバイスによってＥＬデータと効率的に結合されて、図１の入力ＶＤＲ信号から導出される入力ＶＤＲ画像に対応する出力ＶＤＲ画像を構築するようになされている可能性がある。

一実施形態では、ＶＤＲエンコーダ１０２、又はそれに含まれる基本レイヤＳＤＲエンコーダ（１１６）は、ＳＤＲ信号１０８から、又はＶＤＲ信号１０４から導出される入力ＶＤＲ画像に対するマッピング動作から導出することができる入力ＳＤＲ画像を符号化して基本レイヤビットストリーム１２８にするように構成される。

一実施形態では、ＶＤＲエンコーダ１０２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＩＳ １４４９６−１０）、ＨＥＶＣ、ＭＰＥＧ−４ Ｐａｒｔ２（ＩＳ １４４９６−２）、ＭＰＥＧ−２（ＩＳ １１１３８−２）、ＶＰ８、ＶＣ−１及び／又はその他などのハイブリッドビデオコード化モデルを採用する。基本レイヤで符号化されるようになされているメディアサンプルは、同じ画像中の近接するサンプルから（イントラ予測を用いて）、又は同じ基本レイヤに属する過去に復号した画像のサンプルから（インター予測を用いて）予測することができる。予測に使用されるこれらの復号したＢＬサンプルは、（基本レイヤ用の）参照ピクチャ記憶装置１１４に格納又はバッファすることができる。

一実施形態では、ＶＤＲエンコーダ１０２は、さらに、復号されたＢＬサンプルに基づいて拡張レイヤで符号化されるようになされたメディアサンプルのレイヤ間予測を実行するように構成される。復号されたＢＬサンプルは、参照ピクチャ記憶装置１１４（メモリバッファ又はその他の形態のメモリ空間のうちの１つ又は複数とすることができる）から取り出すことができる。

ＶＤＲエンコーダ１０２、又はそれに含まれるＶＤＲ ＲＰＵ１１０は、ＶＤＲエンコーダ１０２によって実行される符号化関連動作のためのコード化シンタックスを生成するように構成することができる。これらの符号化関連動作としては、拡張レイヤ／ビットストリーム１２４に含めて伝送されるＥＬデータを生成するために実行される動作が含まれる。本明細書に記載する技術では、符号化関連動作のためのコード化シンタックスは、ＶＤＲエンコーダからＶＤＲデコーダに信号通信され、ＶＤＲデコーダが復号関連動作にそのコード化シンタックスを使用するようにする。いくつかの実施形態では、ＶＤＲエンコーダからＶＤＲデコーダに信号通信されるコード化シンタックスは、ＶＤＲデコーダのみが実行し、ＶＤＲエンコーダは実行しない、１つ又は複数の追加の動作を指定することができる。これらの追加の動作には、表示管理動作が含まれるが、これらのいずれかに限定されるわけではない。

コード化シンタックスは、ＶＤＲエンコーダ１０２が対応している特定のＶＤＲ仕様に準拠する複数のシンタックス要素を含むことができ、レイヤ間予測係数、残差非線形逆量子化パラメータ、クロマリサンプリング／フィルタ係数、色空間変換指標、又はその他のＶＤＲシンタックス要素（例えばＢＬデータ及びＥＬデータを生成するＶＤＲエンコーダ並びにＢＬデータ及びＥＬデータを復号するＶＤＲデコーダによって実行される機能及び／又は動作のフラグ及び記述子など）などを含むが、これらのいずれかに限定されるわけではない。

一実施形態では、ＲＰＵ処理モジュール１１２は、コード化シンタックスに基づいて一連のシーケンスレベル、フレームレベル及びパーティションレベルの動作（予測に関連する動作を含むことができるが、それらのみに限定されるわけではない）を実行するように構成される。例えば、ＲＰＵ処理モジュール１１２は、コード化シンタックスに指定される、ＳＤＲ／ＶＤＲマッピングなどの逆マッピング、クロマアップサンプリング、１つ又は複数のビデオデータ処理動作（例えばフィルタリング、補間、リスケーリングなど）、或いは非線形量子化（ＮＬＱ）などの動作を実行することができる。その結果として、ＲＰＵ処理モジュール１１２は、予測参照値を生成することができる。

一実施形態では、ＶＤＲエンコーダ１０２は、１つ又は複数の動作を実行して、入力ＶＤＲ画像（ＶＤＲ信号１０４と、必要に応じて変換された色空間とから導出される）から導出されるＶＤＲ画像データと予測参照値との間の残差値（１３０）を生成することができる。残差値は、線形領域又は対数領域における差分とすることができる。一実施形態では、ＶＤＲエンコーダ１０２、又はそれに含まれる残差ダウンサンプリング／リサンプリングユニットは、残差値（１３０）に対して１つ又は複数のダウンサンプリング／リサンプリング動作を実行して、さらに処理するためのダウンサンプリング（例えば８ビット）残差値を生成するように構成することができる。一実施形態では、ＶＤＲエンコーダ１０２、又はそれに含まれる残差非線形量子化器（ＮＬＱ、１１８）は、残差値（１３０）又はダウンサンプリング残差値に対して１つ又は複数の非線形量子化動作を実行し、その非線形量子化残差値をさらに処理するためにＶＤＲエンコーダ１０２のその他のユニットに供給するように構成することができる。

一実施形態では、ＶＤＲエンコーダ１０２、又はそれに含まれる拡張レイヤ（単なる一例としては、８ビット／４：２：０など）エンコーダ（１２０）は、ＥＬデータとして残差値（いくつかの実施形態では非線形量子化及び／又はダウンサンプリングされていることもある）を符号化して、拡張レイヤビットストリーム１２４にするように構成される。

ＶＤＲエンコーダ１０２又は拡張レイヤ（単なる一例としては、８ビット／４：２：０など）エンコーダ（１２０）がハイブリッドビデオコード化モデルを採用する実施形態では、残差値は、同じ画像中の近接する残差値サンプルから（イントラ予測を用いて）、又は同じ拡張レイヤに属する過去に復号された画像の残差値サンプルから（インター予測を用いて）予測することができる。一実施形態では、予測のための同じレイヤのＥＬサンプルは、（拡張レイヤ用の）参照ピクチャ記憶装置１２２に格納又はバッファされる。

一実施形態では、ＶＤＲエンコーダ１０２、又はそれに含まれるＶＤＲ ＲＰＵ１１０は、ＲＰＵデータの一部としてコード化シンタックスを符号化して、ＶＤＲ ＲＰＵビットストリーム１２６にするように構成される。ＲＰＵデータとしては、ＳＤＲ／ＶＤＲマッピングパラメータ、予測参照画像を生成するために適用される予測方法が使用する多項式パラメータ、ＮＬＱパラメータ、ＶＤＲ ＲＰＵ（１１０）が実行する１つ又は複数のビデオデータ処理で使用されるパラメータなどが挙げられるが、これらのいずれかに限定されるわけではない。ＶＤＲ ＲＰＵ１１０は、ＲＰＵデータユニットにフラグ又はヘッダフィールドを設定して、コード化シンタックスのいずれかのシンタックス要素を、以前のシーケンス、以前のフレーム又は以前のパーティションについて以前に送信されたＲＰＵデータから予測することができるかどうかを示すことができる。

ＢＬエンコーダ（１１６）及びＥＬエンコーダ（１２０）の一方又は両方は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣ、ＭＰＥＧ−２、ＶＰ８、ＶＣ−１及び／又はその他などの複数のコーデックのうちの１つ又は複数を用いて実装することができる。

図１に示すフローとは逆のデータフローを実施し、ＶＤＲエンコーダ１０２がコード化シンタックスを生成するのに使用したのと同じＶＤＲ仕様に対応している、対応するＶＤＲデコーダを使用して、ＶＤＲエンコーダ１０２が生成したＢＬビットストリーム、ＥＬビットストリーム及びＲＰＵビットストリームを復号し、入力ＶＤＲ画像の再構築バージョンを生成することができる。

図２は、１つ又は複数の異なるＶＤＲ仕様に対応するＲＰＵデータを生成するＶＤＲエンコーダ（２０２）を示す図である。ＶＤＲエンコーダ２０２は、ＶＤＲエンコーダ１０２が実施する第１のバージョン又は第２のバージョンとは異なっていてもよい第３のバージョン（例えば「２．０」と記す）のＶＤＲ仕様と関連することができるが、これに限定されるわけではない。ＶＤＲエンコーダ２０２は、１つ又は複数のコンピューティングデバイスで実装することができる。

１つの例示的な実施形態では、ＶＤＲエンコーダ２０２は、（入力）ＶＤＲ信号２０４を受信して、ＶＤＲ信号２０４から入力ＶＤＲ画像を導出するように構成される。入力ＶＤＲ画像は、高ダイナミックレンジの色域に対応する入力色空間内の高ビット深度（例えば１０＋ビット）の画像データを含むことができる。

いくつかの実施形態では、入力色空間がＶＤＲエンコーダ２０２が予測動作を実行するマッピング色空間と異なる場合には、色空間変換ユニットによって、入力ＶＤＲ画像を、入力色空間からマッピング色空間に変換することができる。

一実施形態では、ＶＤＲエンコーダ２０２は、図２に示すように、（入力）ＳＤＲ信号２０８を受信して、ＳＤＲ信号２０８からＢＬデータを導出するように構成される。或いは、ＶＤＲエンコーダ２０２は、ＳＤＲ信号からＢＬデータを復号するのではなく、入力ＶＤＲ画像にＶＤＲ／ＳＤＲ（例えばトーン）マッピングを適用して、ＢＬデータを導出するように構成される。ＢＬデータは、ＳＤＲディスプレイで見るように最適化されている場合も最適化されていない場合もある低ビット深度（例えば８ビット）の画像データを含むことができる。ＶＤＲエンコーダ２０２に関連するＢＬデータは、上述のＶＤＲエンコーダ１０２に関連するＢＬデータと同様である場合も同様でない場合もある。

一実施形態では、ＶＤＲエンコーダ２０２、又はそれに含まれる基本レイヤＳＤＲエンコーダ（２１６）は、ＳＤＲ信号２０８から、又はＶＤＲ信号２０４から導出される入力ＶＤＲ画像に対するマッピング動作から導出することができるＢＬデータを符号化して基本レイヤビットストリーム２２８にするように構成される。

一実施形態では、ＢＬデータによって表現されるメディアサンプルは、同じ画像中の近接するサンプルから（例えばイントラ予測を用いて）、又は同じ基本レイヤに属する過去に復号した画像のサンプルから（例えばインター予測を用いて）予測することができる。これらのサンプルは、（基本レイヤ用の）参照ピクチャ記憶装置２１４に格納又はバッファすることができる。

一実施形態では、ＶＤＲエンコーダ２０２は、ＢＬデータサンプルに基づいて拡張レイヤに関する高ビット深度のメディアサンプルのレイヤ間予測を実行するように構成される。それらのＢＬデータサンプルは、メモリバッファ又はその他の形態のメモリ空間のうちの１つ又は複数の参照ピクチャ記憶装置２１４から取り出すことができる。いくつかの実施形態では、ＶＤＲエンコーダ２０２は、レイヤ間参照ピクチャ及び復号されたＢＬサンプルを使用して高ビット深度のメディアサンプルについて残差値を生じない（或いは生じたとしても残差値が全てゼロである）正確な予測アルゴリズムに基づく１つ又は複数の動作を実行するように設計される。したがって、高ビット深度のメディアサンプルを、少なくとも部分的にはレイヤ間参照ピクチャ及び復号されたＢＬサンプルに基づいて正確に予測することができる。

ＶＤＲエンコーダ２０２、又はそれに含まれるＶＤＲ ＲＰＵ２１０は、拡張レイヤビットストリーム２２４で伝送される（レイヤ間参照ピクチャを含んでいてもよい）ＥＬデータを生成するためのコード化シンタックスを生成するように構成することができる。コード化シンタックスは、ＶＤＲエンコーダ２０２が対応している特定のＶＤＲ仕様に準拠する複数のシンタックス要素を含むことができ、レイヤ間予測係数、クロマリサンプリング／フィルタ係数、色空間変換指標、その他のＶＤＲシンタックス要素（例えばＢＬデータ及びＥＬデータを生成するＶＤＲエンコーダによって実行される機能及び／又は動作のフラグ及び記述子など）などを含むが、これらのいずれかに限定されるわけではない。

一実施形態では、ＲＰＵ処理モジュール２１２は、コード化シンタックスに基づいて一連の動作（予測に関連する動作を含むことができるが、それらのみに限定されるわけではない）を実行するように構成される。例えば、ＲＰＵ処理モジュール２１２は、コード化シンタックスに指定される、ＳＤＲ／ＶＤＲマッピングなどの逆トーンマッピング、クロマアップサンプリング、及び１つ又は複数のビデオデータ処理動作（例えばフィルタリング、補間、リスケーリングなど）などの動作を実行することができる。一実施形態では、ＲＰＵ処理モジュール２１２は、残差値を生じない（或いは、ＶＤＲエンコーダ２０２又はそれに含まれるＲＰＵ処理モジュール２１２が実行する予測動作が正確であるために、全ての残差値がゼロである）。この実施形態では、拡張レイヤＶＤＲエンコーダ２２０がピクセルデータに作用しているので、ＲＰＵ処理モジュール２１２は、ＥＬデータを生成するために残差非線形量子化（ＮＬＱ）を実行しない。したがって、ＶＤＲ ＲＰＵ２１０によって生成されるコード化シンタックスは、残差非線形量子化（ＮＬＱ）に関連するパラメータを有していないこともある。

一実施形態では、ＲＰＵ処理モジュール２１２は、コード化シンタックスに基づいてレイヤ間参照ピクチャを生成するように構成される。本明細書で述べるレイヤ間参照ピクチャは、全ての入力ＶＤＲ画像について生成する必要はない。レイヤ間参照ピクチャは、ＶＤＲ信号２０４から導出された１つ又は複数の連続したＶＤＲ画像のシーケンスについて生成することができる。レイヤ間参照ピクチャのメディアサンプルは、（拡張レイヤ用の）参照ピクチャ記憶装置２２２に格納又はバッファすることができる。

一実施形態では、ＶＤＲエンコーダ２０２、又はそれに含まれる拡張レイヤエンコーダ（２２０）は、少なくとも部分的にはレイヤ間参照ピクチャ及び／又はＶＤＲ信号２０４から導出された入力ＶＤＲ画像に基づいて、出力ＥＬ信号を符号化して拡張レイヤビットストリーム２２４にするように構成される。

一実施形態では、ＶＤＲエンコーダ２０２、又はそれに含まれるＶＤＲ ＲＰＵ（２１０）は、ＲＰＵデータの少なくとも一部としてコード化シンタックスを符号化して、ＶＤＲ ＲＰＵビットストリーム２２６にするように構成される。

基本レイヤエンコーダ（２１６）及び拡張レイヤエンコーダ（２２０）の一方又は両方は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣ、ＭＰＥＧ−２、ＶＰ８、ＶＣ−１及び／又はその他などの複数のコーデックのうちの１つ又は複数を用いて実装することができる。

図２に示すフローとは逆のデータフローを実施し、ＶＤＲエンコーダ２０２がコード化シンタックスを生成するのに使用したのと同じＶＤＲ仕様に対応している、対応するＶＤＲデコーダを使用して、第３のバージョンのＶＤＲエンコーダ２０２が生成したビットストリームを復号し、入力ＶＤＲ画像の再構築バージョンを生成することができる。

これに加えて、又は必要に応じて、又は別法として、本明細書に記載する技術は、その他のバージョンのＶＤＲ仕様に対応するＶＤＲコーデック（又はコード化システム）に対応することもできる。

３．ＲＰＵデータユニット
いくつかの実施形態では、ＶＤＲエンコーダ（例えば図１の１０２又は図２の２０２）などの上流側デバイスが生成したＲＰＵデータを、複数のネットワーク抽象化レイヤ（ＮＡＬ）データユニットに含めて下流側デバイスに供給することができる。一実施形態では、図３に示すように、ＮＡＬデータユニットは、ＮＡＬヘッダ、及びローバイトシーケンスペイロード（ｒａｗ ｂｙｔｅ ｓｅｑｕｅｎｃｅ ｐａｙｌｏａｄ）（ＲＢＳＰ）を含む。単なる例示であるが、ＮＡＬデータユニット中のＲＢＳＰを使用してＲＰＵデータをカプセル化するときには、ＮＡＬヘッダの「ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ」フィールドを、２５、又はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ仕様（ＩＳ １４４９６−１０）に指定されるＮＡＬタイプと異なる別の識別番号に設定することができる。

いくつかの実施形態では、ＮＡＬデータユニットのＲＢＳＰのＲＰＵデータは、ＲＰＵデータヘッダ及びＲＰＵデータペイロードを含む。ＲＰＵデータユニットを共通の伝達手段として使用して、上流側デバイスから下流側デバイスにＲＰＵデータを送達することができ、この場合、ＲＰＵデータは、複数のＶＤＲ仕様（例えば異なるバージョン）のうちのいずれか１つと関連することができる。ＲＰＵデータヘッダは、コーデック又はコード化システムタイプ（例えば３Ｄコード化システム用又はＶＤＲコード化システム用など）と複数の異なるＶＤＲ仕様のうちの特定のＶＤＲ仕様とを特定するヘッダフィールドを含むことができる。ＲＰＵデータヘッダは、ＲＰＵデータユニットに含めて搬送されるＲＰＵデータの１つ又は複数の高レベル（例えばシーケンスレベル及びフレームレベル）の部分も含むことができる。

ＲＰＵデータペイロードを使用して、上流側デバイスは、多層ビデオ信号の復号及び復号したビデオ信号を用いたＶＤＲ画像の再構築に使用することができるフラグ、動作及びパラメータの集合の記述子（又は構文記述子）を伝送することができる。ＲＰＵデータペイロードに記述される、ＶＤＲ画像の再構築に使用される１つ又は複数のフラグ、動作及びパラメータは、レイヤ間予測に関係していることがある。本明細書に記載するレイヤ間予測用のフラグ、動作及びパラメータは、逆マッピング、クロマアップサンプリング、及びディスプレイ管理などその他の機能のうちの１つ又は複数に関係していることがある。これに加えて、又は必要に応じて、又は別法として、ＲＰＵデータペイロードに記述される、ＶＤＲ画像の再構築に使用される１つ又は複数の機能、動作及びパラメータは、レイヤ間予測に付属する、又はレイヤ間予測とは別のデータ処理に関係していることがある。

図４は、例示的な実施形態におけるＲＰＵデータヘッダのレイアウトを示す図である。一実施形態では、ＲＰＵデータヘッダは、複数のヘッダフィールドを含む。単なる例示であるが、ヘッダフィールドは、「ｒｐｕ＿ｔｙｐｅ」、「ｒｐｕ＿ｆｏｒｍａｔ」、「ｖｄｒ＿ｒｐｕ＿ｐｒｏｆｉｌｅ」、「ｖｄｒ＿ｒｐｕ＿ｌｅｖｅｌ」、「ｖｄｒシーケンスレベル情報」、「ｖｄｒフレームレベル情報」などを含むことができるが、これらのいずれかに限定されるわけではない。

ヘッダフィールド「ｒｐｕ＿ｔｙｐｅ」を使用して、ＲＰＵデータが３Ｄコーデックであるか（例えばｒｐｕ＿ｔｙｐｅ＝０又は１のときなど）、或いはＶＤＲコーデックであるか（例えばｒｐｕ＿ｔｙｐｅ＝２のときなど）を特定することができる。ヘッダフィールド「ｒｐｕ＿ｔｙｐｅ」は、まだ開発されていない追加の新たなビデオコーデックに対応することができる。ヘッダフィールド「ｒｐｕ＿ｆｏｒｍａｔ」を使用して、ＲＰＵデータが関連する１つ又は複数のＶＤＲバージョンを特定することができる。単なる例示であるが、ヘッダフィールド「ｒｐｕ＿ｆｏｒｍａｔ」の最上位ビットを使用して、大きな差違を有するＶＤＲコーデックを区別することができ、同じフィールドの最下位ビットを使用して、ＶＤＲコーデックの小さな変化を区別することができる。例えば、ヘッダフィールド「ｒｐｕ＿ｆｏｒｍａｔ」の最上位ビット（例えば上位３ビット）が０であるときには、ＲＰＵデータは、ＶＤＲバージョン１．ｘのフローに関係し、一方、ヘッダフィールド「ｒｐｕ＿ｆｏｒｍａｔ」の最上位ビット（例えば上位３ビット）が１であるときには、ＲＰＵデータは、ＶＤＲバージョン２．０のフローに関係する。

本明細書に記載するＶＤＲコード化システムは、１つ又は複数の異なるＲＰＵプロファイルに対応することができる。ヘッダフィールド「ｖｄｒ＿ｒｐｕ＿ｐｒｏｆｉｌｅ」を使用して、ＲＰＵデータが関係するプロファイルを特定することができる。例えば、ヘッダフィールドの値０は、ＹＣｂＣｒのマッピング色空間、４：２：０のマッピングクロマフォーマット、多項式マッピング方法、及び大域のみのマッピングパーティションを指定するベースラインプロファイルを示し、ヘッダフィールドの値１は、全てのマッピング色空間、全てのマッピングクロマフォーマット、全てのマッピング方法、及び大域のみのマッピングパーティションを指定するメインプロファイルを示し、ヘッダフィールドの値２は、全ての色空間、全てのマッピングクロマフォーマット、全てのマッピング方法、及び局所可の（ｌｏｃａｌ−ｏｋａｙ）マッピングパーティション（大域パーティション又は局所パーティション）を指定するハイプロファイルを示す。いくつかの実施形態では、ヘッダフィールド「ｒｐｕ＿ｆｏｒｍａｔ」のその他の可能な値を、現在開発中の、又はこれから開発される新たなプロファイルで使用するために保留しておく。さらに、これに加えて、かつ／又は必要に応じて、ヘッダフィールド「ｒｐｕ＿ｌｅｖｅｌ」を使用して、ＲＰＵデータを用いて実行されるＲＰＵ処理の複雑さのレベルを区別することもできる。

本明細書に記載する技術では、ＶＤＲ仕様に準拠する１つ又は複数のシンタックス要素を含むコード化シンタックスは、ＲＰＵビットストリームに含めてＶＤＲエンコーダからＶＤＲデコーダに伝送／信号通信することができる。シンタックス要素は、ＶＤＲ符号化動作及び対応するＶＤＲ復号動作で使用されるフラグ、動作及びパラメータを指定することができる。シンタックス要素に表されるパラメータは、様々な係数タイプにすることができ、様々な制度、ビット長又はワード長などで、論理値、整数（固定小数点）値、又は浮動小数点値として指定することができる。

コード化シンタックス中のいくつかのシンタックス要素は、連続した画像のフルシーケンスの間不変のままであるシーケンスレベル情報として分類することができる。シーケンスレベル情報の例としては、シンタックス要素「ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ」、「ｖｄｒ＿ｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓ」、「ｖｄｒ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ」などが挙げられる（ただしこれらのいずれかに限定されるわけではない）が、同じシンタックス要素をシーケンスレベル、又は様々なコードシンタックスの別のレベルとして使用することができることに留意されたい。図４に示すように、シーケンスレベル情報は、ヘッダフィールド「ｖｄｒシーケンスレベル情報」に配置される。このヘッダフィールド「ｖｄｒシーケンスレベル情報」は、複雑なフィールドであってもよく、任意の特定のシーケンスレベル情報が１つ又は複数の現在のＲＰＵデータユニットを用いて直接コード化されるかどうか、或いはシーケンスレベル情報が以前のＲＰＵデータから予測されるかどうかを示すフラグｖｄｒ＿ｓｅｑ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むことができる。

いくつかの実施形態では、伝送効率上の理由から、各画像（この記述の文脈では、「フレーム」と言い換えることもできる）ごとにシーケンスレベル情報をＶＤＲエンコーダからＶＤＲデコーダに送信しないこともある。その代わりに、連続したフレームのシーケンスごとに一度ずつ、シーケンスレベルパラメータを送信することができる。ただし、本発明の実施形態は、ランダムアクセス、誤り訂正及びロバストネスといった理由から同一シーケンス内でシーケンスレベルパラメータを一度や二度など繰り返すことを排除するわけではない。１つの例では、１００個の連続した画像を含むシーケンスでは、１０フレーム、２５フレーム、５０フレームなどのスライスの後でそのシーケンス内でシーケンスレベルパラメータを繰り返すことができる。別の例では、瞬時復号リフレッシュ（ＩＤＲ）ピクチャごと、ＩＤＲピクチャ２つごとなどについてシーケンス内でシーケンスレベルパラメータを繰り返すことができる。

コード化シンタックス中のいくつかのシンタックス要素は、フルフレームの間不変のままであるフレームレベル情報として分類することができる。いくつかの実施形態では、フレームレベル情報は、図４に示すように、ヘッダフィールド「ＶＤＲフレームレベル情報」に配置される。いくつかの実施形態では、フレームレベル情報の一部又は全ては、以前のＲＰＵデータユニットで送信されたフレームレベルシンタックス要素から予測することができる。

例えば、レイヤ間予測係数は、グループオブピクチャ（ＧＯＰ）、シーン、フレームシーケンスなどの間、同じ又は同様とすることができる。したがって、フレームレベル情報は、必ずしもフレームごとに繰り返されないこともある。同じＲＰＵ識別子（ｉｄ）を有する１つ又は複数の現在のＲＰＵデータユニットについて、ＶＤＲエンコーダは、ＲＰＵデータユニットのＲＰＵデータフィールド「ｖｄｒ＿ｒｐｕ＿ｉｄ」に含めたＲＰＵ ＩＤ（又は識別子）をＶＤＲデコーダに信号通信して、フレームレベル情報が現在のＲＰＵデータユニット中で直接コード化されている（したがって異なるＲＰＵ ＩＤで特定される以前のＲＰＵデータを参照せずに直接取り出すことができる）ことを示すことができる。

いくつかの実施形態では、１つ又は複数の現在のＲＰＵデータユニットのフラグ「ｕｓｅ＿ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｆｌａｇ」は、１つ又は複数の以前に送信されたＲＰＵデータユニット内のフレームレベル情報を１つ又は複数の現在のＲＰＵデータユニットに関するフレームレベル情報の予測に再使用又は使用すべきであることをＶＤＲデコーダに対して示すように設定することができる。以前に送信されたＲＰＵデータユニットは、１つ又は複数の現在のＲＰＵデータユニット内のＲＰＵデータフィールド「ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｉｄ」で特定することができる。その結果として、１つ又は複数の現在のＲＰＵデータユニットに含めて予測可能なフレームレベルシンタックス要素を送信することを回避することができる。いくつかの実施形態では、現在のＲＰＵデータユニットが直接コード化されたフレームレベルシンタックス要素を搬送しないので、現在のＲＰＵデータユニットにＲＰＵ ＩＤを割り当てることも回避することができる。ビットストリーム伝送におけるデータボリュームの削減とＶＤＲデコーダにおけるメモリ仕様の増加との間の費用便益の兼ね合いに応じて、最大数のＲＰＵ ＩＤ及びそれらに対応するフレームレベルシンタックス要素を予測に使用することができる。

いくつかの実施形態では、本明細書に記載する技術は、画像を１つ又は複数のパーティションに分割することに対応する。コード化シンタックスを指定するために使用することができる一部のシンタックス要素は、フレームレベルシンタックス要素として分類することができ、別の一部のシンタックス要素は、パーティションレベルシンタックス要素として分類することができる。

４．ＲＰＵデータ復号−シーケンスレベル及び／又はフレームレベル
図５は、ＲＰＵデータユニットのシーケンスレベル及び／又はフレームレベルのシンタックス要素を復号（又は構文解析）するために使用することができるＲＰＵ復号（又は構文解析）プロセスを示す図である。ＲＰＵ復号／構文解析プロセスは、１つ又は複数の現在のＲＰＵデータユニットを受信して、その１つ又は複数の現在のＲＰＵデータユニット中の１つ又は複数のＲＰＵデータヘッダからシンタックス要素の少なくとも一部を導出するように構成することができる。最初に、ＲＰＵ復号／構文解析プロセスは、フラグ「ｕｓｅ＿ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｆｌａｇ」が存在するかどうかを判定し、存在する場合には、そのフラグ（シンタックス要素）がどんな値であるかを決定することができる。

フラグが１（又は「ｙｅｓ」）に設定されていると判定した場合には、ＲＰＵ復号／構文解析プロセスは、受信したＲＰＵデータユニットからシンタックス要素「ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｉｄ」を復号又は構文解析するステップに進む。このシンタックス要素「ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｉｄ」は、１つ又は複数の以前に送信されたＲＰＵデータユニット中の以前に送信されたシンタックス要素と関連する予測子（又は以前の）ＲＰＵ ＩＤを指すものである。予測子ＲＰＵ ＩＤに基づいて、ＲＰＵ復号／構文解析プロセスは、予測子ＲＰＵ ＩＤをキーとして用いて、指定されたＲＰＵデータキャッシュから以前に送信されたシンタックス要素を取り出すことができる。「ｕｓｅ＿ｐｒｅｖ＿ｖｄｒ＿ｆｌａｇ」が１（又は「ｙｅｓ」）に設定されたこの処理経路を使用して、ＲＰＵデータキャッシュの同じレベルの以前に送信されたシンタックス要素から、コード化シンタックス中のシーケンスレベル、フレームレベル及びパーティションレベルの一部又は全てのシンタックス要素を予測することができる。

一方、フラグ「ｕｓｅ＿ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｆｌａｇ」が０（又は「ｎｏ」）に設定されていると判定した場合には、ＲＰＵ復号／構文解析プロセスは、受信したＲＰＵデータユニットからシンタックス要素「ｖｄｒ＿ｒｐｕ＿ｉｄ」を復号又は構文解析するステップに進む。このシンタックス要素「ｖｄｒ＿ｒｐｕ＿ｉｄ」は、１つ又は複数の現在のＲＰＵデータユニット中に直接コード化されたシンタックス要素に割り当てられた現在のＲＰＵ ＩＤに設定される。単なる例示であるが、これらのシンタックス要素としては、「ｍａｐｐｉｎｇ＿ｃｏｌｏｒ＿ｓｐａｃｅ」、「ｍａｐｐｉｎｇ＿ｃｈｒｏｍａ＿ｉｄｃ」、「ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ」、「ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２」、「ｐｒｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［］［］」、「ｎｌｑ＿ｍｅｔｈｏｄ＿ｉｄｘ」、「ｎｌｑ＿ｎｕｍ＿ｐｉｖｏｔｓ＿ｍｉｎｕｓ２」、「ｎｌｑ＿ｐｒｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ［］［］」、「ｅｎａｂｌｅ＿ｒｅｓｉｄｕａｌ＿ｓｐａｔｉａｌ＿ｕｐｓａｍｐｌｉｎｇ＿ｆｌａｇ」、「ｎｕｍ＿ｘ＿ｐａｒｔｉｔｉｏｎ＿ｍｉｎｕｓ１」、「ｎｕｍ＿ｙ＿ｐａｒｔｉｔｉｏｎ＿ｍｉｎｕｓ１」、「ｒｅｓｉｄｕａｌ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ」、「ｏｖｅｒｌａｐｐｅｄ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｅｔｈｏｄ」などが挙げられるが、これらに限定されるわけではない。なお、様々な実施形態では、異なるシンタックス要素及び／又は異なるシンタックス要素名を定義又は使用して、本明細書に記載する技術を実施することもできることに留意されたい。

これらのシンタックス要素のうちの１つ又は複数は、特定の対応する動作の有無を示すフラグとすることができる。例えば、フラグ「ｕｓｅ＿ｐｒｅｖ＿ｖｄｒ＿ｒｐｕ＿ｆｌａｇ」は、以前のＲＰＵ ＩＤについてのキャッシュされたシンタックス要素からＲＰＵデータを予測する動作の有無を示す。同様に、フラグ「ｅｎａｂｌｅ＿ｒｅｓｉｄｕａｌ＿ｓｐａｔｉａｌ＿ｕｐｓａｍｐｌｉｎｇ＿ｆｌａｇ」は、受信したＢＬデータ及びＥＬデータに基づいてＶＤＲ画像を再構築する際に残差リサンプリングフィルタ動作を実行すべきかどうかを示すことができる。指標「ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ」は、受信したＢＬデータ及びＥＬデータに基づいてＶＤＲ画像を再構築する際にどのクロマリサンプリングフィルタを使用すべきかを示すことができる。また、ＲＰＵ復号／構文解析プロセス自体では、これらのフラグのそれぞれを使用して、特定の処理経路をとるべきかどうかを判定する。

図５に示すように、ＲＰＵタイプ及びバージョン情報（例えばＲＰＵデータが対応するＶＤＲ仕様のｖ１．ｘフローと関連するかどうか、及び／又はＶＤＲ仕様が残差ゼロのＥＬデータを実装するかどうかを示すことができる）を使用して、ＲＰＵ復号／構文解析プロセスのいくつかの処理経路を決定することができる。

また、シンタックス要素「ｎｕｍ＿ｘ＿ｐａｒｔｉｔｉｏｎ＿ｍｉｎｕｓ１」及び「ｎｕｍ＿ｙ＿ｐａｒｔｉｔｉｏｎ＿ｍｉｎｕｓ１」などのパラメータを使用して、ＲＰＵ復号／構文解析プロセスの処理経路の一部を決定することができる。例えば、これらのシンタックス要素が両方とも、大域のみのパーティションを示すゼロ値を有する場合には、大域のみのパーティションに対応する処理経路をとることができる。一方、これらのシンタックス要素のうちのいずれか又は両方が非ゼロ値を有する場合には、図５に示すように、異なる処理経路をとることができる。

５．ＲＰＵデータ復号−パーティションレベル
いくつかの実施形態では、パーティションレベルシンタックス要素を、１つ又は複数の現在のＲＰＵデータユニット（の１つ又は複数のＲＰＵペイロードなど）に含めてＶＤＲエンコーダからＶＤＲデコーダに伝送することができる。図６は、例示的な実施形態において、１つ又は複数の現在のＲＰＵデータユニットからパーティションレベルシンタックス要素を復号するために使用することができる。ＲＰＵデータペイロード復号／構文解析プロセスを示す図である。パーティションレベルシンタックス要素のうちの１つ又は複数を、コード化シンタックスと関連させて、又はコード化シンタックスで使用して、レイヤ間予測関連動作及び／又はその他の処理動作を指定することができる。

いくつかの実施形態では、図６のＲＰＵデータペイロード復号／構文解析プロセスは、例えば図５のＲＰＵ復号／構文解析プロセスによって呼び出すことができる関数「ｖｄｒ＿ｒｐｕ＿ｄａｔａ＿ｐａｙｌｏａｄ（）」として実施することができる。

いくつかの実施形態では、画像フレームのｘ方向及びｙ方向に反復されるパーティションごとに図６のいくつかのステップを繰り返す。図６に示すように、関数「ｒｐｕ＿ｄａｔａ＿ｍａｐｐｉｎｇ（ｘ，ｙ）」を最初に各パーティションごとに呼び出して、複数の異なるＶＤＲ仕様に共通していることもあるパーティションレベルシンタックス要素を復号することができる。その後、特定のＶＤＲ仕様への特有性がより高いシンタックス要素を復号することができる。より特有性の高いシンタックス要素の復号は、例えば１つ又は複数の現在のＲＰＵデータユニットから既に復号されているその他のシンタックス要素又はＲＰＵ情報に基づいて実行することができる。例えば、（１）「ｒｐｕ＿ｆｏｒｍａｔ」フィールド及び（２）１つ又は複数の現在のＲＰＵデータユニットの１つ又は複数のＲＰＵデータヘッダから復号されたシンタックス要素「ｍａｐｐｉｎｇ＿ｃｈｒｏｍａ＿ｉｄｃ」（バージョン番号Ｖ１．ｘのＶＤＲ仕様）又はシンタックス要素「ｖｄｒ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ」及び「ｓｄｒ＿ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ」（バージョン番号ｖ２．ｘのＶＤＲ仕様）に基づいて、図６のＲＰＵデータペイロード復号／構文解析プロセスは、バージョン「ｖ１．ｘ」又は「ｖ２．ｘ」のＶＤＲ仕様に準拠する受信したＢＬデータ及びＥＬデータに対してクロマリサンプリング動作を実行すべきかどうかを判定することができる。

ＶＤＲ仕様がバージョンｖ１．ｘであり、かつフラグ「ｄｉｓａｂｌｅ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ」が偽であると判定した場合には、ＲＰＵ復号／構文解析関数「ｒｐｕ＿ｄａｔａ＿ｎｌｑ（ｘ，ｙ）」を、各パーティションごとに呼び出すことができる。さらに、図６に示すように、ｘパーティション指標及びｙパーティション指標が両方ともゼロであるときには、フレームレベルＲＰＵ復号／構文解析関数「ｒｐｕ＿ｄａｔａ＿ｒｅｓｉｄｕａｌ＿ｒｅｓａｍｐｌｉｎｇ（ｘ，ｙ）」など、その他の復号／構文解析関数を呼び出すこともできる。

いくつかの実施形態では、ＶＤＲコード化システムが実施するＶＤＲ仕様は、クロマリサンプリング、逆マッピング、並びに重複領域に基づく予測、剰余非線形量子化／逆量子化、残差クロマリサンプリング、空間的スケーリング、及びデータ処理（例えばパーティションの境界領域の補間など）など（ただしこれらに限定されない）の予測に基づく動作に対応している。

クロマリサンプリングでは、ＶＤＲ仕様は、固定フィルタ並びに明示的な１Ｄ（２Ｄ分離型）フィルタ及び２Ｄ（非分離型）フィルタの両方、或いはその他の輝度又はクロマチャネル情報を使用するフィルタ（クロスチャネルリサンプリングフィルタ）などに対応することができる。シンタックス要素「ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ」を使用して、前述のフィルタのうちのどれをコード化シンタックスの一部とするかを指定することができる。本明細書に記載する技術では、異なるクロマチャネルは、異なるフィルタを使用することができる。これに加えて、又は必要に応じて、又は別法として、明示的なフィルタは、対称であっても非対称であってもよい。いくつかの実施形態では、本明細書に記載する１つ又は複数のフィルタは、ピクチャ境界（又は画像境界）をフィルタリング動作における特殊なケースとして処理するように設計される。例えば、フィルタは、反復（図６に示す）又はミラーリングによって、ピクチャ境界を単純にパッドすることができる。いくつかの実施形態では、本明細書に記載する１つ又は複数のフィルタは、異なるパーティションに跨がる動作を実行する、又はパーティション境界をピクチャ境界と同じように扱うように設計される。同一画像の異なるパーティションに対して、異なるクロマリサンプリングフィルタを使用することができる。これに加えて、又は必要に応じて、又は別法として、フル画像の全てのパーティションにフィルタを適用することもできる。これに加えて、又は必要に応じて、又は別法として、例えば明示的なフィルタなど特定のタイプのフィルタを、フル画像に対して指定することもできる。ただし、異なるパーティションに対して、コード化シンタックスでは異なる係数を指定することができる。例えば、シンタックス要素「ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ」をフレームレベルで信号通信して、フレーム全体で特定のタイプのフィルタが使用されることを示すことができる。しかし、そのフレーム内の異なるパーティションについての異なるフィルタ係数は、パーティションレベルで信号通信することができる。これに加えて、又は必要に応じて、又は別法として、パーティションレベルフィルタ係数は、直接コード化してもよいし、現在のＲＰＵ ＩＤの下で以前のパーティションのうちの１つ又は複数から予測してもよいし、或いは以前のＲＰＵ ＩＤの下で１つ又は複数の以前のＲＰＵデータユニットの１つ又は複数のパーティションから予測してもよい。本明細書に記載する係数は、非差分コード化することもできるし、差分コード化（例えば異なるパーティション、画像又はクロマチャネルの値に対する差分値を含む）することもできる。また、クロマリサンプリングフィルタは、クロマサンプル位置を考慮しなければならない。

逆マッピングは、ＶＤＲ階層的コーデックで重要な役割を果たすことがある。本明細書に記載するＶＤＲ仕様は、様々な逆マッピング方法に対応することができる。逆マッピング方法の例としては、ビットシフト、多項式、ＭＭＲ、ＳＯＰ、ＩＤ ＬＵＴ、曲線当てはめなどのいずれかが挙げられるが、これらのみに限定されるわけではない。図８に示す復号／構文解析関数「ｒｐｕ＿ｄａｔａ＿ｍａｐｐｉｎｇ（）」を使用して、指定された色空間の各色成分（輝度又はクロマ成分）における逆マッピングに関係するシンタックス要素を復号（又は構文解析）することができる。シンタックス要素「ｓｙｎｔａｘ＿ｍａｐｐｉｎｇ＿ｉｄｃ」を使用して、逆マッピング方法のうちのどれを選択するかを示すことができる。画像の異なる領域は異なる視覚コンテンツを含む可能性があるので、ＶＤＲ仕様は、異なるパーティション（すなわち異なる領域）が異なるマッピング方法を使用できるようにすることができる。画像の各チャネルのダイナミックレンジは、複数のセグメント（又はピース）に分割することができ、各ダイナミックレンジセグメントが異なるマッピング方法を使用することができる。さらに、異なるパーティションのそれぞれの各ダイナミックレンジが異なるマッピング方法を使用することができる。この手法は、画像のメディアコンテンツの中央のダイナミックレンジが線形で、線形マッピングとして扱うことができるが、暗範囲及び明範囲は非線形で、比較的複雑なマッピング方法で処理しなければならない、逆マッピングで使用することができる。一実施形態では、シンタックスｐｉｖｏｔ＿ｖａｌｕｅを使用して、ダイナミックレンジセグメントを示す。これに加えて、又は必要に応じて、又は別法として、マッピングされたピボット値は、差分コード化することもできる（例えばシンタックス要素「ｐｒｅｄ＿ｐｉｖｏｔ＿ｖａｌｕｅ」で示す）し、或いは下流側ＶＤＲデコーダに信号通信される１つ又は複数の現在のＲＰＵデータユニットのコード化シンタックスに直接コード化することもできる。

いくつかの実施形態では、画像中の複数のパーティションのうちの少なくとも１つは、複数の異なるダイナミックレンジセグメントを使用することができる。いくつかの実施形態では、画像中の全てのパーティションの異なるダイナミックレンジセグメントの数のうちの最大のものを、限界未満になるように決定又は設定する。いくつかの実施形態では、画像の全てのパーティションが同数の異なるダイナミックレンジセグメントを保持するが、異なるパーティションのダイナミックレンジは、必要に応じて異なっていてもよい。

線形マッピングでは、コード化シンタックスの１つ又は複数のシンタックス要素をＶＤＲエンコーダが使用して、多項式係数を下流側ＶＤＲデコーダに信号通信することができる。或いは、コード化シンタックスの１つ又は複数のシンタックス要素を使用して、マッピングされたピボット値を信号通信して、各ダイナミックレンジセグメントのピクセルを補間することができる。マッピングされたピボット値が存在することは、シンタックス要素（又はフラグ）「ｌｉｎｅａｒ＿ｉｎｔｅｒｐ＿ｆｌａｇ」を用いて信号通信することができる。１つの例では、１Ｄ ＬＵＴのデータ点のいくつか又は全ての値を信号通信することができる。別の例では、１Ｄ ＬＵＴの少なくともいくつかの値を、下流側ＶＤＲデコーダに信号通信されたマッピングされたピボット値を使用した補間に基づいて構築することができる。

パーティションについてのダイナミックレンジマッピング（例えばトーンマッピング）に使用される係数は、直接コード化してもよいし、或いは同じＲＰＵデータユニットから導出される近接するパーティションのマッピングされたダイナミックレンジセグメントから予測してもよい。これに加えて、又は必要に応じて、又は別法として、パーティションについての係数は、以前のＲＰＵデータユニットから導出されるマッピングピースのパーティションのマッピングされたダイナミックレンジセグメントから予測することもできる。例えば、パーティションについての係数は、以前のＲＰＵデータユニットから導出される同じパーティションのマッピングされたダイナミックレンジセグメントから予測することができる。

本明細書に記載する技術は、コード化色空間（例えばＲＰＵデータヘッダのシーケンスレベル情報に含めて信号通信することができる）とは異なるマッピング色空間（例えばシンタックス要素「ｍａｐｐｉｎｇ＿ｃｏｌｏｒ＿ｓｐａｃｅ」で示されるものなど）を使用することに対応している。例えば、コード化色空間をＹＣｂＣｒとし、マッピング色空間をＲＧＢとすることができる。その他のタイプの色空間も、コード化空間又はマッピング空間の選択肢として用いることができる。マッピング色空間は、パーティションによって異なっていてもよい。或いは、マッピング色空間は、全てのパーティションで同じであってもよい。マッピング方法及びメタデータは、マッピング色空間のチャネルによって異なっていてもよい。或いは、マッピング方法及びメタデータは、マッピング色空間の全てのチャネルで同じであってもよい。１つの画像で複数のパーティションを使用する実施形態では、パーティションの境界に沿って不連続性が存在する可能性がある。一実施形態では、コード化シンタックスを使用して、ピクセル値又は色値の加重平均によって、かつ／或いは線形又は非線型な方法でパーティションの境界を融合することによってパーティションの境界を単に平滑化することにより実行される境界マッピング方法を信号通信することができる。一実施形態では、コード化シンタックスのシンタックス要素「ｏｖｅｒｌａｐｐｓｅｄ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｅｔｈｏｄ」を少なくとも部分的に使用して、境界マッピング方法を信号通信することができる。

６．ＲＰＵデータ復号−クロママッピング
図７は、例示的な実施形態における、クロマリサンプリングに関係するシンタックス要素を復号（又は構文解析）するために使用することができるＲＰＵデータ復号（又は構文解析）動作（例えばｒｐｕ＿ｄａｔａ＿ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ（）関数の形態）を示す図である。これらのシンタックス要素は、パーティションレベルとすることができるが、必ずしもパーティションレベルでなければならないというわけではない。ＲＰＵデータコード化動作は、例えば図６の復号／構文解析プロセスによって呼び出すことができる復号／構文解析関数として実施することができる。マッピング色空間がフル画像で同じである実施形態では、図７に示すシンタックス要素を、必要に応じてフレームレベルシンタックス要素としてコード化シンタックスに示すことができる。

いくつかの実施形態では、ピース単位のマッピング動作で呼び出されるセグメントの数を、全てのパーティションで同じに保つことができる。補間に関する一部のシンタックス要素は、フレームレベルシンタックス要素としてコード化シンタックスに示すことができるが、補間に関する別の一部のシンタックス要素は、パーティションレベルシンタックス要素としてコード化シンタックスに示すことができる。

図７に示すように、「ｒｐｕ＿ｄａｔａ＿ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ（）」復号／構文解析関数は、色空間内の色成分の数を復号することができる。各色成分ごとに、いくつかのステップを繰り返すことができる。

ある色成分のフラグが、以前のパーティションフィルタ係数を使用することを示している場合には、復号／構文解析関数「ｒｐｕ＿ｄａｔａ＿ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ（）」は、その色成分の予測子パーティション情報を導出するステップに進む。予測子パーティション情報は、以前のＲＰＵ ＩＤについてのキャッシュされたシンタックス要素から導出される、或いは１つ又は複数の現在のＲＰＵデータユニットの１つ又は複数のその他のパーティションの既に復号されているシンタックス要素から導出される、パーティションフィルタ係数を含むことができる。

一方、色成分のフラグが、以前のパーティションフィルタ係数を使用しないことを示している場合には、復号／構文解析関数「ｒｐｕ＿ｄａｔａ＿ｃｈｒｏｍａ＿ｒｅｓａｍｐｌｉｎｇ（）」は、１つ又は複数の現在のＲＰＵデータユニットからパーティションフィルタ係数を導出するステップに進む。これらの係数は、２Ｄの明示的なフィルタ、１Ｄの垂直方向の明示的なフィルタ、１Ｄの水平方向の明示的なフィルタなどに関係することができる。

ダイナミックレンジマッピングで使用する係数と同様に、パーティションのクロマリサンプリング又はクロママッピングの係数は、別法として、同じ１つ又は複数の現在のＲＰＵデータユニットから導出される近接するパーティションの同様の係数から予測することができる。これに加えて、又は必要に応じて、又は別法として、パーティションについての係数は、１つ又は複数の以前に送信されたＲＰＵデータユニットから導出されるマッピングされたピースのパーティションの同じ係数から予測することができる。例えば、パーティションについての係数は、１つ又は複数の以前に送信されたＲＰＵデータユニットから導出される同じパーティションの同じ係数から予測することができる。

７．ＲＰＵデータ復号の追加例
図９は、例示的な実施形態における、パーティションレベルの非線形量子化／逆量子化に関係するシンタックス要素を復号（又は構文解析）するＲＰＵデータ復号（又は構文解析）動作（例えばｒｐｕ＿ｄａｔａ＿ｎｌｑ（）関数の形態）を示す図である。特定のＶＤＲ仕様は、非線形量子化／逆量子化に対応することができる。非線形量子化／逆量子化の例としては、線形不感帯、μ−ｌａｗ曲線、ラプラス曲線、シグモイド曲線などに基づく非線形量子化／逆量子化のうちのいずれかなどが挙げられるが、これらのみに限定されるわけではない。特定の非線形量子化／逆量子化の方法を、シンタックス要素「ｎｌｑ＿ｍｅｔｈｏｄ＿ｉｄｃ」で下流側ＶＤＲデコーダに信号通信することができる。一実施形態では、画像の全てのパーティションに対して同じ方法（例えばシンタックス要素「ｎｌｑ＿ｍｅｔｈｏｄ＿ｉｄｃ」は、ＲＰＵデータヘッダのフレームレベル情報の一部として信号通信することができる）を使用することができるが、この方法の係数は、異なるパーティションで同じであっても同じでなくてもよい。非線形量子化／逆量子化に関わるデータレンジは、複数のセグメントに分割することができる。異なるセグメントは、同じ方法の異なる係数を有することができる。

他の動作で使用される他の係数と同様に、パーティションの非線形量子化／逆量子化の係数も、直接コード化することもできるし、或いは同じＲＰＵデータユニットから導出される近接するパーティションの同じ係数から予測することもできる。これに加えて、又は必要に応じて、又は別法として、パーティションについての係数は、以前のＲＰＵデータユニットから導出されるマッピングされたピースのパーティションの同じ係数から予測することができる。例えば、パーティションについての係数は、以前のＲＰＵデータユニットから導出される同じパーティションの同じ係数から予測することができる。

いくつかの実施形態では、特定のＶＤＲ仕様に準拠するコード化シンタックスは、剰余データに実行されるクロマリサンプリング及び／又は空間的アップサンプリング（例えば１：２）を指定することができる。いくつかの実施形態では、剰余データに実行される動作は、コード化シンタックスにおいて、上述のクロマリサンプリングフィルタに関する動作と同様に扱われる。

いくつかの実施形態では、ＢＬ信号及びＥＬ信号中に符号化される画像データに対して、異なるクロマフォーマットが使用される。例えば、ＢＬ信号は、ＥＬ信号が使用するものとは異なるクロマフォーマット（異なるクロマサンプリング及び異なるビット深度）を使用することができる。これに加えて、又は必要に応じて、又は別法として、ＢＬ信号とＥＬ信号は、異なる色空間を使用することもできる。

本明細書に記載する技術は、クロマリサンプリング、色空間変換及び逆マッピングの間の異なる処理順序に対応することができる。いくつかの実施形態では、ＶＤＲコード化システムは、複数の可能な処理順序のうちの１つ、２つ又はそれ以上に対応することができる。ＶＤＲコード化システムが対応している１つ又は複数の処理順序は、最適とみなすことができる。例えば、ＶＤＲエンコーダ（例えば図２の２０２）の出力ビットストリーム（例えば図２のＢＬビットストリーム２２８及びＥＬビットストリーム２２４）のＢＬデータ及びＥＬデータの両方のコード化色空間をＶＤＲ仕様に指定されるＹＣｂＣｒとして、マッピング色空間はＲＧＢとすることができ、入力ＳＤＲ信号（例えば図２の２０８）をＹＣｂＣｒ ４：２：０とし、入力ＶＤＲ信号（例えば図２の２０４）をＲＧＢ ４：４：４ １２ビットとする。この例では、レイヤ間参照データは、以下のように生成することができる。ＶＤＲエンコーダは、最初に、入力ＳＤＲ信号から導出されるＢＬデータについて、４：２：０から４：４：４へのクロマリサンプリングを実行する。次に、ＢＬデータ（この時点では４：４：４クロマフォーマット）に対して、ＹＣｂＣｒからＲＧＢへの色変換を実行することができる。マッピング色空間で、このＢＬデータ（この時点では４：４：４クロマフォーマットであり、マッピング色空間中と同じマッピング色空間）に対して逆マッピングを実行して、マッピング色空間内のレイヤ間予測値を生成することができる。このレイヤ間予測値に対して、ＲＧＢからＹＣｂＣｒへの色変換を実行して、ＥＬデータを生成することができる。

８．例示的なプロセスフロー
図１０は、例示的な実施形態における、ＲＰＵデータからコード化シンタックスを復号するＶＤＲデコーダを示す図である。コード化シンタックスは、例えば図１のＶＤＲエンコーダ１０２が対応している第１のバージョン（「１．ｘ」）又は第２のバージョン（「１．ｘ」）とすることができる特定のＶＤＲ仕様に準拠しているものとすることができる。ＶＤＲデコーダは、コード化シンタックスに従って、ＢＬデータ、ＥＬデータ、ＲＰＵデータ、レイヤ間予測データ及び中間メディアデータに対して復号動作を実行するように構成することができる。図１０のＶＤＲデコーダは、１つ又は複数のコンピューティングデバイス、カスタムかつ／又は市販品ハードウェアデバイス、プログラマブルデバイス、或いはそれらの任意の組合せなどで実装することができる。

いくつかの実施形態では、図１０のＶＤＲデコーダは、図５から図９に示す復号／構文解析プロセスのうちの１つ又は複数を実施して、コード化シンタックス及びそれに含まれるシンタックス要素を導出することができる。図１０のＶＤＲデコーダは、ＢＬデータ、ＥＬデータ及びＲＰＵデータに復号動作を適用して、例えばＶＤＲエンコーダ（例えば図１の１０２）によって符号化された入力ＶＤＲ画像に対応する出力ＶＤＲ画像を構築することができる。

図１１Ａは、本発明の例示的な実施形態による例示的なプロセスフローを示す図である。いくつかの例示的な実施形態では、１つ又は複数のコンピューティングデバイス又は構成要素が、このプロセスフローを実行することができる。ブロック１１０２で、多層ＶＤＲビデオエンコーダ（例えば図１の１０２又は図２の２０２）は、入力視覚ダイナミックレンジ（ＶＤＲ）画像と、その入力ＶＤＲ画像に関連する入力基本レイヤ（ＢＬ）画像を受信する。

ブロック１１０４で、多層ＶＤＲビデオエンコーダは、シーケンスレベル、フレームレベル又はパーティションレベルの複数のシンタックス要素を含むコード化シンタックスを生成する。

ブロック１１０６で、多層ＶＤＲビデオエンコーダは、コード化シンタックスに従って、入力ＢＬ画像及び入力ＶＤＲ画像をＢＬデータ及び拡張レイヤ（ＥＬ）データに変換する。

ブロック１１０８で、多層ＶＤＲビデオエンコーダは、コード化シンタックスを参照処理ユニット（ＲＰＵ）データに変換する。

ブロック１１１０で、多層ＶＤＲビデオエンコーダは、ＢＬデータ、ＥＬデータ及びＲＰＵデータを、ＢＬ信号、ＥＬ信号及びＲＰＵ信号に含めて出力する。

一実施形態では、多層ＶＤＲビデオエンコーダは、さらに、少なくとも部分的にはコード化シンタックスに基づいて、１つ又は複数の現在のＲＰＵデータユニットを生成するステップと、この１つ又は複数の現在のＲＰＵデータユニットにおいてコード化シンタックスが準拠する特定のＶＤＲ仕様を特定するステップとを実行するように構成される。

一実施形態では、１つ又は複数の現在のＲＰＵデータユニットのうちの少なくとも１つは、複数の異なるＶＤＲ仕様のうちのいずれか１つに対応することができるデータ構造を含む。

一実施形態では、多層ＶＤＲビデオエンコーダは、さらに、１つ又は複数の現在のＲＰＵデータユニットにおいて、コード化シンタックスの複数のシンタックス要素の中の少なくとも１つのシンタックス要素が１つ又は複数の現在のＲＰＵデータユニットの１つ又は複数のその他のパーティションから予測可能であることを示すステップを実行するように構成される。

一実施形態では、多層ＶＤＲビデオエンコーダは、さらに、１つ又は複数の現在のＲＰＵデータユニットにおいて、コード化シンタックスの複数のシンタックス要素の中の少なくとも１つのシンタックス要素が、以前の入力ＶＤＲ画像及びこの入力ＶＤＲ画像と関連する以前の入力ＢＬ画像についての１つ又は複数の以前のＲＰＵデータユニットから予測可能であることを示すステップを実行するように構成される。

一実施形態では、入力ＶＤＲ画像及び以前の入力ＶＤＲ画像は、入力ＶＤＲ画像のシーケンスに属し、この入力ＶＤＲ画像のシーケンスは、共通の１組のシーケンスレベルのシンタックス要素のセットを共有する。

一実施形態では、入力ＶＤＲ画像及び以前の入力ＶＤＲ画像は、入力ＶＤＲ画像の２つの異なるシーケンスに属し、これら２つの異なる入力ＶＤＲ画像のシーケンスのうちの第１のシーケンスは、第１の共通の１組のシーケンスレベルのシンタックス要素のセットを共有し、これら２つの異なる入力ＶＤＲ画像のシーケンスのうちの第２のシーケンスは、第１のセットとは異なる第２の共通の１組のシーケンスレベルのシンタックス要素のセットを共有する。

一実施形態では、複数のシンタックス要素のうちの少なくとも１つのシンタックス要素は、シーケンスレベル、フレームレベル又はパーティションレベルのうちの２つ以上のシンタックス要素として使用可能である。

一実施形態では、ＢＬデータは、標準的ダイナミックレンジ（ＳＤＲ）のディスプレイで見るように最適化されたＳＤＲ画像を表す。一実施形態では、ＢＬデータは、標準的ダイナミックレンジ（ＳＤＲ）のディスプレイで見るように最適化されたＳＤＲ画像を表していない。

一実施形態では、ＥＬデータは、入力ＶＤＲ画像とＢＬデータに基づいて生成した予測ＶＤＲ画像との間の残差値を含む。一実施形態では、ＥＬデータは、入力ＶＤＲ画像のシーケンスの２つ以上の入力ＶＤＲ画像のレイヤ間参照ピクチャを含む。この２つ以上の入力ＶＤＲ画像は、入力ＶＤＲ画像を含む。

一実施形態では、複数のシンタックス要素は、パラメータ、係数、ピボット値、フラグに対応する動作の有無を示すフラグ、或いは表示管理メタデータを含む１つ又は複数のタイプのメタデータのうちの１つ又は複数を含む。

一実施形態では、入力ＶＤＲ画像は、入力色空間で符号化された画像データを含み、ＥＬデータは、出力色空間で符号化された画像データを含み、ＥＬデータは、少なくとも部分的にはマッピングされたデータに基づいて生成され、マッピングされたデータは、少なくとも部分的にはＢＬデータに基づいて生成され、マッピングされたデータは、マッピングされた色空間で符号化されたマッピングされた画像データを含む。

一実施形態では、入力色空間、出力色空間及びマッピングされた色空間のうちの少なくとも２つは、異なる色空間である。一実施形態では、入力色空間、出力色空間及びマッピングされた色空間のうちの少なくとも２つは、同じ色空間である。

一実施形態では、ＥＬデータは、第１のクロマフォーマットで符号化された画像データを含み、ＢＬデータは、第１のクロマフォーマットとは異なる第２のクロマフォーマットで符号化された画像データを含む。一実施形態では、ＥＬデータは、あるクロマフォーマットで符号化された画像データを含み、ＢＬデータは、同じクロマフォーマットで符号化された画像データを含む。

一実施形態では、複数のシンタックス要素は、クロマリサンプリング動作、逆マッピング動作、非重複領域に基づく予測動作、重複領域に基づく予測動作、剰余非線形量子化及び逆量子化動作、残差クロマリサンプリング動作、空間的スケーリング動作、補間などのデータ処理動作、又は表示管理動作のうちの１つ又は複数を信号通信する。

一実施形態では、多層ＶＤＲビデオエンコーダは、さらに、１つ又は複数の入力ビデオ信号を用いて表現、受信、伝送又は格納される１つ又は複数の入力ＶＤＲ画像を、１つ又は複数の出力ビデオ画像を用いて表現、受信、伝送又は格納される１つ又は複数の出力ＶＤＲ画像に変換するステップを実行するように構成される。

一実施形態では、入力ＶＤＲ画像は、高ダイナミックレンジ（ＨＤＲ）画像フォーマット、映画芸術科学アカデミー（ＡＭＰＡＳ）のアカデミー色符号化仕様（ＡＣＥＳ）標準に関連するＲＧＢ色空間、デジタルシネマイニシアチブのＰ３色空間標準、参照入力媒体測色値／参照出力媒体測色値（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ：ＲＩＭＭ／ＲＯＭＭ）標準、ｓＲＧＢ色空間、ＲＧＢ色空間、又はＹＣｂＣｒ色空間のうちの１つで符号化される。

図１１Ｂは、本発明の例示的な実施形態による例示的なプロセスフローを示す図である。いくつかの例示的な実施形態では、１つ又は複数のコンピューティングデバイス又はハードウェア構成要素が、このプロセスフローを実行することができる。ブロック１１５２で、多層ビデオデコーダ（例えば図１０に示すデコーダなど）は、基本レイヤ（ＢＬ）信号、拡張レイヤ（ＥＬ）信号及び参照処理ユニット（ＲＰＵ）信号に含まれるＢＬデータ、ＥＬデータ及びＲＰＵデータを受信する。このＢＬデータ、ＥＬデータ及びＲＰＵデータは、共通の視覚ダイナミックレンジ（ＶＤＲ）ソース画像と関連づけられている。

ブロック１１５４で、多層ビデオデコーダは、ＲＰＵデータを復号して、シーケンスレベル、フレームレベル又はパーティションレベルの複数のシンタックス要素を含むコード化シンタックスにする。

ブロック１１５６で、多層ビデオデコーダは、コード化シンタックスに従って、ＢＬデータ及びＥＬデータを再構築したＶＤＲ画像に変換する。

ブロック１１５８で、多層ビデオデコーダは、再構築したＶＤＲ画像を出力する。

一実施形態では、多層ビデオデコーダは、さらに、１つ又は複数の現在のＲＰＵデータユニットから、コード化シンタックスが準拠する特定のＶＤＲ仕様を決定するステップと、１つ又は複数の現在のＲＰＵデータユニットからコード化シンタックスの少なくとも一部分を導出するステップとを実行するように構成される。

一実施形態では、多層ビデオデコーダは、さらに、１つ又は複数の現在のＲＰＵデータユニットから、コード化シンタックスの複数のシンタックス要素のうちの少なくとも１つのシンタックス要素が、１つ又は複数の現在のＲＰＵデータユニットの１つ又は複数のその他のパーティションから予測可能であると決定するステップを実行するように構成される。

一実施形態では、多層ビデオデコーダは、さらに、１つ又は複数の現在のＲＰＵデータユニットから、コード化シンタックスの複数のシンタックス要素のうちの少なくとも１つのシンタックス要素が、以前に再構築したＶＤＲ画像に関連する１つ又は複数の以前のＲＰＵデータユニットから予測可能であると決定するステップを実行するように構成される。

一実施形態では、再構築したＶＤＲ画像及び以前に再構築したＶＤＲ画像は、再構築したＶＤＲ画像のシーケンスに属し、この再構築したＶＤＲ画像のシーケンスは、共通の１組のシーケンスレベルのシンタックス要素のセットを共有する。

一実施形態では、再構築したＶＤＲ画像及び以前に再構築したＶＤＲ画像は、再構築したＶＤＲ画像の２つの異なるシーケンスに属し、これら２つの異なる再構築したＶＤＲ画像のシーケンスのうちの第１のシーケンスは、第１の共通の１組のシーケンスレベルのシンタックス要素のセットを共有し、これら２つの異なる再構築したＶＤＲ画像のシーケンスのうちの第２のシーケンスは、第１のセットとは異なる第２の共通の１組のシーケンスレベルのシンタックス要素のセットを共有する。

一実施形態では、ＥＬデータは、再構築したＶＤＲ画像のシーケンス中の２つ以上の再構築したＶＤＲ画像のレイヤ間参照ピクチャを含み、この２つ以上の再構築したＶＤＲ画像は、再構築したＶＤＲ画像を含む。

一実施形態では、再構築したＶＤＲ画像は、第１の色空間で符号化した画像データを含み、ＥＬデータは、第２の色空間で符号化した画像データを含み、再構築したＶＤＲ画像は、ＢＬデータから導出したマッピングされたデータに少なくとも部分的には基づいて生成され、マッピングされたデータは、第３の色空間で符号化したマッピングされた画像データを含む。

一実施形態では、第１、第２及び第３の色空間のうちの少なくとも２つは、異なる色空間である。一実施形態では、第１、第２及び第３の色空間のうちの少なくとも２つは、同じ色空間である。

一実施形態では、多層ビデオデコーダは、さらに、１つ又は複数の入力ビデオ信号を用いて表現、受信、伝送又は格納される画像データを、１つ又は複数の出力ビデオ信号を用いて表現、受信、伝送又は格納される１つ又は複数の出力ＶＤＲ画像に変換するステップを実行するように構成される。

一実施形態では、再構築したＶＤＲ画像は、高ダイナミックレンジ（ＨＤＲ）画像フォーマット、映画芸術科学アカデミー（ＡＭＰＡＳ）のアカデミー色符号化仕様（ＡＣＥＳ）標準に関連するＲＧＢ色空間、デジタルシネマイニシアチブのＰ３色空間標準、参照入力媒体測色値／参照出力媒体測色値（ＲＩＭＭ／ＲＯＭＭ）標準、ｓＲＧＢ色空間、ＲＧＢ色空間、又はＹＣｂＣｒ色空間のうちの１つで符号化された画像データを含む。

様々な例示的な実施形態において、エンコーダ、デコーダ、システム、装置、或いは１つ又は複数のその他のコンピューティングデバイスは、記載した前述の方法のいずれか又は一部を実行する。

９．実施機構−ハードウェア概略
一実施形態によれば、本明細書に記載する技術は、１つ又は複数の特殊目的コンピューティングデバイスによって実施される。特殊目的コンピューティングデバイスは、この技術を実行するようにハードワイヤードにしてもよいし、この技術を実行するように永続的にプログラムされた１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでいてもよく、或いはファームウェア、メモリ、その他の記憶装置又はそれらの組合せに格納したプログラム命令に従ってこの技術を実行するようにプログラムされた１つ又は複数の汎用ハードウェアプロセッサを含んでいてもよい。このような特殊目的コンピューティングデバイスは、カスタムハードワイヤード論理、ＡＳＩＣ又はＦＰＧＡを、カスタムプログラミングと組み合わせて、この技術を実施することもできる。特殊目的コンピューティングデバイスは、デスクトップコンピューティングデバイス、ポータブルコンピューティングデバイス、手持ち型デバイス、ネットワークデバイス、或いはこの技術を実施するハードワイヤード論理及び／又はプログラム論理を組み込むその他の任意のデバイスとすることができる。

例えば、図１２は、本発明の例示的な実施形態を実施することができるコンピュータシステム１２００を示すブロック図である。コンピュータシステム１２００は、情報を通信するためのバス１２０２又はその他の通信機構と、情報を処理するためのバス１２０２と結合されたハードウェアプロセッサ１２０４とを含む。ハードウェアプロセッサ１２０４は、例えば汎用マイクロプロセッサとすることができる。

また、コンピュータシステム１２００は、情報及びプロセッサ１２０４によって実行される命令を格納するための、バス１２０２に結合されたランダムアクセスメモリ（ＲＡＭ）又はその他の動的記憶デバイスなどのメインメモリ１２０６も含む。メインメモリ１２０６は、プロセッサ１２０４によって実行される命令の実行中に一時的な変数又はその他の中間情報を格納するために使用することもできる。このような命令は、プロセッサ１２０４がアクセス可能な非一時的な記憶媒体に格納すると、コンピュータシステム１２００を、それらの命令に指定された動作を実行するようにカスタマイズされた特殊目的マシンにする。

コンピュータシステム１２００は、プロセッサ１２０４用の静的情報及び命令を格納するための、バス１２０２に結合された読取り専用メモリ（ＲＯＭ）１２０８又はその他の静的記憶デバイスをさらに含む。磁気ディスク又は光ディスクなどの記憶デバイス１２１０が設けられ、バス１２０２に結合されて、情報及び命令を格納する。

コンピュータシステム１２００は、バス１２０２を介して、コンピュータのユーザに対して情報を表示するための液晶ディスプレイなどのディスプレイ１２１２に結合することができる。英数字又はその他のキーを含む入力デバイス１２１４が、バス１２０２に結合されて、情報及びコマンド選択をプロセッサ１２０４に通信する。別のタイプのユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１２０４に通信し、ディスプレイ１２１２上のカーソル移動を制御するための、マウス、トラックボール又はカーソル方向キーなどのカーソル制御装置１２１６である。この入力デバイスは、通常は、デバイスが平面内で位置を指定することを可能にする、２つの軸、すなわち第１の軸（例えばｘ）及び第２の軸（例えばｙ）の方向の２つの自由度を有する。

コンピュータシステム１２００は、そのコンピュータシステムと組み合わせたときにそのコンピュータシステム１２００を特殊目的マシンにする、又は特殊目的マシンとなるようにプログラムする、カスタマイズハードワイヤード論理、１つ又は複数のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／或いはプログラム論理を用いて、本明細書に記載する技術を実施することができる。一実施形態によれば、本明細書の技術は、プロセッサ１２０４がメインメモリ１２０６に収容された１つ又は複数の命令の１つ又は複数のシーケンスを実行したのに応答して、コンピュータシステム１２００によって実行される。このような命令は、記憶デバイス１２１０などの別の記憶媒体からメインメモリ１２０６に読み込むことができる。メインメモリ１２０６に収容された命令のシーケンスを実行すると、プロセッサ１２０４が、本明細書に記載するプロセスステップを実行する。代替の実施形態では、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。

本明細書で使用する「記憶媒体」という用語は、マシンを特定の様式で動作させるデータ及び／又は命令を格納する任意の非一時的媒体を指す。このような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含むことができる。不揮発性媒体としては、例えば、記憶デバイス１２１０などの光ディスク又は磁気ディスクが挙げられる。揮発性媒体としては、メインメモリ１２０６などの動的メモリが挙げられる。一般的な形態の記憶媒体としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体状態ドライブ、磁気テープ又はその他の任意の磁気データ記憶媒体、ＣＤ−ＲＯＭ又はその他の任意の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、或いはその他の任意のメモリチップ又はカートリッジなどが挙げられる。

記憶媒体は、伝送媒体とは異なるが、これと協働して使用することができる。伝送媒体は、記憶媒体間での情報の転送に関わる。例えば、伝送媒体としては、バス１２０２を構成するワイヤなどの、同軸ケーブル、銅線及び光ファイバなどが挙げられる。伝送媒体は、無線波データ通信及び赤外線データ通信中に生成されるような音波又は光波の形態をとることもできる。

様々な形態の媒体が、１つ又は複数の命令の１つ又は複数のシーケンスを実行するためにプロセッサ１２０４に搬送するのに関わる可能性がある。例えば、これらの命令は、最初に磁気ディスク又は遠隔のコンピュータの固体状態ドライブで搬送することができる。遠隔のコンピュータは、命令をその動的メモリにロードし、モデムを用いて電話回線を介して送信することができる。コンピュータシステム１２００のローカルなモデムは、電話回線を介してデータを受信し、赤外線送信機を使用してこのデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号に含めて搬送されるデータを受信することができ、適当な回路が、このデータをバス１２０２上に配置することができる。バス１２０２は、このデータをメインメモリ１２０６に搬送し、このメインメモリ１２０６からプロセッサ１２０４が命令を取り出して実行する。メインメモリ１２０６が受信した命令は、必要に応じて、プロセッサ１２０４が実行する前又は後に、記憶デバイス１２１０に格納することができる。

また、コンピュータシステム１２００は、バス１２０２に結合された通信インタフェース１２１８も含む。通信インタフェース１２１８は、ローカルネットワーク１２２２に結合されたネットワークリンク１２２０に結合する２方向データ通信を提供する。例えば、通信インタフェース１２１８は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又は対応するタイプの電話回線へのデータ通信接続を提供するモデムとすることができる。別の例示的な通信インタフェース１２１８は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードとすることができる。ワイヤレスリンクを実行することもできる。このようないずれの実施態様においても、通信インタフェース１２１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁気信号又は光信号を送信及び受信する。

ネットワークリンク１２２０は、通常は、１つ又は複数のネットワークを介してその他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク１２２０は、ローカルネットワーク１２２２を介してホストコンピュータ１２２４又はインターネットサービスプロバイダ（ＩＳＰ）１２２６によって運用されるデータ機器への接続を提供することができる。ＩＳＰ１２２６は、現在一般に「インターネット」１２２８と呼ばれるワールドワイドパケットデータ通信ネットワークを介して、データ通信サービスを提供する。ローカルネットワーク１２２２及びインターネット１２２８は両方とも、デジタルデータストリームを搬送する電気信号、電磁気信号又は光信号を使用する。コンピュータシステム１２００との間でデジタルデータを搬送する、様々なネットワークを通る信号及び通信インタフェース１２１８を通るネットワークリンク１２２０上の信号は、伝送媒体の例示的な形態である。

コンピュータシステム１２００は、１つ又は複数のネットワーク、ネットワークリンク１２２０及び通信インタフェース１２１８を介してメッセージを送信し、プログラムコードなどのデータを受信することができる。インターネットの例では、サーバ１２３０は、インターネット１２２８、ＩＳＰ１２２６、ローカルネットワーク１２２２及び通信インタフェース１２１８を介してアプリケーションプログラムの要求されたコードを伝送することもある。

受信したコードは、受信時にプロセッサ１２０４が実行することができ、かつ／或いは記憶デバイス１２１０又はその他の不揮発性記憶装置に格納して後に実行することもできる。

１０．等価形態、拡張形態、代替形態など
以上の明細書では、実施態様によって変わる可能性がある多数の具体的な詳細を参照して、本発明の例示的な実施形態について説明した。したがって、何が本発明であるか、また出願人が何を以て本発明としようと意図しているかを示す唯一かつ排他的な指標は、後のいかなる訂正も含めてこれらの特許請求の範囲がとる特定の形態における、本願から生じる特許請求の範囲である。これらの特許請求の範囲に含まれる用語について本明細書に明記した任意の定義は、特許請求の範囲で用いるそれらの用語の意味を支配するものとする。したがって、請求項に明記されていない制限、要素、性質、特徴、利点又は属性は、いかなる形でもその請求項の範囲を制限しないものとする。本明細書及び図面は、したがって、制限的なものではなく例示的なものとみなすべきものである。

Claims (15)

1. 入力視覚ダイナミックレンジ（ＶＤＲ）画像及び前記入力ＶＤＲ画像と関連する入力基本レイヤ（ＢＬ）画像を受信するステップであって、前記ＢＬ画像は標準的ダイナミックレンジ（ＳＤＲ）画像を表す、ステップと、
   少なくともフレームレベルの複数のシンタックス要素を含む、符号化関連動作のためのコード化シンタックスを生成するステップであって、前記コード化シンタックスは、複数の異なるＶＤＲバージョンのうちの１つに従い、前記複数の異なるＶＤＲバージョンは、異なるシンタックス要素を有する、ステップと、
   前記コード化シンタックスに従って、前記入力ＢＬ画像及び前記入力ＶＤＲ画像をＢＬデータ及び拡張レイヤ（ＥＬ）データに変換するステップであり、前記ＥＬデータが、前記入力ＶＤＲ画像と前記ＢＬデータに基づいて生成される予測ＶＤＲ画像との間の残差値を含み、前記複数のシンタックス要素が、前記ＢＬデータ及び前記ＥＬデータを生成するために実行される、クロマ・リサンプリング動作、ＳＤＲからＶＤＲへの逆マッピング動作、非重複領域に基づくレイヤ間予測動作、重複領域に基づくレイヤ間予測動作、剰余非線形量子化及び逆量子化動作、残差クロマ・リサンプリング動作、残差空間的アップサンプリング動作、補間のうちの１つ又は複数を指定する、ステップと、
   対応するデコーダが復号関連動作に前記コード化シンタックスを使用できるように前記コード化シンタックスのシンタックス要素を参照処理ユニット（ＲＰＵ）データに符号化するステップであり、現在のＲＰＵデータ・ユニットは、前記複数の異なるＶＤＲバージョンのうちの１つをサポートできるデータ構造を有し、前記現在のＲＰＵデータ・ユニットは、前記コード化シンタックスが従う個々のＶＤＲバージョンを示し、前記ＲＰＵデータが、現在のＲＰＵデータ・ユニットを含み、前記現在のＲＰＵデータ・ユニットが、ＲＰＵデータ・ヘッダ及びＲＰＵデータ・ペイロードを含み、前記シンタックス要素は、１又は複数のパラメータ、係数、ピボット値、フラグに対応する動作の有無を示すフラグを含む、ステップと、
   前記ＢＬデータ、前記ＥＬデータ及び前記ＲＰＵデータをＢＬ信号、ＥＬ信号及びＲＰＵ信号に含めて出力するステップと、
   を含み、
   前記現在のＲＰＵデータ・ユニットが、以前に送信されたＲＰＵデータのフレーム・レベルのシンタックス要素を再利用すべきかどうかを示すフラグを含み、前記ＲＰＵデータ内に含まれる前記コード化シンタックスによって、前記ＢＬデータ及び前記ＥＬデータに基づく前記入力ＶＤＲ画像の再構築が可能になる、方法。
2. 前記現在のＲＰＵデータ・ユニットにおいて、前記コード化シンタックスの前記複数のシンタックス要素のうちの少なくとも１つのシンタックス要素が前記現在のＲＰＵデータ・ユニットのうちの１つ又は複数のその他のパーティションから予測可能であることを示すステップをさらに含む、請求項１に記載の方法。
3. 前記現在のＲＰＵデータ・ユニットにおいて、前記コード化シンタックスの前記複数のシンタックス要素のうちの少なくとも１つのシンタックス要素が、以前の入力ＶＤＲ画像及び前記以前のＶＤＲ画像と関連する以前の入力ＢＬ画像についての１つ又は複数の以前のＲＰＵデータ・ユニットから予測可能であることを示すステップをさらに含む、請求項１に記載の方法。
4. 前記入力ＶＤＲ画像及び前記以前の入力ＶＤＲ画像が、入力ＶＤＲ画像のシーケンスに属し、前記入力ＶＤＲ画像のシーケンスが、共通の１組のシーケンスレベルのシンタックス要素のセットを共有する、請求項３に記載の方法。
5. 前記入力ＶＤＲ画像及び前記以前の入力ＶＤＲ画像が、入力ＶＤＲ画像の２つの異なるシーケンスに属し、前記２つの異なる入力ＶＤＲ画像のシーケンスのうちの第１のシーケンスが、シーケンスレベルのシンタックス要素の第１の共通のセットを共有し、前記２つの異なる入力ＶＤＲ画像のシーケンスのうちの第２のシーケンスが、前記第１の共通のセットとは異なるシーケンスレベルのシンタックス要素の第２の共通のセットを共有する、請求項３に記載の方法。
6. 前記複数のシンタックス要素のうちの少なくとも１つのシンタックス要素が、１つ又は複数のシーケンスレベル、１つ又は複数のフレームレベル或いは１つ又は複数のパーティションレベルのうちの２つ以上のシンタックス要素として使用可能である、請求項１に記載の方法。
7. 前記ＥＬデータが、入力ＶＤＲ画像のシーケンスの２つ以上の入力ＶＤＲ画像のレイヤ間参照ピクチャを含み、前記２つ以上の入力ＶＤＲ画像が、前記入力ＶＤＲ画像を含む、請求項１に記載の方法。
8. 前記入力ＶＤＲ画像が、入力色空間で符号化された画像データを含み、前記ＥＬデータが、出力色空間で符号化された画像データを含み、前記ＥＬデータが、少なくとも部分的にはマッピングされたデータに基づいて生成され、前記マッピングされたデータが、少なくとも部分的には前記ＢＬデータに基づいて生成され、前記マッピングされたデータが、マッピングされた色空間で符号化されたマッピングされた画像データを含む、請求項１に記載の方法。
9. 前記入力色空間、前記出力色空間、前記マッピングされた色空間、又はコード化色空間のうちの少なくとも２つが異なる色空間である、請求項８に記載の方法。
10. 前記入力色空間、前記出力色空間、前記マッピングされた色空間、又はコード化色空間のうちの少なくとも２つが同じ色空間である、請求項８に記載の方法。
11. 前記ＥＬデータが、第１のクロマフォーマットで符号化された画像データを含み、前記ＢＬデータが、前記第１のクロマフォーマットとは異なる第２のクロマフォーマットで符号化された画像データを含む、請求項１に記載の方法。
12. 前記ＥＬデータが、あるクロマフォーマットで符号化された画像データを含み、前記ＢＬデータが、同じクロマフォーマットで符号化された画像データを含む、請求項１に記載の方法。
13. 基本レイヤ（ＢＬ）信号、拡張レイヤ（ＥＬ）信号及び参照処理ユニット（ＲＰＵ）信号に含まれるＢＬデータ、ＥＬデータ及びＲＰＵデータを受信するステップであり、前記ＢＬデータ、前記ＥＬデータ及び前記ＲＰＵデータが共通の視覚ダイナミックレンジ（ＶＤＲ）ソース画像と関連づけられ、前記ＥＬデータが、前記ＶＤＲソース画像と前記ＢＬデータに基づいて生成される予測ＶＤＲ画像との間の残差値を含み、前記ＢＬデータは標準的ダイナミックレンジ（ＳＤＲ）画像を表す、ステップと、
    前記ＲＰＵデータを復号して、少なくともフレームレベルの複数のシンタックス要素を含むコード化シンタックスにするステップであって、前記コード化シンタックスは、複数の異なるＶＤＲバージョンのうちの１つに従い、前記複数の異なるＶＤＲバージョンは、異なるシンタックス要素を有し、前記ＲＰＵデータが、現在のＲＰＵデータ・ユニットを含み、前記現在のＲＰＵデータ・ユニットから、前記コード化シンタックスが従う個々のＶＤＲバージョンを決定し、前記複数のシンタックス要素が、前記ＢＬデータ及び前記ＥＬデータを生成するために実行される、クロマ・リサンプリング動作、ＳＤＲからＶＤＲへの逆マッピング動作、非重複領域に基づくレイヤ間予測動作、重複領域に基づくレイヤ間予測動作、剰余非線形量子化及び逆量子化動作、残差クロマ・リサンプリング動作、残差空間的アップサンプリング動作、補間のうちの１つ又は複数を指定する、ステップと、
    前記コード化シンタックスに従って前記ＢＬデータ及び前記ＥＬデータを再構築したＶＤＲ画像に変換するステップであり、現在のＲＰＵデータ・ユニットは、前記複数の異なるＶＤＲバージョンのうちの１つをサポートできるデータ構造を有し、前記シンタックス要素は、１又は複数のパラメータ、係数、ピボット値、フラグに対応する動作の有無を示すフラグを含み、前記現在のＲＰＵデータ・ユニットが、ＲＰＵデータ・ヘッダ及びＲＰＵデータ・ペイロードを含み、前記現在のＲＰＵデータ・ユニットが、以前に送信されたＲＰＵデータのフレーム・レベルのシンタックス要素を再利用すべきかどうかを示すフラグを含み、前記ＲＰＵデータ内に含まれる前記コード化シンタックスによって、前記ＢＬデータ及び前記ＥＬデータに基づく前記再構築したＶＤＲ画像の決定が可能になるステップと、
    前記再構築したＶＤＲ画像を出力するステップとを含む、方法。
14. 請求項１から１２に記載の方法のいずれかを実行するエンコーダ。
15. 請求項１３に記載の方法を実行するデコーダ。

Images