JP2011509536A - レイヤー間（ｉｎｔｅｒ−ｌａｙｅｒ）画像予測パラメータを決定するための方法及び装置 - Google Patents

Abstract

本発明の側面は、低ダイナミックレンジ画像データから高ダイナミックレンジ画像データを予測する際に用いられる予測パラメータを予測するシステム及び方法に関する。このシステム及び方法によれば、複数の低ダイナミックレンジ（ＬＤＲ）画像データを受信し、該複数のＬＤＲ画像データに基づいて予測された第１高ダイナミックレンジ（ＨＤＲ）予測パラメータ値を生成し、上記複数のＬＤＲ画像データからＬＤＲ画像値を抽出し、上記予測された第１ＨＤＲ予測パラメータ値と、上記ＬＤＲ画像値とを用いて、ＨＤＲ画像エレメント予測を形成する。この方法は、記録媒体に格納されたコンピュータプログラムを含み得る装置によるものも含む。
【選択図】図３

Description

本発明の実施形態は、レイヤー間画像予測のための方法及びシステムを含む。

一般に、低ダイナミックレンジ（ＬＤＲ）ビデオシーケンスを用いて、高ダイナミックレンジ（ＨＤＲ）を予測するシステム及び方法が存在する。これらは、レイヤー間予測と呼ばれ、ＨＤＲビデオコーディングのレイヤー間予測メカニズムを含み得る。

高ダイナミックレンジビデオコーディングのためのレイヤー間予測に類似した処理に、ビット深度スケーラビリティのためのレイヤー間予測がある。ビット深度スケーラビリティのために、ビデオビットストリームのベースレイヤーは、ビット深度を減少させたビデオシーケンスの表現を含んでいてもよい。例えば、ベースレイヤーがシーケンスの８ビット表現を含み、その一方で、このビットストリームのエンハンスメントレイヤーが１０ビットの表現を含んでいてもよい。また、２つより多くのレイヤーを用いるシナリオがあってもよい。さらに、８ビット版が、より高いビット深度のシーケンスにおける最上位の８つのビットを表現するシナリオがあってもよい。このため、より高いビット深度の版は、デコードされたより低いビット深度のデータに対して乗算を行い（または同等のスケーリングを行い）より高いビット深度とすることで、予測されてもよい。この特定の例では、８ビットのデータは、デコードされ、続いて４倍にスケーリングされて、１０ビットのデータが予測される。このスケーリングは、アプリケーションに応じて、輝度(intensity)または変換(transform)ドメインで行ってもよい。

高ダイナミックレンジビデオコーディングは、ビット深度スケーラビリティのより一般的な事例と考えてもよい。ベースレイヤー及びエンハンスメントレイヤーは、異なるビット深度を示すデータを含んでいてもよい。ベースレイヤーのデータは、高ダイナミックレンジシーケンスのより低いビット深度を示すデータを含んでいてもよく、このより低いビット深度は、対応するより高いビット深度表現における最上位のビット(most significant bits)に必ずしも一致していなくともよい。

米国特許出願公開第２００７／０２２３８１３号明細書 米国特許出願公開第２００７／０２０１５６０号明細書

本発明の実施形態には、複数のダイナミックレンジレイヤーを含む画像を予測するための方法及びシステムが含まれる。また、本発明の実施形態には、低ダイナミックレンジ（ＬＤＲ）画像データから高ダイナミックレンジ画像データを予測するために使用することができるＨＤＲ予測パラメータを決定するための方法及びシステムが含まれる。さらに、本発明の実施形態では、ＨＤＲ予測パラメータを、デコードされたＬＤＲ画像データの解析結果に基づいて予測してもよい。また、本発明の実施形態では、ＨＤＲ予測パラメータを、先に送信した画像フレームに対応するＨＤＲ予測パラメータから予測してもよい。

本発明の実施形態を説明するものであり、スケーリング及びオフセットされたＬＤＲ画像エレメントを用いた予測を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲ予測のための、デコードされた画像エレメントのスケーリング及びオフセットを含む図である。 本発明の実施形態を説明するものであり、代替（alternative）の色空間への変換を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲビットストリームデータに従った、ＬＤＲ画像エレメントのスケーリングを含む図である。 本発明の実施形態を説明するものであり、ＨＤＲビットストリームデータに従った、ＬＤＲ画像エレメントに対するスケーリング及びオフセットの適用を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲ予測のためのＬＤＲ変換係数のスケーリングを含む図である。 本発明の実施形態を説明するものであり、ＨＤＲ予測のための、ＬＤＲ変換係数に対するオフセットの適用を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲ予測のための、ＬＤＲ変換係数に対するスケーリング、及びＬＤＲ変換係数に対するオフセットの適用を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲ予測のための、色変換された画像エレメントに対する、スケーリング及びオフセットの適用を含む図である。 本発明の実施形態を説明するものであり、輝度要素及びクロミナンス要素のための、分離した(separate)スケーリング演算及びオフセット演算を含む図である。 本発明の実施形態を説明するものであり、スケールパラメータ値を予測するための、スケールマッピングパラメータの使用を含む図である。 本発明の実施形態を説明するものであり、オフセットパラメータ値を予測するための、オフセットマッピングパラメータの使用を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲエンハンスメントレイヤーのビットストリームの一部として受信した残差値（residual value）に基づいた、予測スケールパラメータ値の訂正（correcting）を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲエンハンスメントレイヤーのビットストリームの一部として受信した残差値に基づいた、予測オフセットパラメータ値の訂正を含む図である。 本発明の実施形態を説明するものであり、スケールパラメータ値の予測のためのスケール対応標識（scale correspondence indicator）を含む図である。 本発明の実施形態を説明するものであり、オフセットパラメータ値の予測のためのオフセット対応標識を含む図である。 本発明の実施形態を説明するものであり、前画像フレームの格納されたＨＤＲ予測パラメータ値にインデックスを付けるためにＨＤＲ予測パラメータ対応標識を用い、現在のＨＤＲ予測パラメータ値の予測を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲエンハンスメントレイヤービットストリームの一部として受信した残差値に基づいた、予測したＨＤＲ予測パラメータ値の訂正を含む図である。 本発明の実施形態を説明するものであり、ＨＤＲエンハンスメントレイヤービットストリームの一部として受信した残差値に基づいた、動きベクトル対応値（motion vector correspondence value）の訂正を含む図である。

本発明の実施形態は、低ダイナミックレンジ（ＬＤＲ）のビデオシーケンスを用いて、その画像データの高ダイナミックレンジ（ＨＤＲ）版を予測するシステム及び方法を含む。本出願において、この予測をレイヤー間予測とも呼ぶ。また、本発明の実施形態は、ＨＤＲビデオコーディングのための空間的に変化する（spatially-varying）レイヤー間予測メカニズムを含む。そして、本発明の実施形態は、ビデオの圧縮及び送信に用いられる色空間で演算を行う、ＨＤＲビデオコーディングのためのレイヤー間予測メカニズムを含む。本発明の実施形態は、ガンマ補正された色空間を用いる。典型的な実施形態として、ｘｖＹＣＣ及びＹＣｂＣｒ色空間を用いてもよい。また、本発明の実施形態は、空間的に無効化（disabled spatially）できるＨＤＲビデオコーディングのためのレイヤー間予測メカニズムを含む。そして、本発明の実施形態は、乗算不要の（multiplication free）ＨＤＲビデオコーディングのためのレイヤー間予測メカニズムを含む。さらに、本発明の実施形態は、シングルループデコーダで用いられるＨＤＲビデオコーディングのためのレイヤー間予測メカニズムを含む。また、本発明の実施形態は、マルチループの態様に含まれてもよい。

本発明の実施形態は、高ダイナミックレンジビデオコーディングのためのレイヤー間予測技術を含む。また、本発明の実施形態は、クリストファー・アンドリュー・セガール（Christopher Andrew Segall）が２００６年２月２４日に出願した米国特許出願公開第２００７／０２２３８１３号（出願番号：１１／３６２５７１）明細書に記載された要素を含むという側面を有している。この明細書の内容は、参照により本明細書に含まれる。また、本発明の実施形態は、デコードされた低ダイナミックレンジデータを高ダイナミックレンジコーディング空間に投影する方法を含む。

ここで、本発明の実施形態について、図１Ａを参照して説明する。この実施形態では、高ダイナミックレンジ（ＨＤＲ）画像が受信される（１００）。また、対応する１または複数の低ダイナミックレンジ（ＬＤＲ）画像も受信される。なお、ＬＤＲ画像は、上記ＨＤＲ画像から生成してもよい（１０１）。１０１では、トーンスケール演算（tone-scale operation）、変換関数（conversion function）、またはその他の方法でＬＤＲ画像を生成することができる。次に、ＬＤＲ画像を、この分野で公知のように、予測、変換、量子化、及びエンコードする（１０２）。ＬＤＲ画像は、離散コサイン変換、ウェーブレット変換、または他の一般的な変換方法で変換してもよい。続いて、予測、変換、量子化、及びエンコードの処理を、実質的に逆転して（１０３）、一般的なデコーダでデコードされるように、デコードされたＬＤＲ画像を生成する。一般に、逆量子化（de-quantization）処理では損失が発生するので、オリジナルのエンコード画像の正確なコピーは生成されない。また、他の処理もオリジナルのＬＤＲ画像の再生に影響を与える。ともかく、デコードＬＤＲ画像は、以下の処理、すなわち、色変換、スケーリング（１０４）、及びオフセット（１０５）の１つまたは複数に供される。ここで、デコードされ、処理されたＬＤＲ画像は、残差（residual）ＨＤＲ画像の生成に用いられる。これは、オリジナルのＨＤＲ画像から、デコードされ、処理されたＬＤＲ画像を減算することによって行われてもよい。また、他の方法を用いてもよい。

次に、残差ＨＤＲ画像を、送信先（destination）に送信するために変換、量子化、及びエンコードされる（１０７）か、もしくは、予め用意される。このステップにおいて、ＨＤＲまたはエンハンスメントレイヤーのビットストリームにエンコードされた残差ＨＤＲ画像を埋め込む処理を含む実施形態であってもよい。ＨＤＲまたはエンハンスメントレイヤーのビットストリームには、色変換、スケーリング、及びオフセット処理に関連する情報もエンコードして埋め込んでもよい（１０８）。続いて、ＨＤＲ／エンハンスメントレイヤーのビットストリームを送信先に送信する（１０９）。また、ＬＤＲ／ベースレイヤーのビットストリームも送信先に送信する（１１０）。ＬＤＲ／ベースレイヤーのビットストリームが、変換、量子化、及びエンコードされたＬＤＲ画像を含む実施形態であってもよい。

次に、ＬＤＲ／ベースレイヤーのビットストリームを受信したデコーダは、そのＬＤＲ／ベースレイヤーの画像をデコードする。ＬＤＲ／ベースレイヤーのビットストリームと、ＨＤＲ／エンハンスメントレイヤーのビットストリームとを受信したデコーダは、ＬＤＲ／ベースレイヤーの画像と、ＨＤＲ／エンハンスメントレイヤーの画像とをデコードする。本発明の実施形態は、このような枠組み及び類似のシナリオで画像をエンコード及びデコードする方法及びシステムを含む。

本発明の実施形態について、図１Ｂを参照して説明する。この実施形態では、ベースレイヤーデコーダが、ベースレイヤービットストリーム２のようなベースレイヤーデータを受信する。ベースレイヤーデコーダは、ベースレイヤーブロック６または他の画像エレメントをデコードし、それを空間ドメインで表す。予測処理とそれに続く残差修正（residual refinement）とを含む、上記ブロックの全デコードを行う実施形態であってもよい。また、残差の再構成のみを含む実施形態であってもよい。そして、ベースレイヤーの空間情報を、高ダイナミックレンジ信号を予測するために用いる実施形態であってもよい。また、ベースレイヤー情報のスケーリング７を含む実施形態であってもよい。さらに、ベースレイヤー情報に対するオフセット８の加算を含む実施形態であってもよい。また、スケーリング７とオフセット８の加算の両方を含む実施形態であってもよい。ここで、デコードされたベースレイヤー情報に対するスケーリング及び／またはオフセット８の加算が行われると、スケーリングされ、オフセットされた情報は、より高いダイナミックレンジ（ＨＤＲ）レイヤーのような、エンハンスメントレイヤーの予測９に用いられる。また、ある実施形態では、スケーリング７及びオフセット８のデータを、エンハンスメントレイヤービットストリーム４から抽出してもよい。そして、ある実施形態では、予測処理に続く修正は、エンハンスメントレイヤービットストリーム４からデコードされてもよい。

本発明の実施形態について、図２を参照して説明する。この実施形態では、デコーダは、ブロックまたは他の画像エレメントからベースレイヤーデータ１０を受信し、ベースレイヤーデータ１０を、空間画像データにデコードする（１２）。続いて、この空間画像データを、代替の色空間に変換する（１３）。次に、変換されたこのデータを、スケーリング（１４）及び／またはオフセット（１５）する。スケーリング及びオフセットの処理は、エンハンスメントビットストリーム１１からの指示及び／またはデータに従って行ってもよい。続いて、変換され、スケーリング及び／またはオフセットされたこのデータを、コーディング色空間（coding color space）に戻す変換を行う（１６）。ここでコーディング色空間に戻した、スケーリング及び／またはオフセットされたデータは、より高いダイナミックレンジ（ＨＤＲ）レイヤーのようなエンハンスメントレイヤーの予測に用いてもよい。

本発明の実施形態について、図２を参照して説明する。この実施形態では、デコーダは、ブロックまたは他の画像エレメントからベースレイヤーデータ１０を受信し、ベースレイヤーデータ１０を空間画像データにデコードする（１２）。続いて、この空間画像データを、代替の色空間に変換する（１３）。次に、変換されたこのデータを、スケール（１４）及び／またはオフセット（１５）する。スケーリング及びオフセットの処理は、エンハンスメントビットストリーム１１からの指示及び／またはデータに従って行ってもよい。続いて、変換され、スケール及び／またはオフセットされたこのデータを、コーディング色空間に戻す変換を行う（１６）。ここでコーディング色空間に戻したスケール及び／またはオフセットされたデータは、より高いダイナミックレンジ（ＨＤＲ）レイヤーのようなエンハンスメントレイヤーの予測に用いてもよい。

本発明の実施形態について、図３を参照して説明する。この実施形態では、ＬＤＲ／ベースレイヤー画像データを受信し（３０）、対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（３１）。次に、ＬＤＲ／ベースレイヤーブロックまたは他の画像エレメントを、ＬＤＲ／ベースレイヤーデータからデコードする（３２）。続いて、デコードされたＬＤＲ／ベースレイヤー画像エレメントをスケーリングする（３３）。このスケーリングは、ＨＤＲ／エンハンスメントレイヤーデータに埋め込まれたデータに基づいて行ってもよい。個々の画像エレメントのスケーリングは、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に関連するものであってもよいし、画像特性の関数であってもよい。次に、スケーリングされ、デコードされたＬＤＲ／ベースレイヤー画像エレメントを用いて、対応するＨＤＲブロックまたは他の画像エレメントの予測を行う（３４）。ある実施形態では、スケーリングされ、デコードされたＬＤＲ／ベースレイヤー画像エレメントを、対応するデコードされた残差画像のエレメントに加算して、ＨＤＲ／エンハンスメントレイヤーの（残差が訂正された：residually-corrected）画像エレメントを形成してもよい。

本発明の実施形態について、図４を参照して説明する。この実施形態では、ＬＤＲ／ベースレイヤー画像データを受信し（４０）、対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（４１）。次に、ＬＤＲ／ベースレイヤーブロックまたは他の画像エレメントを、ＬＤＲ／ベースレイヤー画像データからデコードする（４２）。続いて、デコードしたＬＤＲ／ベースレイヤー画像エレメントをスケーリングしてもよい（４３）。このスケーリングは、ＨＤＲエンハンスメントレイヤーデータに埋め込まれたデータに基づいて行ってもよい。個々の画像エレメントのスケーリングは、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に関連するものであってもよいし、画像特性の関数であってもよい。次に、スケールしたＬＤＲ画像エレメントにオフセットを加算してもよい（４４）。オフセットデータは、対応するＨＤＲ／エンハンスメントレイヤーデータ中に含めて搬送し（be carried in）てもよい。また、オフセットデータは、画像エレメント間で変化してもよいし、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に依存してもよい。

次に、スケーリングされ、オフセットされ、デコードされたＬＤＲ／ベースレイヤー画像を用いて、対応するＨＤＲブロックまたは他の画像エレメントの予測を行ってもよい（４５）。また、ある実施形態では、スケーリングされ、オフセットされ、デコードされたＬＤＲ／ベースレイヤー画像エレメントを、対応するデコードされた残差画像エレメントに加算してＨＤＲ／エンハンスメントレイヤー画像エレメントを形成してもよい。

本発明の実施形態について、図５を参照して説明する。この実施形態では、ＬＤＲ変換係数を含むＬＤＲ／ベースレイヤー画像を受信し（５０）、また対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（５１）。次に、ＬＤＲ／ベースレイヤー画像の変換係数をスケーリングする（５２）。このスケーリングは、ＨＤＲ／エンハンスメントレイヤーデータに埋め込まれたデータに基づいて行ってもよい。ＬＤＲ変換係数のスケーリングは、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に関連するものであってもよいし、画像特性の関数であってもよい。次に、スケーリングされたＬＤＲ／ベースレイヤー変換係数を用いて、対応するＨＤＲブロックまたは他の画像エレメントのための変換係数を予測してもよい（５３）。

本発明の実施形態について、図６を参照して説明する。この実施形態では、ＬＤＲ変換係数を含むＬＤＲ／ベースレイヤー画像を受信し（６０）、また対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（６１）。次に、ＬＤＲ／ベースレイヤー画像変換係数をオフセットしてもよい（６２）。オフセットデータは、対応するＨＤＲ／エンハンスメントレイヤーデータ中に含めて搬送してもよい（６１）。オフセットデータは、画像エレメント間で変化してもよいし、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に依存してもよい。次に、オフセットされたＬＤＲ／ベースレイヤー変換係数を用いて、対応するＨＤＲブロックまたは他の画像エレメントのための変換係数を予測してもよい（６３）。

本発明の実施形態について、図７を参照して説明する。この実施形態では、ＬＤＲ変換係数を含むＬＤＲ／ベースレイヤー画像を受信し（７０）、また対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（７１）。次に、ＬＤＲ／ベースレイヤー画像の変換係数をスケーリングする（７２）。このスケーリングは、ＨＤＲ／エンハンスメントレイヤーデータに埋め込まれたデータに基づいて行ってもよい。ＬＤＲ変換係数のスケーリングは、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に関連するものであってもよいし、画像特性の関数であってもよい。次に、スケーリングされたＬＤＲ／ベースレイヤー変換係数をオフセットしてもよい（７３）。オフセットデータは、対応するＨＤＲ／エンハンスメントレイヤーデータ中に含めて搬送してもよい（７１）。オフセットデータは、画像エレメント間で変化してもよいし、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に依存してもよい。次に、スケーリングされ、オフセットされたＬＤＲ／ベースレイヤー変換係数を用いて、対応するＨＤＲブロックまたは他の画像エレメントのための変換係数を予測してもよい（７４）。

本発明の実施形態について、図８を参照して説明する。この実施形態では、ＬＤＲ/ベースレイヤー画像データを受信し（８０）、対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（８１）。次に、ＬＤＲ／ベースレイヤーブロックまたは画像エレメントを、ＬＤＲ／ベースレイヤー画像データからデコードする（８２）。そして、デコードしたＬＤＲ／ベースレイヤー画像エレメントをコンバートすなわち変換して代替の色フォーマットすなわち色空間を生成してもよい（８３）。この代替の色空間において、ＬＤＲ画像エレメントをスケーリングしてもよい（８４）。このスケーリングは、ＨＤＲ／エンハンスメントレイヤーデータに埋め込まれたデータに基づいて行ってもよい。個々の画像エレメントのスケーリングは、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に関連するものであってもよいし、画像特性の関数であってもよい。また、この代替の色空間において、スケーリングされ、色変換されたＬＤＲ画像エレメントにオフセットを加算してもよい（８５）。オフセットデータは、対応するＨＤＲ／エンハンスメントレイヤーデータ中に含めて搬送してもよい。オフセットデータは、画像エレメント間で変化してもよいし、画像の特性（空間位置、輝度データ、クロミナンスデータ、及び他のデータを含む）に依存してもよい。

続いて、スケーリング及び／またはオフセットされ、色変換されたＬＤＲ／ベースレイヤー画像をコーディング色空間に逆変換（convert back）してもよい（８６）。そして、このスケーリング及び／またはオフセットされた、コーディング色空間のＬＤＲ／ベースレイヤー画像を用いて、対応するＨＤＲブロックまたは画像エレメントを予測してもよい（８７）。

本発明の実施形態について、図９を参照して説明する。この実施形態では、ＬＤＲ/ベースレイヤー画像データを受信し（９０）、対応するＨＤＲ／エンハンスメントレイヤーデータも受信する（９１）。次に、ＬＤＲ／ベースレイヤーブロックまたは画像エレメントを、ＬＤＲ／ベースレイヤー画像データからデコードする（９２）。この実施形態では、デコードされたＬＤＲ／ベースレイヤー画像は、分離可能な（separable）輝度値及びクロミナンス値を含んでいてもよい。また、ある実施形態では、画像中の空間位置との関係から輝度値をスケーリングしてもよい（９３）。さらに、輝度値のスケーリング処理では、他の因子の影響があってもよい。また、ある実施形態では、これらの輝度値をオフセットしてもよい（９４）。また、オフセット処理は、輝度値の空間配置に関連付けられていてもよい。また、ある実施形態では、デコードされたＬＤＲ／ベースレイヤー画像のクロミナンス値をスケーリングしてもよい（９５）。また、クロミナンスのスケーリングは、クロミナンス値の空間配置に関連付けられていてもよい。そして、ある実施形態では、クロミナンス値についてもオフセットしてもよい（９６）。クロミナンス値のオフセットは、輝度値のオフセット、クロミナンス値、またはスケーリングファクター、及び／またはクロミナンス値の空間配置に関連付けられていてもよい。また、他の因子もクロミナンスのオフセットに影響を与えてもよい。

ここで、輝度値及びクロミナンス値が、スケーリングされ、及び／またはオフセットされた後は、これらを用いて、対応するＨＤＲ／エンハンスメントレイヤー画像エレメントの予測を行ってもよい（９７）。

本発明の実施形態では、レイヤー間予測処理を、微細な単位（粒度：fine granularity）で制御してもよい。特定の例では、スケーリング及びオフセットのファクターは、４×４のブロックをベースとして変化してもよい。つまり、エンコーダは、画像の全ての４×４のブロックについて、適切なスケーリング及びオフセットのファクターを信号で伝達（signal）してもよい。さらに、エンコーダは、ブロック単位で、レイヤー間予測を可能にしたり不可能にしたりしてもよい。これにより、例えば、フレームの一部で低ダイナミックレンジ画像から高ダイナミックレンジ画像を予測する一方、他の空間領域で代替メカニズムによる予測を行うことが可能になる。特に、フレーム内予測メカニズム及びフレーム間予測メカニズムは、上記のような他の空間領域に用いてもよい。

〔スケーリングの例を示す実施形態〕
本発明の実施形態は、乗算不要のレイヤー間予測方法を含む。このような実施形態では、ベースレイヤーデータは、デコードされ、デコードされたサンプルは、バイナリのシフト及び加算から成る一連の処理に供される。ある実施形態では、数式（１）で示される処理によってこれを実現してもよい。

ＨＤＲとＬＤＲは、画像シーケンスのそれぞれ高ダイナミックレンジ及び低ダイナミックレンジ版であり、ｘ及びｙは、画像フレーム中における空間位置を示し、ａ_ｉは、セット｛−１，０，１｝に属するバイナリ標識である。ある実施形態では、ｉ＝｛０，１，２，３｝を選択してもよい。

〔スケーリングの他の例を示す実施形態〕
レイヤー間予測の実施形態は、レイヤー間予測処理におけるオフセットを含んでいてもよい。ある実施形態では、数式（２）で示される処理を含んでいてもよい。

Ｏｆｆｓｅｔ（ｘ，ｙ）は、オフセット値である。ある実施形態では、オフセット値は、スケーリング値と共に信号で伝達してもよい。また、残差修正処理の一部として信号で伝達してもよい。

〔空間適応性（Spatial Adaptivity）〕
ある実施形態では、予測処理の制御は、微細な単位（粒度）で可能になってもよい。例えば、ベースレイヤービデオのコーデックが、ブロックベースの構造を用いている場合には、レイヤー間予測処理は、類似したブロックグリッド上でスケーリング及びオフセットのパラメータを変化させてもよい。また、ある実施形態では、エンコーダからデコーダへ、エンハンスメントビットストリームによって、スケーリング及び／またはオフセット情報を送信することによって、これを実現してもよい。

信号伝達を行う或る実施形態では、スケールファクターは、差動伝送してもよい。つまり、スケールファクターは、前に受信したスケールファクターから予測してもよい。そして、訂正は、ビットストリームで送信してもよい。ある実施形態では、現在のブロックの上側または左側の最近隣（upper- or left-most neighbor）から、スケールファクターを予測してもよい。また、ある実施形態では、スケールファクターを、上側または左側の最近隣の最小値と予測してもよい。

さらに、ある実施形態では、エンコーダは、上側または左側の最近隣の関数として、訂正値を信号で伝達してもよい。例えば、エンコーダ及びデコーダは、上記最近隣が同じスケールファクターを有している場合に、信号伝達のための特定のコンテキストまたは状態（state）を用いてもよい。そして、上記最近隣が異なるスケールファクターを有している場合には、別の状態を用いてもよい。

〔高レベルシンタックス〕
本発明の実施形態は、画像領域の全体が同じスケールファクターである高ダイナミックレンジビデオコーディングを含む。このようなケースに適合させるため、エンコーダからデコーダに高レベル情報（high-level information）を送信してもよい。この高レベル情報は、スケーリング及び／またはオフセットのパラメータを、ブロックごとまたは領域ごとの単位で送信することを不可能にするものであってもよい。パラメータの送信が不可能となった場合、高レベル情報が、使用するスケーリング及び／またはオフセット情報を含んでいてもよい。ある実施形態では、この高レベル信号伝達が、マクロブロック単位、スライス単位、ピクチャー単位、またはシーケンス単位で発生してもよい。

〔ドメイン変換処理〕
本発明の実施形態では、レイヤー間予測処理は、輝度データに基づいて行われる。つまり、情報は、信号伝達に用いられる任意の変換を逆変換することによって、デコードして空間ドメインに変換してもよい。代替の予測の実施形態では、スケーリング及びオフセットの処理は、変換ドメインにおいて直接適用してもよい。このような実施形態では、変換係数を脱量子化し、その後、スケールファクターでスケーリングしてもよい。また、ある実施形態では、変換係数にその周波数特性に応じた異なる処理を施してもよい。例えば、ある実施形態では、スケーリング処理をＡＣ係数にのみ適用し、オフセット処理がＤＣ成分に影響を与えるようにしてもよい。また、ある実施形態では、異なる係数または係数のタイプのために、異なるスケーリング演算及びオフセット演算を信号で伝達してもよい。

本発明の実施形態は、変換ドメインと空間ドメイン予測メカニズムとを適応的に切り替えるビデオコーデックを含んでいてもよい。また、ある実施形態では、この切り替えを、シーケンス単位、フレーム単位、またはスライス単位で信号伝達してもよい。さらに、ある実施形態では、ブロックまたはマクロブロックのような、より微細な単位でこの切り替えを行ってもよい。

〔色及び色空間の問題〕
スケーラブルな高ダイナミックレンジビデオのコーディングにおける問題は、色の管理である。本発明の実施形態では、レイヤー間予測の前に色変換を用いてもよい。このことは、ビデオコーディングに用いられる色空間の大部分は、輝度が等しくない（iso-luminant）という事実を強調している。例えば、ビデオコーデックは、一般にＹＣｂＣｒ色空間で、国際遠隔通信連合（International Telecommunication Union）の「国際的なプログラムの互換性のための、ＨＤＴＶ規格のパラメータ値」ＴＵ−Ｒ ＢＴ．７０９−５，２００２年４月に規定される、コードワードマッピング（code-word mappings）を用いてデータの送信を行う。

本発明の実施形態では、コーディング色空間に密接に関連する色空間でレイヤー間予測処理を実行してもよい。ある実施形態では、色変換は、下記の数式（３）で表される。

Ｙ_ＬＤＲ、Ｃｂ_ＬＤＲ、及びＣｒ_ＬＤＲは、それぞれ低ダイナミックレンジ画像シーケンスにおける輝度成分及び彩度成分である。次に、Ｙ_ＬＤＲにスケーリング及びオフセット処理を適用して、Ｙ_ＨＤＲを生成する。そして、下記の数式（４）により、インター予測領域（inter-predicted region）を計算することができる。

Ｃｂ_ＨＤＲ及びＣｒ_ＨＤＲは、高ダイナミックレンジレイヤーの彩度成分の予測値である。

Ｙ_ＬＤＲ、Ｃｂ_ＬＤＲ、及びＣｒ_ＬＤＲが同じ解像度を示していない実施形態では、成分はリサンプルしてもよい。また、ある実施形態では、彩度成分が低い解像度で格納されているときには、アプリケーションは、輝度成分をダウンサンプリングしてもよい。また、輝度成分と解像度が合うように、彩度成分をアップサンプリングしてもよい。

〔代替の色及び色空間の問題〕
本発明の実施形態では、色変換を行うことなく、直接デコードデータにレイヤー間予測処理を行ってもよい。また、ある実施形態では、予測処理は、下記の数式（５）で表される。

スケーリング及びオフセットのパラメータは、空間位置及び彩度成分の両方の関数となっている。すなわち、再構成された輝度及び彩度の値は、異なるスケールファクターでスケーリングしてもよい。

インター予測処理の例において、輝度及び彩度の値は、同一のスケールファクターでスケーリングしてもよいが、オフセットは異なるものを用いる。これは、下記の数式（６）で表される。

これらの実施形態において、スケールファクターは、彩度成分に依存しなくともよい。また、ある実施形態では、エンコーダは、オフセットをエンハンスメントレイヤービットストリームと共に送信してもよい。

インター予測処理の他の実施形態では、輝度及び彩度の値は、同一のスケールファクターでスケーリングしてよく、彩度値のオフセットは、デコードされた画像データと同様に、輝度値のオフセットに依存してもよい。この関係は、下記の数式（７）で表される。

ｆ（・,・,・）は、マッピング処理を表す。

マッピング処理の一例は、数式（８）で表される。

Ａ_ＬＤＲ（ｘ，ｙ）は、ＣｂやＣｒのような任意の色成分を示す。

また、ある実施形態では、彩度や輝度要素は異なるサンプリンググリッドで表現されてもよい。それらの実施形態の一部では、彩度データ及び輝度データをリサンプリングして同じ解像度にしてもよい。そして、ある実施形態では、異なるマッピング処理を適用してもよい。また、ある実施形態では、マッピングの関係は、数式（９）で示されるようなものであってもよい。

Ａｖｇ（・）は、平均演算子を示す。他の実施形態では、平均の代わりに合計演算（summation operation）を行ってもよい。また、さらに他の実施形態では、メジアン、最小値、最大値処理のような非線形処理が有効であることもある。

ある実施形態では、平均演算子またはその代替の演算子による演算は、変数Ｏｆｆｓｅｔの属するドメインとは異なるドメインで実行してもよい。また、ある実施形態では、ＤＣ係数上でのみ演算を行うことによって、平均演算を変換ドメイン上で実行してもよい。同様に、彩度と輝度の空間解像度が一致しない実施形態では、輝度ベースレイヤーにおける複数のＤＣ係数を分析することによって、平均演算を実行してもよい。

〔高ダイナミックレンジ予測パラメータの決定〕
本発明の実施形態は、高ダイナミックレンジ（ＨＤＲ）予測パラメータのための予測値を決定するエレメントを含んでいてもよい。本発明のある実施形態は、予測されたＨＤＲ予測パラメータ値を修正（refining）するためのエレメントを含んでいてもよい。典型的なＨＤＲ予測パラメータには、スケールパラメータ、オフセットパラメータ、及び低ダイナミックレンジ（ＬＤＲ）画像データからＨＤＲ画像データを予測する際に用いられる他のパラメータが含まれる。このセクションで説明する実施形態では、スケールパラメータ及びオフセットパラメータとの関係を述べるが、当業者であれば、これらの記載における方法及びシステムを、他のＨＤＲ予測パラメータ値の決定に用いることができることを理解できるであろう。つまり、これらの記述は、例示であって限定ではない。

本発明の実施形態では、デコードされた低ダイナミックレンジ（ＬＤＲ）画像データを解析することによって導出したスケールパラメータで、予測スケールパラメータを決定してもよい。これらの実施形態を図１０に関連付けて説明する。ＬＤＲ画像データを受信し（１２０）、このＬＤＲ画像データからスケールマッピングパラメータを導出する（１２２）。このスケールマッピングパラメータを、スケールパラメータ予測にマッピングしてもよい（１２４）。ある実施形態では、マッピング（１２４）は、候補となるスケールパラメータ値のルックアップテーブルへのインデックスとしてスケールマッピングパラメータを使用することを含んでいてもよい。本発明のこれらの実施形態では、候補スケールパラメータ値のルックアップテーブルは、ビットストリームを用いてデコーダに信号伝達してもよいし、デフォルトのルックアップテーブルとしてデコーダに格納しておいてもよいし、別の方法でデコーダに信号伝達してもよい。代替の実施形態では、スケールマッピングパラメータを、スケールパラメータ生成関数で使用してもよい。本発明のこれらの実施形態では、スケールパラメータ生成関数は、ビットストリームを用いてデコーダに信号伝達してもよいし、デコーダにデフォルトの生成関数として格納しておいてもよいし、別の方法でデコーダに信号伝達してもよい。

本発明の実施形態では、スケールパラメータは、輝度スケールパラメータとクロミナンススケールパラメータとを含んでいてもよい。これらの実施形態では、スケールマッピングパラメータは、予測輝度スケールパラメータを決定するための輝度−スケールパラメータのルックアップテーブルを示すものであってよく、また、予測クロミナンススケールパラメータを決定するためのクロミナンス−スケールパラメータのルックアップテーブルを示すものであってもよい。代替の実施形態では、２つのスケールマッピングパラメータ、すなわち、輝度スケールマッピングパラメータとクロミナンススケールマッピングパラメータとを生成する。これらの実施形態では、２つの異なるマッピングパラメータが、同じルックアップテーブルを示してもよい。代替の実施形態では、輝度スケールマッピングパラメータとクロミナンススケールマッピングパラメータは、それぞれ輝度−スケールパラメータのルックアップテーブルと、クロミナンス−スケールパラメータのルックアップテーブルを示すものであってもよい。

本発明の代替の実施形態では、スケールパラメータは、輝度スケールパラメータとクロミナンススケールパラメータとを含んでいてもよく、スケールマッピングパラメータを輝度−スケールパラメータ生成関数で使用して、予測輝度スケールパラメータを生成してもよい。また、スケールマッピングパラメータをクロミナンス−スケールパラメータ生成関数で使用して、予測クロミナンススケールパラメータを生成してもよい。本発明のさらなる代替の実施形態では、スケールパラメータは、輝度スケールパラメータとクロミナンススケールパラメータとを含んでいてもよく、２つのマッピングパラメータ、すなわち輝度スケールマッピングパラメータ及びクロミナンススケールマッピングパラメータを生成してもよい。これらの代替の実施形態では、２つの異なるマッピングパラメータを、同じスケールパラメータ生成関数で使用して、２つのスケールパラメータ、すなわち予測輝度スケールパラメータ及び予測クロミナンススケールパラメータを生成してもよい。さらに代替の実施形態では、輝度スケールマッピングパラメータを、輝度−スケールパラメータ生成関数で使用して、予測輝度スケールパラメータを生成し、クロミナンススケールマッピングパラメータをクロミナンス−スケールパラメータ生成関数で使用して、予測クロミナンススケールパラメータを生成してもよい。

本発明の実施形態では、デコードされた低ダイナミックレンジ（ＬＤＲ）画像データから導出したオフセットパラメータで、予測オフセットパラメータを決定してもよい。これらの実施形態を図１１と関連付けて説明する。ＬＤＲ画像データを受信し（１２６）、ＬＤＲ画像データからオフセットマッピングパラメータを導出する（１２８）。オフセットマッピングパラメータは、オフセットパラメータ予測にマッピングしてもよい（１３０）。ある実施形態では、マッピング（１３０）に、候補オフセットパラメータ値のルックアップテーブルへのインデックスとしてのオフセットマッピングパラメータの使用が含まれていてもよい。本発明のこれらの実施形態では、候補オフセットパラメータ値のルックアップテーブルは、ビットストリームを用いてデコーダに信号伝達してもよいし、デコーダにデフォルトのルックアップテーブルとして格納しておいてもよいし、別の方法でデコーダに信号伝達してもよい。代替の実施形態では、オフセットマッピングパラメータを、オフセットパラメータ生成関数で使用してもよい。本発明のこれらの実施形態では、オフセットパラメータ生成関数は、ビットストリームを用いてデコーダに信号伝達してもよいし、デコーダにデフォルトの生成関数として格納しておいてもよいし、別の方法でデコーダに信号伝達してもよい。

本発明の実施形態では、オフセットパラメータが、輝度オフセットパラメータとクロミナンスオフセットパラメータとを含んでいてもよい。これらの実施形態では、オフセットマッピングパラメータは、予測輝度オフセットパラメータを決定するための、輝度−オフセットパラメータのルックアップテーブルを示すものであってもよいし、予測クロミナンスオフセットパラメータを決定するための、クロミナンス−オフセットパラメータのルックアップテーブルを示すものであってもよい。代替の実施形態では、２つのオフセットマッピングパラメータ、すなわち輝度オフセットマッピングパラメータ及びクロミナンスオフセットマッピングパラメータを生成してもよい。これらの実施形態では、２つの異なるマッピングパラメータが、同じルックアップテーブルを示してもよい。代替の実施形態では、輝度オフセットマッピングパラメータとクロミナンスオフセットマッピングパラメータは、それぞれ輝度−オフセットパラメータルックアップテーブルとクロミナンス−オフセットパラメータルックアップテーブルを示すものであってもよい。

本発明の代替の実施形態では、オフセットパラメータは、輝度オフセットパラメータとクロミナンスオフセットパラメータとを含んでいてもよく、オフセットマッピングパラメータを輝度−オフセットパラメータ生成関数で使用して、予測輝度オフセットパラメータを生成してもよい。また、オフセットマッピングパラメータをクロミナンスオフセットパラメータ生成関数で使用して、予測クロミナンスオフセットパラメータを生成してもよい。本発明のさらに代替の実施形態では、オフセットパラメータは、輝度オフセットパラメータとクロミナンスオフセットパラメータとを含んでいてもよく、２つのオフセットマッピングパラメータ、すなわち輝度オフセットマッピングパラメータとクロミナンスオフセットマッピングパラメータとを生成してもよい。これら代替の実施形態では、２つの異なるマッピングパラメータを同一のオフセットパラメータ生成関数で使用して、２つのオフセットパラメータ、すなわち予測輝度オフセットパラメータ及び予測クロミナンスオフセットパラメータを生成してもよい。さらに代替の実施形態では、輝度オフセットマッピングパラメータを輝度−オフセットパラメータ生成関数で使用して、予測輝度オフセットパラメータを生成し、クロミナンスオフセットマッピングパラメータをクロミナンス−オフセットパラメータ生成関数で使用して、予測クロミナンスオフセットパラメータを生成してもよい。

本発明の実施形態を図１２に関連付けて説明する。この実施形態では、デコードされた低ダイナミックレンジ（ＬＤＲ）画像データを分析することによって導出したスケールパラメータを用いて、エンハンスメントデータに従って訂正される予測スケールパラメータを決定する。ＬＤＲ画像データを受信し（１２０）、該ＬＤＲ画像データからスケールマッピングパラメータを導出する（１２２）。スケールマッピングパラメータをスケールパラメータ予測にマッピングしてもよい（１２４）。高ダイナミックレンジ（ＨＤＲ）画像データの一部として訂正データを受信してもよい（１３２）。スケールマッピングパラメータから決定（１２４）された予測スケールパラメータ値をＨＤＲ画像データに従って訂正してもよい（１３４）、もしくは修正してもよいとも考えられる。ある実施形態では、スケールパラメータは、輝度スケールパラメータとクロミナンススケールパラメータとを含んでいてもよく、訂正データは、予測輝度スケールパラメータ及び予測クロミナンススケールパラメータの両方に適用される単一の訂正を含んでいてもよい。代替の実施形態では、スケールパラメータは、輝度スケールパラメータとクロミナンススケールパラメータとを含んでいてもよく、訂正データは、予測輝度スケールパラメータに適用される輝度訂正（luminance correction）と、クロミナンススケールパラメータに適用されるクロミナンス訂正（chrominance correction）とを含んでいてもよい。

本発明の実施形態を図１３に関連付けて説明する。この実施形態では、デコードされた低ダイナミックレンジ（ＬＤＲ）画像データを分析することによって導出したオフセットパラメータを用いて、エンハンスメントデータに従って訂正される予測オフセットパラメータを決定する。ＬＤＲ画像データを受信し（１２６）、該ＬＤＲ画像データからオフセットマッピングパラメータを導出する（１２８）。このオフセットマッピングパラメータをオフセットパラメータ予測にマッピングしてもよい（１３０）。訂正データは、高ダイナミックレンジ（ＨＤＲ）画像データの一部として受信してもよい（１３６）。オフセットマッピングパラメータから、予測オフセットパラメータ値を決定し（１３０）、ＨＤＲ画像データに従って訂正してもよい（１３８）、もしくは修正してもよいとも考えられる。ある実施形態では、オフセットパラメータは、輝度オフセットパラメータとクロミナンスオフセットパラメータとを含み、訂正データは、予測輝度オフセットパラメータ及び予測クロミナンスオフセットパラメータの両方に適用される単一の訂正を含んでいてもよい。代替の実施形態では、オフセットパラメータは、輝度オフセットパラメータとクロミナンスオフセットパラメータとを含み、訂正データは、予測輝度オフセットパラメータに適用される輝度訂正と、予測クロミナンスオフセットパラメータに適用されるクロミナンス訂正とを含んでいてもよい。

本発明の実施形態では、スケールパラメータとオフセットパラメータの両方を決定してもよい。

以下では、スケールマッピングパラメータまたはオフセットマッピングパラメータのいずれかに適用されるマッピングパラメータを決定する方法及びシステムについて説明する。ここでは、スケール／オフセットマッピングパラメータの語は、スケールマッピングパラメータ、オフセットマッピングパラメータ、及びスケール及びオフセットの両方のマッピングパラメータとして用いられるパラメータを示すものとする。

本発明の実施形態では、スケール／オフセットマッピングパラメータは、ＬＤＲ画像データから決定してもよい。また、ある実施形態では、スケール／オフセットマッピングパラメータをＬＤＲ画像データのブロックに対して決定してもよい。これらの実施形態では、ブロック内のＬＤＲ画像データを用いて、スケール／オフセットマッピングパラメータを決定してもよい。代替の実施形態では、ブロック内の選択画像データを用いてスケール／オフセットマッピングパラメータを決定してもよい。さらに代替の実施形態では、ブロック外の画像データを用いてスケール／オフセットマッピングパラメータを決定してもよい。また、ＬＤＲ画像データの領域内のＬＤＲデータを用いて、ＬＤＲパラメータデータとして参照可能なスケール／オフセットマッピングパラメータを決定してもよい。ある実施形態では、ＬＤＲパラメータデータは、色成分を含んでいてもよい。このような実施形態では、色成分は、輝度成分とクロミナンス成分とを含んでいてもよい。本発明のある実施形態では、ＬＤＲパラメータデータとして用いられるＬＤＲ画像データの領域サイズまたは領域形状は空間位置に基づいて変化し得る。

本発明の実施形態では、ＬＤＲパラメータデータからの単一の値を演算することによって、スケール／オフセットマッピングパラメータを決定してもよい。ＬＤＲパラメータデータから算出される典型的な値は、ＬＤＲパラメータデータの平均（average）、ＬＤＲパラメータデータの平均（mean）、ＬＤＲパラメータデータの合計、ＬＤＲパラメータデータの重み付け平均（average）、ＬＤＲパラメータデータの重み付け平均（mean）、ＬＤＲパラメータデータの重み付け合計、ＬＤＲパラメータデータのメジアン、ＬＤＲパラメータデータの正規化合計、ＬＤＲパラメータデータのブロック変換、及びＬＤＲパラメータデータを用いた他の演算値である。代替の実施形態では、スケール／オフセットマッピングパラメータを、ＬＤＲパラメータデータを変換することによって決定してもよい。このような実施形態では、スケール／オフセットマッピングパラメータを変換係数の１つに関連付ける。この代替の実施形態の別形態では、スケール／オフセットマッピングパラメータを変換係数のサブセットに関連付けてもよい。

以下の、マッピングパラメータをマッピングする方法及びシステムについての説明は、スケールマッピングパラメータ及び予測スケール値、または、オフセットマッピングパラメータ及び予測オフセット値のいずれにも適用し得る。ここでは、「マッピングパラメータ及び予測値」の語は、スケールマッピングパラメータ及び予測スケール値、またはオフセットマッピングパラメータ及び予測オフセット値のいずれかを示すものとする。

本発明の実施形態では、マッピングパラメータを候補値のルックアップテーブルへのインデックスとして用いて、予測値を決定してもよい。代替の実施形態では、マッピングパラメータを予測値生成関数で使用して、予測値を生成してもよい。本発明のさらに代替の実施形態では、第１のマッピングパラメータを、エントリが候補値ルックアップテーブルと一致する第１のルックアップテーブルへのインデックスとして用い、第２のマッピングパラメータを、第１のマッピングパラメータで特定される候補値ルックアップテーブルへのインデックスとして用いてもよい。また、さらに代替の実施形態では、第１のマッピングパラメータを、関数を生成するためのルックアップテーブルへのインデックスとして用い、インデックスされた生成関数で第２のマッピングパラメータを使用して予測値を生成してもよい。

本発明の実施形態では、スケール値及び／またはオフセット値を、ＬＤＲ画像データの異なる空間領域のための異なるマッピングに従って決定してもよい。

本発明の実施形態では、マッピングパラメータを予測値にマッピングする方法は、エンコーダからデコーダへの信号伝達によるものであってもよい。ある実施形態では、マッピング、例えば、ルックアップテーブル、または生成関数をエンコーダからデコーダへ信号伝達してもよい。また、ある実施形態では、マッピングの信号伝達を、スライスごと、ピクチャーごと、シーケンスごと、あるいは他の単位で行ってもよい。代替の実施形態では、複数のマッピングをデコーダに予め格納しておき、格納されたマッピングの１つを選択する標識を、スライスごと、ピクチャーごと、シーケンスごと、あるいは他の単位で、エンコーダからデコーダへ明示的に信号伝達してもよい。本発明のさらに代替の実施形態では、クリストファー・アンドリュー・セガール（Christopher Andrew Segall）、ルイス・ジョセフ・ケロフスキー（Louis Joseph Kerofsky）、シャウミン・レイ（Shawmin Lei）が、２００６年１２月４日に出願した米国特許出願公開第２００７／０２０１５６０号（出願番号：１１／５６６６５７）明細書に記載されている方法及びシステムに基づいて、マッピングを信号伝達してもよい。この明細書の内容は、参照により本明細書に含まれる。

本発明の実施形態では、ＬＤＲパラメータデータに使用されるＬＤＲ画像データの領域サイズは、１つの画像フレーム全体で一定ではなく、マッピングパラメータと予測値との間のマッピングは、ＬＤＲパラメータデータに用いられるＬＤＲ画像データの領域サイズに依存した、異なる値であってもよい。代替の実施形態では、ＬＤＲパラメータデータに使用されるＬＤＲ画像データの領域サイズは、１つの画像フレーム全体で一定ではなく、マッピングパラメータと予測値との間のマッピングは、異なる領域サイズに対しても同じであり、領域サイズに基づく正規化ファクターを予測値に適用してもよい。また、ある実施形態では、領域サイズをエンハンスメントレイヤービットストリームで明示的に信号伝達してもよい。代替の実施形態では、ベースレイヤーまたはエンハンスメントレイヤーの他の情報から領域サイズを導出してもよい。例えば、ビットストリームから決定した、変換サイズまたは予測モードに基づいて導出してもよい。

本発明の実施形態では、画像シーケンスにおける現在の画像フレーム（第１画像フレーム）におけるスケールパラメータ値を、先に送信した複数の画像フレームに対応するスケールパラメータ値から予測してもよい。本発明のこれらの実施形態を図１４に関連付けて説明する。これらの実施形態では、現在の画像フレームのＬＤＲ画像データを受信する（１４０）。スケール対応標識（第１対応標識）を受信し（１４２）、このスケール対応標識を用いて、現在のスケールパラメータ値の予測を決定する（１４４）。スケール対応標識は、現在のスケールパラメータ値を、先に送信された画像フレームの対応するスケールパラメータ値と関連付けてもよい。

本発明の実施形態では、画像シーケンスにおける現在の画像フレームにおけるオフセットパラメータ値を、先に送信された画像フレームに対応するオフセットパラメータ値から予測してもよい。本発明のこれらの実施形態を図１５と関連付けて説明する。これらの実施形態では、現在の画像フレームのＬＤＲ画像データを受信する（１５０）。オフセット対応標識を受信し（１５２）、このオフセット対応標識を用いて、現在のオフセットパラメータ値の予測を決定する（１５４）。オフセット対応標識は、現在のオフセットパラメータ値を、先に送信された画像フレームの対応するオフセットパラメータ値と関連付けてもよい。

本発明の実施形態を図１６に関連付けて説明する。ＨＤＲ予測パラメータ値は、先にデコードされた画像フレームのそれぞれについて格納してもよい（１６０）。ＨＤＲ予測パラメータは、例えばオフセットパラメータ、スケールパラメータ、及びＬＤＲ画像データからＨＤＲ画像データを予測する際に使用される他のパラメータを含む。代替の実施形態では、ＨＤＲ予測パラメータ値を、先にデコードされた画像フレームのサブセットとして格納してもよい。また、ＨＤＲ予測パラメータ対応標識（第２対応標識）を受信してもよい（１６２）。ある実施形態では、ＨＤＲ予測パラメータ対応標識を、エンハンスメントレイヤービットストリームからデコードしてもよい。ＨＤＲ予測パラメータ対応標識は、格納されたパラメータ値のうち、現在の予測されたＨＤＲ予測パラメータ値として用いることのできる値の位置を決定する（１６４）。

実施形態のある例では、パラメータバッファは、先に再構成された画像フレームの各４×４ブロックのパラメータ値を含んでいてもよい。この例では、エンハンスメントレイヤービットストリームは、パラメータ予測に用いられる先のパラメータ値のパラメータバッファにおける位置を定義する２つのインデックスを信号で伝達してもよい。これら２つのインデックスを明示的に信号で伝達する実施形態であってもよい。代替の実施形態では、上記のインデックスを、現在のフレームにおける現在のブロックの位置に関連付けて信号で伝達してもよい。

本発明の実施形態を図１７に関連付けて説明する。これらの実施形態では、予測された第２ＨＤＲ予測パラメータ値を、ＨＤＲエンハンスメントレイヤービットストリームで受信することのできる残差情報に従って修正してもよい。ＨＤＲ予測パラメータ値は、先にデコードされた画像フレームのそれぞれについて格納してもよい（１６０）。ＨＤＲ予測パラメータは、例えばオフセットパラメータ、スケールパラメータ、及びＬＤＲ画像データからＨＤＲ画像データを予測する際に使用される他のパラメータを含む。代替の実施形態では、先にデコードされた画像フレームのサブセットに対してＨＤＲ予測パラメータ値を格納してもよい。また、ＨＤＲ予測パラメータ対応標識を受信してもよい（１６２）。ある実施形態では、ＨＤＲ予測パラメータ対応標識を、エンハンスメントレイヤービットストリームからデコードしてもよい。ＨＤＲ予測パラメータ対応標識は、格納されたパラメータ値のうち、現在の予測されたＨＤＲ予測パラメータ値として用いることのできる値の位置を決定し（１６４）、続いて格納部からそのパラメータ値を抽出する（１６６）。そして、ＨＤＲ予測パラメータ残差を受信してもよい（１６８）。ある実施形態では、ＨＤＲ予測パラメータ残差をエンハンスメントレイヤービットストリームからデコードしてもよい。予測したＨＤＲ予測パラメータ値は、ＨＤＲ予測パラメータ残差に従って訂正してもよい（１７０）。

本発明の代替の実施形態では、画像シーケンスにおける現在の画像フレームのＨＤＲ予測パラメータ値を、先に送信した画像フレームに対応するＨＤＲ予測パラメータ値から予測し、現在のデコードされたフレームのＬＤＲ表現の画素値と、先のデコードされた画像データの画素値との対応を示す情報を用いて、予測されたＨＤＲ予測パラメータ値を決定してもよい。本発明の実施形態では、上記の対応を、例えば動きベクトルのような、ＬＤＲビットストリームの一部として送信されるパラメータから決定してもよい。代替の実施形態では、上記の対応を、ＬＤＲ画素データを現在のフレームと先のＬＤＲ画像フレームとで比較することによって決定してもよい。これらの代替の実施形態では、動き推定技術を用いて上記の対応を決定してもよい。

実施形態のある例では、現在のブロックの画素と、先にデコードされた画像フレームのブロックとの対応は、２つのインデックスを含む動きベクトルで記述できる。ある実施形態では、上記２つのインデックスが、垂直変位（vertical displacement）及び水平変位（horizontal displacement）に一致していてもよい。また、ある実施形態では、動きベクトルを明示的に用いてＨＤＲ予測パラメータ値を予測してもよい。このような実施形態では、ある画素における、予測したＨＤＲ予測パラメータ値が、先のフレーム内の対応する画素におけるＨＤＲ予測パラメータ値であってもよい。また、このような実施形態では、デコードされているブロックの各画素において異なる、予測したＨＤＲ予測パラメータ値を取得してもよい。

代替の実施形態では、動きベクトル対応を、現在のフレームの画素と、前のフレームの画素との間で決定してもよく、１つの予測されたＨＤＲ予測パラメータ値は、前のフレームにおける対応するＨＤＲ予測パラメータ値（values）に基づいて決定してもよい。複数のパラメータ値を結合する方法の例には、メジアン演算、平均（mean）演算、平均（average）演算、重み付け平均（mean）演算、重み付け平均（average）演算、前の配置内で参照されたパラメータ値の最大の数を予測に用いる投票計算、および複数のパラメータ値の他の組み合わせが含まれる。

本発明の実施形態を図１８に関連付けて説明する。動きベクトル対応は、エンハンスメントレイヤービットストリームからデコードされた残差情報に基づいて修正してもよい。このような実施形態では、ＬＤＲ画像を受信し（１８０）、ＨＤＲ画像を受信してもよい（１８２）。そして、動きベクトル対応を決定してもよい（１８４）。ある実施形態では、ＬＤＲ画像データと共に送信される、例えば動きベクトルのようなパラメータから動きベクトル対応を決定してもよい（１８４）。代替の実施形態では、ＬＤＲデータの画素値を調査する動きベクトル対応推定処理によって動きベクトル対応を決定してもよい（１８４）。また、動きベクトル対応残差値を、ＨＤＲ画像データからデコードしてもよい（１８６）。そして、動きベクトル対応を、動きベクトル対応残差値に従って訂正してもよい（１８８）。さらに、訂正した動きベクトル対応を用いてＨＤＲ予測パラメータ値の予測を決定してもよい（１９０）。

本発明の実施形態では、予測したＨＤＲ予測パラメータ値を、送信された残差値に従って訂正してもよい。このような実施形態では、ＨＤＲ予測パラメータ値残差を、エンハンスメントレイヤービットストリームからデコードしてもよく、このＨＤＲ予測パラメータ値残差に従って、予測したＨＤＲ予測パラメータ値を訂正すなわち修正してもよい。

本発明の実施形態では、予測された第１ＨＤＲ予測パラメータ値と、予測された第２ＨＤＲ予測パラメータ値を決定してもよい。このような実施形態では、予測された第１ＨＤＲ予測パラメータ値は、予測されたスケール値であってもよく、予測された第２ＨＤＲ予測パラメータ値は、予測されたオフセット値であってもよい。また、このような実施形態では、スケール値残差を決定してもよく、オフセット値を決定してもよい。そして、このような実施形態では、予測したスケール値を修正してもよく、予測したオフセット値を修正してもよい。代替の実施形態では、１つの残差値を信号伝達してもよく、これらの予測値のうち、１つのみに対して訂正または修正を行ってもよい。その他の予測値は、信号伝達された残差値、デコードされたＬＤＲ画像の特性、及び他の予測値に基づいて調整してもよい。

本発明の実施形態では、エンコーダからデコーダへエンハンスメントレイヤービットストリームでフラグを送信してもよい。フラグは、ブロックごと、マクロブロックごと、スライスごと、フレームごと、シーケンスごと、あるいは他の単位で送信してもよい。フラグの値または状態によって、ＨＤＲ予測パラメータ値の予測に用いられる予測方法が決定されてもよい。予測方法の例は、ここで述べたこれらの事項を含む。

上述の方法は、また、高ダイナミックレンジ画像エレメントを予測する装置に適用することもできる。この装置は、複数のＬＤＲ画像データを受信するＬＤＲ画像データ受信部と、上記複数のＬＤＲ画像データに基づいて予測された第１ＨＤＲ予測パラメータ値を生成するＬＤＲ画像データ生成部と、上記複数のＬＤＲ画像データからＬＤＲ画像値を抽出するＬＤＲ画像データ抽出部と、上記予測された第１ＨＤＲ予測パラメータ値と上記ＬＤＲ画像値とを用いてＨＤＲ画像エレメント予測を形成するＨＤＲ画像エレメント予測形成部とを備えている。

また、上記装置は、コンピュータシステム上において複数のダイナミックレンジレイヤーを含む画像の予測に用いられるコンピュータプログラムを含んでいてもよい。このコンピュータプログラムは、光ディスクや磁気ディスクのような記録媒体に格納されている。

コンテンツ処理装置の機能を実現する、コンテンツデータと上記コンピュータプログラムとを含む記録媒体は、ＣＤ−ＲＯＭ（compact disc read-only memory）、ＭＯ（magneto-optical disc）、ＭＤ（Mini Disk）、またはＤＶＤ（digital versatile disc）のような光ディスク、ＦＤ（flexible disk）やハードディスクのような磁気ディスクに限られない。記録媒体の例には、磁気テープやカセットテープのようなテープ、ＩＣ（integrated circuit）カードや光学カードのようなカード記録媒体、及びマスクＲＯＭ、ＥＰＲＯＭ（erasable programmable ROMs）ＥＥＰＲＯＭ（electrically erasable programmable ROMs）、及びフラッシュＲＯＭのような半導体メモリが含まれる。やはり、コンピュータシステムは、これらの記録媒体から読み出しを行うための読み出し装置を備えている必要がある。

明細書の上記の記載に用いられる用語及び表現は、説明のためのものであり、限定するものではない。また、このような用語及び表現の使用は、ここに示され、述べられた特徴の等価物または部分を排除するものではない。発明の範囲は、下記の請求項によってのみ規定され、制限されるものと理解される。

Claims (18)

1. 高ダイナミックレンジ画像エレメントを予測する方法であって、
   ａ）複数の低ダイナミックレンジ（ＬＤＲ）画像データを受信するステップと、
   ｂ）上記複数のＬＤＲ画像データに基づいて予測された第１高ダイナミックレンジ（ＨＤＲ）予測パラメータ値を生成するステップと、
   ｃ）上記複数のＬＤＲ画像データからＬＤＲ画像値を抽出するステップと、
   ｄ）上記予測された第１ＨＤＲ予測パラメータ値と、上記ＬＤＲ画像値とを用いて、ＨＤＲ画像エレメント予測を形成するステップとを含む方法。
2. 高ダイナミックレンジ画像エレメントを予測する方法であって、
   ａ）第１画像フレームに対応する低ダイナミックレンジ（ＬＤＲ）画像データを受信するステップと、
   ｂ）上記ＬＤＲ画像データと、第１前画像フレーム第１高ダイナミックレンジ（ＨＤＲ）予測パラメータ値とを関連付ける第１対応標識を受信するステップと、
   ｃ）上記第１対応標識に基づいて、予測された第１ＨＤＲ予測パラメータ値を生成するステップと、
   ｄ）上記ＬＤＲ画像データからＬＤＲ画像値を抽出するステップと、
   ｅ）上記予測された第１ＨＤＲ予測パラメータ値と、上記ＬＤＲ画像値とを用いて、ＨＤＲ画像エレメント予測を形成するステップとを含む方法。
3. 請求項１または２に記載の方法であって、上記予測された第１ＨＤＲ予測パラメータ値は、予測スケール値及び予測オフセット値からなる群より選択される、予測されたＨＤＲ予測パラメータ値である方法。
4. 請求項１に記載の方法であって、
   ａ）上記複数のＬＤＲ画像データに基づいて予測された第２ＨＤＲ予測パラメータ値を生成するステップと、
   ｂ）上記予測された第１ＨＤＲ予測パラメータ値、上記予測された第２ＨＤＲ予測パラメータ値、及び上記ＬＤＲ画像値を用いて、ＨＤＲ画像エレメント予測を形成するステップとをさらに含む方法。
5. 請求項４に記載の方法であって、上記予測された第１ＨＤＲ予測パラメータ値は、予測されたスケール値であり、上記予測された第２ＨＤＲ予測パラメータ値は、予測されたオフセット値である方法。
6. 請求項１または２に記載の方法であって、上記予測された第１ＨＤＲ予測パラメータ値は、輝度ＨＤＲ予測パラメータ値と、彩度ＨＤＲ予測パラメータ値とを含む方法。
7. 請求項１または２に記載の方法であって、上記予測された第１ＨＤＲ予測パラメータ値と、上記ＬＤＲ画像値とを用いて、ＨＤＲ画像エレメント予測を形成するステップは、
   ａ）第１ＨＤＲ予測パラメータ値の残差を受信するステップと、
   ｂ）上記受信した第１ＨＤＲ予測パラメータ値の残差に従って、上記予測された第１ＨＤＲ予測パラメータ値を調整するステップとを含む方法。
8. 請求項１または２に記載の方法であって、
   ａ）ＨＤＲ残差画像エレメントを受信するステップと、
   ｂ）上記ＨＤＲ画像エレメント予測と、上記ＨＤＲ残差画像エレメントとを結合して、ＨＤＲ画像エレメントを形成するステップとをさらに含む方法。
9. 請求項１に記載の方法であって、上記複数のＬＤＲ画像データに基づいて、予測された第１ＨＤＲ予測パラメータ値を生成するステップは、
   ａ）上記複数のＬＤＲ画像データに基づいてマッピングパラメータ値を決定するステップと、
   ｂ）上記マッピングパラメータ値に基づいて、複数の第１ＨＤＲ予測パラメータ値の候補から上記予測されたＨＤＲ予測パラメータ値を選択するステップとを含む方法。
10. 請求項９に記載の方法であって、上記複数のＬＤＲ画像データに基づいてマッピングパラメータ値を決定するステップは、合計、平均（average）、平均（mean）、重み付け合計、重み付け平均（average）、重み付け平均（mean）、正規化合計、ブロック変換、及びメジアンからなる群より選ばれる１つの方法を用いて、上記複数のＬＤＲ画像データを結合するステップを含む方法。
11. 請求項９に記載の方法であって、上記マッピングパラメータ値に基づいて、複数の第１ＨＤＲ予測パラメータ値の候補から、上記予測された第１ＨＤＲ予測パラメータ値を選択するステップでは、上記マッピングパラメータ値を、上記複数の第１ＨＤＲ予測パラメータ値の候補を含むルックアップテーブルのインデックスとして用いる方法。
12. 請求項２に記載の方法であって、
    ａ）上記ＬＤＲ画像データを第２前画像フレーム第２ＨＤＲ予測パラメータ値に関連付ける第２対応標識を受信するステップと、
    ｂ）上記第２対応標識に基づいて予測された第２ＨＤＲ予測パラメータ値を生成するステップと、
    ｃ）上記予測された第１ＨＤＲ予測パラメータ値と、上記予測された第２ＨＤＲ予測パラメータ値と、上記ＬＤＲ画像値とを用いて上記ＨＤＲ画像エレメント予測を形成するステップとをさらに含む方法。
13. 請求項１２に記載の方法であって、上記予測された第１ＨＤＲ予測パラメータ値は、予測されたスケール値であり、上記予測された第２ＨＤＲ予測パラメータ値は、予測されたオフセット値である方法。
14. 請求項２に記載の方法であって、上記第１対応標識は、第１ＨＤＲ予測パラメータ値バッファ内での位置を示し、上記第１ＨＤＲ予測パラメータ値バッファは、上記第１前フレームに関連付けられた複数の第１ＨＤＲ予測パラメータ値を含む方法。
15. 請求項２に記載の方法であって、上記第１対応標識は、上記第１フレームを上記第１前フレームに関連付ける動きベクトル情報を含む方法。
16. 請求項１５に記載の方法であって、
    ａ）動きベクトル残差情報を受信するステップと、
    ｂ）上記動きベクトル残差情報で上記動きベクトル情報を訂正するステップとを含む方法。
17. 請求項１５に記載の方法であって、上記動きベクトルを、上記第１フレームに対応する上記ＬＤＲ画像データと、上記第１前フレームに対応する上記ＬＤＲ画像データとから計算する方法。
18. 高ダイナミックレンジ画像エレメントを予測する装置であって、
    ａ）複数のＬＤＲ画像データを受信するＬＤＲ画像データ受信部と、
    ｂ）上記複数のＬＤＲ画像データに基づいて予測された第１ＨＤＲ予測パラメータ値を生成するＬＤＲ画像データ生成部と、
    ｃ）上記複数のＬＤＲ画像データからＬＤＲ画像値を抽出するＬＤＲ画像データ抽出部と、
    ｄ）上記予測された第１ＨＤＲ予測パラメータ値と上記ＬＤＲ画像値とを用いてＨＤＲ画像エレメント予測を形成するＨＤＲ画像エレメント予測形成部とを備える装置。

Images