JP6360841B2

JP6360841B2 - 画像ダイナミックレンジ変換演算子を選択するための方法およびデバイス

Info

Publication number: JP6360841B2
Application number: JP2015559483A
Authority: JP
Inventors: ボアタールロナン; ソロードミニク; ボアタッチカドゥ; コジョレミ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2013-02-27
Filing date: 2014-02-25
Publication date: 2018-07-18
Anticipated expiration: 2034-02-25
Also published as: EP2962277A1; WO2014131755A1; US9767542B2; CN105144231A; KR20150123810A; US20160012573A1; CN105144231B; JP2016517194A

Description

本発明は、画像のダイナミックレンジを変換する、およびそのダイナミックレンジが変換された画像を符号化する一般的な分野に関する。

本発明は、画像ダイナミックレンジ変換演算子のセットから画像ダイナミックレンジ変換演算子を選択するためのデバイスおよび方法に関する。

このデバイスおよび方法は、例えば、画像のまたは画像シーケンスの、ダイナミックレンジを低減させるために、すなわち所与のダイナミック値レンジ（dynamic value range）に属するこの画像の（または画像シーケンスの各画像の）画素（pixels：ピクセル）の輝度（luminance）値を修正することにより、（オリジナルの画像シーケンスの）オリジナルの画像の低ダイナミック値レンジに属する輝度値を取得するために、使用できる。

このような方法またはデバイスは、顕著なおよび／または低減したダイナミックレンジの画像（または画像シーケンス）を符号化するために使用されるような画像または画像シーケンスを符号化するための方法やデバイスそれぞれにおいて、使用できる。

トーンマッピング演算子（ＴＭＯｓ）またはトーン再生装置を使用して、オリジナルの画像と呼ばれる画像のダイナミックレンジを修正する（変換または適合としても参照される）ことが知られている。このオリジナルの画像は、オリジナルの画像のダイナミックレンジを、例えば、この画像が表示されるスクリーンのオリジナルの画像のダイナミックレンジに適合させるように、ダイナミックレンジが低い画像（低ダイナミックレンジ画像）を取得するように、高ダイナミックレンジカメラによって、例えば取得されることができる。

以後では、画像のダイナミックレンジを変換し、適合し、または修正することは、この画像の輝度コンポーネント（値）を変換し、適合し、または修正することと等価である。

一旦そのダイナミックレンジが修正され、オリジナルの画像がディスプレイシステムのために意図される場合、この適合された画像の輝度コンポーネントは、ディスプレイ標準（ＢＴ７０９など）に適合するように量子化されおよび符号化される。この場合、我々は、輝度コンポーネントよりもルーマ(luma)コンポーネントに通常言及する。輝度は、その部分に関して、ｃｄ／ｍ²と表される物理単位に対応する。

本発明は、輝度コンポーネントおよびルーマコンポーネントに等しく適用可能である。これらのＴＭＯｓのうちの１つは、Reinhardによって開発され、一般にＰＴＲ演算子と呼ばれる(Reinhard, E., Stark, M., Shirley, P., and Ferwerda, J., "Photographic tone reproduction for digital images" ACM Transactions on Graphics 21 (July 2002))。

この画像ダイナミックレンジ変換演算子の原理は、式（１）で与えられるＳ字状の（sigmoid）マッピング曲線を使用することによって、画像の修正された輝度コンポーネントＬ_dを取得するように、オリジナルの画像の輝度コンポーネントＬ_wを修正することである：

ここで、Ｌ_whiteは、高輝度値の区間を低減させるために使用される輝度値であり、Ｌ_dは、そのサイズが画像のサイズであるマトリクスであって、オリジナルの画像よりも低ダイナミック値レンジで表現される画像の画素の輝度値を含むマトリクスであり、Ｌｓはそのサイズが画像のサイズであるマトリクスであって、式（２）によって得られる輝度値を含むマトリクスである：

ここで、ａは、選択された露出値であり、一般にキー（ｋｅｙ：鍵）と呼ばれるｋは、式（３)によって与えられる画像の明るさ(brightness)の指標を定義する:

ここで、Ｎは画像内の画素の数であり、δは任意の特異性を回避する値であり、Ｌ_w（ｉ）は画像の輝度コンポーネントＬ_wの画素ｉの輝度値である。

値ａおよびＬ_whiteは、このＴＭＯの固定された２つのパラメータであり、例えば、パラメータａについては１８％であり、およびパラメータＬ_whiteについてはオリジナルの画像の最大輝度値である。式（１）は、高輝度値の区間を低減させるのに使用されるファクタを無視して再公式化できる：

この画像シーケンスの他の画像のダイナミックレンジの画像シーケンスの各画像のダイナミックレンジを独立に修正する演算子を使用し、画像の各変換について、この画像の画素および画像シーケンス内で変換される画像に時間的に先行する予め定められた数の画像の画素に従ってキーを選択することも知られている(Kang, S. B., Uyttendaele, M., Winder, S., and Szeliski, R., "high dynamic range video," in [ACM SIG -GRAPH 2003 Papers on - SIGGRAPH '03 ], 319, ACM Press, New York, New York, USA (2003))。

より詳細には、キーは式（３）から算出され、ここで、Ｎは、変換される画像の画素の数と画像シーケンス内で時間的に先行する画像の画素の数との合計に等しい。

現在の画像のおよび先行する画像のキーに従って、動的に適合されるいくつかの先行する画像を使用する演算子を使用することも知られている(Ramsey, S., Ill, J. J., and Hansen, C, "Adaptive temporal tone mapping, "Computer Graphics and Imaging - 2004 (3), 3-7 (2004))。

人間の視覚システム（ＨＶＳ）の視覚的反応を使用したオリジナルの画像を、その輝度値がスクリーンに適合したダイナミックレンジに属する画像と比較する演算子を使用することも知られており(Mantiuk, R., Daly, S., and Kerofsky, L, "Display adaptive tone mapping" ACM Transactions on Graphics 27, 1 (Aug. 2008))、このスクリーン上でのその視覚的認識ができるだけ小さい歪みである画像を取得することを可能にする。人間の視覚システムの反応の結果の間の残余誤差の最小化はこれらの方法の間に算出される。この最小化は区間的に線形であり画像ごとに算出される変換曲線をもたらす。

オリジナルの画像シーケンスの画像の間の明るさの時間的な一致を維持するために、画像ダイナミックレンジ変換演算子を、上述した、オリジナルのシーケンスの各画像に適用した結果として生じる画像シーケンスに対して、処理を適用することも知られている。

例えば、Boitard et al. (R. Boitard et al., “Temporal coherency for video tone mapping," in Proc. SPIE 8499, Applications of Digital Image Processing XXXV, 2012.)は、上述された画像ダイナミックレンジ変換演算子のうちの１つによって修正されたオリジナルの画像シーケンスの画像の輝度コンポーネントＬ_dの値のダイナミックレンジは、オリジナルの画像シーケンスの大域的特性から算出された値によって低減されることを提案している。

低減されたたダイナミックレンジ輝度コンポーネントＬ’_dは式（５）によって与えられる：

変形により、低減されたダイナミックレンジ輝度コンポーネントＬ’_dは式（６）によって与えられる：

ここで、ｘは、例えば、ユーザによって固定された低減値におけるオフセットである。

画像ダイナミックレンジ変換演算子がＰＴＲ演算子である特別の場合では、値Ｒは式（７）よって与えられる：

この後者の実施形態によれば、オリジナルの画像シーケンスに存在するオブジェクトの認識を維持すること、およびオリジナルの画像シーケンスの画像の間の明るさの時間的な一致を確保にすることが可能になる。

一実施形態によれば、値Ｒは式（８）によって与えられる：

ここで、

は、オリジナルの画像シーケンスの変換される画像の輝度コンポーネントのキーであり、

は、オリジナルの画像シーケンスの輝度コンポーネントのキーのうちの最大のキーであり、

は、変換される画像の修正された輝度コンポーネントＬ_dのキーであり、

は、オリジナルの画像シーケンスに起因する修正された輝度コンポーネントＬ_dのキーのうちの最大のキーである。

上述したような画像ダイナミックレンジ変換演算子を評価することも知られている。これらの演算子は、オリジナルの画像シーケンスの画像の間の明るさの時間的な一致（coherent）を維持する処理によって、潜在的に補完され得る。

このような評価のために、この演算子を適用した結果として生じる画像の主観的品質を数値化する評価基準を使用することが知られている(Ledda et al., ”Evaluation of tone mapping operators using a high dynamic range display," in ACMSIG-GRAPH 2005 Papers, NewYork, NY, USA, 2005, SIGGRAPH'05, pp.640-648, ACM., and Akiko Yoshida, "Perceptual evaluation of tone mapping operators with real-world scenes," in Proceedings of SPIE 2005, vol.5666, pp. 192-203, SPIE)。

しかしながら、これらの結果として生ずる画像は、ストレージの目的のためにサイズを制限するために、または通信チャネルを介した伝送の目的のためにビットレートを制限するために、非常に頻繁に符号化されるので、本発明者は、符号化および復号化の後にひとたび再構築されたこれらの結果として生ずる画像は、上記基準によって評価されるこれらの結果として生ずる画像の主観的品質に対応したレンダリング品質を体系的に持たないということを見出した。

本発明の目的は、上述した不利な点の少なくとも１つを克服することである。
この目的のために、概略的には、画像ダイナミックレンジ変換演算子の選択は、上記画像ダイナミックレンジ変換演算子によって修正されたオリジナルの画像を符号化および復号化した後の再構築されたバージョンから算出される歪みに応じた品質基準の最適化に基づいている。

かくして、所与のビットレートに関し、修正されたダイナミックレンジの画像の主観的品質は、所与のビットレートに対して最適である。

本発明の一側面によれば、本発明は、品質基準の最適化によって、画像ダイナミックレンジ変換演算子のセットから画像ダイナミックレンジ変換演算子を選択するための方法に関する。ダイナミックレンジがオリジナルの画像よりも低い、修正された画像と呼ばれる画像を取得するために、各画像ダイナミックレンジ変換演算子がオリジナルの画像に適用され、本方法は、上記品質基準が、各画像ダイナミックレンジ変換演算子について、上記画像ダイナミックレンジ変換演算子によって修正された画像を符号化および復号化した後の再構築されたバージョンから算出される歪みに応じて算出される。

一実施形態によれば、上記歪みは、上記画像ダイナミックレンジ変換演算子によって修正されたオリジナルの画像および上記再構築されたバージョンの間で算出される。

変形形態によれば、この再構築されたバージョンのダイナミックレンジが、上記修正されたオリジナルの画像を取得するために使用されたそれのインバース(inverse：逆)である演算子を適用することによって拡張されると、上記歪みは、上記修正されたオリジナルの画像および上記再構築されたバージョンの間で算出される。

変形形態によれば、この再構築されたバージョンのダイナミックレンジが、上記修正された画像を取得するために使用されたそれのインバースである演算子を適用することによって拡張されると、上記歪みは、上記オリジナルの画像および上記再構築されたバージョンの間で算出される。

上記方法の変形形態によれば、上記品質基準は、上記修正および符号化されたオリジナルの画像の上記ビットレートにも応じている。

本発明の他の側面によれば、本発明は、画像ダイナミックレンジ演算子のセットの中から画像ダイナミックレンジ変換演算子を選択するためのデバイスに関する。上記デバイスは、ダイナミックレンジがオリジナルの画像より低い、修正された画像と呼ばれる画像を取得するために、画像ダイナミックレンジ変換演算子をオリジナルの画像に適用する手段と、ダイナミックレンジ変換演算子を選択するために品質基準を最適化するための手段と、を含み、上記デバイスは、各画像ダイナミックレンジ変換演算子に関して、上記品質基準が上記画像ダイナミックレンジ変換演算子によって修正された上記画像を符号化および復号化した後の再構築されたバージョンから算出される歪みに応じて算出されるように上記品質基準を最適化するための手段が構成されていることに特徴がある。

本発明の他の側面によれば、本発明は、輝度値が所与のダイナミック値レンジに属するオリジナルの画像シーケンスを変換するためのシステムに関する。上記システムは、その値がオリジナルの画像シーケンスより低いダイナミック値レンジに属する、修正された輝度コンポーネントを取得するために、オリジナルの画像シーケンスの各画像の上記輝度コンポーネントに適用されることが意図されるいくつかのダイナミックレンジ変換演算子を含み、上記システムは、上述したものに従う上記画像ダイナミックレンジ変換演算子の中からダイナミックレンジ変換演算子を選択するためのデバイスをも含むことを特徴とする。

本発明の他の側面によれば、本発明は、オリジナルの画像に画像ダイナミックレンジ変換演算子を適用することによって取得される、ダイナミックレンジがオリジナルの画像よりも低い画像を使用して、所与のダイナミックレンジのオリジナルの画像を符号化するための方法にも関する。本方法は、上記画像ダイナミックレンジ変換演算子が、上述したものに従った方法に応じて、画像ダイナミックレンジ変換演算子のセットから選択されることを特徴とする。

本発明の他の側面によれば、本発明は、画像ダイナミックレンジ変換演算子をオリジナルの画像に適用することによって取得される、ダイナミックレンジがオリジナルの画像よりも低い画像を使用して、所与のダイナミックレンジのオリジナルの画像を符号化するためのデバイスにも関する。本デバイスは、上記画像ダイナミックレンジ変換演算子が、上述したものに従ったデバイスに応じて、画像ダイナミックレンジ変換演算子のセットから選択されることを特徴とする。

本発明は、添付の図面を参照した、非限定的な実施形態および好適な実施形態によって、よりよく理解され記述されるであろう。
画像ダイナミックレンジ変換演算子を選択するための方法の一実施形態を示す図である。画像ダイナミックレンジ変換演算子を選択するための方法の変形形態を示す図である。画像ダイナミックレンジ変換演算子を選択するための方法の変形形態の図である。本発明に従った方法を実行する、画像ダイナミックレンジ変換演算子を選択するためのデバイスのブロック図である。本発明に従った画像ダイナミックレンジを変換するシステムのブロック図である。

これ以後、Ｍ個の画像ダイナミックレンジ変換演算子ＴＭＯｉ（ｉ＝１からＭ）のセットのうちから画像ダイナミックレンジ変換演算子を選択するためのいくつかの実施形態および変形形態が記述される。これらの実施形態および変形形態において同一の参照符号は同一の構成を示す。

このセットは、一例によれば、導入のセクションにおいて記述された１つ以上の画像ダイナミックレンジ変換演算子を含むことができる。さらに、この画像ダイナミックレンジ変換演算子という用語は、導入のセクションにおいて記述されたようなオリジナルの画像シーケンスの画像の間の明るさの時間的な一致を確保することを可能にする処理をも含み得る。この処理は、演算子に従って適用され、上記セットの１つ以上の演算子に適用することができる。

画像シーケンスの画像全てのダイナミックレンジが修正され（変換されまたは適応され）なければならない場合、画像ダイナミックレンジ変換演算子は画像シーケンスの各画像に適用される。

図１は、Ｍ個の画像ダイナミックレンジ変換演算子ＴＭＯｉ（ｉ＝１からＭ）のセットの中から画像ダイナミックレンジ変換演算子ＴＭＯｏを選択するための方法の実施形態を図示している。

本方法は、そのセットのうちの各演算子ＴＭＯｉが本方法の入力においてそれ自体を現す各画像Ｉ₁に適用される、画像ダイナミックレンジ変換演算子を適用するステップ１０を含む。画像ｌⁱ ₂のうちの番号Ｍは、ステップ１０の出力においてその後得られる。これらの画像ｌⁱ ₂の各々は、修正された画像と呼ばれる、すなわちオリジナルの画像Ｉ₁よりもそのダイナミックレンジが低い画像である。各画像Ｉ₁に対してＭ個の画像Ｉⁱ ₂があることに注意されたい。

本方法はまた、各画像ｌⁱ ₂が既知の方法に従って符号化される、符号化するステップ２０を含む。この符号化する方法は、例えば、静止画の場合におけるＪＰＥＧタイプであり得て、または例えば、ITU-T H.265/MPEG-H Part 2 'High Efficiency Video Codec'(HEVC)タイプの画像シーケンス符号器であり得る。

本方法は、各画像Ｉⁱ ₂を符号化することによって得られた符号を復号した後に画像Ｉⁱ ₃が再構築される、画像を再構築するステップ３０をも含む。この目的について、ステップ２０の出力における符号は、ステップ２０の間使用される、符号化方法の双対法(dual method)によって復号される。多くの画像Ｉⁱ ₃が、それゆえ、画像Ｉⁱ ₂として再構築される。

一般的な方法では、本方法は、画像ダイナミックレンジ変換演算子ＴＭＯｉによって修正された画像Ｉⁱ ₂を符号化および復号化した後の再構築されたバージョンＩⁱ ₃から算出される歪みＤｉに応じて、品質基準Ｑｉが各画像ダイナミックレンジ変換演算子ＴＭＯｉについて算出される、品質基準を最適化するステップ４０をも含む。

図１の実施形態によれば、ステップ４０の間、歪みＤｉは、画像Ｉⁱ ₂および画像Ｉⁱ ₃の間で算出される。

図２は、図１に関連して記述された実施形態の変形形態を図示している。

この変形形態によれば、本方法は、各画像Ｉⁱ ₃および各画像Ｉⁱ ₂のダイナミックレンジが上記画像Ｉⁱ ₂を取得するために使用されるＴＭＯｉのインバースである演算子ＥＯｉを適用することによって拡張される、ダイナミックレンジを拡張するステップ５０を含む。

歪みＤｉは、かくして、そのダイナミックレンジがオリジナルの画像のものである２つの画像の間で算出される。すなわち、歪みＤｉは、上記画像ダイナミックレンジ変換演算子ＴＭＯｉによって修正されたオリジナルの画像Ｉⁱ ₂と、上記画像ダイナミックレンジ変換演算子ＴＭＯｉによって修正されたオリジナルの画像Ｉⁱ ₂を符号化および復号化した後の再構築されたバージョンとの間で算出される。画像Ｉⁱ ₂およびこの再構築されたバージョンのダイナミックレンジは、ステップ５０の間、拡張される。

この変形形態によれば、オリジナルの画像を参照する必要なく、どれがより良い圧縮率を取得することを可能にする画像ダイナミックレンジ変換演算子であるかを知ることが可能である。

図３は、図１に関連して記述される実施形態の変形形態を図示している。

この変形形態によれば、歪みＤｉは、オリジナルの画像Ｉ₁および画像Ｉⁱ ₃の間で算出され、この再構築されたバージョンＩⁱ ₃のダイナミックレンジは、修正された画像Ｉⁱ ₂を取得するために使用されるＴＭＯｉのインバースである演算子ＥＯｉを適用することによって、拡張される（ステップ５０）。

本発明は、画像または画像シーケンスの符号化または画像ダイナミックレンジ変換演算子のうちの１つのタイプに決して限定されることはない。

しかしながら、画像シーケンス符号化のための方法が時間的予測器を使用する場合、本発明者は、選択された画像ダイナミックレンジ変換演算子が、オリジナルの画像シーケンスの画像の間の時間的な一致を維持するために、その結果として得られる画像が処理されたもの（またはそれらのうちの１つ）であったことに気づいた。実際に、時間的予測器で使用される動き推定器のパフォーマンスの低下を引き起こす２つの主な理由がある。

１つめは、画像ダイナミックレンジ変換演算子によって修正された画像に何の処理も適用されなかった場合に現れる、ある画像から他の画像への輝度値のフリッカに由来する。これらのフリッカアーチファクトは、時間的に連続する画像に対するキー値の変化に起因する。実際に、キーｋがある画像から他の画像に変化した場合、（Ｓ字状の）修正された曲線もまた変化し、オリジナルの画像において同様にもかかわらず、輝度値について異なる修正をもたらす。

２つめは、オリジナルの画像の明るさの時間的な一致が維持されないことに由来する。実際に、動き推定器の品質がオリジナルの画像および予測画像の間の差から得られる残差画像の低ダイナミックレンジに密接に関係するように、明るさに関して、予測画像とオリジナルの画像との不一致が大きければ大きいほど、この残差画像はより高いダイナミックレンジを持つであろう。

本方法の変形形態によれば、品質基準Ｑｉは、修正されたＩⁱ ₂および符号化されたオリジナルの画像のビットレートＲｉの関数でもある。

品質基準Ｑｉは以下の式によって与えられる：

ここで、Ｒｉは画像のサイズ、または画像Ｉⁱ ₂から算出される画像シーケンスのビットレートである。

歪みＤｉは、例えば、平均二乗誤差（ＭＳＥ）タイプの距離によって与えられる。本発明は、このような測定基準に限定されず、他の測定基準が使用できる。

本方法の最後に選択される画像ダイナミックレンジ変換演算子は、それゆえ、品質基準Ｑｉを最適化（二乗誤差の場合は最小化）する。

画像ダイナミックレンジ変換演算子が式（２）および（４）によって与えられる場合、対応する演算子ＥＯｉは以下の式で与えられる：

ここで、

ここで、ａは選択された露出値であり、ｋは式（３）によって与えられるキーである。

演算子が、この画像の画素と、画像シーケンス内で変換されるべき画像に時間的に先行する予め定められた数の画像の画素とに応じてキーを算出する場合、その後、新しいキーが使用されなければならない。

画像ダイナミックレンジ変換演算子が、人間の視覚システム（ＨＶＳ）の視覚的反応を使用するオリジナルの画像をその輝度値がスクリーンに適応されるダイナミックレンジに属する画像と比較する場合、人間の視覚システムの反応の結果の間の残差の最小化がこれらの方法の間に算出される。この最小化は、部分ごとに線形であり画像毎に算出される変換曲線をもたらす。対応する演算子ＥＯｉは、そして、部分ごとに線形であり画像毎に算出される変換曲線をインバースすることによって算出され、これは各画像についてである。

画像ダイナミックレンジ変換演算子がオリジナルの画像シーケンスの画像の時間的な一致を維持する処理によって得られる場合に関連する変形形態によれば、インバース演算子がこの画像に適用される前に、この処理のインバース処理が、画像Ｉⁱ ₃に適用される。

例えば、この処理が式（９）によって与えられる場合、インバース処理は以下の式で与えられるだろう：

ここでＬ’_dは画像Ｉⁱ ₃の輝度コンポーネントである。

そのハードウェア側面の１つによれば、本発明は、図４を参照して記述される、画像ダイナミックレンジ変換演算子を選択するためのデバイス４００に関する。

デバイス４００は、デジタルアドレスおよびデータバス４０によって相互接続されている、以下の要素を含む：
− 算出ユニット４３（中央処理ユニットともいう）；
− メモリ４５；
− デバイス４００および接続４１を介して接続された他の遠隔デバイスの間の相互接続のための、ネットワークインタフェース４４。

算出ユニット４３は、（できる限り専用の）マイクロプロセッサによって、（またできる限り専用の）マイクロコントローラなどによって実装され得る。メモリ４５は、ＲＡＭ（ランダムアクセスメモリ）、ハードディスク、ＥＰＲＯＭ（消去可能プログラム可能ＲＯＭ）などの、揮発性および／または不揮発性の形態で実装され得る。デバイス４００は、図１から３に関して記述された本発明に従った方法を実装するように構成される。

この目的のために、手段４３、４４およびできる限り４５は、互いに協働して画像ダイナミックレンジ変換演算子ＴＭＯｉをオリジナルの画像Ｉ_１に適用し、そのダイナミックレンジがオリジナルの画像よりも低い修正された画像Ｉⁱ ₂を取得するとともに、ダイナミックレンジ変換演算子を選択する品質基準を最適化する。品質基準を最適化する手段は、上記画像ダイナミックレンジ変換演算子ＴＭＯｉによって修正されたオリジナルの画像Ｉⁱ ₂を符号化および復号化した後の再構築されたバージョンＩⁱ ₃から算出された歪みＤｉに応じて、上記品質基準Ｑｉが各画像ダイナミックレンジ変換演算子ＴＭＯｉについて算出されるように構成される。

ハードウェアの他の側面によれば、本発明は、その輝度値が所与のダイナミック値レンジ（ＨＤＲ）に属する画像のダイナミックレンジを、その輝度値がオリジナルの画像よりも低ダイナミック値レンジ（ＬＤＲ）に属する画像に変換するシステムＣＯＮＶに関する。これは、通常、ＨＤＲからＬＤＲへのダイナミックレンジ低減として言及される。

図５は本発明に従った方法を実装する画像を変換するためのシステムのブロック図を示す。

システムＣＯＮＶは、その輝度値が画像ＳＩＯ（ＨＤＲ）よりも低ダイナミック値レンジＬＤＲに属する、修正された画像を取得するために、オリジナルの画像ＳＩＯの輝度コンポーネントＬｗに適用されるべく意図されたＭ（＞１）個のダイナミックレンジ変換演算子ＴＭＯｉを含む。

カラー(colour：色)画像の場合、システムＣＯＮＶは、このカラー画像ＳＩＯの輝度コンポーネントＬｗを取得するための手段ＧＬＷを有する。例えば、画像ＳＩＯが（Ｒ，Ｇ，Ｂ）色空間において表現される場合、画像は、輝度コンポーネントＬｗを形成する、（Χ，Ｙ，Ζ）空間のＹチャネルを回復するように、（Χ，Ｙ，Ζ）色空間において表現されるために変換される。このような色空間変換手段を使用することは広く知られている。手段ＧＬＷの他の例は、本発明の範囲を離れること無く使用できる。システムＣＯＮＶはまた、色の一定の彩度(saturation）および色相を保存する目的のための手段ＤＩＶおよびＭＵＬＴを有する。これらの手段ＤＩＶは、カラー画像ＳＩＯに対応するＲ、ＧおよびＢカラーコンポーネントをコンポーネントＬｗによって分割するように構成され、および手段ＭＵＬＴは、修正された輝度コンポーネントによってかくして修正されたＲ、ＧおよびＢカラーコンポーネントを乗算するように構成される。この乗算により生ずる３つのコンポーネントは、そしてフローティング値で表現される。修正された画像ＬＤＲを取得するために、この乗算によって生ずるこれらの３つのコンポーネントは、システムＣＯＮＶの手段Ｆｔｏｌの入力において提出され、修正されたカラー画像が表示されなければならないスクリーンについてのダイナミック値レンジに属する全体の値へのそれらの値の変換を受ける。

本発明によれば、変換システムは、Ｍ個の変換演算子ＴＭＯｉの中からダイナミックレンジ変換演算子ＴＭＯｏを選択するためのデバイスもまた有する。このデバイスは、図４に関連して記述されるデバイス４００に従ったものである。

他の側面によれば、本発明は、所与のダイナミックレンジのオリジナルの画像を符号化するための方法に関し、およびそのダイナミックレンジがオリジナルの画像のものよりも低い画像は、画像ダイナミックレンジ変換演算子をオリジナルの画像に適用することによって得られる。

そのような符号化方法の例は、各オリジナルの画像（しばしばＨＤＲ画像と呼ばれる画像）を、そのダイナミックレンジが低い画像（しばしばＬＤＲ画像と呼ばれる画像）を使用して、予測することである。このタイプの符号化方法は、ＨＤＲ画像およびＬＤＲ画像の両方を符号化するものも含む。

このようなタイプの符号化方法は、本発明によれば、ＬＤＲ画像を取得するために使用される画像ダイナミックレンジ変換演算子が、図１から４に関連して記述される方法のうちの１つに従って、画像ダイナミックレンジ変換演算子のセットから選択されることに特徴がある。さらに、演算子ＥＯｉが選択方法によって使用される場合、演算子ＥＯｉは、演算子ＴＭＯｉによって生み出されるもののインバースである演算を実行する。

図１から５において、示されるモジュールは、物理的に区別可能なユニットに対応してもしなくてもよい機能ユニットである。例えば、これらのモジュールまたはこれらのうちのいくつかは、単一のコンポーネントまたは回路内にグループ化され、または同じソフトウェアの機能を構成することができる。一方、いくつかのモジュールは、別々の物理的エントリから構成される。本発明に適合するデバイスおよびシステムは、完全なハードウェア実施形態、例えば、専用コンポーネント（例えば、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、ＶＬＳＩ（very large scale integration）、若しくはデバイスに統合されるいくつかの電気的コンポーネントの形態で、またはハードウェア要素およびソフトウェア要素の混合の形態でも実装される。
［付記１］
品質基準を最適化することによって、画像ダイナミックレンジ変換演算子のセットから画像ダイナミックレンジ変換演算子を選択するための方法であって、各画像ダイナミックレンジ変換演算子（ＴＭＯｉ）はオリジナルの画像（Ｉ ₁ ）に適用されて（１０）、ダイナミックレンジが前記オリジナルの画像よりも低い、修正された画像（Ｉ ⁱ ₂ ）と呼ばれる画像を取得し、
前記品質基準（Ｑｉ）は、前記画像ダイナミックレンジ変換演算子（ＴＭＯｉ）によって修正された前記画像（Ｉ ⁱ ₂ ）を符号化および復号化した後の再構築されたバージョン（Ｉ ⁱ ₃ ）から算出される歪み（Ｄｉ）に応じて、各画像ダイナミックレンジ変換演算子（ＴＭＯｉ）について算出される、前記方法。
［付記２］
前記歪み（Ｄｉ）は、前記画像ダイナミックレンジ変換演算子（ＴＭＯｉ）によって修正されたオリジナルの画像（Ｉ ⁱ ₂ ）と前記再構築されたバージョン（Ｉ ⁱ ₃ ）との間で算出される、付記１に記載の方法。
［付記３］
前記歪み（Ｄｉ）は、それらのダイナミックレンジが、前記修正されたオリジナルの画像（Ｉ ⁱ ₂ ）を取得するために使用されるそれ（ＴＭＯｉ）のインバースである演算子（ＥＯｉ）を適用することによって拡張されると、前記修正されたオリジナルの画像（Ｉ ⁱ ₂ ）および前記再構築されたバージョン（Ｉ ⁱ ₃ ）の間で算出される、付記２に記載の方法。
［付記４］
前記歪みは、前記再構築されたバージョンのダイナミックレンジが、前記修正された画像を取得するために使用されるそれ（ＴＭＯｉ）のインバースである演算子（ＥＯｉ）を適用することによって拡張されると、前記オリジナルの画像および前記再構築されたバージョン（Ｉ ⁱ ₃ ）の間で算出される、付記１に記載の方法。
［付記５］
前記品質基準（Ｑｉ）は、修正および符号化されたオリジナルの画像のビットレート（Ｄｉ）の関数でもある、付記２から４のいずれかに記載の方法。
［付記６］
画像ダイナミックレンジ演算子のセットから画像ダイナミックレンジ変換演算子を選択するためのデバイスであって、前記デバイスは、画像ダイナミックレンジ変換演算子（ＴＭＯｉ）をオリジナルの画像（Ｉ ₁ ）に適用して、ダイナミックレンジが前記オリジナルの画像のものより低い、修正された画像（Ｉ ⁱ ₂ ）と呼ばれる画像を取得する手段、およびダイナミックレンジ変換演算子を選択するための品質基準を最適化するための手段を有し、
前記品質基準を最適化するための手段は、前記品質基準（Ｑｉ）が前記画像ダイナミックレンジ変換演算子（ＴＭＯｉ）によって修正された画像（Ｉ ⁱ ₂ ）を符号化および復号化した後の再構築されたバージョンから算出される歪み（Ｄｉ）に応じて、各画像ダイナミックレンジ変換演算子（ＴＭＯｉ）について算出されるよう構成されている、前記デバイス。
［付記７］
輝度値が所与のダイナミック値レンジに属するオリジナルの画像シーケンス（ＳＩＯ）を変換するためのシステムであって、前記システムは、値が前記オリジナルの画像シーケンス（ＳＩＯ）の値よりも低ダイナミック値レンジに属する、修正された輝度コンポーネント（Ｌｄ）を取得するために、前記オリジナルの画像シーケンス（ＳＩＯ）の各画像の輝度コンポーネント（Ｌｗ）に適用されるよう意図された、いくつかのダイナミックレンジ変換演算子（ＴＭＯｉ）を備え、
付記６に記載の方法に従って、前記画像ダイナミックレンジ変換演算子の中からダイナミックレンジ変換演算子（ＴＭＯ）を選択するためのデバイスをまた備える、前記システム。
［付記８］
オリジナルの画像に画像ダイナミックレンジ変換演算子を適用することによって取得される、ダイナミックレンジが前記オリジナルの画像のダイナミックレンジよりも低い画像を使用して、所与のダイナミックレンジの前記オリジナルの画像を符号化する方法であって、
画像ダイナミックレンジ変換演算子は、付記１から５のいずれかに記載の方法に従って、画像ダイナミックレンジ変換演算子のセットから選択される、前記方法。
［付記９］
画像ダイナミックレンジ変換演算子をオリジナルの画像に適用することにより取得される、ダイナミックレンジが前記オリジナルの画像のダイナミックレンジよりも低い画像を使用して、所与のダイナミックレンジの前記オリジナルの画像を符号化するためのデバイスであって、
前記画像ダイナミックレンジ変換演算子は、付記６に記載されたデバイスに従って、画像ダイナミックレンジ変換演算子のセットから選択される、前記デバイス。

Claims

品質基準を最適化することによって、画像ダイナミックレンジ変換演算子のセットから画像ダイナミックレンジ変換演算子を選択する方法であって、各画像ダイナミックレンジ変換演算子はオリジナルの画像に適用されて、ダイナミックレンジが前記オリジナルの画像よりも低い、修正された画像と呼ばれる画像を取得し、
前記品質基準は、前記修正された画像と前記画像ダイナミックレンジ変換演算子によって修正された前記画像を符号化および復号化した後の再構築されたバージョンとの間で算出される歪みに応じて、各画像ダイナミックレンジ変換演算子について算出される、前記方法。
前記修正された画像を取得するために使用された変換演算子のインバースである演算子を適用することによって前記修正された画像および前記再構築されたバージョンのダイナミックレンジが拡張されると、前記修正された画像および前記再構築されたバージョンの間で前記歪みが算出される、請求項１に記載の方法。
前記品質基準は、修正および符号化されたオリジナルの画像のビットレートの関数でもある、請求項１または２に記載の方法。
画像ダイナミックレンジ演算子のセットから画像ダイナミックレンジ変換演算子を選択するデバイスであって、前記デバイスは、
画像ダイナミックレンジ変換演算子をオリジナルの画像に適用して、ダイナミックレンジが前記オリジナルの画像のものより低い、修正された画像と呼ばれる画像を取得し、
ダイナミックレンジ変換演算子を選択するための品質基準を最適化するよう構成されているプロセッサを有し、
前記プロセッサは、前記品質基準が、前記修正された画像と前記画像ダイナミックレンジ変換演算子によって修正された画像を符号化および復号化した後の再構築されたバージョンとの間で算出される歪みに応じて、各画像ダイナミックレンジ変換演算子について算出されるよう、品質基準を最適化するようさらに構成されている、前記デバイス。
輝度値が所与のダイナミック値レンジに属するオリジナルの画像シーケンスを変換する装置であって、前記装置は、値が前記オリジナルの画像シーケンスの値よりも低ダイナミック値レンジに属する、修正された輝度コンポーネントを取得するために、前記オリジナルの画像シーケンスの各画像の輝度コンポーネントに適用されるよう意図された、いくつかのダイナミックレンジ変換演算子を備え、
請求項４に記載のデバイスに従って、前記画像ダイナミックレンジ変換演算子の中からダイナミックレンジ変換演算子を選択するデバイスをまた備える、前記装置。
オリジナルの画像に画像ダイナミックレンジ変換演算子を適用することによって取得される、ダイナミックレンジが前記オリジナルの画像のダイナミックレンジよりも低い画像を使用して、所与のダイナミックレンジの前記オリジナルの画像を符号化する方法であって、
画像ダイナミックレンジ変換演算子は、請求項１から３のいずれかに記載の方法に従って、画像ダイナミックレンジ変換演算子のセットから選択される、前記方法。
画像ダイナミックレンジ変換演算子をオリジナルの画像に適用することにより取得される、ダイナミックレンジが前記オリジナルの画像のダイナミックレンジよりも低い画像を使用して、所与のダイナミックレンジの前記オリジナルの画像を符号化するデバイスであって、
前記画像ダイナミックレンジ変換演算子は、請求項４に記載されたデバイスに従って、画像ダイナミックレンジ変換演算子のセットから選択される、前記デバイス。