JP6039763B2 - 局所トーンマッピングのための方法、装置及び記憶媒体 - Google Patents

Description

本発明は、概して画像形成処理に関し、特に、高ダイナミックレンジ画像処理に関する。

人間の目は、最高で１：１０，０００まで又はそれ以上のコントラスト比を認識することができる。従来のデジタル画像フォーマット（所謂２４ビットフォーマット）のほとんどは、画像における夫々のピクセルについて色及び輝度の両方を記憶するために、最高で２４ビットを使用する。かかるフォーマットは、これまで最も一般的に利用可能であるタイプのレガシ電子ディスプレイによって再現され得る以上の画像情報を維持しようと試みないので、出力参照型標準（output referred standards）と呼ばれることがある。

譲受人及び他によって開発されているディスプレイ技術は、高ダイナミックレンジ（ＨＤＲ）を有する画像を再現することができる。かかるディスプレイは、従来のディスプレイよりも忠実に実在の場面を表す画像を再現することができる。

新しいＨＤＲディスプレイ技術とともに下位互換性をサポートするよう、ＨＤＲ画像は、付加的なメタデータとともに、トーンマッピング画像によって表されてよい。一方で、トーンマッピング画像は、（例えば、レガシディスプレイで）通常のダイナミックレンジ画像を提示するために使用される。他方で、付加的なメタデータは、（例えば、ＨＤＲディスプレイによって）ＨＤＲ画像を生成し、回復し、又は提示するために、トーンマッピング画像とともに使用されてよい。

幾つかのトーンマッピングオペレータ（ＴＭＯ）が、ＨＤＲ画像に基づきトーンマッピング画像を生成するために使用されてよい。それらのＴＭＯの中で、ラインハルト大域フォトグラフィックオペレータは、比較的効率的にトーンマッピング画像を生成するために使用される。しかし、ラインハルトオペレータは、特に明るい領域において、比較的多くの画像詳細を失うという欠点を有する。バイラテラルフィルタは、比較的高品質のトーンマッピング画像を生成するために使用される。しかし、バイラテラルフィルタのための計算費用は非常に高く、場合により、ラインハルトオペレータのような比較的簡単なＴＭＯの６０倍である。ヒストグラム調整オペレータ又は勾配ドメインオペレータのような他のＴＭＯは、上記のものとともに働かないことが分かっている。

この項において記載されるアプローチは、追跡され得るアプローチであるが、必ずしも以前に考えられ又は追跡されてきたアプローチではない。従って、別なふうに示されない限り、この項において記載されるアプローチのいずれもが単にこの項におけるそれらの包含によると考えられるべきではない。同様に、１又はそれ以上のアプローチに関して特定される課題は、別なふうに示されない限り、この項に基づきあらゆる先行技術において認識されてきたと考えられるべきではない。

本発明の幾つかの可能な実施形態に従う局所マルチスケールトーンマッピングシステムの例を表す。 本発明の幾つかの可能な実施形態に従う局所マルチスケールレシオオペレータの例を表すブロック図である。 本発明の幾つかの可能な実施形態に従う局所マルチスケール画像処理方法の例を表すブロック図である。 本発明の幾つかの可能な実施形態に従う局所マルチスケール（レシオ）オペレータの例を表すブロック図である。 本発明の可能な実施形態に従う処理フローの例を表す。 本発明の可能な実施形態に従う処理フローの例を表す。 本発明の可能な実施形態に従う、本願で記載されるコンピュータ又はコンピュータ装置が実施され得るハードウェアプラットフォームの例を表す。

本発明は、一例として、限定としてではなく、添付の図面の図において表される。図面において、同じ参照符号は同じ要素を表す。

例となる可能な実施形態は、局所マルチスケールトーンマッピング技術に関し、本願において記載される。以下の記載において、説明のために、多数の具体的な詳細が、本発明の完全な理解を提供するために記載されている。しかし、本発明がそのような具体的な詳細によらずに実行されてよいことは明らかである。他の例において、よく知られている構造及び装置は、不必要に本発明を含み、不明りょうにし、又は分かりにくくすることを避けるために、詳細には記載されない。

例となる実施形態は、次の骨子に従ってここで記載される：
１．総括
２．マルチスケール局所トーンマッピングシステム
３．マルチスケール局所トーンマッピングオペレータ
４．局所マルチスケール画像処理方法
５．局所マルチスケールオペレータ
６．例となる処理フロー
７．実施メカニズム−ハードウェア概要
８．同等物、拡張、代替物、他。

１．総括
この概要は、本発明の可能な実施形態の幾つかの態様の基本的な説明を与える。この概要は可能な実施形態の態様の広範囲に及ぶ又は包括的な要約ではない点に留意すべきである。更に、この概要は、可能な実施形態のあらゆる特に有意な態様又は要素を特定し且つ可能な実施形態、特に概して本発明のあらゆる適用範囲を線引きすると理解されるよう意図されない。この概要は単に、例となる可能な実施形態に関する幾つかの概念を要約及び簡単化された形で提示するにすぎず、以下に続く例となる可能な実施形態のより詳細な記載に対する単なる考え方の前置きとして理解されるべきである。

幾つかの可能な実施形態において、画像フォーマットは、ＨＤＲ画像レンダリング及び非ＨＤＲ画像レンダリングをサポートするために使用されてよい。ここで論じられる画像フォーマットの例は、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ、又は他の適切なフォーマットであってよい。そのような画像フォーマットの特定の例は、新しいＨＤＲディスプレイ装置におけるＨＤＲ画像レンダリングと、ＨＤＲ又は非ＨＤＲディスプレイ装置における非ＨＤＲ画像レンダリングとを同時にサポートするためにＪＰＥＧに代えて使用されるＪＰＥＧ−ＨＤＲである。ＪＰＥＧ−ＨＤＲは、ＪＰＥＧにおいて定義される標準ロケーションにおいて（例えば、ビットストリームにおいて、ディスクフォーマットにおいて、等）トーンマッピング画像を記憶し、非ＨＤＲディスプレイ装置によって無視され得る新しいロケーションにおいて付加的なメタデータを記憶する。付加的なメタデータは、原のＨＤＲ画像のＨＤＲバージョンを生成／復元するために、トーンマッピング画像とともに使用されてよい。

幾つかの可能な実施形態において、ここで記載される付加的なメタデータは、ここで記載される技術を用いて原のＨＤＲ画像から得られる局所マルチスケールグレースケールレシオ画像である。幾つかの可能な実施形態において、拡張ＹＣＣ域のような色域が、トーンマッピング画像及び局所マルチスケールグレースケールレシオ画像から生成／復元される原のＨＤＲ画像のＨＤＲバージョンにおける夫々のピクセルでの完全な回復を可能にするために、本願における画像フォーマットとともに使用されてよい。幾つかの可能な実施形態において、ここで記載される技術は、原のＨＤＲ画像のＨＤＲバージョンにおける夫々のピクセルでの完全な回復を可能にするために、閾値を下回るトーンマッピング画像における完全黒のトーンマッピング値の数を最小限とする（例えば、トーンマッピング画像におけるピクセルの総数の０．０１％、０．１％、１％、２％、等）。

本願における技術の下で、輝度値の所望出力範囲に適合するために大域コントラストを圧縮し、人間の視覚認知にとって重要である局所コントラストを失う大域トーンマッピング（ＴＭ）オペレータを用いることに代えて、局所マルチスケールトーンマッピング処理が、全体的なマッピングをそのままにしながら、大域ＴＭオペレータにおいて妥協してきた局所コントラストを改善するトーンマッピング画像を生成するために使用されてよい。幾つかの可能な実施形態において、局所マルチスケールＴＭ処理は、詳細の損失なしに輝度値をマッピングするために大域曲線（例えば、ヒストグラム調整ＴＭ曲線）を使用する。幾つかの可能な実施形態において、局所マルチスケールＴＭ処理は、処理において新たなアーティファクト（例えば、ハロ）を生成／導入することなしに、効率的に実行される。特定の実施形態において、効率的な再帰処理が、高い計算効率を有して、ここで記載される局所マルチスケール処理を実行するよう実施される。特定の可能な実施形態において、局所マルチスケール処理は、大域ＴＭオペレータによるＴＭ処理と比べてたった３０％しか長くない時間を費やす。

幾つかの可能な実施形態において、入力ＨＤＲ画像が読み込まれ、その輝度値が対数領域に変換される。ヒストグラム調整ＴＭ曲線が計算され、大域レシオグレースケール画像を決定するために輝度値へ適用される。ここで使用されるように、レシオ画像は一般的に、トーンマッピング前の画像（例えば、入力ＨＤＲ画像又はその対数等価物）における輝度値と、トーンマッピング後の画像（例えば、トーンマッピング画像又はその対数等価物）における輝度値との間のレシオ値を有する画像を言う。幾つかの可能な実施形態において、レシオ画像は、非対数領域において夫々のピクセル位置でトーンマッピング後の画像によって割られたトーンマッピング前の画像として、又は同等に、対数領域において夫々のピクセル位置でトーンマッピング後の画像を引いたトーンマッピング前の画像として、論理的に表される。幾つかの他の可能な実施形態において、レシオ画像は、非対数領域において夫々のピクセル位置でトーンマッピング前の画像によって割られたトーンマッピング後の画像として、又は同等に、対数領域において夫々のピクセル位置でトーンマッピング前の画像を引いたトーンマッピング後の画像として、論理的に表される。全てのそれらの実施形態において、トーンマッピング前の画像は、レシオ画像（例えば、局所マルチスケールＴＭ画像）及びトーンマッピング前の画像（例えば、入力ＨＤＲ画像）が知られる場合に、簡単な代数演算（例えば、非対数領域における乗算／除算；対数領域における加算／減算）を介して求められ得る点に留意すべきである。

幾つかの可能な実施形態において、局所マルチスケールレシオにマージされる他のレシオ画像を生成するために使用される大域レシオ画像は、１６ビット整数量を用いる減算によって効率的に計算される。幾つかの可能な実施形態において、トーンマッピング画像に対する基準最大値が計算されてよく、トーンマッピング画像は、僅かな割合のピクセル以外が、サポートされる色域（例えば、拡張ＹＣＣ色域）の外にないように、変更されてよい。

幾つかの可能な実施形態において、ここで記載されるメカニズムは、テレビ受像機、ラップトップ型コンピュータ、ノートブック型コンピュータ、携帯型無線電話機、電子ブックリーダー、販売時点情報管理（ＰＯＳ）端末、デスクトップ型コンピュータ、コンピュータワークステーション、コンピュータキオスク、様々な他の種類の端末、及びディスプレイユニット等を含むがこれらに限られないディスプレイシステムの一部を形成する。

望ましい実施形態に対する様々な変更並びにここで記載される一般的な原理及び特徴は、当業者に容易に認識されるであろう。よって、開示は、示されている実施形態に制限されず、ここで記載される原理及び特徴に従う最も広い範囲を認められる。

２．マルチスケールトーンマッピングシステム
図１Ａは、本発明の幾つかの可能な実施形態に従う局所マルチスケールトーンマッピングシステム（１００）の例を表す。幾つかの可能な実施形態において、局所マルチスケールトーンマッピングシステム（１００）は、入力されたＨＤＲ画像（例えば、１０２）を入力フォーマット（例えば、浮動小数点値を有するＲＧＢフォーマット）から局所マルチスケールトーンマッピング（ＴＭ）画像（例えば、１１０）及び局所マルチスケールレシオ画像（例えば、１０６）を含む出力フォーマットへ変換する局所マルチスケールトーンマッピング処理を実施するソフトウェア及び／又はハードウェア部品により構成されてよい。

幾つかの可能な実施形態において、システム（１００）は、入力されたＨＤＲ画像（１０２）を多数の可能な入力源の１つから取り出す又は受け取るよう構成されるソフトウェア及び／又はハードウェア部品を有してよい。入力源には、インターネット、記憶媒体（例えば、ブルーレイＤＶＤ、ハードディスク、ネットワークアクセスストレージ（ＮＡＳ）等）、無線放送、衛星放送、ケーブル等があるが、これらに限られない。入力ＨＤＲ画像（１０２）は、ビデオストリーム等の入力画像のシーケンスの一部であってもなくてもよい。システム（１００）は、内部ランダムアクセス高速メモリ空間又は他のタイプの利用可能なメモリ空間において入力ＨＤＲ画像（１０２）を記憶／キャッシュしてよい。

幾つかの可能な実施形態において、システム（１００）は、入力ＨＤＲ画像（１０２）に基づき大域レシオ画像（例えば、１２２）を生成するよう構成される大域レシオオペレータを有してよい。システム（１００）は、内部ランダムアクセス高速メモリ空間において大域レシオ画像（１２２）を記憶／キャッシュしてよい。幾つかの可能な実施形態において、大域レシオオペレータ（１２０）は、大域トーンマッパー（関数、超関数、曲線、データテーブル等の形で実施されてよい。）、例えば大域ヒストグラム調整ＴＭオペレータに対応してよい。本発明のために、ラインハルトオペレータ等のような他の大域ＴＭオペレータが、大域ヒストグラム調整ＴＭオペレータの代わりに、又はそれとともに、大域レシオオペレータ（１２０）が対応する大域トーンマッパーとして使用されてよい。幾つかの可能な実施形態において、大域レシオ画像（１２２）の空間分解能レベルは、入力ＨＤＲ画像の空間分解能レベルと同じであってよいが、それに限られない。ここで使用されるように、空間分解能レベルは、画像が表現するよう設定される最大鮮明度をいい、１又はそれ以上の空間次元において独立したピクセルの数により示され得る。よって、空間分解能レベルが低い画像は、より大きい空間次元へとアンサンプリングされるか、又は不鮮明にされる場合に、同じく低い空間分解能レベルのままである。

幾つかの可能な実施形態において、システム（１００）は、局所マルチスケールレシオオペレータ（例えば、１０４）を有してよい。局所マルチスケールレシオオペレータ（１０４）は、一般的に、大域レシオ画像（例えば、１２２）を受け取り、大域レシオ画像（１２２）に対して局所マルチスケールレシオ演算を実行し、大域レシオ画像（１２２）に基づき局所マルチスケールレシオ画像（１０６）を生成するよう構成されるソフトウェア及び／又はハードウェアを有してよい。

幾つかの可能な実施形態において、システム（１００）は、局所マルチスケールトーンマッピング（ＴＭ）オペレータ（１０８）を有してよい。局所マルチスケールＴＭオペレータ（１０８）は、一般的に、入力としてＨＤＲ画像（１０２）と局所マルチスケールレシオ画像（１０６）とを用いて局所マルチスケールトーンマッピング演算を実行し、ＨＤＲ画像及び局所マルチスケールレシオ画像に基づき出力として局所マルチスケールＴＭ画像（１１０）を生成するよう構成されるソフトウェア及び／又はハードウェアを有してよい。

幾つかの可能な実施形態において、システム（１００）は、局所マルチスケールＴＭ画像（１１０）及び／又は局所マルチスケールレシオ画像（１０６）をシステム（１００）内又は外の他の装置及び／又は他の部品へ供給するようソフトウェア及び／又はハードウェア部品により構成されてよい。例において、システム（１００）は、第１の出力（例えば、１１２）において局所マルチスケールＴＭ画像（１１０）を及び第２の出力（例えば、１１４）において局所マルチスケールレシオ画像（１０６）を供給してよい。ここで使用されるように、第１の出力（１１２）及び第２の出力（１１４）は、物理的又は論理的であってよい。例において、２つの別個のデータ経路が、２つの出力（１１２及び１１４）を運ぶために使用されてよい。他の例において、単一のデータ経路（例えば、１２４）が、２つの出力（１１２及び１１４）を運ぶために使用されてよい。例えば、２つの第１及び第２の出力（１１２及び１１４）、すなわち、それらにおける局所マルチスケールレシオ及びＴＭ画像（１０６及び１１０）は、論理構造を有して単一ビットストリームにおいて符号化されてよい。それから、局所マルチスケールレシオ及びＴＭ画像（１０６及び１１０）の夫々は復号化／回復されてよい。

幾つかの可能な実施形態において、局所マルチスケールレシオ及びＴＭ画像（１０６及び１１０）の一方のみがシステム（１００）によって提供されてよい。例において、システム（１００）は、局所マルチスケールＴＭ画像（１１０）のみを非ＨＤＲディスプレイ装置へ供給するよう構成されてよい。幾つかの可能な実施形態において、システム（１００）は、（１）局所マルチスケールＴＭ画像（１１０）のみ又は（２）局所マルチスケールレシオ及びＴＭ画像（１０６及び１１０）の両方のいずれかをＨＤＲディスプレイ装置へ供給するよう構成されてよい。幾つかの可能な実施形態において、システム（１００）からの局所マルチスケールレシオ及びＴＭ画像（１０６及び１１０）は、有形的媒体（例えば、ディスク、インターネットに基づくサーバ、ＮＡＳ、記憶媒体等）を介して記憶／送信されてよく、それから、ディスプレイ装置は、復号化／回復されるべき画像又は画像の組み合わせを選択してよい。

３．マルチスケール局所トーンマッピングオペレータ
図１Ｂは、本発明の幾つかの可能な実施形態に従う局所マルチスケールレシオオペレータ（例えば、１０４）の例を表すブロック図である。

幾つかの可能な実施形態において、局所マルチスケールレシオオペレータ（１０４）は、一般的に、大域レシオ画像（１２２）に基づき、レシオ画像１（１２２−１）、・・・及びレシオ画像Ｎ（１２２−Ｎ）を含むレシオ画像の組を生成するよう構成されるソフトウェア及び／又はハードウェア部品を有してよい。なお、Ｎは、組に含まれる異なるレシオ画像の数を示す１よりも大きい正の整数である。幾つかの可能な実施形態において、レシオ画像の組は、異なった空間分解能レベルを有する少なくとも２つの異なるレシオ画像を含む。幾つかの可能な実施形態において、大域レシオ画像（１２２）は、レシオ画像の組の一員として含まれる。幾つかの他の可能な実施形態において、大域レシオ画像（１２２）は、レシオ画像の組に一員として含まれない。例において、レシオ画像の組は、大域レシオ画像（１２２）と、１又はそれ以上の他のレシオ画像（例えば、１２２−Ｎを含んでよい。）とを有する。大域レシオ画像（１２２）は、入力ＨＤＲ画像の空間分解能レベルと同じ空間分解能レベルにあってよく、一方、１又はそれ以上の他のレシオ画像の中の少なくとも１つは、入力ＨＤＲ画像よりも低い空間分解能レベルにある（例えば、１又はそれ以上の空間次元において２倍（２×）、４倍（４×）、８倍（８×）等粗い。）。他の例において、レシオ画像の組は、２又はそれ以上のレシオ画像を含み、そのいずれもが大域レシオ画像（１２２）ではない。２又はそれ以上のレシオ画像の中の１つ（例えば、１２２−１）は、入力ＨＤＲ画像よりも低い第１の空間分解能レベルにあり（例えば、１又はそれ以上の空間次元において２倍（２×）、４倍（４×）、８倍（８×）等粗い。）、一方、２又はそれ以上のレシオ画像の中の少なくとも１つの他は、入力ＨＤＲ画像よりも低い第２の異なる空間分解能レベルにあり（例えば、１又はそれ以上の空間次元において４倍（４×）、８倍（８×）、１６倍（１６×）等粗い。）
幾つかの可能な実施形態において、局所マルチスケールレシオオペレータ（１０４）は、一般的に、直接的に又は間接的に大域レシオ画像（１２２）に基づき、大域レシオ画像（１２２）自体ではないレシオ画像の組の中の各レシオ画像を生成するよう構成されるソフトウェア及び／又はハードウェア部品を有してよい。ここで使用されるように、“直接的に大域レシオ画像に基づき特定のレシオ画像を生成する”とは、その特定のレシオ画像を生成するために演算が直接に大域レシオ画像（例えば、１２２）に対して実行されることを意味し、一方、“間接的に大域レシオ画像に基づき特定のレシオ画像を生成する”とは、その特定のレシオ画像を生成するために演算が、大域レシオ画像に対して直接に実行されるのではなく、間接的又は直接的に大域レシオ画像（例えば、１２２）に基づき生成されていた中間レシオ画像に対して直接に実行されることを意味する。幾つかの可能な実施形態において、ここで記載されるように大域レシオ画像又は中間レシオ画像に対して実行される演算は、ダウンサンプリング動作、アンサンプリング動作、非対数領域における乗算／除算（若しくは対数領域における加算／減算）、非対数領域における階乗の増減演算（若しくは対数領域における乗算／除算）等であってよい。

幾つかの可能な実施形態において、局所マルチスケールレシオオペレータ（１０４）は、一般的に、レシオ画像の組に含まれるレシオ画像を局所マルチスケールレシオ画像（１０６）にマージするよう構成されるソフトウェア及び／又はハードウェア部品を有してよい。幾つかの可能な実施形態において、レシオ画像の組は、最も高い空間分解能レベルから最も低い空間分解能レベルへ連続的に順序付けられてよい。幾つかの可能な実施形態において、１又はそれ以上のより高い空間分解能レベルを有する１又はそれ以上のレシオ画像（例えば、先行するレシオ画像）は、その１又はそれ以上のより高い空間分解能レベルよりも低い空間分解能レベルを有するレシオ画像（例えば、後続のレシオ画像）を生成するために使用される。

幾つかの可能な実施形態において、レシオ画像の組における各レシオ画像は、そのレシオ画像が局所マルチスケールレシオ画像（１０６）にマージされる前に、別々にメモリ空間においてキャッシュ又は記憶される。幾つかの他の可能な実施形態において、レシオ画像の組における各レシオ画像は論理的な意味において存在するが、後続のレシオ画像は、他の後続のレシオ画像が更に生成された後にマージされて、その先行するレシオ画像の全てのマージ結果とともにキャッシュされてよい。

４．局所マルチスケール画像処理方法
図２は、本発明の幾つかの可能な実施形態に従う局所マルチスケール画像処理方法（２００）の例を表すブロック図である。図２における実線の矢印はデータの流れを示し、一方、破線の矢印は制御の流れを示す。方法（２００）は、１又はそれ以上のコンピュータ装置によって実行されてよい。

ステップ２０２で、局所マルチスケール画像処理方法（２００）がアプリケーションから呼び出されてよい。アプリケーションは、標準ダイナミックレンジ（ＳＤＲ）ディスプレイにＨＤＲ画像を表示することに関連するものであってよいが、それに限られない。ステップ２０４で、方法（２００）は、入力されたＨＤＲ画像（例えば、１０２）をメモリ空間にロードしてよい。入力ＨＤＲ画像（１０２）は浮動小数点ＲＧＢ画像であってよく、一方、方法（２００）から出力されるトーンマッピンググレースケール画像は、局所マルチスケールトーンマッピング画像（例えば、１１０）の一部として、例えばガンマ符号化スケール（γ＝２．２）において、トーンマッピング輝度値を示す同じ次元の８ビットグレースケール画像であってよい。

ステップ２０６で、入力ＨＤＲ画像は、（色度に関連するチャネルに加えて輝度チャネルを有するＹｕｖ色空間又は他の色空間に関連する色空間において）対数輝度（“ＬｏｇＹ”と表される。）値を有するＨＤＲ画像に変換されてよい。簡単のために、対数輝度値を有するＨＤＲ画像は、ここでは、ＬｏｇＹ領域におけるＨＤＲ画像（２１２）と呼ばれることがある。ここで使用されるように、輝度値は、輝度値、ルーマ値、又はガンマ拡張若しくは圧縮輝度値と称することがある。ステップ２０８で、方法（２００）は、ＬｏｇＹ領域におけるＨＤＲ画像の対数輝度値に基づきＬｏｇＹヒストグラムを計算し、ＬｏｇＹヒストグラム（２１４）を生成してよい。ステップ２１０で、方法（２００）は、ＬｏｇＹヒストグラム（２１４）に基づく計算を実行し、大域トーンマッピング曲線（２１６）を生成してよい。これは、大域ヒストグラム調整トーンマッピング演算子（ＴＭＯ）によって、又は直接的若しくは間接的に、大域ヒストグラム調整ＴＭＯに対応する大域レシオ演算子（例えば、１２０）によって、トーンマッピング又はレシオ演算において使用されてよい。

この時点での方法（２００）の動作フローは、ステップ２１８に通じる参照点Ａ（２４０）に達する。ステップ２１８で、方法は、ＬｏｇＹ画像（２１２）におけるＬｏｇＹ値をＬｏｇＹ領域における大域トーンマッピング値にマッピングするよう、大域トーンマッピング曲線（２１６）に基づく大域ヒストグラムＴＭＯを適用し、且つ、ここでは大域Ｌｏｇレシオ画像（２２８）と呼ばれるＬｏｇＹ領域における大域レシオ画像（例えば、１２２）を生成するよう、大域トーンマッピング値を有するＬｏｇＹ領域におけるＨＤＲ画像にけるＬｏｇＹ値を減じてよい。

ステップ２２０で、方法（２００）は、局所Ｌｏｇレシオ画像（２３０）と呼ばれる局所マルチスケールレシオ画像（例えば、１０６）を生成するよう、局所マルチスケールレシオオペレータ（例えば、図３の３００）を大域Ｌｏｇレシオ画像（２２８）へ適用してよい。幾つかの可能な実施形態において、局所マルチスケールレシオオペレータは、図１Ａ及び図１Ｂにおいて表される局所マルチスケールレシオオペレータ１０４と同じか、又はその一部であってよい。幾つかの可能な実施形態において、局所マルチスケールオペレータは、図３を参照して更に詳細に説明されるように、レシオ画像の組（例えば、１２２−１乃至１２２−Ｎ）を生成し、それらのレシオ画像を局所Ｌｏｇレシオ画像（２３０）にマージしてよい。

ステップ２２２で、局所Ｌｏｇレシオ画像（２３０）は、トーンマッピングＬｏｇＹ画像２３２を生成するよう、ＬｏｇＹ画像と結合される。結合は、Ｌｏｇ領域における加算又は線形領域における乗算のいずれかであってよい。幾つかの可能な実施形態において、ステップ２１８で実行されるレシオ演算は、Ｌｏｇ領域における減算であってよく（非対数領域における除算演算であってよい。）、一方、ステップ２２２における局所マルチスケールＴＭオペレータ（２２０）によって実行される演算は、逆の動作であってよい（例えば、Ｌｏｇ領域における加算。これは、非対数領域における乗算演算であってよい。）。

ステップ２２４で、方法（２００）は、トーンマッピングＬｏｇＹ画像（２３２）にわたって、基準最大輝度値（ＬｏｇＹ最大値２３４と呼ばれてよい。）を求めてよい／計算してよい。入力ＨＤＲ画像から得られる対応する色度値と結合される、基準最大輝度値を下回る輝度値は、非ＨＤＲディスプレイ装置を含む多種多様なディスプレイ装置によってサポートされる特定の色域内を保ってよい。画像に対する基準最大輝度値は、一定の少数の割合のピクセル以外は色域を超えないように選択されてよい。

ステップ２２６で、方法（２００）は、トーンマッピングＬｏｇＹ画像２３２における輝度値からＬｏｇＹ最大輝度値（２３４）を減じ、ＬｏｇＹ最大輝度値（２３４）を減じられたトーンマッピングＬｏｇＹ画像２３２における輝度値を固定小数点値（例えば、８ビット結果）に変換してよい。ステップ２３６で、８ビット結果における輝度値は、（カラー）トーンマッピング画像としてＨＤＲ画像から得られる色度値とともに使用されるよう、補正トーンマッピンググレースケールトーンマッピング画像において記憶されてよい。幾つかの可能な実施形態において、補正トーンマッピンググレースケールトーンマッピング画像は、ステップ２３８において、呼び出し元のアプリケーションへ返される。

５．局所マルチスケールレシオオペレータ
図３は、本発明の幾つかの可能な実施形態に従う局所マルチスケールレシオオペレータ（例えば、図２の２２０又は図１Ａの１０４）の例を表すブロック図を示す。局所マルチスケールレシオオペレータ（２２０）は、１又はそれ以上のコンピュータ装置によって実行される処理フロー（３００）を実施してよい。

ブロック３０２で、局所マルチスケールオペレータ（２０２）は、大域Ｌｏｇレシオ画像（例えば、２２８）（ここではＲと表される。）を受け取ることを開始してよい。ここで使用されるように、“レシオ値”は輝度値をいう。“レシオ画像”はここでは、輝度値を有するグレースケールレシオ画像をいう。ブロック３０４で、複数の空間分解能レベルＮを計算してよい。本発明のために、“Ｎを計算する”とは、２、３、４、５、６等の正整数の定数にＮを直接に設定することを含んでもよい。幾つかの可能な実施形態において、大域Ｌｏｇレシオ画像（２２８）の空間分解能レベルは、Ｎを計算することにおいて係数として使用される。例示のためだけに、大域Ｌｏｇレシオ画像（２２８）は、水平次元においてＤｘ（例えば、２０４８等）個のピクセルを及び垂直次元においてＤｙ（例えば、１５３６等）個のピクセルを有する長方形の画像フレームであってよいが、それに限られない。よって、大域Ｌｏｇレシオ画像（２２８）の空間分解能レベル、又は入力ＨＤＲ画像の空間分解能レベルは、画像フレームにおけるピクセルの総数Ｄｘ×Ｄｙを特徴としてよい。

幾つかの可能な実施形態において、空間分解能レベルの総数Ｎを計算するよう、大域Ｌｏｇレシオ画像（２２８）の空間分解能レベルは、空間分解能レベルの更なる低下が最低空間分解能レベルを下回る結果としての空間分解能レベルをもたらす点まで、正の整数ｍ_ｘ×ｍ_ｙ（×は乗算演算を表す。）の係数だけ逐次下げられる。ここで、ｍ_ｘは、（先行する）レシオ画像における水平次元沿いのピクセルの数がその先行レシオ画像の直ぐ後に続く後続レシオ画像における水平次元沿いの１ピクセルになることを示す正の整数であり、ｍ_ｙは、（先行する）レシオ画像における垂直次元沿いのピクセルの数がその先行レシオ画像の直ぐ後に続く後続レシオ画像における垂直次元沿いの１ピクセルになることを示す正の整数である。ここで使用されるように、最低空間分解能レベルは、大域Ｌｏｇレシオ画像の空間分解能レベルを下回る予め設定された及び／又はプログラムで設定された空間分解能レベルをいい、最低空間分解能レベルをとりうる最低値は、大域Ｌｏｇレシオ画像（２２８）の空間次元のいずれかにおける１ピクセル以上であってよい。

幾つかの可能な実施形態において、大域Ｌｏｇレシオ画像（２２８）の空間次元の夫々に沿ったサポート可能な空間分解能レベルの最大数は、最初に決定される。

例えば、水平次元における例示の分解能によってサポートされる最大レベル数Ｎ_ｘは、次の式：

ｍ_ｘ ^Ｎｘ≦Ｄｘ 式（１）

を満足する最大値として計算されてよい。

同様に、水平次元における例示の分解能によってサポートされる最大レベル数Ｎ_ｙは、次の式：

ｍ_ｙ ^Ｎｙ≦Ｄｙ 式（２）

を満足する最大値として計算されてよい。

幾つかの可能な実施形態において、Ｎは、１よりも大きく且つ式（１）及び（２）から計算されるＮ_ｘ及びＮ_ｙのいずれの最大値よりも大きくない何らかの正の整数に設定される。

幾つかの可能な実施形態において、Ｎは、１よりも大きい正の整数に設定され、故に、（大域Ｌｏｇレシオ画像（２２８）から開始して先行レシオ画像の分解能を逐次下げることによって得られる）レシオ画像のピラミッドの頂点における最低空間分解能レベルは、夫々の次元において少なくとも１ピクセル幅である。

本発明のために、Ｎを計算する他の方法が使用されてよい。例えば、定数ｍ_ｘ及びｍ_ｙを使用することに代えて、ｍ_ｘ及びｍ_ｙは、２又はそれ以上の異なる空間分解能レベルで異なる値に設定されてよい。幾つかの可能な実施形態において、Ｎは、予め設定された又はユーザにより設定された値に設定されてよく、空間分解能レベルは、Ｎの予め設定された又はユーザにより設定された値に少なくとも部分的に基づき決定されてよい。幾つかの可能な実施形態において、Ｎ及び／又は空間分解能レベルの１若しくはそれ以上は、入力ＨＤＲ画像（１０２）、又は大域Ｌｏｇレシオ画像（２２８）、又は目下のレシオ画像を推定するために使用される先行レシオ画像の内容に対して画像分析を行うことなく、決定されてよい。幾つかの可能な実施形態において、画像分析は、１又はそれ以上の先行画像の内容に対して実行されてよく、Ｎ及び／又は空間分解能レベルの１若しくはそれ以上は、画像分析の結果に少なくとも部分的に基づき、決定されてよい。様々な可能な実施形態において、ｍ_ｘ及びｍ_ｙは一定であってよく、又はレベルによって変化してよく、あるいは、入力ＨＤＲ画像（１０２）の画像フレーム内の位置によってさえ変化してよい。様々な可能な実施形態において、位置依存性は、画像分析の結果に由来してもしなくてもよい。

幾つかの可能な実施形態において、ブロック３０６で、オペレータ（２２０）は、ＭＳＦｕｎｃｔｉｏｎ（３２８）と表されるマルチスケール関数を呼び出す。かかる呼び出しは、最初に夫々Ｒ及びＮに設定される呼び出しパラメータＲ_ｉ及びｉを有し、呼び出しパラメータｉは、空間分解能レベルに対応するインデックスであってよい。幾つかの可能な実施形態において、Ｒは大域レシオ画像（１２２）である。幾つかの可能な実施形態において、ＭＳＦｕｎｃｔｉｏｎ（３２８）は、図３に表されるように実施される。

ブロック３０８で、オペレータ（２２０）は、ｉによって示される空間分解能レベルで新しいスタックフレームを生成してよい。このスタックフレームは、ｉに対応する空間分解能レベルにあるレシオ値を記憶するために使用される。幾つかの可能な実施形態において、ここで記載されるスタックフレームは、空間分解能レベルでの（対数領域における）レシオ値を記憶するよう、空間分解能レベルに対応するピクセルの数を保持する。

ブロック３１０で、オペレータ（２２０）は、空間分解能レベルｉについてｇａｍｍａ_ｉ（又はγ_ｉ）を計算してよく、ｇａｍｍａ_ｉは、空間分解能レベルｉについての（非対数領域における累乗値及び対数領域における倍数値である）ガンマ値である。幾つかの可能な実施形態において、ｉの値に依存しない値（例えば、１／Ｎ等）がｇａｍｍａ_ｉに割り当てられる。幾つかの他の可能な実施形態においては、ｉの値に依存する値がｇａｍｍａ_ｉに割り当てられてよい。特定の可能な実施形態において、ｇａｍｍａ_ｉは、以下：

ｇａｍｍａ_ｉ＝２×ｉ／（Ｎ×（Ｎ＋１）） 式（３）

のように与えられてよい。

よって、この実施形態では、空間分解能レベルが高いほど、ｇａｍｍａ_ｉの値は大きくなる。

幾つかの可能な実施形態において、全てのレベルについてのｇａｍｍａ_ｉ’の和は、他の可能な実施形態では制限されないが、固定値、例えば１に制限される。幾つかの可能な実施形態において、ｇａｍｍａ_ｉ’に対するそのような制約は、対応する出力トーンマッピング画像の所望のダイナミックレンジを、例えば特定の範囲のディスプレイ装置によってサポートされる特定の範囲内に保つために使用される。

ブロック３１２で、オペレータ（２２０）は、ｉが最小数（例えば、１）以下であるかどうかを試験してよい。かかる最小数は、論じられているＮ個の空間分解能レベルにおける最低空間分解能レベルに対応してよい。そうである場合は、処理フロー（３００）はブロック３２２に至り、そうでない場合は、処理フロー（３００）はブロック３１４に至る。最初に、ｉは１よりも大きいＮに設定されるので、処理フローはブロック３１４に至る。ブロック３１４で、オペレータ（２２０）は、ＭＳＦｕｎｃｔｉｏｎ（３２８）のための入力パラメータの１つ、すなわちレシオ画像Ｒ_ｉを、Ｒ_ｉ−１へとダウンサンプリングしてよい。様々な可能な実施形態において、Ｒ_ｉ−１へのＲ_ｉのダウンサンプリングは、多数の異なる方法の中の１つにおいて実行されてよい。一例において、Ｒ_ｉのｍ_ｘ×ｍ_ｙ個のピクセルがＲ_ｉ−１において１ピクセルになるべき場合に、Ｒ_ｉ−１におけるピクセルはＲ_ｉにおけるピクセルの平均値、又はＲ_ｉにおけるｍ_ｘ×ｍ_ｙ個のピクセルに依存するその他の代表値、として選択されてよい。他の例において、ガウスフィルタのようなフィルタが、Ｒ_ｉ−１におけるピクセルを得るために、Ｒ_ｉにおけるピクセル値に適用されてよい。

ブロック３１６で、オペレータ（２２０）は、再帰的にＭＳＦｕｎｃｔｉｏｎ（３２８）を呼び出してよく、このときパラメータＲ_ｉ及びｉは夫々Ｒ_ｉ−１及び（ｉ−１）に設定される。上述されたブロック３１０、３１２、３１４及び３１６は、ｉがもはや最小値（例えば、１）よりも大きくなくなるまで、繰り返されてよい（すなわち、再帰的に呼び出されてよい）。ｉが最小値（例えば、１）以下である場合、処理フローはブロック３２２に至る。

ブロック３２２で、オペレータ（２２０）は、Ｒ_ｉ（におけるレシオ値の夫々）を指数ｇａｍｍａ_ｉでべき乗してよい。これは、以下：

Ｒ_ｉ：＝ｇａｍｍａ_ｉ×Ｒ_ｉ 式（４）

のように、対数領域におけるレシオ値に対する乗算により達成されてよい。

幾つかの可能な実施形態において、この指数べき乗演算は、Ｒ_ｉにおける全てのレシオ値について実行される。

ブロック３２６で、オペレータ（２２０）は、式（４）で与えられるように、最終の変更されたＲ_ｉを親呼び出し側（例えば、３０６又は３１６）に返してよい。

ブロック３１８で、オペレータ（２２０）は、Ｒ_ｉ’を生成するよう、Ｒ_ｉ−１におけるレシオ値をアップサンプリングしてよい。

ブロック３２０で、オペレータ（２２０）は、レベルｉでの変更Ｒ_ｉを生成するために、Ｒ_ｉ（における夫々のレシオ値）を指数ｇａｍｍａ_ｉでべき乗し、Ｒ_ｉ’を乗じてよい。対数領域において、Ｒ_ｉを指数ｇａｍｍａ_ｉでべき乗することはＲ_ｉ×ｇａｍｍａ_ｉの単純な乗算に対応し、乗算は加算に対応する点に留意されたい。すなわち、

Ｒ_ｉ：＝Ｒ_ｉ’＋ｇａｍｍａ_ｉ×Ｒ_ｉ 式（５）。

よって、（３２０）におけるＲ_ｉは、重み付けされた局所レシオ画像の和として考えることができる。一実施形態において、重み係数は、繰り返しの夫々におけるｇａｍｍａ_ｉの値に対応する。指数べき乗演算は、Ｒ_ｉにおける全てのレシオ値について実行されてよい。乗算演算は、Ｒ_ｉ及びＲ_ｉ’における空間位置のレシオ値の全ての対について実行されてよい。

ブロック３２６で、オペレータ（２２０）は、変更Ｒ_ｉを親呼び出し側に返してよい。最後の繰り返し段で、変更Ｒ_ｉは、局所Ｌｏｇレシオ画像（図２の２３０）として返されてよい。

例示のために、局所マルチスケールレシオ画像は図３の（再帰的な）処理フローにより生成されてよいことが記載されてきた。本発明のために、局所マルチスケールレシオ画像は異なる処理フローにより生成されてよいことが留意されるべきである。例えば、再帰的な処理を用いることに代えて、逐次関数又は他のタイプの処理フローが使用されてよい。局所マルチスケールレシオ画像を生成するために使用されるそのような又は他のタイプの処理フローは、本発明の適用範囲内にある。

６．例となる処理フロー
図４Ａは、本発明の可能な実施形態に従う処理フローの例を表す。幾つかの可能な実施形態において、画像処理ユニットのような１又はそれ以上のコンピュータ装置又は部品がこの処理フローを実行してよい。ブロック４１０で、画像処理ユニットは、入力される高ダイナミックレンジ（ＨＤＲ）画像から得られる輝度値に大域レシオオペレータを適用して、輝度レシオ値を含む高分解能グレースケールレシオ画像を生成してよい。幾つかの可能な実施形態において、高分解能グレースケール画像は、ＨＤＲ画像と同じ空間分解能レベルを有するグレースケールレシオ画像である。幾つかの可能な実施形態において、画像処理ユニットは最初に、入力ＨＤＲ画像における輝度値を対数領域に変換する。

幾つかの可能な実施形態において、大域レシオオペレータは、大域トーンマッピングオペレータに関連して大域輝度ヒストグラム調整オペレータを有する。幾つかの可能な実施形態において、画像処理ユニットは、入力ＨＤＲ画像から得られる輝度値に基づきヒストグラム調整曲線を計算し、そのヒストグラム調整曲線を入力ＨＤＲ画像から得られる輝度値に適用して高分解能グレースケールレシオ画像を生成してよい。

幾つかの可能な実施形態において、非対数領域において、高分解能グレースケールレシオ画像における輝度レシオ値は複数のレシオ値を有してよく、それらのレシオ値の夫々は、入力ＨＤＲ画像から得られる輝度値の１つで割られる大域トーンマッピング画像の大域的にトーンマッピングされた輝度値である。

ブロック４２０で、画像処理ユニットは、少なくとも部分的に高分解能グレースケールレシオ画像に基づき、異なった空間分解能レベルを夫々有する少なくとも２つの異なるグレースケールレシオ画像の重みつき結合を含む局所マルチスケールグレースケールレシオ画像を生成してよい。ここで使用されるように、“重みつき結合”は、非対数領域における乗法積ではなく、対数領域における加法和を意味し、重みつき結合において使用される重み係数は、対数領域における倍数因子又は非対数領域における指数因子であるガンマ値であってよい。

幾つかの可能な実施形態において、画像処理ユニットは、少なくとも２つの重み係数を前記の少なくとも２つの異なったグレースケールレシオ値に割り当てる。幾つかの可能な実施形態において、画像処理ユニットは、複数の重み係数の値を、局所マルチスケールグレースケールレシオ画像を生成するために使用される複数のグレースケールレシオ画像に割り当てる。幾つかの可能な実施形態において、複数のグレースケールレシオ画像は、前記の少なくとも２つの異なったグレースケールレシオ値を含む。幾つかの可能な実施形態において、複数の重み係数の値は、予め設定された値へ正規化される。幾つかの可能な実施形態において、画像処理ユニットは、少なくとも２つの重み係数を前記の少なくとも２つの異なったグレースケールレシオ値に割り当てる。

幾つかの可能な実施形態において、画像処理ユニットは、局所マルチスケールグレースケールレシオ画像を生成するために使用される複数のグレースケールレシオ画像における第１のグレースケールレシオ画像について第１の値を第１の重み係数に割り当て、複数のグレースケールレシオ画像における第２のグレースケールレシオ画像について第２の値を第２の重み係数に割り当ててよい。幾つかの可能な実施形態において、第１の値は第２の値よりも大きく、第１のグレースケールレシオ画像は第２のグレースケールレシオ画像よりも高い空間分解能レベルを有する。

幾つかの可能な実施形態において、前記の少なくとも２つの異なったグレースケールレシオ画像は、高分解能グレースケールレシオ画像を含む。幾つかの可能な実施形態において、前記の少なくとも２つの異なったグレースケールレシオ画像は、高分解能グレースケールレシオ画像における輝度レシオ値をダウンサンプリングすることによって高分解能グレースケールレシオ画像に基づき決定される少なくとも１つのグレースケールレシオ画像を含む。

ブロック４３０で、画像処理ユニットは、トーンマッピングされたグレースケール画像を生成するよう、入力ＨＤＲ画像から得られる輝度値とともに、局所マルチスケールグレースケールレシオ画像におけるレシオ値を用いてよい。幾つかの可能な実施形態において、トーンマッピングされたグレースケール画像におけるトーンマッピング輝度値は、入力ＨＤＲ画像における輝度値よりも低い低減されたダイナミックレンジを有する。幾つかの可能な実施形態において、トーンマッピングされたグレースケール画像におけるトーンマッピング輝度値はガンマ符号化スケールにある。

幾つかの可能な実施形態において、入力ＨＤＲ画像は浮動小数点ＲＧＢ画像である。幾つかの他の可能な実施形態において、入力ＨＤＲ画像は固定小数点（例えば、夫々のＲ、Ｇ又はＢチャネルについて１６ビット）ＲＧＢ画像である。幾つかの可能な実施形態において、トーンマッピングされたグレースケール画像は、入力ＨＤＲ画像の空間次元と同じ空間次元を有する固定小数点グレースケール画像を有する。

幾つかの可能な実施形態において、画像処理ユニットは、色域から出るピクセルのパーセンテージが閾値よりも大きくないように、トーンマッピングされたグレースケール画像にわたって基準最大値を計算する。

幾つかの可能な実施形態において、局所マルチスケールグレースケールレシオ画像は、再帰処理を用いて得られる。

幾つかの可能な実施形態において、局所マルチスケールグレースケールレシオ画像及び入力ＨＤＲ画像から得られるトーンマッピングされたグレースケール画像は、トーンマッピングされたカラー画像を得るためにコンポーネント画像として使用される。一例において、局所マルチスケールグレースケールレシオ画像によらないトーンマッピングカラー画像は、画像レンダリング装置におけるレンダリングのために使用されてよい。

他の例において、局所マルチスケールグレースケールレシオ画像によるトーンマッピングカラー画像は、画像レンダリング装置におけるレンダリングのために画像処理システムへ与えられてよい。幾つかの可能な実施形態において、トーンマッピングカラー画像及び局所マルチスケールグレースケールレシオ画像は、出力されるＨＤＲ画像を生成するために画像処理システムによって使用される。

図４Ｂは、本発明の可能な実施形態に従う処理フローの例を表す。幾つかの可能な実施形態において、画像処理ユニットのような１又はそれ以上のコンピュータ装置又は部品がこの処理フローを実行してよい。ブロック４４０で、画像処理ユニットは、高ダイナミックレンジ（ＨＤＲ）画像から得られる輝度値に大域トーンマッピングオペレータを適用して、輝度レシオ値を含む高分解能グレースケールレシオ画像を生成してよい。

ブロック４５０で、画像処理ユニットは、最高分解能レベルと最低分解能レベルとの間にある空間分解能レベルの数を決定してよい。幾つかの可能な実施形態において、空間分解能レベルの数は、入力ＨＤＲ画像の内容に対して画像分析を実行することなしに決定される。幾つかの可能な実施形態において、空間分解能レベルの数は、入力ＨＤＲ画像の画像分析内容の結果に少なくとも部分的に基づき決定される。

ブロック４６０で、画像処理ユニットは、最高分解能レベルから最低分解能レベルの直ぐ上の空間分解能レベルまでの夫々の空間分解能レベルについて、夫々の空間分解能レベルの直ぐ下の空間分解能レベルに対応する後続のレシオ画像を生成するよう、夫々の空間分解能レベルに対応するレシオ画像をダウンサンプリングしてよい。

ブロック４７０で、画像処理ユニットは、最低分解能レベルから最高分解能レベルの直ぐ下の空間分解能レベルまでの夫々の空間分解能レベルについて、夫々の空間分解能レベルに対応するアップサンプルレシオ画像を生成するよう、夫々の空間分解能レベルに対応するレシオ画像をアップサンプリングしてよい。

ブロック４８０で、画像処理ユニットは、複数のレシオ画像の夫々異なるレシオ画像について重み係数を決定して、複数の重み係数を生じさせてよい。ここで、レシオ画像の夫々は、複数の空間分解能レベルの中の空間分解能レベルに対応してよい。

ブロック４９０で、画像処理ユニットは、複数の重み係数によって重み付けされる複数のレシオ画像の重みつき結合として局所マルチスケールレシオ画像を決定してよい。

７．実施メカニズム−ハードウェア概要
一実施形態に従って、ここで記載される技術は、１又はそれ以上の特別目的のコンピュータ装置によって実施される。特別目的のコンピュータ装置は、それらの技術を実行するようハードワイヤードであってよく、あるいは、それらの技術を実行するよう持続的にプログラミングされる１又はそれ以上の特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなデジタル電子デバイスを含んでよく、あるいは、ファームウェア、メモリ、他の記憶装置、又は組み合わせにおいてプログラム命令に従ってそれらの技術を実行するようプログラミングされた１又はそれ以上の汎用のハードウェアプロセッサを含んでよい。そのような特別目的のコンピュータ装置はまた、それらの技術を達成するようカスタムハードワイヤードロジック、ＡＳＩＣ又はＦＰＧＡをカスタムプログラミングと結合してよい。特別目的のコンピュータ装置は、それらの技術を実施するようハードワイヤード及び／又はプログラムロジックを組み込むデスクトップ型のコンピュータシステム、ポータブル型のコンピュータシステム、携帯機器、ネットワーキング装置、又はその他の装置であってよい。

例えば、図５は、本発明の実施形態が実施され得るコンピュータシステム５００を表すブロック図である。コンピュータシステム５００は、情報通信のためのバス５０２又は他の通信メカニズムと、情報処理のための、バス５０２と結合されたハードウェアプロセッサ５０４とを有する。ハードウェアプロセッサ５０４は、例えば、汎用のマイクロプロセッサであってよい。

コンピュータシステム５００は、プロセッサ５０４によって実行される命令及び情報を記憶するための、バス５０２へ結合されたメインメモリ５０６（例えば、ランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置）を更に有する。メインメモリ５０６は、プロセッサ５０４によって実行される命令の実行中に一時的変数又は他の中間情報を記憶するためにも使用されてよい。そのような命令は、プロセッサ５０４がアクセス可能な持続性記憶媒体に記憶される場合に、コンピュータシステム５００を、それらの命令において特定される動作を実行するようカスタマイズされている特別目的のマシンにならしめる。

コンピュータシステム５００は、プロセッサ５０４のための静的な情報及び命令を記憶するための、バス５０２へ結合された読出専用メモリ（ＲＯＭ）５０８又は他の静的な記憶装置を更に有する。記憶装置５１０（例えば、磁気ディスク又は光ディスク）が情報及び命令を記憶するために設けられてバス５０２へ結合される。

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザへ情報を提供するためのディスプレイ５１２（例えば、陰極線管（ＣＲＴ））へ結合されてよい。英数字及び他のキーを含む入力装置５１４が、情報及びコマンド選択をプロセッサ５０４へ伝えるためにバス５０２へ結合される。他のタイプのユーザ入力装置は、方向情報及びコマンド選択をプロセッサ５０４へ伝え且つディスプレイ５１２におけるカーソル移動を制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御５１６である。この入力装置は通常、装置が平面において位置を特定することを可能にする、２つの軸、すなわち第１の軸（例えば、ｘ）及び第２の軸（例えば、ｙ）における２自由度を有する。

コンピュータシステム５００は、コンピュータシステムととともにコンピュータシステム５００を特別目的のマシンにさせる又はそのようにプログラムするカスタマイズされたハードワイヤードロジック、１若しくはそれ以上のＡＳＩＣ若しくはＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、ここで記載される技術を実施してよい。一実施形態に従って、ここでの技術は、プロセッサ５０４がメインメモリ５０６に含まれる１又はそれ以上の命令の１又はそれ以上のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。そのような命令は、記憶装置５１０のような他の記憶媒体からメインメモリ５０６に読み込まれてよい。メインメモリ５０６に含まれる命令のシーケンスの実行は、プロセッサ５０４に、ここで記載される処理ステップを実行させる。代替の実施形態では、ハードワイヤード回路が、ソフトウェア命令の代わりに、又はそれとともに使用されてよい。

ここで使用される語“記憶媒体”は、マシンを特定の態様において動作させるデータ及び／又は命令を記憶するあらゆる持続性媒体をいう。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を有してよい。不揮発性媒体には、例えば、記憶装置５１０のような光又は磁気ディスクがある。揮発性媒体には、メインメモリ５０６のような動的メモリがある。共通形態の記憶媒体には、例えば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は他の何らかの磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の何らかの光データ記憶媒体、穴のパターンを伴う何らかの物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、他の何らかのメモリチップ又はカートリッジがある。

記憶媒体は、伝送媒体と別であるが、それとともに使用されてよい。伝送媒体は、記憶媒体との間で情報を受け渡すことに関与する。例えば、伝送媒体は、バス５０２を有する配線を含め、同軸ケーブル、銅線及び光ファイバを含む。伝送媒体はまた、電波及び赤外線データ通信の間に生成されるような音響又は光の波の形をとることができる。

様々な形態の媒体が、実行のためにプロセッサ５０４へ１又はそれ以上の命令の１又はそれ以上のシーケンスを搬送することに関与してよい。例えば、命令は最初に、遠隔のコンピュータの磁気ディスク又はソリッドステートドライブで持ち運ばれてよい。遠隔のコンピュータは、命令を自身の動的メモリにロードして、モデムにより電話線を介して送信することができる。コンピュータシステム５００に固有のモデムは、電話線上のデータを受け取り、赤外線トランスミッタを用いてデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号において搬送されたデータを受け取ることができ、適切な回路は、データをバス５０２に置くことができる。バス５０２はデータをメインメモリ５０６へ運び、メインメモリ５０６からプロセッサ５０４が命令を取り出して実行する。メインメモリ５０６によって受信される命令は、任意に、プロセッサ５０４による実行の前又は後のいずれかに、記憶装置５１０に記憶されてよい。

コンピュータシステム５００は、バス５０２へ結合される通信インタフェース５１８を更に有する。

通信インタフェース５１８は、ローカルネットワーク５２２へ接続されるネットワークリンク５２０への双方向データ通信結合を提供する。例えば、通信インタフェース５１８は、総合デジタル通信網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又は対応する電話線タイプへのデータ通信接続を提供するモデムであってよい。他の例として、通信インタフェース５１８は、互換性のあるＬＡＮへのデータ通信接続を提供するようローカルエリアネットワーク（ＬＡＮ）カードであってよい。無線リンクも実施されてよい。いずれかのそのような実施において、通信インタフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを運ぶ電気、電磁気又は光信号を送受信する。

ネットワークリンク５２０は通常、１又はそれ以上のネットワークを介するデータのデータサービスへのデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介するホストコンピュータ５２４への、又はインターネットサービスプロバイダ（ＩＳＰ）５２６によって作動するデータ設備への接続を提供してよい。次いで、ＩＳＰ５２６は、目下一般的に“インターネット”５２８と呼ばれるワールドワイドパケットデータ通信ネットワークを介するデータ通信サービスを提供する。ローカルネットワーク５２２及びインターネット５２８は両方とも、デジタルデータストリームを運ぶ電気、電磁気又は光信号を使用する。様々なネットワークを介する信号、及びネットワーク５２０上にあり且つ通信インタフェース５１８を介する信号は、コンピュータシステム５００との間でデジタルデータをやり取りするものであり、伝送媒体の例となる形態である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０及び通信インタフェース５１８を介して、メッセージを送信し且つプログラムコードを含むデータを受信する。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２及び通信インタフェース５１８を介して、アプリケーションプログラムのための要求されたコードを送信してよい。

受信されたコードは、それが受信されるとプロセッサ５０４によって実行され、且つ／あるいは、後の実行のために記憶装置５１０又は他の不揮発性記憶装置に記憶されてよい。

８．同等物、拡張、代替物、他
上記の記載において、本発明の可能な実施形態が、実施ごとに異なりうる多数の具体的な詳細を参照して記載されてきた。よって、何が本発明であり且つ出願により本発明であると意図されるのかについての唯一且つ排他的な指針は、本願に由来する特許請求の範囲であり、かかる特許請求の範囲が与える具体的な態様において、あらゆるその後の補正を含む。特許請求の範囲に含まれる語についてここで明示的に記載されている如何なる定義も、特許請求の範囲において使用されるそれらの用語の意味を決定すべきである。従って、特許請求の範囲において明示的に挙げられていない制限、要素、特性、特徴、利点又は属性は、決してその請求の適用範囲を限定すべきではない。明細書及び図面は、然るべく、限定の意味よりむしろ例示の意味で捉えられるべきである。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
輝度レシオ値を含む高分解能グレースケールレシオ画像を生成するよう、入力高ダイナミックレンジ画像から得られる輝度値へ大域レシオオペレータを適用するステップと、
少なくとも部分的に前記高分解能グレースケールレシオ画像に基づき、異なった空間分解能レベルを夫々有する少なくとも２つの異なるグレースケールレシオ画像の重みつき結合を含む局所マルチスケールグレースケールレシオ画像を生成するステップと、
トーンマッピングされたグレースケール画像を生成するよう、前記入力高ダイナミックレンジ画像から得られる前記輝度値とともに、前記局所マルチスケールグレースケールレシオ画像におけるレシオ値を用いるステップと
を有する方法。
（付記２）
前記大域レシオオペレータは、大域トーンマッピングオペレータに関連して大域輝度ヒストグラム調整オペレータを有する、
付記１に記載の方法。
（付記３）
前記少なくとも２つの異なるグレースケールレシオ画像は、前記高分解能グレースケールレシオ画像を含む、
付記１に記載の方法。
（付記４）
前記高分解能グレースケールレシオ画像は、前記高ダイナミックレンジ画像と同じ空間分解能レベルを有するグレースケールレシオ画像である、
付記１に記載の方法。
（付記５）
前記少なくとも２つの異なるグレースケールレシオ画像は、前記高分解能グレースケールレシオ画像における輝度レシオ値をダウンサンプリングすることによって前記高分解能グレースケールレシオ画像に基づき決定される少なくとも１つのグレースケールレシオ画像を含む、
付記１に記載の方法。
（付記６）
前記トーンマッピングされたグレースケール画像におけるトーンマッピング輝度値は、前記入力高ダイナミックレンジ画像における輝度値よりも低い低減されたダイナミックレンジを有する、
付記１に記載の方法。
（付記７）
前記入力高ダイナミックレンジ画像における輝度値を対数領域に変換するステップ
を更に有する付記１に記載の方法。
（付記８）
前記入力高ダイナミックレンジ画像は、浮動小数点ＲＧＢ画像又は固定小数点ＲＧＢ画像の一方であり、前記トーンマッピングされたグレースケール画像は、前記入力高ダイナミックレンジ画像と同じ空間次元を有する固定小数点グレースケール画像を有する、
付記１に記載の方法。
（付記９）
前記トーンマッピングされたグレースケール画像におけるトーンマッピング輝度値は、ガンマ符号化スケールにある、
付記１に記載の方法。
（付記１０）
前記入力高ダイナミックレンジ画像から得られる輝度値に基づき、ヒストグラム調整曲線を計算するステップと、
前記高分解能グレースケールレシオ画像を生成するよう、前記入力高ダイナミックレンジ画像から得られる輝度値へ前記ヒストグラム調整曲線を適用するステップと
を更に有する付記１に記載の方法。
（付記１１）
非対数領域において、前記高分解能グレースケールレシオ画像における輝度レシオ値は複数のレシオ値を有し、該レシオ値の夫々は、前記入力高ダイナミックレンジ画像から得られる輝度値の１つで割られる大域トーンマッピング画像の大域的にトーンマッピングされた輝度値である、
付記１に記載の方法。
（付記１２）
色域の外にあるピクセルのパーセンテージが閾値よりも大きくないように前記トーンマッピングされたグレースケール画像にわたって基準最大値を計算するステップ
を更に有する付記１に記載の方法。
（付記１３）
前記局所マルチスケールグレースケールレシオ画像は、再帰処理により得られる、
付記１に記載の方法。
（付記１４）
前記少なくとも２つの異なるグレースケールレシオ画像へ少なくとも２つの重み係数を割り当てるステップ
を更に有する付記１に記載の方法。
（付記１５）
前記局所マルチスケールグレースケールレシオ画像を生成するために使用される複数のグレースケールレシオ画像へ複数の重み係数の値を割り当てるステップ
を更に有し、
前記複数のグレースケールレシオ画像は、前記少なくとも２つのグレースケールレシオ画像を含み、
前記複数の重み係数の値は、事前設定された値へ正規化される、
付記１に記載の方法。
（付記１６）
前記少なくとも２つの異なるグレースケールレシオ画像へ少なくとも２つの重み係数を割り当てるステップ
を更に有する付記１５に記載の方法。
（付記１７）
前記局所マルチスケールグレースケールレシオ画像を生成するために使用される複数のグレースケールレシオ画像における第１のグレースケールレシオ画像のための第１の重み係数へ第１の値を割り当てるステップと、
前記複数のグレースケールレシオ画像における第２のグレースケールレシオ画像のための第２の重みへ第２の値を割り当てるステップと
を更に有し、
前記第１の値は前記第２の値よりも高く、
前記第１のグレースケールレシオ画像は、前記第２のグレースケールレシオ画像よりも高い空間分解能レベルを有する、
付記１に記載の方法。
（付記１８）
前記局所マルチスケールグレースケールレシオ画像及び前記入力高ダイナミックレンジ画像から得られる前記トーンマッピングされたグレースケール画像は、トーンマッピングされたカラー画像を得るようコンポーネント画像として使用される、
付記１に記載の方法。
（付記１９）
前記局所マルチスケールグレースケールレシオ画像を有さない前記トーンマッピングされたカラー画像は、画像レンダリング装置におけるレンダリングのために使用される、
付記１８に記載の方法。
（付記２０）
前記局所マルチスケールグレースケールレシオ画像を有する前記トーンマッピングされたカラー画像は、画像レンダリング装置におけるレンダリングのために画像処理システムへ与えられる、
付記１８に記載の方法。
（付記２１）
前記トーンマッピングされたカラー画像及び前記局所マルチスケールグレースケールレシオ画像は、出力高ダイナミックレンジ画像を生成するよう前記画像処理システムによって使用される、
付記２０に記載の方法。
（付記２２）
輝度レシオ値を有する高分解能グレースケールレシオ画像を生成するよう、入力高ダイナミックレンジ画像から得られる輝度値へ大域トーンマッピングオペレータを適用するステップと、
最高分解能レベルと最低分解能レベルとの間にある空間分解能レベルの数を決定するステップと、
前記最高分解能レベルから前記最低分解能レベルの直ぐ上の空間分解能レベルまでの夫々の決定された空間分解能レベルについて、当該決定された空間分解能レベルの直ぐ下の空間分解能レベルに対応する後続のレシオ画像を生成するよう、当該決定された空間分解能レベルに対応するレシオ画像をダウンサンプリングするステップと、
前記最低分解能レベルから前記最高分解能レベルの直ぐ下の空間分解能レベルまでの夫々の決定された空間分解能レベルについて、該夫々の空間分解能レベルに対応するアップサンプルレシオ画像を生成するよう、当該決定された空間分解能レベルに対応するレシオ画像をアップサンプリングするステップと
複数の前記決定された空間分解能レベルの空間分解能レベルに夫々対応する複数のレシオ画像の夫々異なるレシオ画像について重み係数値を決定して、複数の重み係数を生じさせるステップと、
前記複数の重み係数によって重み付けされる前記複数のレシオ画像の重みつき結合として局所マルチスケールレシオ画像を決定するステップと
を有する方法。
（付記２３）
前記複数の空間分解能レベルは、前記入力高ダイナミックレンジ画像のコンテンツにわたる画像解析を行うことなしに決定される、
付記２２に記載の方法。
（付記２４）
前記複数の空間分解能レベルは、前記入力高ダイナミックレンジ画像の画像解析コンテンツの結果に少なくとも部分的に基づき決定される、
付記２２に記載の方法。
（付記２５）
プロセッサを有し、付記１乃至２４のうちいずれか一項に記載の方法を実行するよう構成される装置。
（付記２５）
１又はそれ以上のプロセッサによって実行される場合に付記１乃至２４のうちいずれか一項に記載の方法の実行を引き起こすソフトウェア命令を有するコンピュータ読取可能な記憶媒体。

［関連出願の相互参照］
本願は、その全体を参照により本願に援用される２０１１年３月２日出願された米国特許仮出願第６１／４４８６０６号に基づく優先権を主張するものである。

本願は、参照により本願に援用される２００８年１月７日に出願された米国特許出願第１１／５６８０３０号に関連する。

Claims (17)

1. 局所トーンマッピングのための方法であって、
   入力高ダイナミックレンジ画像を受け取るステップと、
   前記入力高ダイナミックレンジ画像における輝度値を対数領域に変換して、対数入力画像を生成するステップと、
   大域トーンマッピングオペレータを前記対数入力画像に適用して、対数大域トーンマッピング画像を生成するステップと、
   前記対数大域トーンマッピング画像及び前記入力高ダイナミックレンジ画像の輝度値に基づき高分解能レシオ画像を生成するステップと、
   前記高分解能レシオ画像に基づき、異なった空間分解能レベルを夫々有する少なくとも２つの異なるスケールレシオ画像を生成するステップと、
   前記少なくとも２つの異なるスケールレシオ画像をマージして、該少なくとも２つの異なるスケールレシオ画像の重みつき結合を含む局所マルチスケールレシオ画像を生成するステップであって、該局所マルチスケールレシオ画像は再帰処理により取得されるステップと、
   前記局所マルチスケールレシオ画像を前記対数入力画像に加えて、輝度出力トーンマッピング画像のピクセル値を対数領域において生成するステップと
   を有する方法。
2. 前記輝度出力トーンマッピング画像の前記ピクセル値を対数領域から線形領域に変換し、該変換された線形な輝度出力トーンマッピング値を前記入力高ダイナミックレンジ画像の色度値と結合して、カラー出力トーンマッピング画像を生成するステップ
   を更に有する請求項１に記載の方法。
3. 前記輝度出力トーンマッピング画像の前記ピクセル値に基づき基準最大輝度値を計算するステップと、
   前記輝度出力トーンマッピング画像のピクセル値から前記基準最大輝度値を減じて、色域補正された輝度トーンマッピング画像を生成するステップと、
   前記色域補正された輝度トーンマッピング画像の輝度値を対数領域から線形領域に変換するステップと、
   前記変換された線形な色域補正された輝度トーンマッピング値を前記入力高ダイナミックレンジ画像の色度値と結合して、カラー出力トーンマッピング画像を生成するステップと
   を更に有する請求項１に記載の方法。
4. 前記大域トーンマッピングオペレータは、大域輝度ヒストグラムに基づき計算される、
   請求項１に記載の方法。
5. 前記少なくとも２つの異なるスケールレシオ画像は、前記高分解能レシオ画像を含む、
   請求項１に記載の方法。
6. 前記高分解能レシオ画像は、前記入力高ダイナミックレンジ画像の空間分解能レベルと同じ空間分解能レベルを持ったグレースケールレシオ画像である、
   請求項１に記載の方法。
7. 前記少なくとも２つの異なるスケールレシオ画像は、前記高分解能レシオ画像における輝度レシオ値をダウンサンプリングすることによって前記高分解能レシオ画像に基づき決定される少なくとも１つのスケールレシオ画像を含む、
   請求項１に記載の方法。
8. 前記大域トーンマッピング画像における輝度値は、前記入力高ダイナミックレンジ画像における輝度値のダイナミックレンジよりも低いダイナミックレンジを有する、
   請求項１に記載の方法。
9. 前記入力高ダイナミックレンジ画像から導出される輝度値に基づきヒストグラム調整曲線を計算するステップと、
   前記ヒストグラム調整曲線を前記入力高ダイナミックレンジ画像から導出される輝度値に適用して、前記高分解能レシオ画像を生成するステップと
   を更に有する請求項１に記載の方法。
10. 前記高分解能レシオ画像を対数領域において計算することは、前記対数入力画像の輝度値を前記対数大域トーンマッピング画像の輝度値から減じることを含む、
    請求項１に記載の方法。
11. 非対数領域において、前記高分解能レシオ画像における輝度レシオ値は複数のレシオ値を有し、該レシオ値の夫々は、前記入力高ダイナミックレンジ画像から導出される輝度値の１つで割られる大域トーンマッピング画像の大域的にトーンマッピングされた輝度値である、
    請求項１に記載の方法。
12. 少なくとも２つの重み係数を前記少なくとも２つの異なるスケールレシオ画像に割り当てるステップ
    を更に有する請求項１に記載の方法。
13. 前記局所マルチスケールレシオ画像を生成するために使用される複数のスケールレシオ画像へ複数の重み係数の値を割り当てるステップを更に有し、
    前記複数のスケールレシオ画像は、前記少なくとも２つのスケールレシオ画像を含む、
    請求項１に記載の方法。
14. 全ての前記重み係数の和が１になる、
    請求項１３に記載の方法。
15. 前記局所マルチスケールレシオ画像を生成するための前記スケールレシオ画像の中のレベルｉにあるスケールレシオ画像のための重み係数ｇａｍｍａ_ｉは、
    
    ｇａｍｍａ_ｉ＝２ｉ／（Ｎ（Ｎ＋１））
    
    を有し、Ｎは、前記高分解能レシオ画像の空間分解能を表す、
    請求項１に記載の方法。
16. プロセッサを有し、請求項１乃至１５のうちいずれか一項に記載の方法を実行するよう構成される装置。
17. １つ以上のプロセッサによって実行される場合に請求項１乃至１５のうちいずれか一項に記載の方法の実行を引き起こすソフトウェア命令を有する非一時的なコンピュータ読取可能な記憶媒体。

Images