JP6282863B2 - ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェース - Google Patents

Description

関連出願の相互参照
本出願は、２０１０年６月２５日に提出された「特許文献１」からの優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

本発明は、ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェースに関する。

映像技術者は、ハイダイナミックレンジのデータをロウダイナミックレンジのデータに変更するためのツールのセットを使用して映像を処理する必要があることが多い。該変更は、例えば、ロウダイナミックレンジ能力しか持たない様々な表示装置に適応させるために使用されることがある。様々なロウダイナミックレンジの装置はまた、様々なレンジを有する可能性がある。加えて、ハイダイナミックレンジ値をロウダイナミックレンジ値にマッピングする最良の方法を決定することが最良のユーザ経験を提供するための正攻法であるとは限らない。従って、ハイダイナミックレンジデータを様々な様式で処理して最終的な出力を作成することができるグラフィカルユーザインターフェースを有することは有用である。

米国仮特許出願６１／３５８，６０５号明細書

人、典型的には映像技術者（必ずしも専門家であるとは限らない）がハイダイナミックレンジ（ＨＤＲ）データをロウダイナミックレンジデータに変更するためのツールのセットを使用して映像を処理することを可能にする、トーンマッピングユーザインターフェースを提供する。このインターフェースには、ＨＤＲ変換を実行する領域ベース方式の現在映像出力セクション、およびＨＤＲ変換を実行する参照方式の現在映像出力セクションを含む映像再生領域が含まれる。各セクションは、関連映像セクションおよびヒストグラム領域を有する。ヒストグラム領域内のヒストグラムは、映像セクションに表示されている現在のフレームのヒストグラムを示す。インターフェースには、ユーザ、例えば映像技術者が、選択可能かつ映像セグメントに対して適用可能な種々のオペレータおよびフィルタが含まれる。微調整のオプションが設けられ、これにはトーンマッピングオペレータ、明順応オペレータ、および後処理フィルタを含むことが可能である。インターフェースは、１つまたは複数の画像を区分するためのアンカーポイントを表示し、また、ユーザがアンカーポイントを移動して新しい区分を作成させるという特徴を含み、それにより、ユーザインターフェースには、新しい区分（例えば、マスク）を示す情報に加えて、新しい区分に基づく新しいトーンマッピングされた出力が表示される。

グラフィカルユーザインターフェースを使用して映像データを処理する方法が提供され、本方法は、映像データのフレームをグラフィカルユーザインターフェースの映像再生領域に表示するステップであって、フレームが領域ベースのトーンマッピングのための領域的現在映像出力セクション、および大域ベースのトーンマッピングのための大域的現在映像出力セクションに表示され、領域的現在映像出力セクションおよび大域的現在映像出力セクションが並んで配置されるステップと、領域的制御セクションを映像再生領域に隣接して表示するステップであって、領域的制御セクションが、複数の領域に関する領域的可変露出制御手段および領域的可変コントラスト制御手段を有するステップと、大域的制御セクションを領域的制御セクションに隣接して表示するステップであって、大域的制御セクションが、大域的可変露出制御手段および大域的可変コントラスト制御手段を有するステップとを含み、領域的現在映像出力セクションおよび大域的現在映像出力セクションは１つのスクリーン上に同時に表示される。本方法はさらに、領域的映像セクションおよび領域的ヒストグラム領域を領域的現在映像出力セクションに表示するステップであって、アンカーポイントが大域的ヒストグラム領域に表示されるステップと、大域的映像セクションおよび大域的ヒストグラム領域を大域的現在映像出力セクションに表示するステップとを含むことができる。追加的なステップとして、オペレータセクションおよびタイムラインをお互いに隣接させて映像再生領域の下方に表示するステップであって、タイムラインは処理されている映像のフレームの時間を示し、タイムラインおよびオペレータセクションがスクリーン上に同時に表示されるステップを含むことができる。他のステップとして、処理されている映像のフレームの個々のカラーヒストグラムをスクリーン上に同時に示すカラーヒストグラム領域を表示するステップであって、カラーヒストグラム領域が映像再生領域に隣接するステップと、少なくとも、複数の領域に関する領域的可変露出制御手段または領域的可変コントラスト制御手段を調整することにより、グラフィカルユーザインターフェースを介して映像に変更を加えるステップであって、映像に対する変更の視覚的結果が映像再生領域に表示されるステップと、または少なくとも１つのオペレータをオペレータセクションに追加することによりグラフィカルユーザインターフェースを介して映像に変更を加えるステップであって、映像に対する変更の視覚的結果が映像再生領域に表示されるステップとを含むことができる。

ここで、本発明を以下の添付の図面を参照して例を用いて説明する。
第１の時点でのユーザインターフェースの第１のビューを示す図である。 多数の露出過度の画素の導入が強調される第２の時点でのユーザインターフェースの第２のビューを示す図である。 多数の露出過度の画素の導入が強調される第２の時点でのユーザインターフェースの第２のビューを示す図である。 追加的なオペレータおよび／またはフィルタの追加および表示が可能であることが強調される第３の時点でのユーザインターフェースの第４のビューを示す図である。 追加的なオペレータおよび／またはフィルタの他のオペレータバー内への追加および表示が可能であることが強調される第３の時点でのユーザインターフェースの第５のビューを示す図である。 露出およびコントラストのレベルの変更が可能であることが強調される第１の時点でのユーザインターフェースの第６のビューを示す図である。 アンカーポイントの切替えが可能であることが強調される第４の時点でのユーザインターフェースの第７のビューを示す図である。 各色に同時に存在する露出不足の画素および露出過度の画素を数えることが可能であることが強調される第４の時点でのユーザインターフェースの第８のビューを示す図である。

図１は、本発明の一実装に従うユーザインターフェースのスクリーンショットを示す。本発明には、ある特定の映像セグメントについて最初にトーンマッピングプロジェクトが起動される時に示されるスクリーンを作成するべく適合したアルゴリズムが含まれる。ここで、ある特定の映像セグメントは、１つのフレーム、１つのシーケンス、または動画全体とすることができる。

図１には、ＨＤＲ変換を実行する領域ベース方式の現在映像出力セクション１２、および、例えば大域的処理を使用してＨＤＲ変換を実行する参照方式の現在映像出力セクション１４を含む映像再生領域１０が含まれる。各セクション１２、１４は、関連映像セクション１５およびヒストグラム領域１８を有する。ヒストグラム領域１８は、映像セクション１５に表示されている現在のフレームのヒストグラムを示す。図１の実装において、ヒストグラム領域１８全体が、元のＨＤＲ画像のヒストグラムをｌｏｇ２のスケールで示す。ヒストグラムは、明度の関数としてのポピュレーションデータである。

各ヒストグラム領域にはまた、どのようにヒストグラムが領域ベースの処理用の領域に分割されたのかを示す１つまたは複数のアンカーポイント１６も含まれる。セクション１４の参照方式がＨＤＲコンテンツを処理する大域的な方法であるという仮定であるため、１つの領域のみ、および１つのアンカーポイントのみが存在していることに留意されたい。領域ベース方法は、対応するアンカーポイントに関連するヒストグラム値に対して動作する。アンカーポイント（例えば、左から３番目のアンカーポイントなど）に関連するヒストグラム値を、例えば、２番目と３番目のアンカーポイント間の中間点から３番目と４番目のアンカーポイント間の中間点へ広がる値として定義することができる。領域ベース方法および参照方法用の現在の映像フレームが表示されると、例えば、映像技術者が、リアルタイムで２つの処理方式間の出力における違いを確認することが可能となる。セクションすなわち映像再生領域１０にはまた、映像セグメント内での現在の位置を示す運転タイマ、および映像セグメントの再生を制御するための一連の制御ボタンを提供するタイマセクション１９も含まれる。

アンカーポイントは、所与のオペレータに対応するフレームのセットに対して計算されることに留意されたい。これについては、下記でパラメータ設定領域およびダークルームの検討においてさらに説明する。

図１には、現在のフレームの赤のヒストグラム２２、緑のヒストグラム２４、および青のヒストグラム２６を含むヒストグラム領域２０を含む。各カラーヒストグラム２２、２４、２６はまた、「露出過度」および「露出不足」の画素それぞれのレベルを示す関連する読出部２８を有する。読出部２８は、最大値（８ビットフィールドについては、最大は通常２５５）である画素の数を「露出過度」の読出情報により示す。読出部２８はまた、８ビットフィールドについて最低値とすることができる画素の数を「露出不足」の読出情報により示し、それにおいて最低は通常０である。読出部２８の他の実装では、例えば、露出過度または露出不足の画素の、実際の数ではなくパーセンテージでの表示を使用することができる。カラーヒストグラム２２、２４、２６は、例えば、現在の領域ベースの設定によって１つまたは複数の色の飽和が生成されているかどうかを示すことにより、有用とすることができる。

図１には、例えば、露出およびコントラストを制御するためのパラメータ設定領域３０が含まれる。露出およびコントラストが含まれているのは、これらが通常は見る者のほとんどのおよび／または映像技術者のほとんどが理解する高レベルなパラメータであると考えられるためである。領域３０は、領域ベース制御セクション３２および全領域制御セクション３４を含む。領域ベース制御セクション３２は、各領域の露出およびコントラスト用の別々の制御を含む。図１には、セクション３２に５つの領域が示され、該５つの領域は５つのアンカーポイント１６に対応する。各領域の露出および／またはコントラストを別々に変更することができ、または、露出および／またはコントラストを、全領域（大域的）制御セクション３４を使用して変更することもできる。全領域制御セクション３４用の制御を移動させることにより、全ての領域が同時に変更されるように、アルゴリズムが適合している。制御は、例えば、マウスまたは他のポインティングデバイスを使用することにより移動可能なスライドバーとして示すことができる。

領域ベース制御セクション３２にはまた、領域ごとに、マスク、重み画像、またはグレースケール画像３６が含まれ、フレームの様々な領域の画像が図の３６の点線内に示され、表現を簡単にするために「区分」という表記で表されており、これらの画像は映像再生領域１０内の画像のスケーリングされた画像である。マスクは、現在のフレームのどの部分が当該領域の中にあるのかを示す。マスクはこの情報を、より高い輝度すなわちより明るい値を、当該領域内に存在するという高い可能性または重みを有する場所に対して使用することにより、提供する。映像セグメントが再生されると、ユーザは、重み画像がフレームごとに変化するのを確認することができ、また、それにより、幾つの数のフレームが異なる領域を使用またはポピュレートするのかを視覚的表示により確認することができる
制御セクション３２、３４は、現在のオペレータにより操作されているフレームのセット全体に適用される。これについてはダークルームについての項でさらに説明する。

図１には、ユーザが、ジョブ設定、トーンマッピング、および微調整などの種々の情報についての情報を見ることができるワークフロー領域４０が含まれる。微調整のオプションが図１に表示されており、ダークルームについての検討において説明されるように、映像技術者が選択可能かつ映像セグメントに対して適用可能な種々のオペレータおよびフィルタが含まれる。図１に示される微調整のオプションには、トーンマッピングオペレータ、明順応オペレータ、および後処理フィルタが含まれる。

トーンマッピングオペレータには、例えば、大域的アルゴリズムを適用する既知のトーンマッピング技術を指す単一露出オペレータ、および領域ベースオペレータを含むことができる。領域ベースオペレータは、独自のトーンマッピングアルゴリズムを指す。他のトーンマッピングオペレータを選択し映像セグメントの処理に使用しても良い。

明順応オペレータには、例えば、遷移処理部が含まれる。光が動的に変化している映像セグメントの一部において、単一オペレータを使用するより遷移処理部を使用する方が好ましいことがある。本実装の遷移処理部は、以下のダークルームについての検討で説明するように両側にあるオペレータの間を補間して露出およびコントラストの設定を自動的に選択する。さらに、選択された露出およびコントラストの設定をフレームごとに変更することができ、これは、光がフレームごとに変化している場合には重要であろう。加えて、遷移処理部において、アンカーポイントおよび関連する区分はフレームごとに変更される可能性もあり、１つのシーンを通して不変のままではない。

後処理フィルタには、例えば、ぼかしフィルタおよび鮮鋭化フィルタが含まれる。周知のように、他のフィルタも含むことができ、映像セグメントの処理に使用することもできる。フィルタを、トーンマッピングされた出力に適用するが、トーンマッピングの前に適用することもできる。

ワークフロー領域４０により、ユーザは、例えば、ＨＤＲファイルをどこから開くか、トーンマッピングされた出力をどこに保存するかなどのジョブ設定についての情報を制御することもできる。また、ワークフロー領域４０により、ユーザは自動トーンマッピングまたは対話型の領域ベーストーンマッピングを選択することもできる。

図１には、ダークルーム領域５０が含まれる。ダークルーム領域５０は、映像セグメントの各フレームの平均輝度を示す平均輝度曲線５２、セクション１２および１４に現在表示されているフレームの時間を示す、図１では現在時間が６６秒の位置に点で示されているタイムチャート５４、映像セグメントに適用されている種々のフィルタおよびオペレータが貼り付けられている特定の時間スパンを示すオペレータセクション５５を含むことができる。セクション５５は、図１では例として、領域ベースオペレータ５６、続いて遷移処理部５７、続いて別の領域ベースオペレータ５８を含む。図面全てにおいてオペレータセクション５５には、特定のオペレータセクション内のフレームの小さな画像が示され、画像は表現を簡単にするために「区分」として示されている。

映像技術者または他のユーザは、例えば、領域ベースオペレータをワークフロー領域４０の微調整セクションからドラッグして、オペレータセクション５５にドロップすることができる。そして、映像技術者は、挿入されたオペレータの両端を調整してオペレータを所望の時間スパンに貼り付けることが可能である。映像技術者は、典型的に別々の領域ベースオペレータを異なるシーケンスに貼り付けること、そして、遷移オペレータ５７を２つのシーケンスの間の遷移期間に貼り付けることが可能である。遷移オペレータ５７を、例えば、当該２つの領域ベースオペレータの間を補間するべく設計することができる。一実装において、遷移処理部は、遷移処理部が定義される時間の全スパンに対して補間を実行する。従って、例えば、図１において、領域ベースオペレータ５６の終了時間より前に事実上遷移処理部５７は始まり、また、領域ベースオペレータ５８の開始時間の後に事実上遷移処理部５７は終わる。しかし、遷移処理部５７が開始される時に実効的には領域ベースオペレータが停止され、遷移処理部５７が終了するまで領域ベースオペレータ５８は開始されない。

本実装においては全てのオペレータが自動的に作成されるが、オペレータを手動で追加および調整しても良い。各オペレータは、オペレータの境界と一致するタイムチャート５４上の位置で示されるように、フレームのある特定の範囲に対して作用する。各オペレータのパラメータが推定され、コントラストおよび露出のパラメータとしてパラメータ設定領域３０に示される。

加えて、先に示したように、アンカーポイントが各オペレータに対して決められ、露出およびコントラストの制御が各オペレータに対して適用される。これは、オペレータが時間に合わせて調整されて所与のオペレータが特定の映像シーケンスに貼り付けられるだけの典型的な用途においては有用である。このように、アンカーポイントが変わらないため、それぞれの特定の映像シーケンスには、一定の露出設定、一定のコントラスト設定を行うことができ、また、領域の境界を、シーンを通して比較的一定にすることができる。

図２は、ユーザがオペレータ５８の作用範囲を変更した結果を示す。ユーザは、オペレータ５８の開始時間を右方向、タイムチャート５４上でもっと遅い時間にドラッグすると、開始時間が３：６２辺りに示される。より一般的には、ユーザはいずれのオペレータの作用範囲も変更することが可能である。現在のフレームが３：６２であることが示され、セクション２２において赤のヒストグラムの飽和が示されている。

図４は、ユーザが新しいオペレータを追加した結果を示す。ここでは、単一露出オペレータ５９である。通常のＨＤＲアプリケーションでは、多くの異なるトーンマッピング方法が利用可能である。ユーザは、各シーンについて異なるトーンマッピング方法を選択可能である。図４は、ワークフロー領域４０からダークルーム５０に単一露出オペレータが挿入されたことを示している。

図５は、ユーザがさらにオペレータを追加した結果を示す。ユーザは、これらのオペレータを追加して、例えば、異なる機能性を実現することができる。例えば、遷移処理部は、本実装において、遷移処理部の両側にあるオペレータ間のトーンマッピングのパラメータを補間する。加えて、ぼかしフィルタ６０は、ワークフロー領域４０からダークルーム５０にドラッグされたもので、遷移オペレータの下に挿入されて示されている。ぼかしフィルタにより、後処理フィルタとしてトーンマッピングされたフレームにガウシアンぼかしが適用される。

図示されるように、複数のオペレータを任意の所与のフレームに対して適用可能である。図５では、例えば、タイムチャート５４上の時間およそ３：３０辺りにおいて、領域ベースオペレータ５８、遷移処理部６１、ぼかしフィルタ６０が全てアクティブであることが示されている。加えて、これら３つのオペレータは全て、異なる時間範囲で適用されている。しかし、露出／コントラストの設定およびアンカーポイントは、本実装において、遷移処理部の開始時間および終了時間に基づき決定されることに留意されたい。遷移処理部は、領域ベースオペレータと先行の単一露出オペレータとの間のスムーズな遷移を提供することを意図して適用される。本実装において、遷移処理部は、先行の単一露出オペレータの設定と続く領域ベースオペレータの設定との間を補間する。そして、遷移処理部によりトーンマッピングが実行された後に、トーンマッピングされた出力に対してぼかしフィルタ６０が適用される。

図６は、ユーザが露出およびコントラストのレベルを変更した結果を示す。それぞれのオペレータについて、ユーザは露出およびコントラストを領域ごとに変更することができる。露出は、所与の領域について該所与の領域の上部のスライダを移動させることにより変更される。コントラストは、全領域制御セクション３４において所与の領域について該所与の領域の下部のスライダを移動させることにより変更される。図１と比較すると、領域１０の露出およびコントラストのみが変更されている。なお、露出およびコントラストのレベルは、本実装ではオペレータごとに別々に設定される。これは、露出およびコントラストのレベルが、オペレータで操作されるフレームセット全体で同一であることを意味する。もちろん、領域は画素明度値に応じてフレームごとに変化することが予期されるが、露出およびコントラストの設定は同一のままである。

図７は、図１と比較すると、動いているＨＤＲヒストグラム上のアンカーポイント１６の結果を示す。異なるオペレータに対して、アンカーポイントを異なるようにすることが可能である。図７は、第３番目のシーンにおけるフレームを示す。比較すると、図１は第１番目のシーンにおけるフレームを示す。このように、異なるシーンではアンカーポイントを異なるようにすることが可能であるようにアルゴリズムが適合している。

図８は、スクリーンに表示される出力により、映像セグメントの処理を行うユーザをどのように誘導することが可能かを示す。例えば、トーンマッピングされた画像のカラーヒストグラム２２、２４、２６により、ユーザを誘導してパラメータを変更することができる。図８において、トーンマッピングされた画像の色ヒストグラムは、赤および青の両チャンネルにおける多数の飽和画素を示す。特に、赤および青のチャンネルの読出部２８は、赤チャンネルでは１８，３８６の露出過度の画素、青チャンネルでは１１，６３５の露出過度の画素を示している。この情報により、ユーザを誘導して露出を減らすことができる。

アルゴリズムは、映像セグメントの処理を行うユーザを誘導することができる情報をスクリーンに提供するべく適合している。例えば、輝度曲線５２は、各フレームの平均輝度を示し、シーンの境界がどこで発生するかについての有用なヒントを提供する。これにより、ダークルーム５０においてオペレータの境界の選択を行うユーザを誘導することができる。

キーフレームのアンカーポイントを対話形式で変更することも可能である。アンカーポイントは、ＨＤＲヒストグラム領域１８に点１６で例示されているが、ＨＤＲ画像の領域への区分を定義する。例えば図１において、５つのアンカーポイントが定義され、対応する区分領域が５つのグレースケール画像または重み画像３６として示されている。これらのグレースケール画像３６において、上記で説明したように、輝点は、高い重みを有する現在の領域に画素が属することを意味し、その逆も同様である。ユーザが１つのアンカーポイントを変更すると、ＨＤＲ画像の区分も変化し、その結果、図１の５つのグレースケール画像３６が再計算され更新される。それと同時に、トーンマッピングされた画像１５およびそのＲ、Ｇ、Ｂのカラーヒストグラム２２、２４、２６も更新される。従って、このような場合、エンドユーザは、その区分全体に何らかの制御を行うこと、出力されたトーンマッピングされた画像１５全体に何らかの制御を行うことができる。

スクリーン上には、アンカーポイントの修正を行うユーザを誘導するためのいくつかのヒントがある。ＨＤＲヒストグラム１８は、アンカーポイントを置くべき最良の位置がどこであるかをユーザが判定するのに役立つ。例えば、一般的に、ダイナミックレンジ全体をカバーするにはアンカーポイント間に何らかの間隔を保つのが良い。これは、例えば、アンカーポイントをヒストグラムの中央部分に近接して置くこととは対照的である。「重み画像」はまた、ユーザがアンカーポイントを変更するための直感的なヒントも提供する。ユーザは、アンカーポイントを変更している間に重み画像を観察し、区分された領域が満足できるものであるかどうかを確認することができる。すなわち、ユーザは、領域がポピュレートされていること示す輝点が各重み画像内に存在するかどうかを観察することができる。領域がポピュレートされている場合、ユーザは、アンカーポイントを今ある位置に置いたままにすることができる。しかし、領域がポピュレートされていない場合、ユーザは、例えば、アンカーポイントを移動し、この領域がポピュレートかつ使用されるようにするためにポピュレートされていない領域を大きくすることができる。あるいは、または加えて、ユーザは、そのポピュレートされていない領域に関連するアンカーポイントを削除し、領域を拡大させてさらにポピュレートかつ使用されるようにすることを決定することもできる。

アンカーポイントの数が通常は、対象のＨＤＲ画像／映像のダイナミックレンジに従って自動的に計算されるように、アルゴリズムを適合する。しかし、アンカーポイントを追加または削除することも可能である。利点は典型的にはアンカーポイントの変更と同様である。例えば、ユーザは、トーンマッピングされた画像全体にさらに微細な制御を行うために、さらに多くのアンカーポイントを追加可能である場合もある。

図１の実装において、アンカーポイントは静的光を有するシーンでは通常固定される。従って、キーフレームのアンカーポイントの変更は同じシーンの全てのフレームに影響を与える。不透明な窓が次第に開き太陽の光が部屋に入る場合のような動的光を有するシーンでは、前のシーンおよび後に続くシーンの両方のアンカーポイントに従って、アンカーポイントが自動的に補間される。この場合、アンカーポイントは、動的光のシーン内の全てのフレームごとに変化する。通常、ユーザがこのような状況でアンカーポイントを変更する必要はない。

パラメータ設定ウィンドウ３０には、上部バーおよび下部バーで領域ごとに露出およびコントラストのパラメータが変更され、重み画像によって定義される。エンドユーザの観点からは、上部バーは輝度を変更し、下部バーはコントラストを変更する。ウィンドウの底部には、２つの付加的な大域パラメータ（すなわち、全領域制御セクション３４）が設けられ、操作を簡素化させることもできる。大域的な露出用バーを動かすことにより、全領域についての露出のパラメータを変更し、大域的なコントラスト用バーを動かすことにより、全領域についてのコントラストのパラメータを変更する。これら２つの大域的なバーは状況に応じて、例えば、エンドユーザが大域的な輝度またはコントラストを変更したい場合に、使用することができる。例えば、トーンマッピングされた画像が明るすぎることにユーザが気付いた場合、ユーザは、露出のパラメータを領域ごとに別々に減少させる必要が無い。代わりに、ユーザは大域的な露出用バーを左方向に動かし、それによって，各領域用の全ての上部（露出用）バーを左方向に一斉に動かすことができる。

図１に示される形式からは、多くの特徴を変形することができる。例えば、ヒストグラムを、１フレームだけではなく複数のフレームに関連させて良い。加えて、露出およびコントラストのパラメータを、１つのオペレータが適用される全てのフレームについて同一に設定する必要はなく、例えば、個々のフレームごとまたは小グループのフレームごとに設定しても良い。さらに、アンカーポイントを、１つのオペレータが適用される全てのフレームについて同一に設定する必要はなく、例えば、個々のフレームごとまたは小グループのフレームごとに設定しても良い。

要約すると、いくつかの実装を、映像セグメントに関する情報を表示すること、および、映像セグメントを処理するための機能（例えば、オペレータ）を表示することに関連して提供する。該機能によりユーザは、映像セグメントを処理すること、そして特に、ＨＤＲ画像のトーンマッピングを実行することが可能となる。表示される結果および情報はヒストグラムおよび／または平均輝度とすることができ、該結果および情報により、どの機能を適用するかについて、または、それらの機能のための、開始時間、終了時間、露出および／またはコントラストなどのパラメータをどのように構成するかついて判定を行うユーザを誘導することもできる。これらの実装の変形形態および追加の用途が熟考され、かつ本開示内に含まれ、また、説明した実装の特徴および態様を他の実装に適合させても良い。

本出願において説明した実装および特徴の内のいくつかを、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（ＡＶＣ）規格、および／またはＭＶＣ拡張を用いたＡＶＣ、および／またはＳＶＣ拡張を用いたＡＶＣの文脈で使用することができる。加えて、これらの実装および特徴を、別の規格の文脈で使用しても良く、または、規格を伴わない文脈においても使用して良い。

多数の実装について説明てきたが、種々の修正を行って良いことが理解されるであろう。例えば、様々な実装の要素の組み合わせ、補足、修正、削除を行って他の実装を形成しても良い。加えて、当業者は理解するであろうが、他の構造および処理を開示したそれと置き換えて良く、その結果得られる実装により、少なくとも実質的に同じ機能（単数または複数）を、少なくとも実質的に同じ方法（単数または複数）で実行し、開示した実装と少なくとも実質的に同じ結果（単数または複数）を達成することになろう。従って、これらおよび他の実装が本出願により熟考される。

以下のリストは多数の種々の実装をまとめたものである。このリストは、網羅することではなく、数多くの可能性のある実装のいくつかを単に例示することを意図するものである。
１．映像にトーンマッピングを実行するための情報の表示。
２．実装１、トーンマッピングを制御するユーザ入力を受け取ることを含む。
３．実装１−２、ユーザ入力の結果、表示される情報を変更する。
４．実装１−３、表示される情報は、トーンマッピング前の映像、トーンマッピング後の映像、参照モデルを使用したトーンマッピング後の映像、映像の処理に使用されるパラメータの内の１つまたは複数を含む。
５．実装４、パラメータは、１フレームまたは複数フレーム（例えばシーケンス）の平均輝度、１フレームまたは複数フレームの色ヒストグラム、１つまたは複数のフレームを領域に区分するためのアンカーポイントの位置、１つまたは複数の領域の露出またはコントラストの制御、オペレータの配置を示すタイムチャートの内の１つまたは複数を含む。
６．実装１−５、表示によりユーザにフレームベースのデータ（例えば、平均輝度）が示され、ユーザがオペレータの開始および／または終了の時間を入力し、ユーザが入力した新しい時間に基づく新しいトーンマッピングされた出力が、表示により示される。
７．実装１−５、表示により、ユーザに１つまたは複数の画像を区分するためのアンカーポイントが示され、ユーザがアンカーポイントを移動させ、その結果新しい区分が得られ、表示により、新しい区分（例えば、マスク）を示す情報が、新しい区分に基づく新しいトーンマッピングされた出力に加えて示される。
８．１つまたは複数の上記の実装を実行する、例えば、プリプロセッサ、エンコーダ、送信機、受信機、デコーダ、またはポストプロセッサに含まれる処理装置。
９．実装８の処理装置を含む、例えば、プリプロセッサ、エンコーダ、送信機、受信機、デコーダ、ポストプロセッサ、セットトップボックス、携帯電話、ラップトップもしくは他のパーソナルコンピュータ、ＰＤＡ、または他の民生用通信機器などの装置。
１０．１つまたは複数の上記の実装から生成される、または、１つまたは複数の上記の実装の装置により提供されるデータまたは記述的情報を含む信号。
本発明の好ましい実施形態を以下に示す。
付記１．映像再生領域と、
前記映像再生領域における、領域ベースのトーンマッピングのための領域的現在映像出力セクションと、
前記映像再生領域における、大域ベースのトーンマッピングのための大域的現在映像出力セクションと、
前記領域的現在映像出力セクションにおける領域的映像セクションおよび領域的ヒストグラム領域と、
前記大域的現在映像出力セクションにおける大域的映像セクションおよび大域的ヒストグラム領域と、
複数の領域に関する領域的可変露出制御および領域的可変コントラスト制御を有する領域的制御セクションと、
大域的可変露出制御および大域的可変コントラスト制御を有する大域的制御セクションと、
を備え、
前記領域的現在映像出力セクション、前記大域的現在映像出力セクション、前記映像セクション、前記ヒストグラム領域、および前記制御セクションはスクリーン上に同時に表示される、ユーザインターフェース。
付記２．前記大域的ヒストグラム領域においてアンカーポイントを備える、付記１に記載のユーザインターフェース。
付記３．前記アンカーポイントは、前記ユーザインターフェースを介して変更可能である、付記２に記載のユーザインターフェース。
付記４．オペレータセクションおよびタイムラインを備え、前記タイムラインは、処理されている映像のフレームの時間を示し、前記タイムラインおよび前記オペレータセクションは前記スクリーン上に同時に表示される、付記１に記載のユーザインターフェース。
付記５．前記処理されている映像のフレームの個々の色ヒストグラムを前記スクリーン上に同時に示す色ヒストグラム領域を備える、付記１に記載のユーザインターフェース。
付記６．前記色ヒストグラムに関連する個々の色について露出過度または露出不足である色ごとの画素の数の測定値を同時に示す読出セクションを前記色ヒストグラム領域において備える、付記５に記載のユーザインターフェース。
付記７．前記処理されている映像のフレームの個々の色ヒストグラムを前記スクリーン上に同時に示す色ヒストグラム領域を備える、付記４に記載のユーザインターフェース。
付記８．前記色ヒストグラムに関連する個々の色について露出過度または露出不足である色ごとの画素の数の測定値を同時に示す読出セクションを前記色ヒストグラム領域において備える、付記７に記載のユーザインターフェース。
付記９．前記オペレータセクションは前記タイムラインに沿って伸びる複数のオペレータバーを備え、前記オペレータバーは１つまたは複数のオペレータを保持かつ表示するように適合される、付記４に記載のユーザインターフェース。
付記１０．前記オペレータは、ぼかしフィルタ、遷移処理部、領域ベースオペレータ、または大域ベースのオペレータである、付記９に記載のユーザインターフェース。
付記１１．前記ユーザインターフェースは、ハイダイナミックレンジの映像データをロウダイナミックレンジの映像データに変換するように適合される、付記１に記載のユーザインターフェース。
付記１２．映像データを処理する方法であって、
前記映像データのフレームをグラフィカルユーザインターフェースの映像再生領域に表示するステップであって、前記フレームが領域ベースのトーンマッピングのための領域的現在映像出力セクション、および大域ベースのトーンマッピングのための大域的現在映像出力セクションに表示され、前記領域的現在映像出力セクションおよび前記大域的現在映像出力セクションが並んで配置される、ステップと、
領域的制御セクションを前記映像再生領域に隣接して表示するステップであって、前記領域的制御セクションが、複数の領域に関する領域的可変露出制御手段および領域的可変コントラスト制御手段を有する、ステップと、
大域的制御セクションを前記領域的制御セクションに隣接して表示するステップであって、前記大域的制御セクションが、大域的可変露出制御手段および大域的可変コントラスト制御手段を有する、ステップと、
を含み、
前記領域的現在映像出力セクションおよび前記大域的現在映像出力セクションはスクリーン上に同時に表示される、前記方法。
付記１３．領域的映像セクションおよび領域的ヒストグラム領域を前記領域的現在映像出力セクションに表示するステップであって、アンカーポイントが大域的ヒストグラム領域に表示される、ステップと、
大域的映像セクションおよび大域的ヒストグラム領域を前記大域的現在映像出力セクションに表示するステップと、
を含む、付記１２に記載の方法。
付記１４．オペレータセクションおよびタイムラインをお互いに隣接させて前記映像再生領域の下方に表示するステップであって、前記タイムラインは処理されている映像のフレームの時間を示し、前記タイムラインおよび前記オペレータセクションが前記スクリーン上に同時に表示される、ステップを含む、付記１３に記載の方法。
付記１５．前記処理されている映像のフレームの個々の色ヒストグラムを前記スクリーン上に同時に示す色ヒストグラム領域を表示するステップであって、前記色ヒストグラム領域が前記映像再生領域に隣接する、ステップを含む、付記１４に記載の方法。
付記１６．少なくとも、複数の領域に関する前記領域的可変露出制御手段または前記領域的可変コントラスト制御手段を調整することにより、前記グラフィカルユーザインターフェースを介して映像に変更を加えるステップであって、映像に対する前記変更の視覚的結果が前記映像再生領域に表示される、ステップを含む、付記１５に記載の方法。
付記１７．少なくとも１つのオペレータを前記オペレータセクションに追加することにより前記グラフィカルユーザインターフェースを介して映像に変更を加えるステップであって、映像に対する前記変更の視覚的結果が前記映像再生領域に表示される、ステップを含む、付記１５に記載の方法。

Claims (4)

1. 映像データを処理する方法であって、
   前記映像データのフレームをグラフィカルユーザインターフェースの映像再生領域に表示するステップであって、前記フレームが領域ベースのトーンマッピングのための領域的現在の映像出力セクション、および大域ベースのトーンマッピングのための大域的現在の映像出力セクションに表示され、前記領域的現在の映像出力セクションおよび前記大域的現在の映像出力セクションが並んで配置され、前記領域的現在の映像出力セクションは複数の露出領域及び複数のアンカーポイントを有し、前記大域的現在の映像出力セクションは単一の露出領域および単一のアンカーポイントを有する、ステップと、
   領域的制御セクションを前記映像再生領域に隣接して表示するステップであって、前記領域的制御セクションが、複数の領域に関する領域的可変露出制御手段および領域的可変コントラスト制御手段を有し、前記領域的制御セクションが複数の露出領域に分割され、各露出領域はアンカーポイントに対応する、ステップと、
   大域的制御セクションを前記領域的制御セクションに隣接して表示するステップであって、前記大域的制御セクションが、大域的可変露出制御手段および大域的可変コントラスト制御手段を有する、ステップと、
   を含み、
   前記領域的現在の映像出力セクションおよび前記大域的現在の映像出力セクションはスクリーン上に同時に表示される、前記方法。
2. 領域的映像セクションおよび領域的ヒストグラム領域を前記領域的現在の映像出力セクションに表示するステップであって、前記複数のアンカーポイントが前記領域的ヒストグラム領域に表示される、ステップと、
   大域的映像セクションおよび大域的ヒストグラム領域を前記大域的現在の映像出力セクションに表示するステップであって、前記単一のアンカーポイントが前記大域的ヒストグラム領域に表示される、ステップと、
   を含む、請求項１に記載の方法。
3. オペレータセクションおよびタイムラインをお互いに隣接させて前記映像再生領域の下方に表示するステップであって、前記タイムラインは処理されている映像のフレームの時間を示し、前記タイムラインおよび前記オペレータセクションが前記スクリーン上に同時に表示される、ステップを含む、請求項２に記載の方法。
4. 前記処理されている映像のフレームの個々の色ヒストグラムを前記スクリーン上に同時に示す色ヒストグラム領域を表示するステップであって、前記色ヒストグラム領域が前記映像再生領域に隣接する、ステップを含む、請求項３に記載の方法。
   

Images