JP6478499B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

近年、画像制作ワークフローのデジタル化が進み、撮影装置を用いた撮影によって生成された撮影画像と、コンピューターグラフィック画像（以下、ＣＧ画像）と、を合成した合成画像を容易に生成することが可能となった。

合成画像の生成は、一般的に、撮影工程（撮影を行う工程）の後工程であるポストプロダクションで行われる。そのため、合成画像の生成時に撮影画像に編集不可能な部分があると、撮影工程への手戻りが発生してしまうことがある。
そこで、合成画像を生成する（簡易的に生成する）合成装置を撮影現場に持ち込み、撮影現場で合成画像を生成し確認する方法がよく採用されている。合成装置としては、例えば、ＰＣなどを使用することができる。
このような方法によれば、撮影工程で合成画像を確認する（簡易的に確認する）ことができ、撮影工程への手戻り回数を低減することができる。

ここで、撮影画像の表示輝度（画面上の輝度）がＣＧ画像の表示輝度と大きく異なる場合がある。
ポストプロダクションでは、編集者によって、撮影画像の表示輝度がＣＧ画像の表示輝度に合うように、撮影画像とＣＧ画像の少なくとも一方の表示輝度が細かく調整される。
しかし、撮影現場に編集者がいるとは限らないため、撮影現場では画像の表示輝度が自動で調整される（簡易的に調整される）ことが好ましい。
画像の表示輝度を自動で調整する技術は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、複数の画像を合成する際に、１つの画像の平均階調値に基づいて、各画像の表示輝度が調整される。

また近年、撮影装置の受光性能向上に伴い、より広いダイナミックレンジを有する撮影画像が生成されるようになってきている。そして、より広いダイナミックレンジを有する撮影画像を扱うためのデータフォーマットとして、階調値の変化に対して表示輝度が対数的に変化する表示特性（Ｌｏｇ特性）を有するデータフォーマットが提案されている。例えば、映画製作現場では、データフォーマットとして、ダイナミックレンジが広いフィルムの特性に基づいて定められたＣｉｎｅｏｎ Ｌｏｇが使用されている。
一方、ＣＧ画像は、一般的に、狭いダイナミックレンジを有する。例えば、静止画であるＣＧ画像のデータフォーマットとしては、ＢＭＰやＪＰＥＧが使用され、動画であるＣＧ画像のデータフォーマットとしては、ＪＰＥＧ２０００が使用される。これらのデータフォーマットでは、階調値のビット数は８ビットとなるため、広ダイナミックレンジの画像を扱うことはできない。
そのため、撮影画像のダイナミックレンジがＣＧ画像のダイナミックレンジと大きく異なる場合がある。

撮影画像とＣＧ画像のダイナミックレンジが同じ場合には、特許文献１の技術を使用することにより、好適な調整結果（画像の表示輝度の調整結果）を得ることができる。
しかしながら、撮影画像とＣＧ画像のダイナミックレンジが異なる場合には、特許文献１の技術を使用したとしても、好適な調整結果を得ることはできない。例えば、ＨＤＲ画像とＬＤＲ画像とを合成した合成画像を表示する場合には、特許文献１の技術を用いたとしても、ＨＤＲ画像の表示輝度をＬＤＲ画像の表示輝度に合わせることはできない。ＨＤ
Ｒ画像は、ダイナミックレンジが広い画像であり、例えば、撮影画像である。ＬＤＲ画像は、ダイナミックレンジが狭い画像であり、例えば、ＣＧ画像である。

以下、ＨＤＲ画像とＬＤＲ画像とを合成した合成画像を表示する例を説明する。
ＬＤＲ画像は、図９に示すように、階調値（ＬＤＲ階調値）の変化に対して表示輝度が線形に変化する表示特性（線形特性）を有する。
一方、ＨＤＲ画像は、図１０に示すように、階調値（ＨＤＲ階調値）の変化に対して表示輝度が対数的に変化する表示特性（Ｌｏｇ特性）を有する。そして、ＨＤＲ画像のダイナミックレンジは、ＬＤＲ画像よりも広い。人間の視覚は暗部に対して敏感であり、低い表示輝度の範囲に対して狭い階調範囲（階調値の範囲）を割り当てることが好ましいため、ＨＤＲ画像の表示特性としてＬｏｇ特性が使用されることが多い。
図９，１０では、ＨＤＲ画像とＬＤＲ画像のダイナミックレンジの違いを明確にするために、階調値として、光強度値に相当する階調値が使用されている。光強度値は、光強度値の変化に対する階調値の変化である階調特性の逆特性に従って、階調値を変換した値である。画像が撮影画像である場合、光強度値は、撮影装置のイメージセンサ（ＣＭＯＳセンサ等）で受光された光の明るさ（撮影シーンの明るさ）を表す値である。階調特性がガンマ特性である場合には、逆ガンマ特性に従って階調値を変換した値が光強度値に一致する。

図９，１０に示すように、ＨＤＲ階調値とＬＤＲ階調値が等しくても、ＨＤＲ階調値に対応する表示輝度は、ＬＤＲ階調値に対応する表示輝度と異なる。そのため、特許文献１の技術を使用したとしても、好適な調整結果を得ることはできない。例えば、ＨＤＲ画像の平均階調値がＬＤＲ画像の平均階調値と一致するようにＨＤＲ画像やＬＤＲ画像の階調値を調整したとしても、ＨＤＲ画像の表示輝度をＬＤＲ画像の表示輝度に一致させることはできない。

特開２００５−１４２６８０号公報

本発明は、合成画像を生成するために使用する複数の画像のダイナミックレンジが互いに異なる場合にも、複数の画像の表示輝度を好適に調整可能にする技術を提供することを目的とする。

本発明の第１の態様は、
第１画像を取得する第１取得手段と、
ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得手段と、
前記第１画像の領域であり且つ階調値が第１閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第１画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換手段と、
前記第２画像と前記第３画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置である。
本発明の第２の態様は、
第１画像を取得する第１取得手段と、
ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得手段と、
前記第１画像の階調値に関する特徴情報を、前記第１画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換手段と、
前記第２画像と前記第３画像を合成することにより合成画像を生成する合成手段と、
を有し、
前記第１取得手段は、フレーム毎に第１画像を取得し、
前記第１画像の対応関係は、当該第１画像のダイナミックレンジに依存して変化し、
前記第１変換手段は、
階調値と表示輝度の対応関係が現在のフレームの１つ前のフレームの第３画像と等しい第３画像に現在のフレームの第１画像を変換する第１変換処理と、現在のフレームの第１画像の対応関係と前記第２画像の対応関係とを重みづけ合成した対応関係を有する第３画像に現在のフレームの第１画像を変換する第２変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第１画像を第３画像に変換し、
前記合成手段は、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理装置である。
本発明の第３の態様は、
撮影画像を取得する撮影画像取得手段と、
ダイナミックレンジが前記撮影画像より狭いＣＧ画像を取得するＣＧ画像取得手段と、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記ＣＧ画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換手段と、
前記ＣＧ画像と前記変換画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置である。

本発明の第４の態様は、
第１画像を取得する第１取得ステップと、
ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得ステップと、
前記第１画像の領域であり且つ階調値が第１閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第１画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換ステップと、
前記第２画像と前記第３画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法である。
本発明の第５の態様は、
第１画像を取得する第１取得ステップと、
ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得ステップと、
前記第１画像の階調値に関する特徴情報を、前記第１画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換ステップと、
前記第２画像と前記第３画像を合成することにより合成画像を生成する合成ステップと、
を有し、
前記第１取得ステップでは、フレーム毎に第１画像を取得し、
前記第１画像の対応関係は、当該第１画像のダイナミックレンジに依存して変化し、
前記第１変換ステップでは、
階調値と表示輝度の対応関係が現在のフレームの１つ前のフレームの第３画像と等しい第３画像に現在のフレームの第１画像を変換する第１変換処理と、現在のフレームの第１画像の対応関係と前記第２画像の対応関係とを重みづけ合成した対応関係を有する第３画像に現在のフレームの第１画像を変換する第２変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第１画像を第３画像に変換し、
前記合成ステップでは、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理方法。
本発明の第６の態様は、
撮影画像を取得する撮影画像取得ステップと、
ダイナミックレンジが前記撮影画像より狭いＣＧ画像を取得するＣＧ画像取得ステップ
と、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記ＣＧ画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換ステップと、
前記ＣＧ画像と前記変換画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法である。

本発明の第７の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、合成画像を生成するために使用する複数の画像のダイナミックレンジが互いに異なる場合にも、複数の画像の表示輝度が好適に調整可能となる。

実施例１に係る画像表示装置の機能構成の一例を示すブロック図 実施例１に係るクロマキー処理の一例を示す図 実施例１に係る装置間の接続方法の一例を示す図 実施例１に係るＨＤＲ輝度変換データの重みの決定方法の一例を示す図 実施例１に係るＬＤＲ／ＨＤＲ輝度変換データの一例を示す図 実施例１に係る第１輝度変換データの生成方法の一例を示す図 実施例２に係る画像表示装置の機能構成の一例を示すブロック図 実施例２に係る第１出力処理の一例を示す図 ＬＤＲ画像の表示特性の一例を示す図 ＨＤＲ画像の表示特性の一例を示す図

＜実施例１＞
以下、図面を参照しながら、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。
なお、以下では、本実施例に係る画像処理装置を画像表示装置が有する場合の例を説明するが、本実施例に係る画像処理装置は画像表示装置とは別体の装置であってもよい。

（全体構成）
図１は、本実施例に係る画像表示装置１００の機能構成の一例を示すブロック図である。図１に示すように、画像表示装置１００は、制御部１１６、第１階調変換部１０３、第２階調変換部１０４、データ選択部１０６、色空間変換部１０７、オーバーホワイト領域検出部１０８、重み決定部１０９、輝度変換データ生成部１１０、第１輝度変換部１１１、第２輝度変換部１１２、画像合成部１１３、ガンマ変換部１１４、表示部１１５、等を有する。
図１に示すように、画像表示装置１００は、撮影装置１８０と録画装置１８１に接続されている。

制御部１１６は、画像表示装置１００が有する各機能部を制御する。本実施例では、制御部１１６は、各機能部で使用される設定値を設定する。それにより、各機能部では、設定値に応じた処理が実行される。設定値は、例えば、不図示の記憶部（不揮発性メモリなど）から読み出され、設定される。設定値は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。また、設定値は、撮影装置１８０から取得された撮影画像情報１０５に基づいて生成され、設定されてもよい。撮影画像情報１０５は、例えば、後述する第１画像データ１０１を生成するための撮影時に使用された撮影パラメータ（ＩＳＯ感度、フレームレート、シャッタースピード、ホワイトバランス、等）を含む。

第１階調変換部１０３は、撮影装置１８０から第１画像データ１０１を取得する（第１取得処理）。具体的には、第１階調変換部１０３は、ＳＤＩ（シリアル・デジタル・インターフェース）ケーブルを用いて、撮影装置１８０から第１画像データ１０１を取得する。

本実施例では、第１画像データ１０１は、撮影装置１８０を用いた撮影によって生成された撮影画像データである。第１画像データ１０１の画素値はＲＧＢ値（赤色成分の階調値であるＲ値、緑色成分の階調値であるＧ値、及び、青色成分の階調値であるＢ値、の組み合わせ）である。第１画像データ１０１の階調値（Ｒ値、Ｇ値、及び、Ｂ値）は、Ｌｏｇ変換された１０ビットの値である。“Ｌｏｇ変換された値”とは、基準単位の階調値を対数関数を用いて変換した階調値である。以後、基準単位を“線形単位”と記載する。
Ｌｏｇ変換された値を使用することにより、ダイナミックレンジが広いＨＤＲ画像データの伝送を容易に実現することができる。

第１階調変換部１０３は、第１画像データ１０１の階調値を線形単位の階調値に変換することにより、第１線形画像データ１５３を生成する。本実施例では、制御部１１６によって設定された第１変換カーブ１５１に従って第１画像データ１０１の階調値を変換することにより、第１線形画像データ１５３が生成される。第１変換カーブ１５１は、変換前の階調値と変換後の階調値との対応関係を表す情報（関数やテーブル）である。そして、第１階調変換部１０３は、第１線形画像データ１５３を出力する。
第１画像データ１０１及び第１線形画像データ１５３は、いずれも、第１画像を表す画像データである。

なお、第１画像データ１０１の取得方法は上記方法に限らないし、第１画像データ１０１は上記データに限らない。例えば、ＳＤＩケーブル以外のケーブルを用いて第１画像データ１０１が取得されてもよいし、第１画像データ１０１が無線で取得されてもよい。第１画像データ１０１の画素値はＹＣｂＣｒ値（輝度値であるＹ値、色差値であるＣｂ値、及び、色差値であるＣｒ値、の組み合わせ）であってもよい。第１画像データ１０１の階調値のビット数は１０ビットより多くても少なくてもよい。第１画像データ１０１は、撮影画像データでなくてもよい。第１画像データ１０１は、撮影装置１８０とは異なる外部装置（画像表示装置１００の外部装置）から取得されてもよい。第１画像データ１０１は、画像表示装置１００が有する記憶部（不図示）から取得されてもよい。階調値を変換する処理が行われずに、画像表示装置１００の外部装置、画像表示装置１００が有する記憶部、等から、第１線形画像データ１５３が取得されてもよい。

第２階調変換部１０４は、録画装置１８１から第２画像データ１０２を取得する（第２取得処理）。具体的には、第２階調変換部１０４は、ＳＤＩケーブルを用いて、録画装置１８１から第２画像データ１０２を取得する。

本実施例では、第２画像データ１０２は、パーソナルコンピューター（ＰＣ）によって
生成されたコンピューターグラフィック画像データ（ＣＧ画像データ）である。第２画像データ１０２の画素値はＲＧＢ値である。第２画像データ１０２の階調値は、ガンマ値が１／２．２のガンマ特性（１／２．２ガンマ特性）で変換された８ビットの値である。
“１／２．２ガンマ特性で変換された値”とは、線形単位の階調値を１／２．２ガンマ特性に従って変換した階調値である。
第２画像データ１０２が、ダイナミックレンジが狭いＬＤＲ画像データであり、且つ、静止画像のデータである場合には、第２画像データ１０２のデータフォーマットとして、ＢＭＰやＪＰＥＧを使用することができる。第２画像データ１０２が、ＬＤＲ画像データであり、且つ、動画像のデータである場合、第２画像データ１０２のデータフォーマットとして、ＪＰＥＧ２０００を使用することができる。

第２階調変換部１０４は、第２画像データ１０２の階調値を線形単位の階調値に変換することにより、第２線形画像データ１５４を生成する。本実施例では、制御部１１６によって設定された第２変換カーブ１５２に従って第２画像データ１０２の階調値を変換することにより、第２線形画像データ１５４が生成される。第２変換カーブ１５２は、変換前の階調値と変換後の階調値との対応関係を表す情報（関数やテーブル）である。そして、第２階調変換部１０４は、第２線形画像データ１５４を出力する。
第２画像データ１０２及び第２線形画像データ１５４は、いずれも、第２画像を表す画像データである。本実施例では、第２画像のダイナミックレンジは、第１画像のダイナミックレンジと異なる。具体的には、第２画像のダイナミックレンジは、第１画像のダイナミックレンジよりも狭く、且つ、第１画像のダイナミックレンジの一部である。

なお、第２画像データ１０２の取得方法は上記方法に限らないし、第２画像データ１０２は上記データに限らない。例えば、ＳＤＩケーブル以外のケーブルを用いて第２画像データ１０２が取得されてもよいし、第２画像データ１０２が無線で取得されてもよい。第２画像データ１０２の画素値はＹＣｂＣｒ値であってもよい。第２画像データ１０２の階調値のビット数は８ビットより多くても少なくてもよい。第２画像データ１０２は、ＣＧ画像データでなくてもよい。第２画像データ１０２は、録画装置１８１とは異なる外部装置（画像表示装置１００の外部装置）から取得されてもよい。第２画像データ１０２は、画像表示装置１００が有する記憶部（不図示）から取得されてもよい。階調値を変換する処理が行われずに、画像表示装置１００の外部装置、画像表示装置１００が有する記憶部、等から、第２線形画像データ１５４が取得されてもよい。
なお、第２画像のダイナミックレンジは、第１画像のダイナミックレンジよりも広くてもよい。また、第２画像のダイナミックレンジは、第１画像のダイナミックレンジに含まれない階調範囲を含んでいてもよい。

データ選択部１０６は、第１線形画像データ１５３と第２線形画像データ１５４の一方を選択し、選択した画像データを出力する。具体的には、データ選択部１０６には、制御部１１６からＨＤＲ画像選択指示１５５が入力される。そして、データ選択部１０６は、ＨＤＲ画像選択指示１５５に応じて、第１線形画像データ１５３と第２線形画像データ１５４のうち、ダイナミックレンジが広い方の画像データをＨＤＲ画像データとして選択し、選択した画像データを出力する。本実施例では、第１線形画像データ１５３がＨＤＲ画像データとして選択される。

色空間変換部１０７は、データ選択部１０６から出力された第１線形画像データ１５３の各画素のＲＧＢ値をＹ値（データ輝度値）に変換することにより、輝度データ１５６を生成する。そして、色空間変換部１０７は、輝度データ１５６を出力する。

オーバーホワイト領域検出部１０８は、第１画像の領域であり且つ階調値が閾値以上の画素からなる領域である明部領域（オーバーホワイト領域）のサイズを表す特徴情報を、
輝度データ１５６から取得する（特徴取得処理）。本実施例では、オーバーホワイト領域のサイズとして、第１画像の総画素数に対するオーバーホワイト領域の総画素数の割合を表すオーバーホワイト面積率データ１５８が、特徴情報として取得される。そして、オーバーホワイト領域検出部１０８は、オーバーホワイト面積率データ１５８を出力する。

具体的には、まず、オーバーホワイト領域検出部１０８は、制御部１１６から基準白輝度値１５７を取得する。基準白輝度値１５７は、明部のデータ輝度値の範囲と、それ以外のデータ輝度値の範囲と、の境界におけるデータ輝度値である。
次に、オーバーホワイト領域検出部１０８は、輝度データ１５６の複数の画素の中から、輝度値（データ輝度値）が基準白輝度値１５７以上である画素を検出する。
そして、オーバーホワイト領域検出部１０８は、輝度データ１５６の総画素数に対する上記検出された画素の総数の割合を、オーバーホワイト面積率として算出する。
次に、オーバーホワイト領域検出部１０８は、上記算出したオーバーホワイト面積率を表すオーバーホワイト面積率データ１５８を生成し、オーバーホワイト面積率データ１５８を出力する。

このように、本実施例では、色空間変換部１０７とオーバーホワイト領域検出部１０８とによって、第１画像から特徴情報が取得される。
なお、基準白輝度値１５７は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。
なお、特徴情報は、オーバーホワイト面積率を表す情報でなくてもよい。例えば、特徴情報は、データ輝度値が基準白輝度値１５７以上である画素の総数を表す情報であってもよい。

本実施例では、重み決定部１０９、輝度変換データ生成部１１０、及び、第１輝度変換部１１１により、オーバーホワイト領域検出部１０８から出力されたオーバーホワイト面積率データ１５８に基づいて、第１画像が第３画像に変換される（第１変換処理）。具体的には、オーバーホワイト面積率データ１５８に基づいて、第１線形画像データ１５３が第１輝度変換画像データ１６６に変換される。本実施例では、階調値と表示輝度（画面上の輝度）との対応関係が明部領域のサイズ（オーバーホワイト面積率データ１５８が表すオーバーホワイト面積率）が小さいほど第２画像の対応関係に近い第３画像に、第１画像が変換される。

重み決定部１０９は、オーバーホワイト領域検出部１０８から出力されたオーバーホワイト面積率データ１５８に応じて、輝度変換データ生成部１１０で使用する重みを表す重み情報１６０を生成する。具体的には、オーバーホワイト面積率データ１５８によって表されたオーバーホワイト面積率（明部領域のサイズ）が大きいほど大きい重みを表す重み情報１６０が生成される。そして、重み決定部１０９は、重み情報１６０を出力する。

輝度変換データ生成部１１０は、重み決定部１０９から出力された重み情報１６０に基づいて、第１輝度変換データ１６４と第２輝度変換データ１６５を生成する。第１輝度変換データ１６４は、第１線形画像データ１５３の階調値を、表示輝度と同じ単位の階調値に変換するためのデータである。第２輝度変換データ１６５は、第２線形画像データ１５４の階調値を、表示輝度と同じ単位の階調値に変換するためのデータである。第１輝度変換データ１６４及び第２輝度変換データ１６５は、例えば、変換前の階調値と変換後の階調値との対応関係を表す情報（関数やテーブル）である。そして、輝度変換データ生成部１１０は、第１輝度変換データ１６４と第２輝度変換データ１６５を出力する。

本実施例では、輝度変換データ生成部１１０は、第１輝度変換データ１６４の初期データであるＨＤＲ輝度変換データ１６１と、第２輝度変換データ１６５の初期データである
ＬＤＲ輝度変換データ１６２と、を制御部１１６から取得する。ＨＤＲ輝度変換データ１６１は、第１画像の階調値と表示輝度の対応関係を表すデータであり、ＬＤＲ輝度変換データ１６２は、第２画像の階調値と表示輝度の対応関係を表すデータである。
輝度変換データ生成部１１０は、重み情報１６０によって表された重みでＨＤＲ輝度変換データ１６１とＬＤＲ輝度変換データ１６２を重みづけ合成することにより、第１輝度変換データ１６４を生成する。具体的には、重み情報１６０によって表された重みは、ＨＤＲ輝度変換データ１６１の重みとして使用される。そして、輝度変換データ生成部１１０は、第１輝度変換データ１６４を出力する。
また、輝度変換データ生成部１１０は、ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として出力する。

なお、重み情報１６０として、ＬＤＲ輝度変換データ１６２の重みを表す情報が生成されてもよい。また、重み情報１６０として、ＨＤＲ輝度変換データ１６１の重みと、ＬＤＲ輝度変換データ１６２の重みと、を個別に表す情報が生成されてもよい。

第１輝度変換部１１１は、第１輝度変換データ１６４を用いて第１線形画像データ１５３の階調値を変換することにより、第１輝度変換画像データ１６６を生成する。そして、第１輝度変換部１１１は、第１輝度変換画像データ１６６を出力する。第１輝度変換画像データ１６６は、第３画像を表す。第１輝度変換データ１６４がＨＤＲ輝度変換データ１６１と等しい場合、第３画像は第１画像と等しい。第１輝度変換データ１６４がＨＤＲ輝度変換データ１６１と異なる場合、第３画像は第１画像と異なる。

第２輝度変換部１１２は、第２輝度変換データ１６５を用いて第２線形画像データ１５４の階調値を変換することにより、第２輝度変換画像データ１６７を生成する。そして、第２輝度変換部１１２は、第２輝度変換画像データ１６７を出力する。上述したように、第２輝度変換データ１６５はＬＤＲ輝度変換データ１６２である。そのため、第２輝度変換画像データ１６７は第２画像を表す。

画像合成部１１３は、第３画像と第２画像を合成することにより、合成画像を生成する。具体的には、画像合成部１１３は、第１輝度変換画像データ１６６と第２輝度変換画像データ１６７を合成することにより、上記合成画像を表す合成画像データ１６８を生成する。そして、画像合成部１１３は、合成画像データ１６８を出力する。

本実施例では、画像データを合成する合成処理として、クロマキー処理が行われる。クロマキー処理の一例を図２に示す。
まず、グリーンバック（緑の布などの背景）の前にいる被写体（人物など）を撮影することにより、撮影画像が生成される（図２の符号２０１）。
次に、ＰＣなどによってＣＧ画像が生成される（図２の符号２０２）。
そして、撮影画像の画素値のうちグリーンバックの領域の画素値をＣＧ画像の画素値に置き換えることにより、合成画像が生成される（図２の符号２０３）。

なお、合成処理はクロマキー処理に限らない。例えば、合成処理として、αブレンド処理が行われてもよい。αブレンド処理では、一方の画像の画素値と他方の画像の画素値とを合成率（αブレンド値）に応じた重みで合成することにより、合成画像の画素値が決定される。例えば、αブレンド値は、ＣＧ画像の生成時に、ＣＧ画像の各画素に対して決定される。そして、αブレンド値が０．３である画素については、ＣＧ画像の画素値に重み０．３が乗算され、撮影画像の画素値に重み０．７が乗算される。そして、重みが乗算された後の２つの画素値を足し合わせることにより、合成画像の画素値が算出される

ガンマ変換部１１４は、表示部１１５の駆動特性（駆動階調値（表示部１１５を駆動す
る階調値）と表示輝度の対応関係）に従って合成画像データ１６８の階調値を駆動階調値に変換することにより、表示用画像データ１７０を生成する。具体的には、ガンマ変換部１１４は、表示部１１５の駆動特性を表す駆動特性情報１６９を制御部１１６から取得する。そして、ガンマ変換部１１４は、駆動特性情報１６９によって表された駆動特性に従って合成画像データ１６８の階調値を駆動階調値に変換することにより、表示用画像データ１７０を生成する。
表示用画像データ１７０も、上記合成画像を表す画像データである。
なお、表示部１１５の駆動特性は、表示部１１５が有する表示素子の種類等に依存して変化する。

表示部１１５は、ガンマ変換部１１４から出力された表示用画像データ１７０に基づく画像を画面に表示する。具体的には、表示部１１５は、マトリックス状に配置された複数の表示素子を有する。そして、各表示素子が表示用画像データ１７０に応じて駆動されることにより、画面に画像が表示される。表示素子としては、液晶素子、有機ＥＬ素子、プラズマ素子、等を使用することができる。

（階調特性及び表示特性）
以下、本実施例で使用される各画像データの階調特性について説明する。
本実施例では、第１画像データ１０１と第２画像データ１０２は、いずれも、光強度値の変化に対して階調値が非線形に変化する非線形特性を有する。具体的には、第１画像データ１０１は、光強度値の変化に対して階調値が対数的に変化する階調特性（Ｌｏｇ特性）を有する。第２画像データ１０２は、光強度値の変化に対する階調値の変化が１／２．２ガンマ特性である階調特性を有する。光強度値は、階調特性の逆特性に従って階調値を変換した値である。画像データが撮影画像データである場合、光強度値は、撮影装置１８０のイメージセンサ（ＣＭＯＳセンサ等）で受光された光の明るさ（撮影シーンの明るさ）を表す値である。
本実施例では、第１画像データ１０１で表現可能な光強度値の範囲（ダイナミックレンジ）は、第２画像データ１０２で表現可能な光強度値の範囲よりも広い。
本実施例では、第１線形画像データ１５３と第２線形画像データ１５４は、いずれも、光強度値の変化に対して階調値が線形に変化する線形特性を有する。
本実施例では、第１輝度変換画像データ１６６、第２輝度変換画像データ１６７、及び、合成画像データ１６８は、いずれも、階調値が表示輝度と一致する階調特性を有する。換言すれば、第１輝度変換画像データ１６６、第２輝度変換画像データ１６７、及び、合成画像データ１６８は、いずれも、階調値の変化に対して表示輝度が線形に変化する表示特性を有する。
そして、本実施例では、表示用画像データ１７０は、階調値の変化に対する表示輝度の変化が１／２．２ガンマ特性である表示特性を有する。

（オーバーホワイト面積率）
オーバーホワイト面積率の具体的な決定方法について説明する。
説明の便宜上、以下では、第１画像データ１０１のダイナミックレンジが、０〜８００％の光強度値に対応するダイナミックレンジであり、且つ、第１画像データ１０１の階調値が、１０ビットの値であるものとする。また、第２画像データ１０２のダイナミックレンジが、０〜１００％の光強度値に対応するダイナミックレンジであり、且つ、第２画像データ１０２の階調値が、８ビットの値であるものとする。そして、基準白輝度値が１００％の光強度値に対応するデータ輝度値であるものとする。
なお、第１画像データ１０１、第２画像データ１０２、及び、基準白輝度値は、上述したデータに限らない。

第１階調変換部１０３は、第１画像データ１０１を第１線形画像データ１５３に変換す
る。具体的には、階調特性がＬｏｇ特性であり、且つ、階調値のビット数が１０ビットである階調値（第１画像データ１０１の階調値）が、階調特性が線形特性であり、且つ、階調値のビット数が１２ビットである階調値に変換される。それにより、第１画像データ１０１が第１線形画像データ１５３に変換される。

第２階調変換部１０４は、第２画像データ１０２を第２線形画像データ１５４に変換する。具体的には、階調特性が１／２．２ガンマ特性であり、且つ、階調値のビット数が８ビットである階調値（第２画像データ１０２の階調値）が、階調特性が線形特性であり、且つ、階調値のビット数が１２ビットである階調値に変換される。それにより、第２画像データ１０２が第２線形画像データ１５４に変換される。

色空間変換部１０７は、第１線形画像データ１５３の各画素のＲＧＢ値をデータ輝度値（Ｙ値）に変換する。それにより、第１線形画像データ１５３が、輝度データ１５６に変換される。本実施例では、以下の式１を用いて、ＲＧＢ値がＹ値に変換される。式１において、“Ｙ”はＹ値、“Ｒ”はＲ値、“Ｇ”はＧ値、“Ｂ”はＢ値である。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（式１）
本実施例では、１２ビットのＲ値、Ｇ値、及び、Ｂ値が、１２ビットのＹ値に変換される。

オーバーホワイト領域検出部１０８は、輝度データ１５６に基づいて、オーバーホワイト面積率を決定する。
上述したように、本実施例では、１００％の光強度値に対応するデータ輝度値が、基準白輝度値として使用される。そのため、０％の光強度値に対応するＹ値が０であり、且つ、８００％の光強度値に対応するＹ値が４０９５である輝度データ１５６が生成される場合、基準白輝度値として５１２が使用される。
オーバーホワイト領域検出部１０８は、輝度データ１５６の複数の画素の中から、Ｙ値が５１２以上であり且つ４０９５以下である画素を、オーバーホワイト画素（オーバーホワイト領域の画素）として検出する。
そして、オーバーホワイト領域検出部１０８は、以下の式２を用いて、オーバーホワイト面積率を決定（算出）する。式２において、“Ａ”は輝度データ１５６の総画素数、“Ｂ”はオーバーホワイト画素の総数、“Ｃ”はオーバーホワイト面積率である。
Ｃ＝（Ｂ／Ａ）×１００ ・・・（式２）
オーバーホワイト面積率Ｃとして、０％以上且つ１００％以下の値が得られる。

上述したように、基準白輝度値１５７は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。また、撮影装置１８０から取得された撮影画像情報１０５に基準白輝度値１５７が含まれている場合には、撮影画像情報１０５に含まれている基準白輝度値１５７を使用してオーバーホワイト面積率が決定されてもよい。
撮影画像情報１０５は、例えば、第１画像データ１０１とは別の伝送路を用いて取得される。例えば、第１画像データ１０１はＳＤＩケーブルを用いて取得され、撮影画像情報１０５はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルを用いて取得される。図３に、撮影装置１８０、録画装置１８１、及び、画像表示装置１００の接続方法の一例を示す。図３の例では、ＳＤＩケーブルを用いて録画装置１８１と画像表示装置１００とが互いに接続されている。また、ＳＤＩケーブルを用いて撮影装置１８０と画像表示装置１００とが互いに接続されている。そして、ＵＳＢケーブルを用いて撮影装置１８０と画像表示装置１００とが互いに接続されている。
なお、ＵＳＢケーブル以外のケーブルを用いて撮影画像情報１０５が取得されてもよいし、撮影画像情報１０５が無線で取得されてもよい。撮影画像情報１０５は、第１画像データ１０１と同じ伝送路を用いて取得されてもよい。

（第１輝度変換データと第２輝度変換データ）
次に、第１輝度変換データ１６４と第２輝度変換データ１６５の具体的な生成方法について説明する。

重み決定部１０９は、オーバーホワイト面積率データ１５８に応じて、ＨＤＲ輝度変換データ１６１とＬＤＲ輝度変換データ１６２を重みづけ合成する際に使用する重みを決定する。そして、重み決定部１０９は、決定した重みを表す重み情報１６０を出力する。
本実施例では、ＨＤＲ輝度変換データ１６１の重みが決定される。具体的には、図４に示す対応関係に基づいて、オーバーホワイト面積率データ１５８によって表されたオーバーホワイト面積率から、ＨＤＲ輝度変換データ１６１の重みが決定される。図４は、オーバーホワイト面積率と、ＨＤＲ輝度変換データ１６１の重みと、の対応関係の一例を示す。オーバーホワイト面積率がリミット閾値１５９以下の値である場合には、オーバーホワイト面積率が大きいほど大きい値が、ＨＤＲ輝度変換データ１６１の重みとして取得される。そして、オーバーホワイト面積率がリミット閾値１５９以上の値である場合には、１００％がＨＤＲ輝度変換データ１６１の重みとして取得される。図４の例では、リミット閾値１５９は７５％である。そのため、オーバーホワイト面積率が０％以上且つ７５％以下の値である場合には、オーバーホワイト面積率の増加に伴いＨＤＲ輝度変換データ１６１の重みが０％から１００％に線形に増加するように、ＨＤＲ輝度変換データ１６１の重みが決定される。換言すれば、オーバーホワイト面積率の増加に伴いＬＤＲ輝度変換データ１６２の重みが１００％から０％に線形に低下するように、ＬＤＲ輝度変換データ１６２の重みが決定される。そして、オーバーホワイト面積率が７５％以上且つ１００％以下の値である場合には、１００％がＨＤＲ輝度変換データ１６１の重みとして取得される。換言すれば、０％がＬＤＲ輝度変換データ１６２の重みとして取得される。

リミット閾値１５９は、例えば、制御部１１６から取得される。
なお、リミット閾値１５９は、７５％より大きくても小さくてもよい。リミット閾値１５９は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。
なお、オーバーホワイト面積率と、ＨＤＲ輝度変換データ１６１の重みと、の対応関係は、図４に示す対応関係に限らない。例えば、オーバーホワイト面積率の増加に伴いＨＤＲ輝度変換データ１６１の重みが非線形に増加してもよい。

輝度変換データ生成部１１０は、制御部１１６から、ＨＤＲ輝度変換データ１６１とＬＤＲ輝度変換データ１６２とを取得する。

制御部１１６は、第１画像のダイナミックレンジに基づいて、ＨＤＲ輝度変換データ１６１を生成する。本実施例では、撮影画像情報１０５が、第１画像のダイナミックレンジを表すレンジ情報を含んでいるものとする。そして、撮影画像情報１０５に含まれているレンジ情報から、第１画像のダイナミックレンジが把握される。
なお、撮影画像情報１０５にＨＤＲ輝度変換データ１６１が含まれていてもよい。そして、撮影画像情報１０５からＨＤＲ輝度変換データ１６１が取得されてもよい。

ＬＤＲ輝度変換データとＨＤＲ輝度変換データの一例を図５に示す。
図５の符号４０２，４０３は、第１画像の階調値（第１線形画像データ１５３の階調値）と、表示輝度と、の対応関係の一例を示す。対応関係４０２は、第１画像のダイナミックレンジが０％以上且つ８００％以下の光強度値の範囲である場合の対応関係（ＨＤＲ輝度変換データ）を示す。対応関係４０３は、第１画像のダイナミックレンジが０％以上且つ３００％以下の光強度値の範囲である場合の対応関係（ＨＤＲ輝度変換データ）を示す。
人間の視覚は暗部に対して敏感であり、低い表示輝度の範囲に対して狭い階調範囲（階調値の範囲）を割り当てることが好ましい。そのため、図５の例では、第１画像の表示特性（階調値と表示輝度との対応関係）として、階調値の増加に対して表示輝度が対数的に増加するＬｏｇ特性が使用されている。
図５に示すように、対応関係４０３は対応関係４０２と異なる。具体的には、対応関係４０３では、閾値以下の階調値の範囲である暗部（０％以上且つ１００％以下の階調範囲）に対して対応関係４０２よりも多くの表示輝度が割り当てられている。このように、本実施例では、第１画像のダイナミックレンジに応じてＨＤＲ輝度変換データが切り替えられて使用される。即ち、第１画像のダイナミックレンジに依存してＨＤＲ輝度変換データは変化する。

同様に、制御部１１６は、第２画像のダイナミックレンジに基づいて、ＬＤＲ輝度変換データ１６２を生成する。図５の符号４０１は、第２画像の階調値（第２線形画像データ１５４の階調値）と、表示輝度と、の対応関係の一例を示す。対応関係４０１は、第２画像のダイナミックレンジが０％以上且つ１００％以下の光強度値の範囲である場合の対応関係（ＬＤＲ輝度変換データ）を示す。図５の例では、第２画像の表示特性（階調値と表示輝度との対応関係）として、階調値の増加に対して表示輝度が線形に増加する線形特性が使用されている。
なお、第２画像のダイナミックレンジは予め定められていてもよい。その場合には、ＬＤＲ輝度変換データ１６２を予め用意することができる。

そして、輝度変換データ生成部１１０は、重み情報１６０、ＨＤＲ輝度変換データ１６１、及び、ＬＤＲ輝度変換データ１６２、に基づいて、第１輝度変換データ１６４と第２輝度変換データ１６５を生成する。

撮影現場で合成画像を確認する際には、第２画像の明るさを基準として第１画像を確認することが多い。そこで、本実施例では、ＬＤＲ輝度変換データ１６２を基準としてＨＤＲ輝度変換データ１６１を変換することにより、第１輝度変換データ１６４を生成する。具体的には、暗部（０％以上且つ１００％以下の階調範囲）に対応する表示輝度がＬＤＲ輝度変換データ１６２に違和感なく近づくようにＨＤＲ輝度変換データ１６１を変換することにより、第１輝度変換データ１６４を生成する。

ここで、暗部に対応する表示輝度をＬＤＲ輝度変換データ１６２に近づけ過ぎると、第３画像に白とびが生じてしまう。具体的には、閾値以上の階調値の範囲である非暗部（１００％以上且つ８００％以下の階調範囲）に十分な数の表示輝度を割り当てることができず、非暗部の階調値を有する領域で白とびが生じてしまう。
また、暗部に対応する表示輝度がＬＤＲ輝度変換データ１６２から遠すぎる（ＨＤＲ輝度変換データ１６１に近すぎる）と、暗部の表示輝度が第２画像に比べ非常に暗い第３画像が生成されてしまう。
そこで、本実施例では、重み情報１６０によって表された重みで、ＨＤＲ輝度変換データ１６１とＬＤＲ輝度変換データ１６２を重みづけ合成する。それにより、暗部に対応する表示輝度がＬＤＲ輝度変換データ１６２に適切に近づけられた第１輝度変換データ１６４を得ることができる。
図６を用いて、第１輝度変換データ１６４の生成方法について詳しく説明する。

輝度変換データ生成部１１０は、暗部におけるＨＤＲ輝度変換データ１６１と、暗部におけるＬＤＲ輝度変換データ１６２と、を重み情報１６０によって表された重みで合成する。それにより、暗部における第１輝度変換データ１６４である暗部輝度変換データ５０１（暗部対応関係）が生成される。

本実施例では、第１画像の明部領域のサイズが大きいほど大きい重みを表す重み情報１６０が取得される。換言すれば、第１画像の非明部領域（明部領域以外の領域）のサイズが大きいほど小さい重みを表す重み情報１６０が取得される。

そのため、第１画像の明部領域のサイズが大きいほど多くの表示輝度が非暗部に割り当てられるように、暗部輝度変換データ５０１が生成される。そして、第１画像の明部領域のサイズが小さいほど多くの表示輝度が暗部に割り当てられるように、暗部輝度変換データ５０１が生成される。換言すれば、第１画像の非明部領域のサイズが小さいほど多くの表示輝度が非暗部に割り当てられるように、暗部輝度変換データ５０１が生成される。そして、第１画像の非明部領域のサイズが大きいほど多くの表示輝度が暗部に割り当てられるように、暗部輝度変換データ５０１が生成される。

具体的には、第１画像の明部領域のサイズが大きいほどＨＤＲ輝度変換データ１６１に近く、且つ、第１画像の明部領域のサイズが小さいほどＬＤＲ輝度変換データ１６２に近い、暗部輝度変換データ５０１が生成される。換言すれば、第１画像の非明部領域のサイズが小さいほどＨＤＲ輝度変換データ１６１に近く、且つ、第１画像の非明部領域のサイズが大きいほどＬＤＲ輝度変換データ１６２に近い、暗部輝度変換データ５０１が生成される。

次に、輝度変換データ生成部１１０は、非暗部における第１輝度変換データ１６４である非暗部輝度変換データ５０２（非暗部対応関係）を生成する。本実施例では、暗部輝度変換データ５０１の表示特性と非暗部輝度変換データ５０２の表示特性とが滑らかに繋がるように、非暗部輝度変換データ５０２が生成される。また、本実施例では、階調値の増加に対して表示輝度が低下せず、且つ、第１画像の階調値（光強度値）の上限値に対応する表示輝度が表示輝度の上限値と一致するように、非暗部輝度変換データ５０２が生成される。
そして、輝度変換データ生成部１１０は、非暗部輝度変換データ５０２を暗部輝度変換データ５０１に付加することにより、第１輝度変換データ１６４を生成する。

なお、第１輝度変換データ１６４の生成方法は、上記方法に限らない。例えば、本実施例では、暗部についてのみ重みづけ合成が行われたが、全階調範囲について重みづけ合成が行われてもよい。

上述したように、輝度変換データ生成部１１０は、ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として出力する。

（ガンマ変換）
ガンマ変換部１１４の具体的な処理について説明する。
ガンマ変換部１１４は、制御部１１６から駆動特性情報１６９を取得する。そして、ガンマ変換部１１４は、駆動特性情報１６９によって表された駆動特性（駆動階調値の変化に対する表示輝度の変化）に従って合成画像データ１６８の各画素の階調値を変換する。それにより、合成画像データ１６８が表示用画像データ１７０に変換される。表示部１１５の駆動特性が１／２．２ガンマ特性である場合、表示用画像データの階調値の変化に対する表示輝度の変化である表示特性が１／２．２ガンマ特性となるように、合成画像データ１６８の各画素の階調値が変換される。

以上述べたように、本実施例によれば、階調値と表示輝度の対応関係が第１画像の明部領域のサイズが小さいほど第２画像の対応関係に近い第３画像に、第１画像が変換される。また、階調値と表示輝度の対応関係が明部領域のサイズが大きいほど第１画像の対応関係に近い第３画像に、第１画像が変換される。そして、第２画像と第３画像を合成するこ
とにより合成画像が生成され、合成画像が表示される。それにより、合成画像を生成するために使用する複数の画像のダイナミックレンジが互いに異なる場合にも、複数の画像の表示輝度が好適に調整可能となる。具体的には、明部領域のサイズが大きい場合には、明部領域の階調性（明部に割り当てる表示輝度の数）の低下が抑制された第３画像を生成することができる。それにより、第３画像の白とびを抑制することができ、第３画像の表示輝度が好適に調整可能となる。また、明部領域のサイズが小さい場合には、見え（暗部の見え）が第２画像に近い第３画像を生成することができる。それにより、第２画像と第３画像が容易に比較可能となり、それらの画像の表示輝度が好適に調整可能となる。そして、第３画像の対応関係（階調値と表示輝度の対応関係）として、第１画像の対応関係と第２画像の対応関係を重みづけ合成した対応関係が決定される。それにより、第１画像や第２画像のダイナミックレンジの変化などによって第１画像や第２画像の対応関係が変化した場合にも、表示輝度の調整に適した対応関係を有する第３画像を生成することができる。

なお、第１階調変換部１０３は、第１輝度変換部１１１の後段に配置されてもよい。その場合には、色空間変換部１０７では、第１画像データ１０１の階調特性がＬｏｇ特性であることを考慮して第１画像データ１０１の階調値がデータ輝度値に変換されればよい。そして、第１輝度変換部１１１では、階調特性がＬｏｇ特性であることを考慮して第１画像データ１０１の階調値が変換されればよい。
また、第２階調変換部１０４は、第２輝度変換部１１２の後段に配置されてもよい。その場合には、第２輝度変換部１１２では、第２画像データ１０２の階調特性が１／２．２ガンマ特性であることを考慮して第２画像データ１０２の階調値が変換されればよい。

なお、本実施例では、第１画像の明部領域のサイズに基づいて第３画像の対応関係（階調値と表示輝度の対応関係）を決定する例を説明したが、これに限らない。例えば、第１画像の明部領域を代表する階調値（明部領域の階調値の最大値、最小値、平均値、最頻値、中間値、等）が小さいほど第２画像の対応関係に近い対応関係が、第３画像の対応関係として決定されてもよい。具体的には、輝度データ１５６の複数の画素からオーバーホワイト画素が検出され、オーバーホワイト画素のデータ輝度値の平均値（平均輝度値）が、第１画像の明部領域を代表する階調値として取得（算出）されてもよい。そして、平均輝度値が大きいほど大きい値が、ＨＤＲ輝度変換データ１６１の重みとして決定されてもよい。
それにより、階調値と表示輝度の対応関係が第１画像の明部領域が暗いほど第２画像の対応関係に近い第３画像に、第１画像を変換することができる。また、階調値と表示輝度の対応関係が明部領域が明るいほど第１画像の対応関係に近い第３画像に、第１画像を変換することができる。
なお、第１画像の明部領域のサイズと、第１画像の明部領域を代表する階調値と、の両方を用いて第３画像の対応関係が決定されてもよい。

なお、本実施例では、ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として使用する例を説明したが、これに限らない。例えば、第１輝度変換データ１６４を第２輝度変換データ１６５として使用されてもよい。第１輝度変換データ１６４を第２輝度変換データ１６５として使用すれば、第２輝度変換部１１２において、階調値と表示輝度の対応関係が第３画像の対応関係と等しい第４画像に、第２画像を変換することができる。その場合には、画像合成部１１３では、第３画像と第４画像を合成することにより、合成画像が生成される。第１輝度変換データ１６４を第２輝度変換データ１６５として使用することにより、第１画像と第２画像の暗部の見えを一致させることができる。但し、第１輝度変換データ１６４を第２輝度変換データ１６５として使用した場合、暗部に割り当てられた表示輝度の数が第２画像の対応関係よりも少ない対応関係が第４画像の対応関係として使用され、第２画像よりも暗い第４画像が生成されることがある。

なお、ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として使用する処理と、第１輝度変換データ１６４を第２輝度変換データ１６５として使用する処理と、が切り替えて実行可能であってもよい。例えば、制御部１１６から出力された選択信号１６３に応じて、ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として使用する処理と、第１輝度変換データ１６４を第２輝度変換データ１６５として使用する処理と、の一方が選択されてもよい。そして、選択された処理が実行されてもよい。上記２つの処理のどちらを実行するかは、自動で決定されてもよいし、ユーザー操作に応じて決定されてもよい。具体的には、輝度変換データ生成部１１０は、ユーザー設定により変換処理の有無を切り替える。ＬＤＲ輝度変換データ１６２を第２輝度変換データ１６５として使用する処理は、第２画像の表示輝度を維持したい場合に好ましい。第１輝度変換データ１６４を第２輝度変換データ１６５として使用する処理は、第１画像と第２画像の暗部の見えを一致させたい場合に好ましい。

＜実施例２＞
以下、図面を参照しながら、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。
実施例２では、第１画像が動画像であり、且つ、第１画像のフレーム間で第１画像のダイナミックレンジが変化する場合に好適な処理方法について説明する。第１画像のダイナミックレンジは、例えば、撮影装置１８０の撮影モードの切り替え等によって変化する。
第１画像のダイナミックレンジは、撮影装置１８０の撮影モードに依存して変化し、狭いダイナミックレンジから広いダイナミックレンジまでの様々なダイナミックレンジを取り得る。
第１画像のダイナミックレンジが変化すると、ＨＤＲ輝度変換データ１６１が変化し、第１輝度変換データ１６４も変化する。そして、動画像の途中で第１輝度変換データ１６４が急激に変化すると、第３画像の表示輝度が急激に変化し、合成画像の表示輝度も急激に変化してしまう。その結果、画面にちらつきが発せしてしまう。
本実施例では、合成画像を生成するために使用する複数の画像の表示輝度を好適に調整することを可能とし、且つ、上記ちらつきの発生を抑制することができる方法を説明する。
なお、以下では、実施例１と異なる点（構成や処理）について詳しく説明し、実施例１と同じ点については説明を省略する。

図７は、本実施例に係る画像表示装置６００の機能構成の一例を示すブロック図である。図７に示すように、画像表示装置６００は、実施例１（図１）の画像表示装置１００と同じ機能部を有する。
但し、本実施例では、第１階調変換部１０３は、フレーム毎に第１画像データ１０１を取得する。以下では、現在（処理対象）のフレームを“現フレーム”と記載し、現フレームの１つ前のフレームを“前フレーム”と記載する。

本実施例では、第１変換処理と第２変換処理を任意のタイミングで切り替えて実行することにより、フレーム毎に第１画像が第３画像に変換される。第１変換処理は、階調値と表示輝度の対応関係が前フレームの第３画像と等しい第３画像に現フレームの第１画像を変換する処理である。第２変換処理は、現フレームの第１画像の対応関係と第２画像の対応関係とを重みづけ合成した対応関係を有する第３画像に現フレームの第１画像を変換する処理である。

具体的には、輝度変換データ生成部１１０は、第１出力処理と第２出力処理を任意のタイミングで切り替えて実行することにより、フレーム毎に第１輝度変換データ１６４を出力する。第１出力処理では、前フレーム用の第１輝度変換データと同じ第１輝度変換デー
タが、現フレーム用の第１輝度変換データとして出力される。第１出力処理が行われた場合、第１変換処理が行われる。第２出力処理では、ＬＤＲ輝度変換データと、現フレームの第１画像のダイナミックレンジに対応するＨＤＲ輝度変換データと、を重みづけ合成することにより、第１輝度変換データが生成される。そして、生成された第１輝度変換データが、現フレーム用の第１輝度変換データとして出力される。第２出力処理が行われた場合、第２変換処理が行われる。

本実施例では、制御部１１６から出力された切替信号６０１に応じて第１出力処理と第２出力処理の一方が選択され、選択された処理が実行される。なお、第１出力処理と第２出力処理のどちらを実行するかは、自動で決定されてもよいし、ユーザー操作に応じて決定されてもよい。

図８を用いて、第１出力処理の詳細を説明する。
図８において、符号８０１は、前フレームの第１画像に対応するＨＤＲ輝度変換データを示し、符号８０２は、前フレーム用の第１輝度変換データを示す。符号８０３は、ＬＤＲ輝度変換データを示す。前フレームの第１画像のダイナミックレンジは、０％以上且つ８００％以下の階調範囲である。第１輝度変換データ８０２は、実施例１と同様の方法で生成された第１輝度変換データ（ＨＤＲ輝度変換データ８０１とＬＤＲ輝度変換データ８０３から生成された第１輝度変換データ）である。
図８において、符号８０４は、現フレームの第１画像に対応するＨＤＲ輝度変換データを示し、符号８０５は、現フレーム用の第１輝度変換データを示す。現フレームの第１画像のダイナミックレンジは、０％以上且つ３００％以下の階調範囲である。

図８に示すように、第１出力処理では、現フレーム用の第１輝度変換データ８０５を生成する際に、特性が前フレーム用の第１輝度変換データ８０２と等しい暗部輝度変換データ８０６が生成される。そして、１００％以上３００％以下の階調範囲について、暗部輝度変換データ８０６と滑らかに繋がるように、非暗部輝度変換データ８０７が生成される。非暗部輝度変換データの生成方法は、実施例１と同じである。その後、非暗部輝度変換データ８０７を暗部輝度変換データ８０６に付加することにより、現フレーム用の第１輝度変換データ８０５が生成される。
なお、図８の例では、暗部の対応関係のみが維持されているが、全階調範囲について対応関係が維持されてもよい。但し、全階調範囲について対応関係を維持すると、非暗部に割り当てる表示輝度の数が低下してしまうことがある。

本実施例では、任意の期間に第１変換処理が実行される。それにより、第１変換処理が実行される任意の期間では、第１画像のダイナミックレンジの変化による画面のちらつきの発生を抑制することができる。また、実施例１と同様の処理により、合成画像を生成するために使用する複数の画像の表示輝度が好適に調整可能となる。

＜その他の実施例＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュー
タ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１００：画像表示装置 １０３：第１階調変換部 １０４：第２階調変換部
１０６：データ選択部 １０７：色空間変換部 １０８：オーバーホワイト領域検出部
１０９：重み決定部 １１０：輝度変換データ生成部 １１１：第１輝度変換部
１１２：第２輝度変換部 １１３：画像合成部 １１４：ガンマ変換部
１１５：表示部 １１６：制御部

Claims (19)

1. 第１画像を取得する第１取得手段と、
   ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得手段と、
   前記第１画像の領域であり且つ階調値が第１閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第１画像から取得する特徴取得手段と、
   階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換手段と、
   前記第２画像と前記第３画像を合成することにより合成画像を生成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１変換手段は、階調値と表示輝度の対応関係が前記明部領域を代表する階調値が小さいほど前記第２画像の対応関係に近い第３画像に、前記第１画像を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１変換手段は、階調値と表示輝度の対応関係が前記明部領域のサイズが小さいほど前記第２画像の対応関係に近い第３画像に、前記第１画像を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴情報は、前記明部領域のサイズとして、前記第１画像の総画素数に対する前記明部領域の総画素数の割合を表す
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記特徴情報は、前記明部領域を代表する階調値として、前記明部領域の階調値の平均値を表す
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 階調値と表示輝度の対応関係が前記第３画像の対応関係と等しい第４画像に、前記第２画像を変換する第２変換手段をさらに有し、
   前記合成手段は、前記第３画像と前記第４画像を合成することにより合成画像を生成する
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記第１変換手段は、前記第１画像の対応関係と前記第２画像の対応関係と、を重みづけ合成することにより、前記第３画像の対応関係を決定する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 第１画像を取得する第１取得手段と、
   ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得手段と、
   前記第１画像の階調値に関する特徴情報を、前記第１画像から取得する特徴取得手段と、
   階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換手段と、
   前記第２画像と前記第３画像を合成することにより合成画像を生成する合成手段と、
   を有し、
   前記第１取得手段は、フレーム毎に第１画像を取得し、
   前記第１画像の対応関係は、当該第１画像のダイナミックレンジに依存して変化し、
   前記第１変換手段は、
   階調値と表示輝度の対応関係が現在のフレームの１つ前のフレームの第３画像と等しい第３画像に現在のフレームの第１画像を変換する第１変換処理と、現在のフレームの第１画像の対応関係と前記第２画像の対応関係とを重みづけ合成した対応関係を有する第３画像に現在のフレームの第１画像を変換する第２変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第１画像を第３画像に変換し、
   前記合成手段は、前記フレーム毎に合成画像を生成する
   ことを特徴とする画像処理装置。
9. 前記対応関係は、第２閾値以下の階調値と表示輝度の対応関係である暗部対応関係である
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１変換手段は、前記第３画像の暗部対応関係と滑らかに繋がる、前記第２閾値以上の階調値と表示輝度の対応関係である非暗部対応関係を、前記第３画像の非暗部対応関係として決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第２画像のダイナミックレンジは、前記第１画像のダイナミックレンジよりも狭いことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記第２画像のダイナミックレンジは、前記第１画像のダイナミックレンジの一部である
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 第１画像を取得する第１取得ステップと、
    ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得ステップと、
    前記第１画像の領域であり且つ階調値が第１閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第１画像から取得する特徴取得ステップと、
    階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて
    前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換ステップと、
    前記第２画像と前記第３画像を合成することにより合成画像を生成する合成ステップと、
    を有することを特徴とする画像処理方法。
14. 前記第１変換ステップでは、階調値と表示輝度の対応関係が前記明部領域を代表する階調値が小さいほど前記第２画像の対応関係に近い第３画像に、前記第１画像を変換する
    ことを特徴とする請求項１３に記載の画像処理方法。
15. 前記第１変換ステップでは、階調値と表示輝度の対応関係が前記明部領域のサイズが小さいほど前記第２画像の対応関係に近い第３画像に、前記第１画像を変換する
    ことを特徴とする請求項１３に記載の画像処理方法。
16. 第１画像を取得する第１取得ステップと、
    ダイナミックレンジが前記第１画像と異なる第２画像を取得する第２取得ステップと、
    前記第１画像の階調値に関する特徴情報を、前記第１画像から取得する特徴取得ステップと、
    階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第２画像の対応関係に近づける画像処理を行うことにより、前記第１画像を第３画像に変換する第１変換ステップと、
    前記第２画像と前記第３画像を合成することにより合成画像を生成する合成ステップと、
    を有し、
    前記第１取得ステップでは、フレーム毎に第１画像を取得し、
    前記第１画像の対応関係は、当該第１画像のダイナミックレンジに依存して変化し、
    前記第１変換ステップでは、
    階調値と表示輝度の対応関係が現在のフレームの１つ前のフレームの第３画像と等しい第３画像に現在のフレームの第１画像を変換する第１変換処理と、現在のフレームの第１画像の対応関係と前記第２画像の対応関係とを重みづけ合成した対応関係を有する第３画像に現在のフレームの第１画像を変換する第２変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第１画像を第３画像に変換し、
    前記合成ステップでは、前記フレーム毎に合成画像を生成する
    ことを特徴とする画像処理方法。
17. 撮影画像を取得する撮影画像取得手段と、
    ダイナミックレンジが前記撮影画像より狭いＣＧ画像を取得するＣＧ画像取得手段と、
    前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得手段と、
    階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記ＣＧ画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換手段と、
    前記ＣＧ画像と前記変換画像を合成することにより合成画像を生成する合成手段と、
    を有することを特徴とする画像処理装置。
18. 撮影画像を取得する撮影画像取得ステップと、
    ダイナミックレンジが前記撮影画像より狭いＣＧ画像を取得するＣＧ画像取得ステップと、
    前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得ステップと、
    階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記ＣＧ画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換ステップと、
    前記ＣＧ画像と前記変換画像を合成することにより合成画像を生成する合成ステップと、
    を有することを特徴とする画像処理方法。
19. 請求項１３〜１６，１８のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images