JP2013179485A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 ＨＤＲ画像に対し、コントラストの低下を抑制しつつ、階調補正後の画像が不自然になりにくい階調補正を行うことの可能な画像処理装置を提供する。
【解決手段】 ＨＤＲ画像の輝度低周波成分を用いた階調補正と、トーンカーブを用いた階調補正とにより、ＨＤＲ画像の輝度情報に基づいて算出された階調補正の目標補正量を実現する。この際、トーンカーブを用いた補正の補正量を、目標補正量と輝度低周波成分を用いた階調補正による補正量の差分として決定する。また、輝度低周波成分を用いた階調補正による補正量を、ＨＤＲ画像の主被写体の輝度が高いほど小さくなるように決定する。
【選択図】 図１

Description

本発明は画像処理装置およびその制御方法に関し、特には合成画像の明るさを調整する技術に関する。

撮像素子を用いた撮像装置において、同一シーンを異なる露出で撮影した複数の画像を合成することで、撮像素子のダイナミックレンジより広い輝度分布を有するシーンでも、白トビおよび黒つぶれを低減した画像を得ることができる。このような撮影方法をＨＤＲ(High Dynamic Range)撮影、得られる画像をＨＤＲ画像などと呼ぶ。

また、画像の輝度ヒストグラムや、顔情報などの被写体情報を解析し、好ましい明るさやコントラストの画像となるように階調補正を行うことが知られている。

例えば、背景が主被写体より著しく明るい、いわゆる逆光シーンは、ダイナミックレンジが広いシーンの典型例である。逆光シーンでの撮影画像は陰になる主被写体の部分が暗くなり、背景については輝度値が飽和して階調性がなくなってしまう現象（白トビと呼ぶ）が発生しやすい。従って、ＨＤＲ撮影や、撮影画像のうち主被写体部分の輝度を上げる階調補正が有効である。

ＨＤＲ撮影と階調補正とを組み合わせて、主被写体および背景を適切な明るさに補正する手法も提案されている（特許文献１）。
また、階調補正の方法としては、各入力輝度値を所定の出力輝度値に変換する補正テーブル（トーンカーブ）を用いる方法がよく知られている。しかし、黒つぶれや白トビを抑制するために、暗い領域の輝度を上昇させ、明るい領域の輝度を低下させるトーンカーブを用いた階調補正を行うと、画像のコントラストを低下させることになる。

一方、画像の輝度成分の低周波成分信号を用いて階調補正することで、いわゆる覆い焼きのような効果を得る方法が提案されている（特許文献２）。この方法ではトーンカーブを用いる方法に比べ、画像のコントラストの低下を抑制しつつ階調補正することができる。

特許第３４２４５７６号公報 特開２００８−０７２６０４号公報

しかしながら、ＨＤＲ撮影やトーンカーブによる階調補正によって画像のダイナミックレンジを拡張しても、ディスプレイやプリンタなどの出力機器のダイナミックレンジは固定である。そのため、結局は出力機器のダイナミックレンジに圧縮する必要があり、コントラストが低下した画像になりやすい。

また、特許文献２に記載されるような、輝度低周波成分を用いた階調補正は、例えば明るい部分に適用すると、コントラストが強くなりすぎ、不自然な画像になることがあった。

本発明は、このような従来技術の課題に鑑みてなされたものである。本発明は、ＨＤＲ画像に対し、コントラストの低下を抑制しつつ、階調補正後の画像が不自然になりにくい階調補正を行うことが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、異なる複数の露出量によって撮影された複数の画像を取得する取得手段と、露出量に応じたガンマ変換処理を適用した複数の撮影画像を合成し、合成画像を生成する合成手段と、合成画像の輝度情報に基づいて、合成画像の階調補正の目標補正量を算出する目標補正量算出手段と、目標補正量を実現するための、合成画像の輝度低周波成分を用いた階調補正の第１の補正量と、トーンカーブを用いた階調補正の第２の補正量とを決定する補正量決定手段と、第１の補正量に基づいて、合成画像に対し、合成画像の輝度低周波成分を用いた階調補正処理を適用する第１の階調補正手段と、第２の補正量に基づいて、合成画像に対し、トーンカーブを用いた階調補正処理を適用する第２の階調補正手段と、を有し、補正量決定手段は、第２の補正量を、目標補正量と第１の補正量の差分として決定するとともに、第１の補正量を、合成画像の主被写体の輝度が高いほど小さくなるように決定することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、ＨＤＲ画像に対し、コントラストの低下を抑制しつつ、階調補正後の画像が不自然になりにくい階調補正を行うことが可能である。

本発明の第１の実施形態に係わる画像処理装置の一例である撮像装置１００の構成を示すブロック図 図１の露出量算出部の処理を説明するためのフローチャート 図１の階調補正量演算部の処理を説明するためのフローチャート 本発明の実施形態における顔輝度取得領域の例を示す図 顔が検出された場合の、本発明の実施形態における補正量算出部における階調補正特性の作成動作の例を説明するための図 顔が検出されなかった場合の、本発明の実施形態における補正量算出部における階調補正特性の作成動作の例を説明するための図 図１の階調補正量演算部における、補正量算出処理を説明するためのフローチャート 本発明の実施形態における、輝度低周波成分を用いた補正の補正量の例および露出量差による補正量の違いの例を示す図 本発明の実施形態における、輝度低周波成分を用いた補正の強度と、顔の代表輝度値との関係の例を示す図 図１の階調補正部の処理を説明するためのフローチャート 本発明の第２の実施形態における、目標補正量の分配方法の例を示す図

（第１の実施形態）
以下、本発明の例示的な実施形態について、添付図面に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係わる画像処理装置の一例である撮像装置１００の構成を示すブロック図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラなど、被写体を撮影し画像データを得る装置を含む。なお、本発明においては所定の露出量差で撮影された複数の画像を取得できれば足り、撮影に係る構成は必須ではない。

撮像装置１００の動作は、制御部１０２が制御している。また、制御部１０２は、ユーザ指示などの外部操作がインタフェース（Ｉ／Ｆ）１０１から入力されると、入力に応じて撮像装置１００の動作を制御する。

不図示の撮像レンズを通過した被写体光学像は、測光センサ１０３上に結像する。測光センサ１０３は複数に分割された測光領域を有し、各測光領域の被写体輝度を測光する。測光センサ１０３は、画素数が少ないことを除き、表示や記録のための画像を撮影する撮像素子１０５（後述）と同じ構成を有する光電変換素子であってよい。この場合、各測光領域には複数の画素が含まれてよい。

露出量算出部１０４は、測光センサ１０３が測光した各測光領域の被写体輝度から、ハイダイナミックレンジ（ＨＤＲ）撮影で用いる複数の露出量を決定する。本実施形態では、露出量の異なる撮影を３回行って得られる３枚の撮影画像を合成して１枚のＨＤＲ画像を生成するものとする。そして、露出量は、まず１つの露出量を決定し、この露出量に対して被写体をより明るく撮影する露出量と、被写体をより暗く撮影する露出量を決定する。最初に決定する露出量を、便宜上、基準露出量または中間露出量と呼ぶ。また、中間露出量に対して被写体をより明るく撮影する露出量を露出量（＋）、中間露出量に対して被写体をより暗く撮影する露出量を露出量（−）と呼ぶ。

露出量算出部１０４の動作を、図２のフローチャートを用いて説明する。
Ｓ２０１で露出量算出部１０４は、中間露出量を算出する。具体的には、露出量算出部１０４は、測光センサ１０３から取得した各測光領域の被写体輝度（Ｂｖ値）に基づいて、測光値のヒストグラムを生成する。そして、露出量算出部１０４は、ヒストグラムを用いて、適正な露出量を算出して、中間露出量（Ｅｖ値）とする。中間露出量はユーザがインタフェース１０１を通じて指定してもよいが、ここでは、測光値に基づいて公知の露出量算出方法（中央部重点測光、スポット測光、多分割測光など）により適切な露出量を算出し、中間露出量とする。

式（１）に、被写体輝度（Ｂｖ値）と露出量（Ｅｖ値）と入射光を撮像素子で蓄積する露光時間（Ｔｖ値）と入射光がレンズを通過する量（Ａｖ値）と撮像素子から得られる信号のゲイン量（Ｓｖ値）の関係を示す。
Ｅｖ ＝ Ｓｖ ＋ Ｂｖ ＝ Ｔｖ ＋ Ａｖ （１）

なお、ここでの加算は被写体輝度、露出量、露光時間、ゲイン量をＡＰＥＸ(Additive System of Photographic Exposure)値に換算して行うものである。ＡＰＥＸ値の詳細については、例えば「ディジタルスチルカメラ用画像ファイルフォーマット規格(Exif) Version 2.1」の「付録Ｃ ＡＰＥＸについて」を参照されたい。近年、Ｓｖ値が５（＝ＩＳＯ１００）の場合のＥｖ値（＝Ｅｖ₁₀₀）を被写体輝度として簡易的に扱うことが多いため、本実施形態でもＥｖ₁₀₀を用いて被写体輝度を表すものとする。

Ｓ２０２で露出量算出部１０４は、被写体の輝度レンジを算出する。露出量算出部１０４は、例えば、測光値のヒストグラムの最大（最明）測光値と最小（最暗）測光値の差分を、被写体の輝度レンジとして算出することができる。ただし、点光源など、孤立した輝度値の影響を考慮する場合は、最大（最明）測光値から順に複数の測光値を平均した値と、最小（最暗）測光値から順に複数の測光値を平均した値との差分を輝度レンジとして算出してもよい。

Ｓ２０３で露出量算出部１０４は、算出した輝度レンジを用いて、中間露出量と露出量（＋）との差、および、中間露出量と露出量（−）との差の少なくとも一方を露出量差として決定する。

露出量差は、輝度レンジが大きくなるほど大きくなるように決定することができる。例えば、予め用意した、輝度レンジと露出量差とを関連付けたテーブルを用いて決定することができる。また、テーブルを用いる代わりに、同様の特性を有する、輝度レンジを引数とする関数を予め定義しておき、輝度レンジに応じて露出量差を算出してもよい。

輝度レンジと露出量差との関係は１通りに限定されない。例えば、撮像素子のダイナミックレンジ不足による白とびや黒つぶれの解消を目的として、より大きな露出量差を算出するような関係としたり、画像のコントラスト維持を目的として、より小さな露出量差を算出するような関係としてもよい。また、露出量差をユーザがインタフェース１０１から指定してもよい。なお、露出量差は、露出量（＋）と露出量（−）とで異なっていてもよい。
このようにして、中間露出量と、露出量（＋）および露出量（−）との露出量差が決定される。

なお、ここで説明したＨＤＲ撮影用の露出条件の設定は、インタフェース１０１に含まれるシャッターボタンの半押しのような、撮影準備指示に応答して行われる。そして、シャッターボタンが半押し状態から全押し状態になって撮影開始指示が与えられると、設定された複数の露出量による各撮影条件によって、複数回（ここでは３回）の撮影が行われる。ここで、便宜的に、中間露出量で撮影された画像を適正画像、露出量（＋）で撮影された画像をオーバー画像、露出量（−）で撮影された画像をアンダー画像と呼ぶこととする。

なお、露出条件の設定は必須ではなく、所定の露出量差で撮影された複数の画像を取得し、画像から露出量差を検出してもよい。露出量差は例えば画像の付属データ（Exifデータのような付随情報）記録された撮影条件に基づいて検出することができる。また、合成に係る画像は基本的に同一シーンを撮影した画像であるから、画像の輝度を比較することによっても露出量差を検出することができる。

図１を再度参照する。各撮影において、不図示の撮像レンズを通過した被写体光学像によって撮像素子１０５が露光され、撮像素子１０５の各画素で、受光量に応じた電荷に変換される。撮像素子１０５は例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の領域が配列されたカラーフィルタを備える。各色領域はそれぞれの色の波長帯域周辺の分光感度を持ち、各領域に対応して設けられた画素（光電変換素子）は、各カラーフィルタを通過した帯域の光をそれぞれ光電変換する。

各光電変換素子により変換された電荷は、撮像素子１０５から電気信号としてＡ／Ｄ変換部１０６に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。Ａ／Ｄ変換部１０６から出力されたデジタル信号は、現像処理部１０７に送られる。

現像処理部１０７では、各露出量の画像の現像処理を行い、ＨＤＲ画像に適した中間画像を生成する。ここでは公知のホワイトバランス処理、ノイズリダクション処理、ガンマ変換処理などを行う。これらの処理は公知の方法で良いが、ガンマ変換処理は露出量に応じた形状のガンマ曲線を用いて行う（例えば、露出量に応じたガンマ変換テーブルを用意しておく）。これはＨＤＲ撮影によって、暗部と明部の階調性を良好にするためである。具体的には、オーバー画像に適用するガンマ曲線は暗部がより明るくなるような形状とし、アンダー画像に適用するガンマ曲線は明部の白トビを抑えるような形状とする。また、アンダー画像およびオーバー画像の露出量差が大きいほど、ダイナミックレンジを拡張する効果を出すために、暗部を明るく、明部を暗くする。すなわち、ガンマ曲線は、合成する複数の画像の露出量差が大きいほど、コントラストを小さくする形状とする。

画像合成部１０８では、複数回の撮影で生成された複数の中間画像を合成してＨＤＲ画像を生成する。画像合成部１０８は例えば、適正画像の明るい領域にはアンダー画像が、適正画像の暗い領域にはオーバー画像が用いられるように、アンダー画像とオーバー画像とを適正画像へ合成して、ＨＤＲ画像を生成する。

階調補正量演算部１０９は、合成画像に対して階調補正を行う。階調補正量演算部１０９は、輝度低周波成分検出部１１０、ヒストグラム検出部１１１、顔検出部１１２、補正量算出部１１３、階調補正部１１４から構成される。

階調補正量演算部１０９で行う階調補正処理について、図３のフローチャートを用いて説明する。
Ｓ３０１では、輝度低周波成分検出部１１０が、合成画像の画素値から輝度成分を抽出し、ローパスフィルタ処理を行う。本実施形態ではフィルタサイズの異なる３つの空間ローパスフィルタを用いて３つの低周波成分画像を生成する。ここで、元画像と、低周波成分画像の大きさは一致しなくてもよい。例えば、輝度成分を抽出する際に、入力画像データに対して縮小処理を施しても良い。縮小処理は公知の任意の方法で良いが、例えば間引き処理、最近傍法、平均値法などで容易に実現できる。

Ｓ３０２では、顔検出部１１２が顔検出前処理を行う。これは画像データに対して縮小処理、ガンマ処理等を施して、顔を容易に検出しやすいようにする処理である。
Ｓ３０３で顔検出部１１２は、前処理した画像データに対し、公知の方法を用いて顔検出処理を実行する。顔検出処理により、顔と思われる領域（顔領域）と、検出の信頼度とが得られる。

Ｓ３０４で顔検出部１１２は、Ｓ３０３の顔検出処理により検出された顔領域のうち、信頼度があらかじめ設定した評価閾値より高い顔領域がある場合に、顔が検出されたと判定する。顔が検出されたと判定された場合にはＳ３０５に、顔が検出されなかったと判定された場合にはＳ３０７に移行する。

Ｓ３０５で顔検出部１１２は、信頼度が評価閾値より高い顔領域の一部の領域を、顔輝度取得領域として算出する。たとえば、顔検出部１１２は、図４に示すように、画像データ４０１から検出された顔領域４０２の中の両眼の下の領域４０３，４０５及び、その中間の領域４０４の３箇所に位置する同じ大きさの正方形の領域を、顔輝度取得領域として算出する。個々の領域の大きさは、顔領域の大きさによって決定する。顔輝度取得領域は、顔の明るい部分の輝度を取得するための領域であり、その数や位置などに関して特に制限はない。

Ｓ３０６で顔検出部１１２は、検出された顔の代表輝度値を算出する。ここでは信頼度が評価閾値より高い顔領域の各々について、顔輝度取得領域４０３〜４０５の平均輝度値を合成画像から算出し、最大値を代表輝度値とする。ここで、輝度の最大値を用いるのは、輝度低周波成分やトーンカーブを用いた補正が過補正となることの防止を重視しているためである。

Ｓ３０４で顔領域が検出されなかったと顔検出部１１２に判定された場合、Ｓ３０７でヒストグラム検出部１１１が画像の輝度ヒストグラムを生成する。合成画像の全画素の輝度ヒストグラムを生成することが望ましいが、処理時間やメモリ量の節約のために、間引き処理やローパスフィルタ処理等によって縮小した合成画像についてヒストグラムを生成してもよい。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。

Ｓ３０８では、ヒストグラム検出部１１１がヒストグラム特徴量を検出する。ヒストグラム特徴量は例えば、ヒストグラムで暗部側から累積度数が１０％である画素が属するレベル（ＳＤ）等であってよい。

Ｓ３０９で、目標補正量算出手段としての補正量算出部１１３は、合成画像の輝度情報に基づいて、目標補正量を算出する。補正量算出部１１３は、顔が検出されたと判定されている場合、顔の代表輝度値に対する目標輝度を求め、目標輝度と、合成画像の画素の最大輝度の最小輝度とからスプライン補間などにより、各入力輝度に対する目標出力輝度を算出する。入力輝度と目標出力輝度の差が目標補正量であり、各入力輝度に対する目標出力輝度により形成されるトーンカーブが階調補正特性を表す。階調補正特性は、例えば、入力輝度と目標出力輝度との対応を示すルックアップテーブルによって表現することができる。

図５を参照して補正量算出部１１３の階調補正特性の作成動作の例を説明する。図５（ａ）は、顔の代表輝度値と、３つの入力輝度値（６４ＬＳＢ，１２８ＬＳＢ，２２４ＬＳＢ）に対する目標輝度との関係の例を示す。なお、ＬＳＢは分解能を意味し、本実施形態では輝度値のフルスケール（最小値〜最大値）を８ビットの分解能（０〜２５５ＬＳＢ）で表すものとする。

図５（ａ）において、「６４ＬＳＢの点」に対応する横方向の線は、入力輝度が６４ＬＳＢの画素の目標出力輝度と、顔の代表輝度値との関係を示している。例えば、撮影された画像から検出された顔の代表輝度値が２５５ＬＳＢ〜１８０ＬＳＢの範囲であれば、その画像のうち６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢ（すなわち、変化無し）である。また、顔の代表輝度値が４５ＬＳＢ〜０ＬＳＢの範囲の画像においては、６４ＬＳＢの輝度を有する画素の目標出力輝度は１２８ＬＳＢである。そして、顔の代表輝度値が１８０〜４５の範囲では、６４ＬＳＢの輝度を有する画素の目標出力輝度は６４ＬＳＢから１２８ＬＳＢの間で線形に変化する。

顔の代表輝度値が１１０ＬＳＢである場合、６４ＬＳＢ、１２８ＬＳＢおよび２２４ＬＳＢの輝度を有する画素の目標出力輝度はそれぞれ図５（ａ）から９７ＬＳＢ，１５９ＬＳＢおよび２２８ＬＳＢである。従って、顔の代表輝度値が１１０ＬＳＢの画像に対する階調補正特性は、この３点の入出力関係を表す３点と輝度の最低値（０ＬＳＢ）および最高値（２５５ＬＳＢ）に対応する点とをスプライン補間することにより、図５（ｂ）の様に得られる。なお、図５（ａ）に示す、顔の代表輝度値に応じた代表的な輝度値の入出力関係を示す補正テーブルは、「弱め」、「標準」、「強め」など、設定可能な度合いごとに、予め補正量算出部１１３に用意しておくことができる。

また、顔が検出されなかった画像に対する階調補正特性の作成方法について図６を用いて説明する。図６は、図５（ａ）の階調補正特性における入力値を、顔の代表輝度から、ヒストグラムで暗部側から累積度数が１０％である画素が属するレベル（ＳＤ）の検出値に置き換えたものである。この階調補正特性を用い、顔が検出できたと判定した場合と同様に補正量を算出することができる。なお、この補正テーブルも、「弱め」、「標準」、「強め」など、設定可能な度合いごとに、予め補正量算出部１１３に用意しておくことができる。

ＨＤＲ撮影では、通常撮影の場合と比較して、逆光シーンであっても被写体が明るめに撮影される。ため、図５および図６に示した補正テーブルは、ＨＤＲ撮影用とそれ以外の通常撮影用とで特性を異ならせ、ＨＤＲ撮影用の補正テーブルでは補正を弱めるようにしてもよい。

図３に戻ってＳ３１０で補正量算出部１１３は、輝度低周波成分を用いた補正及び、トーンカーブを用いた補正のそれぞれについて補正量を算出し、算出した補正量を階調補正部１１４に出力する。

図７に示すフローチャートを用いて、Ｓ３１０における補正量算出処理について説明する。
Ｓ７０１で、補正量決定手段としての補正量算出部１１３は、露出量（＋）と中間露出量との露出量差および、露出量（−）と中間露出量との露出量差に応じて、第１の補正量としての輝度低周波成分を用いた補正の補正量を決定する。これは図８に示すように輝度低周波成分を用いた補正の補正量をテーブル等によってあらかじめ用意しておけばよい。図８では、中間露出量に対する露出量（＋）と露出量（−）の露出量差が等しいものとし、±１段、±２段、±３段の３通りの補正特性曲線を示している。輝度低周波成分を用いた補正は、露出量差が大きいほど補正量が大きくなる特性としている。これは、上述したように、合成する複数の画像の露出量差が大きいほど、コントラストを低下させるようなガンマ変換処理を行っているからである。輝度低周波成分を用いた補正の補正量を便宜上、補正量（Ａ）とする。

Ｓ７０２で補正量算出部１１３は、顔検出部１１２によって顔が検出されたと判定されているかどうか判別する。顔が検出されたと判定されている場合にはＳ７０３に、顔が検出されなかったと判定されている場合にはＳ７０４に移行する。

Ｓ７０３で補正量算出部１１３は、補正量（Ａ）を、顔の代表輝度値に応じて補正する。具体的には、補正量算出部１１３は、例えば図９に示すような、顔の代表輝度値と輝度低周波成分を用いた補正の強度との予め定めた関係に基づいて、補正係数を求め、補正量（Ａ）を補正する。基本的には、顔の代表輝度が高いほど、輝度低周波成分を用いた補正の強度を低下させる。これは、順光シーンに含まれるような明るい顔は、もともとコントラストが小さいため、明るい顔に対して輝度低周波成分を用いた補正によってコントラストをつけると不自然な画像になるためである。

Ｓ７０４で、補正量決定手段としての補正量算出部１１３は、第２の補正量としての、トーンカーブを用いた補正の補正量（補正量（Ｂ）とする）を決定する。ここで補正量算出部１１３は、目標補正量と、顔の代表輝度値に応じて補正した補正量（Ａ）との差分を、補正量（Ｂ）として求める。これにより、目標補正量を補正量（Ａ）および補正量（Ｂ）とで実現できる。

図１の階調補正部１１４では、合成画像に対し、輝度低周波成分を用いた補正（補正量Ａ））およびトーンカーブを用いた補正（補正量（Ｂ））を適用して階調補正処理を行う。

階調補正処理について、図１０のフローチャートを用いて説明する。
Ｓ１００１で第１の階調補正手段としての階調補正部１１４は、合成画像に対し、輝度低周波成分を用いた輝度補正処理を行う。この輝度補正処理は、例えば特許文献２に記載された方法で行ってよい。すなわち、スケール変換した輝度成分の分布を対数変換し、異なる尺度（異なる解像度）での平均値を求め、もとの輝度成分の対数変換との差分を出力し、逆変換（ｅｘｐ演算）により元の輝度単位に戻す処理を行う。ここで、画像に応じて補正の度合いを調節するために、スケール変換した輝度成分の対数変換出力に度合いを調節する係数を乗ずる。以上説明した処理に基づく補正後の輝度成分は以下に示す式（２）のようになる。

但し、Ｙ’（ｘ，ｙ）は座標値が（ｘ，ｙ）の補正後の輝度成分、Ｆｎ（ｘ，ｙ）は座標（ｘ，ｙ）におけるガウシアン関数、ｎは尺度を表すパラメータである。また、γ０およびγ１は、補正の度合いを調節する係数である。また、＊は積和演算、Ａｖｇは平均値演算を表す。

この輝度変換をハードウェア処理で実行する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路は低周波輝度信号を抽出する部分に設けてもよい。

Ｓ１００２で階調補正部１１４は、輝度低周波成分を用いた輝度補正処理に伴う色調整処理（第１の色調整処理）を行う。第１の色調整処理では、輝度補正処理前後の画像の色ができるだけ変化しないように、色成分を輝度補正量にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。Ｙ（ｘ，ｙ）のみＹ’（ｘ，ｙ）に変更し、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）に対しては処理を行わないことによる処理の簡略化を行ってもよい。

Ｓ１００３で第２の階調補正手段としての階調補正部１１４は、トーンカーブを用いた輝度補正処理を行う。階調補正部１１４は、各入力輝度に対する出力輝度データの関係を示すルックアップテーブルを用いて補正することができる。

Ｓ１００４で階調補正部１１４は、トーンカーブを用いた輝度補正処理に伴う色調整処理（第２の色調整処理）を行う。第２の色調整処理は、Ｓ１００２で行う第１の色調整処理と同様であってよい。また、第１の色調整処理を行わずに、輝度低周波成分を用いた輝度補正処理及びトーンカーブを用いた補正処理による輝度値の変更に応じた第２の色調整処理だけを行ってもよい。

図１の画像データ出力部１１５では、階調補正部１１４によって輝度補正処理された合成画像を、予め定められた画像ファイルの形式にして出力する。例えば、ファイル形式をＪＰＥＧファイルに変換する場合には、画像データをＹＣｒＣｂ形式に３次元マトリックス変換して付属データを添付することでＪＰＥＧファイル形式に変換する。画像データ出力部１１５は、画像ファイルをメモリカードのような記録媒体に記録したり、外部装置に出力したりすることができる。

以上説明したように、本実施形態によれば、ＨＤＲ画像に対して輝度低周波成分を用いた補正とトーンカーブを用いた補正の両方を適用する。そして、合成する画像の露出量差、顔のような主被写体の情報、及び撮影画像のヒストグラムの情報を考慮して、個々の補正における補正量を算出する。そのため、トーンカーブを用いた補正によるコントラストの低下と、輝度低周波成分を用いた補正による不自然な補正結果とを抑制した、明るさ及びコントラストの良好なＨＤＲ画像を得ることができる。

（第２の実施形態）
第１の実施形態では、合成する画像の露出量差に応じて輝度低周波成分を用いた補正の補正量（Ａ）を決定した。これに対し本実施形態では、ＨＤＲ画像に対する階調補正量を、輝度低周波成分を用いた補正による補正量（Ａ）とトーンカーブを用いた補正の補正量（Ｂ）とに分配する。

図１１は、本実施形態における階調補正量の分配例を模式的に示す図である。図１１の横軸は、顔検出部１１２で算出された顔の代表輝度値であり、縦軸は、補正量算出部１１３で算出された目標の階調補正量を１００％とした際の補正量（Ａ）の比率である。１００％から補正量（Ａ）の比率を差し引いた結果が、補正量（Ｂ）の比率となる。

予め、露出量差ごとに、顔の代表輝度値と、補正量（Ａ）および補正量（Ｂ）の比率（目標の階調補正量に対する補正量（Ａ）または補正量（Ｂ）の比率でもよい）の関係を示すテーブルを用意しておき、この比率に従って目標の階調補正量を分配する。図１１は一例として、露出量差が±１段、±２段、±３段の場合の分配例を示している。

図１１から分かるように、ＨＤＲ撮影時（合成する画像）の露出量差が大きいほど、輝度低周波成分を用いた補正による補正量の比率を大きくする。また、顔の代表輝度値が大きいほど、輝度低周波成分を用いた補正による補正量の比率を小さくする。これにより、複数の画像の露出量差が大きいほどガンマ変換によってコントラストが小さくなっていることと、明るい顔に対してコントラストをつけ過ぎると不自然な画像になることとのバランスをとっている。

また、顔が検出されていないと判定されている場合は、図１１において顔の代表輝度値が十分暗い場合と同じ比率を用いることができる。
階調補正部１１４は、このようにして決定された補正量で、輝度低周波成分を用いた補正およびトーンカーブを用いた補正を合成画像に適用する。

本実施形態では、目標の階調補正量を、主被写体（たとえば顔）の輝度に応じた比率により、輝度低周波成分を用いた補正とトーンカーブを用いた補正とで分配する。これにより、階調補正による明るさ及びコントラストへの影響を考慮した適切な階調補正を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 異なる複数の露出量によって撮影された複数の画像を取得する取得手段と、
   露出量に応じたガンマ変換処理を適用した前記複数の撮影画像を合成し、合成画像を生成する合成手段と、
   前記合成画像の輝度情報に基づいて、前記合成画像の階調補正の目標補正量を算出する目標補正量算出手段と、
   前記目標補正量を実現するための、前記合成画像の輝度低周波成分を用いた階調補正の第１の補正量と、トーンカーブを用いた階調補正の第２の補正量とを決定する補正量決定手段と、
   前記第１の補正量に基づいて、前記合成画像に対し、前記合成画像の輝度低周波成分を用いた階調補正処理を適用する第１の階調補正手段と、
   前記第２の補正量に基づいて、前記合成画像に対し、トーンカーブを用いた階調補正処理を適用する第２の階調補正手段と、を有し、
   前記補正量決定手段は、前記第２の補正量を、前記目標補正量と前記第１の補正量の差分として決定するとともに、前記第１の補正量を、前記合成画像の主被写体の輝度が高いほど小さくなるように決定することを特徴とする画像処理装置。
2. 前記合成手段は、前記複数の画像の露出量差が大きいほどコントラストを低下させるガンマ変換処理を適用し、
   前記補正量決定手段は、前記第１の補正量を、前記複数の画像の露出量差が大きいほど、大きくなるように決定したのち、前記主被写体の輝度に応じて補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記目標補正量算出手段は、前記合成画像の輝度ヒストグラムまたは前記主被写体の輝度に基づいて前記目標補正量を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 被写体の輝度レンジが大きいほど大きい露出量差を決定する決定手段をさらに有し、
   前記取得手段は、前記決定手段が決定した露出量差で撮影された複数の画像を取得することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、ユーザが決定した露出量差で撮影された複数の画像を取得することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
6. 画像処理装置の制御方法であって、
   取得手段が、異なる複数の露出量によって撮影された複数の画像を取得する取得ステップと、
   合成手段が、露出量に応じたガンマ変換処理を適用した前記複数の撮影画像を合成し、合成画像を生成する合成ステップと、
   目標補正量算出手段が、前記合成画像の輝度情報に基づいて、前記合成画像の階調補正の目標補正量を算出する目標補正量算出ステップと、
   補正量決定手段が、前記目標補正量を実現するための、前記合成画像の輝度低周波成分を用いた階調補正の第１の補正量と、トーンカーブを用いた階調補正の第２の補正量とを決定する補正量決定ステップと、
   第１の階調補正手段が、前記第１の補正量に基づいて、前記合成画像に対し、前記合成画像の輝度低周波成分を用いた階調補正処理を適用する第１の階調補正ステップと、
   第２の階調補正手段が、前記第２の補正量に基づいて、前記合成画像に対し、トーンカーブを用いた階調補正処理を適用する第２の階調補正ステップと、を有し、
   前記補正量決定ステップでは、前記第２の補正量を、前記目標補正量と前記第１の補正量の差分として決定するとともに、前記第１の補正量を、前記合成画像の主被写体の輝度が高いほど小さくなるように決定することを特徴とする画像処理装置の制御方法。
7. コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images