JP2017068513A - 画像処理装置及びその方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影されたシーンを考慮した上で、画像の局所的なコントラストを保持しながら、適切な階調制御を行うことができる画像処理装置を提供する。
【解決手段】入力された画像を複数の領域に分割する分割部と、分割部により分割された複数の領域のそれぞれの輝度情報に基づいて、画像に階調補正を行うための階調特性を決定する決定部と、入力された画像から周波数帯域の異なる複数の画像を生成する生成部と、生成された周波数帯域の異なる複数の画像の信号を階調特性に基づいてゲインに変換する変換部と、ゲインに変換された周波数帯域の異なる複数の画像の信号を重み付けして加算する加算部と、画像に加算手段により加算されたゲインを乗じることにより画像を補正する補正部とを備え、加算部は、入力された画像が撮影された時の撮影条件および複数の領域の情報の少なくともいずれかに基づいて、周波数帯域の異なる複数の画像の信号の重み付けを決定する。
【選択図】 図１２

Description

本発明は、デジタルカメラなどの撮像装置における露出制御技術および撮影後の信号に対して階調補正を行う画像処理技術に関するものである。

従来より、画像の部分的なコントラストを補正する覆い焼き処理やＨＤＲ（ハイダイナミックレンジ）処理等、入力信号のダイナミックレンジを拡大した信号を出力段階で階調圧縮する処理が知られている。このような技術において、撮影時のシーンを判別した結果を露出制御や階調補正にさらに適用することによって、そのシーンの雰囲気を保持した画像を出力する方法が知られている。

特許文献１では、シーン判別結果に基づいて、入力画像に対する階調補正処理条件を設定する技術が開示されている。具体的には、例えば主要被写体が明るすぎる場合には輝度値を下げるように、ガンマ特性とオフセット補正を適用する方法が開示されている。また、特許文献２では、異なる周波数成分に基づいた各々の覆い焼き補正効果の差異に基づいて、補正量を制御する技術が開示されている。

特開２００７−２９３５２８号公報 特開２０１０−２４４３６０号公報

しかしながら、特許文献１に開示されている技術では、シーンを判別した情報を用いても、ガンマ特性による階調制御では画素値に敏感な補正となり、局所的なコントラストが低下する可能性がある。

また、特許文献２に開示されている技術では、例えば高輝度に隣接した低輝度部分に対して低周波成分による補正効果を抑制すると、画素値に敏感な補正効果となり、結果的にコントラストが低下する可能性がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影されたシーンを考慮した上で、画像の局所的なコントラストを保持しながら、適切な階調制御を行うことができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力された画像を複数の領域に分割する分割手段と、前記分割手段により分割された前記複数の領域のそれぞれの輝度情報に基づいて、前記画像に階調補正を行うための階調特性を決定する決定手段と、前記入力された画像から周波数帯域の異なる複数の画像を生成する生成手段と、生成された前記周波数帯域の異なる複数の画像の信号を前記階調特性に基づいてゲインに変換する変換手段と、ゲインに変換された前記周波数帯域の異なる複数の画像の信号を重み付けして加算する加算手段と、前記画像に前記加算手段により加算されたゲインを乗じることにより前記画像を補正する補正手段と、を備え、前記加算手段は、前記入力された画像が撮影された時の撮影条件および前記複数の領域の情報の少なくとも一つに基づいて、前記周波数帯域の異なる複数の画像の信号の重み付けを決定することを特徴とする。

本発明によれば、撮影されたシーンを考慮した上で、画像の局所的なコントラストを保持しながら、適切な階調制御を行うことができる画像処理装置を提供することが可能となる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成を示す図。 画像処理部１０４の構成を示すブロック図。 撮影者により撮影の指示がなされたときの本撮影の露光量を決定するまでの処理の流れを示すフローチャート。 輝度値算出時の重みの一例を示す図。 入力画像の例を示す図。 領域分割結果を示す図。 第１の実施形態における露光量算出方法を示す図。 本撮影された画像に対して行う階調補正処理の流れを示すフローチャート。 第１の実施形態におけるゲイン量算出方法を示す図。 第１の実施形態におけるゲイン適用範囲の算出方法を示す図。 第１の実施形態における階調特性の一例を示す図。 第１の実施形態におけるゲイン処理部、ゲイン画像生成部、ゲイン加算処理部の構成を示すブロック図。 覆い焼き処理における輝度境界に発生する弊害の一例を示す図。 第１の実施形態におけるゲイン加算処理を示す図。 第１の実施形態におけるゲイン加算処理を示す図。 第２の加算処理部の処理内容を示すフローチャート。 覆い焼き処理における輝度境界に発生する弊害の一例を示す図。 第２の実施形態における画像処理装置の動作を示すフローチャート。 第２の実施形態における上位階層および下位階層ゲインの一例を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
第１の実施形態は、被写体領域の情報および撮影条件に関する情報などの撮影シーンに関する情報を用いて露出制御を行い、さらに覆い焼き処理による階調補正処理を行うものである。なお本実施形態では、本実施形態の方法を用いることにより効果が見込めるシーンの一つである夜景を想定して説明する。ただし、本実施形態の方法は夜景以外のシーンにも適用可能である。

図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成を示す図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り、およびシャッターを備えている。この光学系１０１は、撮像部１０２に結像される被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２は、光学系１０１を通過した被写体からの光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の撮像素子を有する。

Ａ／Ｄ変換部１０３は、入力されたアナログ映像信号をデジタル映像信号に変換する。画像処理部１０４は、通常の信号処理の他に、本実施形態における階調補正処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出された画像に対しても同様の画像処理を行うことができる。

露光量算出部１０５は、本実施形態の階調補正処理を行うのに適した入力画像を得るために、撮影時の露光量を算出する部分である。画像処理部１０４の処理結果を入力として露光量を算出し、露光量制御部１０６に入力する。露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現するために、光学系１０１と撮像部１０２に指令を送り、絞り値、シャッタースピード、撮像素子のアナログゲインを制御する。

表示部１０７は、画像処理部１０４から出力される画像をＬＣＤなどの表示器に逐次表示させることにより、電子ビューファインダ（ＥＶＦ）として機能する。記録部１１０は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体などを含んでもよい。

図２は、画像処理部１０４の構成を示すブロック図である。以下、画像処理部１０４の各ブロックが担う処理について、その流れとともに説明する。まず、画面内の輝度情報に基づいて本撮影前の露出を制御し、階調補正処理を行う上で適切な本撮影時の露光量を算出する露光量算出部１０５、さらに階調特性算出部２０４の処理内容について説明する。

図３は、撮影者により撮影の指示がなされたときの本撮影の露光量を決定するまでの処理の流れを示すフローチャートである。

まず、ステップＳ６０１では、ライブビュー動作によって露光量算出部１０５が露光量を算出するための画像を連続的に取得し、所定の間隔（例えば２フレームに１回）で画像全体の輝度値を算出した上で露出を変更する。具体的には、画像を図４に示すように複数のブロック領域に分割し、各ブロックの平均輝度値を求める。そして、各ブロックの平均輝度に対して中央部のブロックに重みを付けるように加重加算して画面全体の輝度値を求める。この加重加算した画面全体の輝度値が適正の値、すなわち予め設定された目標輝度値（例えば１０ｂｉｔで１３０）に近づくように露光量を定める。

図５は、ステップＳ６０１で求められた露光量で露光した場合に得られる画像の一例を示す図である。これは夜景シーンを示す画像であり、建物の内部や点光源などの高輝度領域は白飛びしているのに対し、それ以外の背景領域の大部分は黒潰れしかけて階調が無くなっている。

ステップＳ６０２では、ステップＳ６０１で求められた露光量で取得した画像から被写体領域検出部２０１が高輝度領域であるか低輝度領域であるかの被写体領域の判別を行う。本実施形態では、図４に示したようなブロック領域ごとに輝度の積分値を算出し、それが所定の閾値以上の場合にはそのブロックを高輝度領域、所定の閾値よりも小さい場合にはそのブロックを低輝度領域と判別する。図６は、入力画像に対して領域判別を行った結果の例を示した図である。図中の斜線部分は高輝度領域、黒塗り部分は低輝度領域をそれぞれ示している。

ステップＳ６０３では、露光量算出部１０５がステップＳ６０２で判別した高輝度領域と低輝度領域の分布に基づいて撮影時の本露光量を決定する。図７は露光量の決定方法を示す図であり、グラフの横軸は高輝度領域が画像全体に対して占める割合、グラフの縦軸は適正の露光量に対する露出の変更量を表す値である。具体的には、横軸の割合とは高輝度領域のブロック数を総分割ブロック数で除算して１００を乗算した値であり、露出の変更量とは前述した目標輝度値となる適正の露光量からどれだけ露出を変えるかを表す値である。図に示すように、高輝度領域の割合が大きいほど適正露出に対してよりアンダーに制御する。これは夜景において白とびしやすい高輝度な被写体（光源や建物内部など）の階調を失わないようにしつつ、後述するゲイン処理によってノイズ成分が増大しないようにゲイン量を抑制することが目的である。

ステップＳ６０４では、ステップＳ６０３で決定した露光量に基づいて露光量制御部１０６により本撮影が行われる。以上により、入力画像を取得してから、露光量算出部１０５で露光量を算出し、本撮影を行うまでの処理の説明は終了となる。

次に、図８は、図３のステップＳ６０４において本撮影された画像に対して行う階調補正処理の流れを示すフローチャートである。

ステップＳ７０１では、ステップＳ６０４で本撮影された画像を取得する。ステップＳ７０２では、ステップＳ６０２と同様にして、入力画像から高輝度領域および低輝度領域を判別する。判別の方法はステップＳ６０２と同様であるため説明は省略する。

ステップＳ７０３では、階調特性算出部２０４が画面全体に一様に適用する階調特性を生成する処理を行う。まずステップＳ７０２において検出した高輝度領域および低輝度領域の各々に対して、ゲイン量およびそのゲイン量を適用する輝度範囲を算出する。低輝度領域に対するゲイン量ＬＧは、ステップＳ６０３で決定した本撮影時の露出と適正露出との差分に基づいて算出する。図９は低輝度領域に対するゲイン量ＬＧの算出方法を示す図であり、本撮影時の露出が適正露出よりも大きい場合にはゲイン量を１倍以下（すなわちゲインダウン）とし、小さい場合にはゲイン量を１倍以上（すなわちゲインアップ）とする。これは、夜景において暗部を必要以上に明るくして見た目が不自然になることや、ゲインアップによりノイズが目立つようになることを抑制するためである。さらに高輝度領域に対するゲイン量ＨＧは、白とびを抑えるために１倍（すなわち等倍ゲイン）とする。 続いて、算出したゲイン量ＬＧ，ＨＧを適用する輝度範囲を各々算出する。図１０はそれらの算出方法を示す図である。まず領域別輝度値算出部２０３は、低輝度領域および高輝度領域の各々のヒストグラムを算出する。図１０（ａ）は低輝度領域の輝度ヒストグラムを示す図であり、横軸が輝度値、縦軸が該当する輝度値の頻度を表す。図１０（ａ）において、まず最小の輝度値から頻度数を累積加算していく。図１０（ｂ）は累積加算した値を縦軸にとった図であり、この累積加算値が所定の値（ＬＯＷ_TH）に到達したときの輝度値を低輝度領域に対するゲイン適用範囲の上限輝度値ＬＰとする。同様にして、高輝度領域の輝度ヒストグラムの頻度数を高輝度側から累積加算していき、所定の値（ＨＩ_TH）に到達したときの輝度値を高輝度領域に対するゲイン適用範囲の下限輝度値ＨＰとする。

これら４つの値ＬＧ，ＨＧ，ＬＰ，ＨＰに基づいて生成される階調特性を図１１に示す。図中、横軸は入力輝度、縦軸は出力輝度となっている。直線の傾きはゲイン量を表しており、階調特性をゲイン量ＧＡＩＮを用いて式で示すと、
階調特性： 出力Ｙ＝ＧＡＩＮ×入力Ｙ …（１）
となる。点線で示した直線が１倍のゲイン（等倍ゲイン）を示しており、実線ＬＧはゲインダウン、実線ＨＧは等倍ゲインとなる。この階調特性を用いてゲインテーブル生成部２０５は、輝度別ゲインテーブルすなわち入力輝度に対するゲイン量を表すテーブルを生成する。

ステップＳ７０４では、ゲイン画像を生成する処理を行う。図１２はステップＳ７０４のゲイン画像の生成およびステップＳ７０５のゲイン処理を実行するゲイン処理部２０２の構成を示したブロック図である。以下、図１２を用いてステップＳ７０４、ステップＳ７０５の処理について説明する。

図１２（ａ）はゲイン処理部２０２の構成を示しており、図中１２０１は入力画像、１２０２はゲイン画像生成部、１２０３はゲイン乗算部である。さらに、図１２（ｂ）はゲイン画像生成部１２０２の構成を示している。図中、輝度信号生成部１２１２は入力画像１２０１から輝度信号を生成する。帯域制限部１２１３は画像が持つ周波数帯域を制限するために、輝度信号生成部１２１２が出力する輝度信号に対して所定のＬＰＦ（ローパスフィルタ）をかける。これにより、後述するぼかし処理部１２１４には、輝度信号生成部１２１２から出力される高周波帯域を含む階層の画像信号が入力され、ぼかし処理部１２１５には帯域制限部１２１３を通った低周波帯域のみを残した階層の画像信号が入力される。なお、ここでは帯域制限の手法としてローパスフィルタを用いたが、これに限定されず、縮小や拡大といったリサイズ処理を行うことによって実現してもよい。

ぼかし処理部１２１４及び１２１５では、輝度信号生成部１２１２からの高周波帯域を含む階層の画像および帯域制限部１２１３からの低周波帯域のみを残した階層の画像に対し、所定のぼかし処理を実行する。これは、細かいテクスチャに対するゲインの敏感度を下げ、コントラストをより良好に維持することを目的としている。その一方で、たとえば図１３に示すような高輝度領域と低輝度領域の境界では、ぼかし処理を行わない方がよい。その理由としては、覆い焼きゲイン処理において、このような境界部でぼかし処理を行うと、境界部付近の領域に所望のゲインがかからずに疑似輪郭の発生が顕著になると考えられるからである。従って、輝度差が大きなエッジを保存したままボカシ処理を行うことが必要である。

輝度→ゲイン変換処理部１２１６および１２１７では、ぼかし処理部１２１４および１２１５から出力される輝度画像の各々を、ゲインテーブル生成部２０５で算出した輝度別ゲインテーブル１２１０を用いて、ゲイン画像へ変換する。ゲイン画像とは、画像において最も左上に位置する画素位置を（０，０）として、撮影された入力画像の画素位置を（ｘ，ｙ）としたとき、入力信号Ｙｉｎ（ｘ，ｙ）から出力されるゲインをＧａｉｎ（ｘ，ｙ）とした画像である。すなわち、以下に示すゲインテーブル関数ＧａｉｎＴｂｌを用いたとき、
Ｇａｉｎ（ｘ，ｙ）＝ＧａｉｎＴｂｌ（Ｙｉｎ（ｘ，ｙ）） …（２）
で表わされるゲイン画像におけるＧａｉｎ（ｘ，ｙ）が、撮影された入力画像の（ｘ，ｙ）に位置する画素に対応するゲインである。

画像サイズ調整部１２１８では、帯域制限部１２１３が入力画像に対してサイズを変更する処理を行った場合、輝度→ゲイン変換処理部１２１７の出力画像サイズを入力画像１２０１と同じとなるように調整する処理を行う。本実施形態では、帯域制限部１２１３では画像サイズは変更されず、ローパスフィルタがかけられるのみであることからサイズの調整は行わないこととする。

ゲイン加算処理部１２１９では、輝度→ゲイン変換処理部１２１６および画像サイズ調整部１２１８の出力ゲイン画像を画素毎に加算する処理を行う。図１２（ｃ）は、ゲイン加算処理部１２１９の構成を示す図である。入力輝度に対して帯域制限を行っていない相対的に高周波帯域を含む階層の画像から生成したゲイン画像と、低周波帯域のみを残した階層の画像から生成したゲイン画像とを加算する。以下、各々を上位階層画像１２５１、下位階層画像１２５２と呼び、ゲイン加算処理について詳細に説明する。

図１３に示すように、上位階層と下位階層のゲインを単純に加算平均するだけでは、輝度差の大きなエッジ部付近で、ゲインテーブルの形によっては疑似輪郭が生じてしまうため、加算処理の方法を工夫する必要がある。

図１４は、第１の加算処理部１２５３、第２の加算処理部１２５４、加重加算部１２５６を模式的に示した図である。図１４に示すように、第１の加算処理部１２５３では上位階層の着目位置（着目画素）のゲイン（以下、着目ゲインと呼ぶ）に所定の重みＷ１を掛けて下位階層の着目位置のゲインと加重加算する。ただしこの結果だけでは前述したような疑似輪郭が発生する可能性がある。重みＷ１の算出方法については後述する。

次に、第２の加算処理部１２５４での処理内容について説明する。図１４に示すように、第２の加算処理部１２５４では、上位階層の着目ゲインと下位階層の周辺領域のゲイン（以下、周辺ゲインと呼ぶ）を使用する。ここで周辺領域とは、着目位置から上下左右方向に所定の範囲内にある画素の集合である。第２の加算処理部１２５４の目的は、前述の疑似輪郭を低減させることである。図１５は、図１３と同様の考え方で、エッジ部付近に疑似輪郭が生じる場合の上位階層ゲインおよび下位階層ゲインの形状と、第２の加算処理部１２５４の処理イメージを示した図である。図１５に示した例では、輝度差の大きなエッジ部付近で、下位階層ゲインが極端に小さくなる。従って、位置Ｘでゲインを加算する場合、四角印で示されている着目ゲイン同士を加算すると、疑似輪郭の弊害が大きくなる。従って、下位階層ゲインは着目位置ではなく、位置Ｘから左右にＬの範囲を探索し、上位階層の着目ゲインに最も近い値を持つゲインを選択する方がよい。図の例では、丸印で表された位置Ｘ−Ｌのゲインを使用することで、下位階層の極端に小さなゲインから受ける影響を低減できる。以上の加算処理により、エッジ部付近で極端に異なるゲインを乗じることによる疑似輪郭の発生は抑制される。なお、図１５では、説明を分かりやすくするために１次元の例を挙げて説明したが、実際の第２の加算処理部１２５４においては、同様の処理を２次元で行う。

図１６は、この第２の加算処理部の処理内容を示すフローチャートである。ステップＳ１６０１では、下位階層の周辺ゲインのそれぞれについて、上位階層の着目ゲインとの差分絶対値を算出する。ステップＳ１６０２では、ステップＳ１６０１で算出した差分絶対値が小さい順に、Ｍ個の周辺ゲインを選択する。ここで、Ｍは所定の個数とする。この処理により、図１５に示したように、上位階層の着目ゲインに近いゲイン値を持つ下位階層の周辺ゲインを選択することができる。なお本実施形態では、周辺ゲインを選択する際に差分絶対値が小さい順に所定個数を選択するという手法をとったが、他の手法を用いてもよい。たとえば演算コストを抑制するために、差分絶対値が所定の閾値以下であるものをすべて選択するといった方法を用いてもよい。

ステップＳ１６０３では、ステップＳ１６０２で選択したＭ個の周辺ゲインを加重加算する。ここで、加重加算時の重みは以下の式（１）で決定される。

Ｗ（ｋ）＝Ａ／｜ＧＬ（ｋ）−ＧＨ｜ …（３）
式（１）において、ＧＬ（ｋ）は、選択した下位階層の周辺ゲインのうち、ｋ番目のゲインを表し、Ｗ（ｋ）はそれに対応する加重加算の重みを表す。また、ＧＨは上位階層の着目ゲインを表し、Ａは所定の定数である。式（１）から分かるように、重みＷ（ｋ）は、上位階層の着目ゲインとの差分が小さいほど大きくなる。

さらに、式（１）により各周辺ゲインに対する重みＷ（ｋ）を算出後、以下の式（４）により加重加算を行う。

…（４）
式（２）において、ＧＬ’は、加重加算後の下位階層ゲインである。

ステップＳ１６０４では、加重加算して得られた下位階層の周辺ゲインＧＬ’と、上位階層の着目ゲインＧＨに所定の重みＷ２を掛けたものを加重加算し、加算されたゲイン値が第２の加算処理部１２５４の出力となる。

ここで、前述した第１の加算処理部１２５３において用いる重みＷ１および第２の加算処理部１２５４において用いる重みＷ２の算出方法について説明する。図１７は入力輝度が飽和している領域と、それに対する上位階層および下位階層のゲイン信号を示す図である。図１７を見ると、上位階層では低輝度部に対してゲインダウン、高輝度部に対しては等倍ゲインとなっており、それに対して下位階層では低輝度部だけでなく高輝度領域の一部もゲインダウンとなっていることがわかる。これは、下位階層は帯域制限によって輝度に対する敏感度が下がったゲインとなっているためである。これによって飽和部周辺の高輝度がゲインダウンされることとなり、結果的にＲＧＢのバランスが所望の値とならない弊害が発生する。

そこで本実施形態では、上記の２つの重みＷ１，Ｗ２をいくつかの評価値に基づいて決定することにより、上述した弊害を抑制することを考える。具体的には、露光量算出部１０５が撮影前に算出したＢｖ（ブライトバリュー）値が大きいほど、そして高輝度領域の面積割合が大きいほど上位階層にかかる重みＷ１およびＷ２の値を大きくするように制御する。これは、撮影時のＢｖ値が小さいほど夜景シーンである可能性が高く、また高輝度領域の面積が小さいほどゲインダウンとなる階調特性になりやすいため、前述したような飽和部付近のゲインダウンが発生しないように下位階層の重みを小さくすることが目的である。

加重加算部１２５６は、第１の加算処理部１２５３の結果と第２の加算処理部１２５４の結果を加重加算し、その時の重みは、着目位置における上位階層と下位階層のゲイン差に基づき、輝度→重み算出部１２５５によって決定する。具体的には、上位階層と下位階層の着目ゲインの差分値が大きいほど、第２の加算処理部１２５４の結果を重視するような設定とする。これは、輝度差が大きくゲイン差も大きくなるようなエッジ部付近は、第２の加算処理部１２５４の結果を用いて疑似輪郭を抑制するのが望ましいからである。一方、ゲイン差が小さいテクスチャ部分では、第２の加算処理部１２５４の結果を用いると、画像のコントラストが低下してしまう。ゲイン差が小さければ疑似輪郭が顕在化しなくなることから、第１の加算処理部１２５３の結果を用いてコントラストの低下を抑制するのが望ましいと考えられる。

以上で、図８のステップＳ７０４におけるゲイン加算処理部１２１９およびゲイン画像生成部１２０２の説明を終了する。これにより、出力ゲイン画像１２２１が得られることになる。

図８の説明に戻り、ステップＳ７０５では、ゲイン画像生成部１２０２で生成されたゲイン画像を、ゲイン乗算部１２０３において、所定の信号処理が施された元画像に乗じる。ゲイン乗算部１２０３の出力は、階調圧縮処理部２０６において、ガンマ変換処理などにより所定の出力レンジに階調圧縮される。最後に、階調圧縮処理部２０６において階調圧縮を施された画像が表示部１０７および記録部１１０に出力される。

以上説明したように本実施形態によれば、局所的に階調特性を制御する処理において、低周波画像を使用することによる疑似輪郭や、主に夜景シーンにおいて発生しやすい飽和部の色バランスのずれといった弊害を抑制することができる。また、着目位置のゲイン差に基づいて、（１）コントラスト維持を優先する第１の加算結果と（２）疑似階調の抑制を優先する第２の加算結果のそれぞれを加重加算することで、コントラストの低下を抑制しつつ、疑似階調の抑制を行うことができる。

本実施形態では、ゲイン加算処理の際に入力画像から２種類の周波数帯域を持つ上位階層の画像と下位階層の画像を生成したが、これに限らず、３以上の異なる周波数帯域を持つ画像を生成し、順次加算処理を行うようにしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１８は、第２の実施形態における画像処理装置の動作を示すフローチャートである。本実施形態では、近接した被写体にフォーカスを合わせて遠くの被写体領域が大きくぼけるようなシーンでの例について説明する。なお、第１の実施形態と同様の処理や公知の技術を用いる処理については説明を省略し、本実施形態の特徴的な処理について主に説明する。図１８（ａ） は、撮影者により撮影の指示がなされた場合の本撮影の露光量を決定するまでの処理の流れを示すフローチャートである。

まず、ステップＳ１８０１では、図３のステップＳ６０１と同様にして露光量を算出するための画像を連続的に取得する。ステップＳ１８０２〜ステップＳ１８０３では、領域別トーンマッピングの思想を取り入れることにより被写体領域を判別し、露光量を決定する。すなわち、輝度・色相・彩度などの特徴量を用いて入力画像を空領域、背景領域に分割し、各領域の持つ代表輝度値および輝度値の段差に基づいて本露光量を決定する。ステップＳ１８０４では、Ｓ１８０３で決定した露光量に基づいて露光量制御部１０６により本撮影が行われる。

続いて、図１８（ｂ）は、本撮影された画像に対して行う階調補正処理の流れを示すフローチャートである。ステップＳ１８１１では、ステップＳ１８０４で本撮影された画像を取得する。ステップＳ１８１２〜ステップＳ１８１３では、前述した領域別トーンマッピングの思想を取り入れることで、階調特性算出部２０４が被写体の明るさを考慮した階調特性を生成する。すなわち、領域別輝度値算出部２０３が算出した空領域および背景領域の輝度情報に基づいて、それぞれの明るさとそのバランスが適切となるような階調を生成する。

ステップＳ１８１４では、ゲイン画像を生成する処理を行う。以下、図１２を用いてステップＳ１８１４の処理について説明する。まずゲイン画像生成部１２０２において、ゲイン加算処理部１２１９以外の部分が行う処理については第１の実施形態と同様であるため、説明を省略する。ゲイン加算処理部１２１９には帯域の異なる２つのゲイン画像、すなわち上位階層画像１２５１および下位階層画像１２５２が入力される。第１の加算処理部１２５３は、上位階層の着目ゲインに所定の重みＷ１を掛けたうえで、下位階層の着目ゲインと加重加算する。重みＷ１の算出方法については後述する。

図１８（ｃ）は、第２の加重加算部が行う処理の流れを示すフローチャートである。図中ステップＳ１８２１〜Ｓ１８２４はそれぞれ第１の実施形態で説明した図１６のステップＳ１６０１〜Ｓ１６０４と同様であるため、説明を省略する。ステップＳ１８２４では、加重加算した下位階層の周辺ゲインＧＬ’と、上位階層の着目ゲインＧＨに所定の重みＷ２を掛けたものとを加重加算し、加算されたゲイン値が第２の加算処理部１２５４の出力となる。

ここで、前述した第１の加算処理部１２５３において用いる重みＷ１および第２の加算処理部１２５４において用いる重みＷ２の算出方法について説明する。図１９は、入力輝度において高輝度部と低輝度部の境界がぼけている背景領域の一部と、それに対する上位階層および下位階層のゲイン信号を示す図である。これを見ると、境界部のぼけている領域のゲイン値が、下位階層では滑らかに変化しているのに対して上位階層では所定の輝度値を境目にゲイン値が急峻に切り替わっているのがわかる。これは、ステップＳ１８１３で生成した階調特性において所定の輝度値を境界にゲインの値が急峻に変化することによるものである。この境界部分に対しては、上位階層のゲインが適用されるほど、ゲイン適用後の画像に不自然な輝度の切り替わりが弊害として発生する。

そこで本実施形態では、２つの重みＷ１，Ｗ２をいくつかの評価値に基づいて決定することにより、上述した弊害を抑制することを考える。具体的には、本撮影時に露光量制御部１０６が設定した絞り値が小さいほど、そしてフォーカス時の焦点距離が近いほど上位階層の重みＷ１，Ｗ２を小さくするように制御する。これは、絞りが開放値に近いほど、そして焦点距離が近いほどフォーカス距離以外の領域がぼけやすく、前述したような弊害が発生しやすいため、ゲインが滑らかに変化する下位階層の重みを大きくすることで弊害の発生を抑えることが目的である。

以上で、ステップＳ１８１４におけるゲイン加算処理部１２１９およびゲイン画像生成部１２０２の動作の説明を終了する。これにより、出力ゲイン画像が得られる。

図１８（ｂ）の説明に戻り、ステップＳ１８１５では、ゲイン画像生成部１２０２で生成されたゲイン画像を、ゲイン乗算部１２０３において、所定の信号処理が施された元画像に乗じる。ゲイン乗算部１２０３の出力は、階調圧縮処理部２０６において、ガンマ変換処理などにより所定の出力レンジに階調圧縮される。最後に、階調圧縮処理部２０６において階調圧縮を施された画像が画像表示部１０７および画像記録部１１０に出力される。

以上説明したように、本実施形態によれば、局所的に階調特性を制御する処理において、主に近接撮影において発生しやすいぼけた輝度境界部の不自然な切り替わりといった弊害を抑制することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学系、１０２：撮像部、１０３：Ａ／Ｄ変換部、１０４：画像処理部、１０５：露光量算出部、１０６：露光量制御部、１０７：表示部、１１０：記録部

Claims (12)

1. 入力された画像を複数の領域に分割する分割手段と、
   前記分割手段により分割された前記複数の領域のそれぞれの輝度情報に基づいて、前記画像に階調補正を行うための階調特性を決定する決定手段と、
   前記入力された画像から周波数帯域の異なる複数の画像を生成する生成手段と、
   生成された前記周波数帯域の異なる複数の画像の信号を前記階調特性に基づいてゲインに変換する変換手段と、
   ゲインに変換された前記周波数帯域の異なる複数の画像の信号を重み付けして加算する加算手段と、
   前記画像に前記加算手段により加算されたゲインを乗じることにより前記画像を補正する補正手段と、を備え、
   前記加算手段は、前記入力された画像が撮影された時の撮影条件および前記複数の領域の情報の少なくともいずれかに基づいて、前記周波数帯域の異なる複数の画像の信号の重み付けを決定することを特徴とする画像処理装置。
2. 前記画像を撮像するための撮像手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件は、撮影時のＢｖ値、絞り値、焦点距離の少なくとも一つであることを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記撮影条件に基づいて前記階調特性を変更することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、相対的に高い周波数帯域を含む上位階層の画像と、該上位階層の画像に比べて低い周波数帯域を含む下位階層の画像の少なくとも２つの画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記加算手段は、前記上位階層の画像と前記下位階層の画像のそれぞれの着目画素に対応する着目ゲイン同士の加算結果である第１の加算結果と、前記上位階層の着目ゲインと前記下位階層における前記着目画素から所定の範囲の周辺領域において、前記上位階層の着目ゲインと近い値を持つ前記下位階層のゲインの加算結果である第２の加算結果とを重み付けして加算することを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の領域の情報は、前記入力された画像における高輝度領域の占める割合または低輝度領域の占める割合であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記画像にフィルタをかけることにより、前記周波数帯域の異なる複数の画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記画像にリサイズ処理を施すことにより、前記周波数帯域の異なる複数の画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 入力された画像を複数の領域に分割する分割工程と、
    前記分割工程において分割された前記複数の領域のそれぞれの輝度情報に基づいて、前記画像に階調補正を行うための階調特性を決定する決定工程と、
    前記入力された画像から周波数帯域の異なる複数の画像を生成する生成工程と、
    生成された前記周波数帯域の異なる複数の画像の信号を前記階調特性に基づいてゲインに変換する変換工程と、
    ゲインに変換された前記周波数帯域の異なる複数の画像の信号を重み付けして加算する加算工程と、
    前記画像に前記加算工程において加算されたゲインを乗じることにより前記画像を補正する補正工程と、を備え、
    前記加算工程では、前記入力された画像が撮影された時の撮影条件および前記複数の領域の情報の少なくともいずれかに基づいて、前記周波数帯域の異なる複数の画像の信号の重み付けを決定することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。