JP2014179756A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】被写体領域間における輝度などの特徴量の差分又は比に応じて領域別トーンマッピングを行うか否かを決定して処理負荷を軽減するとともに、必要に応じて階調補正を行って良好な画像を生成する。
【解決手段】画像分割部１００は入力画像を所定の複数の被写体領域に分割し、判定部１０２は被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て差分又は比が予め定められた範囲にあるか否かを判定する。そして、画像処理部５０３は差分又は比が予め定められた範囲にあると被写体領域の各々についてトーンマッピングを行って出力画像とする。
【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、撮像の結果得られた撮像画像の階調補正を行う画像処理装置に関する。

一般に、デジタルカメラなどの画像処理装置において、所望の明るさおよびコントラストの撮像画像を得るため、撮像画像における被写体像および撮像シーンに関する撮像情報を解析して、撮像画像の階調補正を行うようにしている。

特に、人物などの被写体の明るさが背景の明るさに比べて著しく暗い所謂逆光シーンにおける撮像画像では、被写体像が暗くなってしまうので、当該被写体像について階調補正を行えば、所望の明るさおよびコントラストの撮像画像を得ることができる。

ところで、所望の明るさおよびコントラストの撮像画像を得るため、撮像シーンに応じてダイナミックレンジの拡大処理又はダイナミックレンジの縮小処理を行うようにした画像処理装置がある（特許文献１参照）。そして、特許文献１では、ダイナミックレンジ拡大処理を行う場合、撮像感度を低減させて撮像して、撮像画像に対して撮像感度の低減を補償する階調補正を行うようにしている。

さらに、階調補正を行うか否かを撮像の際の露出に応じて決定するようにした画像処理装置がある（特許文献２）。特許文献２においては、所謂白トビ（飽和画素）を抑制するため、階調補正で補うことが可能な最大露出値を定めて、撮像の際の露出値が最大露出値未満であれば階調補正を行い、撮像の際の露出値が最大露出値以上であると階調補正を行わないようにしている。

ところが、特許文献１および特許文献２に記載の手法では、単一の被写体像の明るさが適正となるように階調補正を画像全体に対して行うので、被写体像のコントラストが低下して、所謂眠い画像になってしまう。

このようなコントラストの低下を防止するため、例えば、撮像画像を複数の領域に分割して、当該領域毎に適切な明るさとなるように階調補正を行う手法がある。例えば、撮像画像から人物、空、および背景の領域を抽出して、各領域が好適な明るさとなる露出条件を求める。そして、各領域が好適な明るさとなる露出条件で複数枚の撮像画像を得て、複数枚の撮像画像を合成して一枚の出力画像（合成画像）を生成する。

なお、各領域が好適な明るさとなる露出条件を求める際に、主要被写体領域の露出条件を基準露出条件とするようにしてもよい。この場合には、主要被写体が基準露出条件となる露出条件で一枚の撮像画像を得て、当該撮像画像における主要被写体領域以外の領域に対して、当該主要被写体領域以外の領域が好適な明るさとなるようにゲインを乗じて１枚の出力画像を生成する。このような手法は、一般に、領域別トーンマッピングと呼ばれている。

特開２０１０−１９３０９９号公報 特開２０１２−４４５５９号公報

ところが、上述の領域別トーンマッピングにおいては、主要被写体領域の輝度と主要被写体領域以外の領域の輝度との差分が小さいと、階調補正の効果が少なくなってしまう。

さらに、逆光状態で人物などの主要被写体が撮像された撮像シーンにおいては、主要被写体領域とその他の背景領域との輝度段差が極めて大きくなる傾向があり、この状態で、領域別トーンマッピングを行うと主要被写体領域に光の回り込みが生じてしまう。

従って、本発明の目的は、被写体領域間における輝度などの特徴量の差分又は比に応じて領域別トーンマッピングを行うか否かを決定して処理負荷を軽減するとともに、必要に応じて階調補正を行って良好な画像を生成することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置であって、前記入力画像を所定の複数の被写体領域に分割する分割手段と、前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定手段と、前記判定手段によって前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理手段と、を有することを特徴とする。

本発明による制御方法は、所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置の制御方法であって、前記入力画像を所定の複数の被写体領域に分割する分割ステップと、前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定ステップと、前記判定ステップで前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理ステップと、を有することを特徴とする。

本発明による制御プログラムは、所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記入力画像を所定の複数の被写体領域に分割する分割ステップと、前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定ステップと、前記判定ステップで前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理ステップと、を実行させることを特徴とする。

本発明によれば、入力画像における複数の被写体領域間の輝度などの特徴量の差分又は比に応じて、被写体領域についてトーンマッピングを行うか否かを判定し、当該判定結果に応じてトーンマッピングを行うか否かを決定するようにしたので、トーンマッピングによる効果が少ない場合にはトーンマッピングが行われず、その結果、処理負荷を軽減してしかも必要な場合には良好な階調補正が行われた画像を生成することができる。

本発明の実施の形態による画像処理装置を備える撮像装置の一例を示すブロック図である。 図１に示す画像処理部において領域別トーンマッピング処理を行うための構成の一例を示すブロック図である。 図２に示す画像分割部に入力される入力画像の一例を示す図である。 図２に示す画像処理部で行われる画像処理の一例を説明するためのフローチャートである。 図２に示す判定部で行われる判定処理を説明するためのフローチャートである。 図２に示す判定部に備えられた加重加算係数を算出するためのテーブルの一例を示す図である。 図２に示す判定部に備えられた加重加算係数を算出するためのテーブルの他の例を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置を備える撮像装置の一例を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、光学系５００を有している。光学系５００は、例えば、ズームレンズおよびフォーカスレンズを有するレンズ群、絞り調整装置、およびシャッター装置を備えている。光学系５００は、撮像素子５０１に結像する被写体像（光学像）の倍率、ピント位置、そして、光量を調整する。

撮像素子５０１は、光学系５００を介して結像した光学像を光電変換によって電気信号（アナログ信号）に変換する。撮像素子５０１として、例えば、ＣＣＤ又はＣＭＯＳセンサーなどの光電変換素子が用いられる。

Ａ／Ｄ変換部５０２は、撮像素子５０１の出力であるアナログ信号をＡ／Ｄ変換してデジタル信号（画像データ）を出力する。そして、この画像データは画像処理部５０３に与えられる。

画像処理部５０３は、所定の信号処理の他に、後述するように、互いに露出の異なる複数枚の画像データ（以下単に画像ともいう）を用いて所謂領域別トーンマッピング処理を行う。なお、画像処理部５０３はＡ／Ｄ変換部５０２からの出力である画像ばかりでなく、記録部５０７から読み出した画像についても同様の画像処理を行うことができる。

ストロボ（発光部）５０８は、システム制御部５０４の制御下でストロボ光を発光する。システム制御部５０４は、カメラ全体の制御を司る。そして、システム制御部５０４は画像処理部５０３で画像処理された画像から得られる輝度値又は操作部５０５からの指示に基づいて、光学系５００、撮像素子５０１、およびストロボ５０８の駆動制御を行う。

表示部５０６は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであり、表示部５０６には、画像処理部５０３の出力である画像又は記録部５０７から読み出された画像が表示される。記録部５０７には、撮影の結果得られた画像などが記録される。

なお、記録部５０７は、例えば、半導体メモリが搭載されたメモリカード又は光磁気ディスクなどの回転記録体を収容したパッケージなどを用いた情報記録媒体であってもよく、情報記録媒体はカメラに着脱可能であってもよい。また、図示のように、画像処理部５０３、システム制御部５０４、表示部５０６、および記録部５０７は内部バス５０９によって相互に接続されている。

図２は、図１に示す画像処理部５０３において領域別トーンマッピング処理を行うための構成の一例を示すブロック図である。なお、ここでは、画像を空領域（第３の被写体領域）、背景領域（第２の被写体領域）、および人物領域（第１の被写体領域）の３つの被写体領域に分割して領域別トーンマッピング処理を行う場合について説明する。

図示のように、画像処理部５０３は、画像分割部１００、特徴量算出部１０１、判定部１０２、および階調補正部１０３を備えている。画像分割部１００には、Ａ／Ｄ変換部５０２から画像データが入力画像として与えられる。画像分割部１００は、後述するようにして、入力画像を予め定められた複数の被写体領域に分割する。

図３は、図２に示す画像分割部１００に入力される入力画像３００の一例を示す図である。

ここでは、画像分割部１００は、図３に示す入力画像３００を受けて、当該入力画像３００を複数の被写体領域である人物領域３０１、背景領域３０２、および空領域３０３の３つの領域に分割する。図３に示す例において、入力画像３００は逆光状態の撮像シーンで人物が撮像され、空領域３０３は所謂白とびがない露出条件で撮像されたものとする。

特徴量算出部１０１は、画像分割部１００による分割処理の結果得られた被写体領域（人物領域３０１、背景領域３０２、および空領域３０３）の各々の特徴量を算出する。なお、ここでは、特徴量は、例えば、輝度である。判定部１０２は、特徴量算出部１０１で得られた被写体領域の特徴量を比較して、当該比較結果に応じて階調補正を行うか否かを判定する。

階調補正部１０３は、判定部１０２による判定結果に従って階調補正を行う。なお、階調補正部１０３は領域別トーンマッピング処理を用いて階調補正を行う。

図４は、図２に示す画像処理部５０３で行われる画像処理の一例を説明するためのフローチャートである。

画像処理を開始すると、システム制御部５０４の制御下で、画像分割部１００は入力画像３００を、人物領域３０１、空領域３０３、および背景領域３０２の３領域に分割する（ステップＳ３００）。入力画像３００から人物領域３０１および空領域３０３を識別して抽出する処理は既知であり、ここでは、例えば、特開２００６−３９６６６号公報に記載の手法が用いられる。画像分割部１００は入力画像３００から人物領域３０１および空領域３０３を抽出した後、人物領域３０１および空領域３０３以外の領域を背景領域３０２とする。なお、入力画像から分割する領域は人物領域および空領域には限定されない。

続いて、特徴量算出部１０１は、人物領域３０１、背景領域３０２、および空領域３０３の各々についてその特徴量である輝度を算出する（ステップＳ３０１）。ここでは、特徴量算出部１０１は、人物領域３０１、背景領域３０２、および空領域３０３の各々に含まれる画素の輝度値の平均値を求めて、平均輝度値を得る。

以下の説明においては、人物領域３０１における平均輝度値をＹ＿ＨＵＭＡＮ、空領域３０３における平均輝度値をＹ＿ＳＫＹ、背景領域３０２における平均輝度値をＹ＿ＢＡＣＫとする。そして、前述のように、入力画像３００は、人物が逆光状態である撮像シーンで撮像されているので、これら平均輝度値Ｙ＿ＨＵＭＡＮ、Ｙ＿ＳＫＹ、およびＹ＿ＢＡＣＫの関係は、式（１）に示す関係にあるものとする。また、ここでは、背景領域３０２における特徴量、つまり、平均輝度値を基準輝度値とする。

なお、ここでは、入力画像３００は人物が逆光状態である撮像シーンで撮像されているので、平均輝度値の関係が式（１）に示す関係であるとしたが、撮像シーンに応じて領域毎の平均輝度値の関係は異なる。

Ｙ＿ＳＫＹ＞Ｙ＿ＢＡＣＫ＞Ｙ＿ＨＵＭＡＮ （１）
次に、判定部１０２は、上述の領域毎の平均輝度値を比較して、当該比較結果に応じて階調補正、つまり、領域別トーンマッピング処理を行うか否かを判定する（ステップＳ３０２）。

図５は、図２に示す判定部１０２で行われる判定処理を説明するためのフローチャートである。

判定処理を開始すると、判定部１０２は、平均輝度値Ｙ＿ＨＵＭＡＮおよびＹ＿ＢＡＣＫを用いて、次の式（２によって人物領域３０１と背景領域３０２との輝度段差ΔＢＨ（つまり、輝度の差分：第１の輝度差分）を算出する（ステップＳ４００）。

なお、Ｙｒｅｆ＿ＨＵＭＡＮは予め設定された人物領域における目標輝度値、そして、Ｙｒｅｆ＿ＢＡＣＫは予め設定された背景領域における目標輝度値である。ここでは、領域毎の特徴量、つまり、平均輝度値の差分を用いたが、特徴量の比を用いるようにしてもよい。

続いて、判定部１０２は輝度段差ΔＢＨが予め設定された第１の輝度閾値（ＴＨ＿ＨＵＭＡＮ＿１）未満であるか否かを判定する（ステップＳ４０１）。この第１の輝度閾値は撮像シーンに応じて調整されることが望ましい。例えば、逆光シーンでは第１の輝度閾値は３段程度である。

ここで、輝度段差ΔＢＨが第１の輝度閾値（ここでは、３段）以上ある場合に領域別トーンマッピング処理を行うと、人物領域に光の回りこみが生じる原因について説明する。

各領域が好適な明るさとなる露出条件で複数枚の画像を撮像して当該複数枚の画像を合成して一枚の出力画像（合成画像）を生成する際、領域別トーンマッピング処理では、人物領域の画像として、人物領域が予め定められた適正な露出条件で撮像して得られた画像よりも明るく背景が適正な露出条件に近い露出条件で撮像して得られた画像が用いられる。つまり、人物領域については、人物について適正な露出条件よりもアンダーである露出条件で撮像されるので、画像全体が明るくなる。そして、画像全体が明るくなる程度は輝度段差ΔＢＨに比例しており、輝度段差ΔＢＨが輝度閾値以上となると、不可避的に光の回り込みが生じて不鮮明な領域が目立つようになる。

一方、主要被写体領域である人物領域における露出条件を基準露出条件として、当該基準露出条件で撮像した画像において、人物領域以外（主要被写体領域以外）の被写体領域（つまり、背景領域および空領域）について当該被写体領域が好適な明るさとなるようにゲインを乗じて一枚の出力画像を生成する際、例えば、３段分のゲインを乗ずると（つまり、ゲインが大きいと）、ノイズによって画質が劣化してしまう。

加えて、図１に示すＡ／Ｄ変換部５０２の出力である画像データが１２ビット構成であるとすると、３段分のゲインを乗算した場合には、有効ビット数が９ビットとなってしまい、表現可能な階調が狭くなる。

このため、輝度段差ΔＢＨが第１の輝度閾値以上であると（ステップＳ４０１において、ＮＯ）、判定部１０２は領域別トーンマッピング処理による効果がないとする。つまり、輝度段差ΔＢＨが第１の輝度閾値以上であると、判定部１０２は領域別トーンマッピング処理を行った場合人物領域に光の回り込みが生じて不鮮明な領域が発生するので、領域別トーンマッピング処理を行わないと判定する。

領域別トーンマッピング処理を行わないと、人物領域を適正な露出条件で撮像するためには所謂長秒で撮像するか又は背景領域を適正な露出条件として人物領域を暗い露出条件で撮像する必要がある。ところが、長秒で撮像すると、長秒露光に起因する手ぶれおよび被写体のブレが生じた画像となる可能性が高い。一方、人物領域を暗い露出条件で撮像すると、人物領域が好適な画像が得られないことがある。

そこで、判定部１０２はストロボ発光撮像を行うとして、ストロボ発光撮像を行うことを示すフラグ（ストロボフラグ）を立てる（ステップＳ４０２）。そして、判定部１０２は判定処理を終了する。

一方、輝度段差ΔＢＨが第１の輝度閾値未満であると（ステップＳ４０１において、ＹＥＳ）、判定部１０２は輝度段差ΔＢＨが第２の輝度閾値（ＴＨ＿ＨＵＭＡＮ＿２）以上であるか否かを判定する（ステップＳ４０２）。なお、第２の輝度閾値は第１の輝度閾値よりも小さい。そして、第２の輝度閾値は撮像シーンに応じて調整されることが望ましい。例えば、逆光シーンの場合には、第２の輝度閾値は１／３段程度とされる。

輝度段差ΔＢＨが第２の閾値以上であると（ステップＳ４０３において、ＹＥＳ）、判定部１０２は領域別トーンマッピング処理による効果があると判定して、領域別トーンマッピング処理を実施することを示すフラグ（トーンマッピング処理フラグ）を立てる（ステップＳ４０４）。さらに、判定部１０２は領域別トーンマッピング処理で用いられる加重加算係数ＢＨ＿ＭＩＸ＿ＲＡＴＩＯを算出する。

図６は、図２に示す判定部１０２に備えられた加重加算係数を算出するためのテーブルの一例を示す図である。

図６に示す加重加算係数テーブルでは、輝度段差ΔＢＨが第２の輝度閾値（ＴＨ＿ＨＵＭＡＮ＿２）以上となると、加重加算係数が０．０から増加して１．０となる。そして、輝度段差ΔＢＨが第１の輝度閾値（ＴＨ＿ＨＵＭＡＮ＿１）に近づくと、加重加算係数は１．０から減少し、輝度段差ΔＢＨが第１の輝度閾値（ＴＨ＿ＨＵＭＡＮ＿１）以上となると０．０となる。

なお、加重加算係数の増加および減少の割合は撮像シーンに応じて調整することが望ましい。

次に、判定部１０２は、次の式（３）によって空領域３０３と背景領域３０２との輝度段差ΔＢＳ（第２の輝度差分）を算出する（ステップＳ４０５）。なお、輝度段差ΔＢＨが第２の閾値未満であると（ステップＳ４０３において、ＮＯ）、判定部１０２は領域別トーンマッピング処理による効果がないか又は小さいと判定して、ステップＳ４０５の処理に進む。

なお、Ｙｒｅｆ＿ＳＫＹは予め設定された空領域における目標輝度値ある。ここでは、領域毎の特徴量、つまり、平均輝度値の差分を用いたが、特徴量の比を用いるようにしてもよい。

次に、判定部１０２は輝度段差ΔＢＳが予め設定された第３の輝度閾値（ＴＨ＿ＳＫＹ）以上であるか否かを判定する（ステップＳ４０６）。なお、当該第３の輝度閾値は撮像シーンに応じて調整されることが望ましい。例えば、逆光シーンの場合には、第３の輝度閾値は１／３段程度である。

輝度段差ΔＢＳが第３の輝度閾値以上であると（ステップＳ４０６において、ＹＥＳ）、判定部１０２は領域別トーンマッピング処理による効果があると判定して、領域別トーンマッピング処理を行うことを示すフラグ（トーンマッピングフラグ）を立てる（ステップＳ４０７）。さらに、判定部１０２は領域別トーンマッピング処理で用いられる加重加算係数ＢＳ＿ＭＩＸ＿ＲＡＴＩＯを算出する。そして、判定部１０２は判定処理を終了する。

図７は、図２に示す判定部１０２に備えられた加重加算係数を算出するためのテーブルの他の例を示す図である。

図７に示す加重加算係数テーブルでは、輝度段差ΔＢＳが第３の輝度閾値（ＴＨ＿ＳＫＹ）以上となると、加重加算係数が０．０から増加して１．０となる。そして、輝度段差ΔＢＳの増加に拘わらず、加重加算係数は１．０に保たれる。

なお、当該加重加算係数の増加および減少の割合は撮像シーンに応じて調整することが望ましい。

一方、輝度段差ΔＢＳが第３の輝度閾値未満であると（ステップＳ４０６において、ＮＯ）、判定部１０２は領域別トーンマッピング処理よる効果がないか又は小さいと判定して判定処理を終了する。

再び図４を参照して、上述のようにして、判定処理が行われた後、システム制御部５０４はストロボフラグが存在するか否かを判定する（ステップＳ３０３）。ストロボフラグが存在すると（ステップＳ３０３において、ＹＥＳ）、システム制御部５０４はストロボ５０８を発光制御してストロボ発光撮像を行う（ステップＳ３０４）。そして、システム制御部５０４は画像処理を終了する。

一方、ストロボフラグが存在しないと（ステップＳ３０３において、ＮＯ）、システム制御部５０４はトーンマッピングフラグが存在するか否かを判定する（ステップＳ３０５）。つまり、システム制御部５０４は領域別トーンマッピング処理を行うか否かを判定することになる。トーンマッピングフラグが存在しないと（ステップＳ３０５において、ＮＯ）、システム制御部５０４は画像処理を終了する。

トーンマッピングフラグが存在すると（ステップＳ３０５において、ＹＥＳ）、システム制御部５０４は画像処理部５０３に領域別トーンマッピング処理の実行を指示する（ステップＳ３０６）。これによって、画像処理部５０３（ここでは、階調補正部１０２）は空領域、背景領域、および人物領域を合成して合成画像を生成する。そして、画像処理部５０３は領域別トーンマッピング処理後の合成画像を生成する。

つまり、領域別トーンマッピング処理を行うと判定されると、例えば、画像処理部５０３はトーンマッピングを行う領域（つまり、人物領域、背景領域、および空領域）が好適な明るさとなる露出条件で複数枚の画像（ここでは、三枚の画像）を取得して、人物用画像、背景用画像、および空用画像とする。そして、画像処理部５０３はこれら人物用画像、背景用画像、および空用画像からそれぞれ人物領域、背景領域、および空領域を抽出する。その後、画像処理部５０３は人物領域、背景領域、および空領域を合成処理した合成画像を出力画像とする。

なお、人物領域、背景領域、および空領域がそれぞれ好適な明るさとなる露出条件を求める際、例えば、主要被写体領域である人物領域に係る露出条件を基準露出条件とする。そして、基準露出条件で一枚の画像を撮像して、画像処理部５０４が当該画像において人物領域以外の領域に対して当該人物領域以外の領域が好適な明るさとなるようにゲイン処理を行って出力画像を生成するようにしてもよい。

上述のようにして、領域別トーンマッピング処理を行った後、階調補正部１０３は加重加算係数（ＢＨ＿ＭＩＸ＿ＲＡＴＩＯおよびＳＨ＿ＭＩＸ＿ＲＡＴＩＯ）に応じて、被写体領域（人物領域、背景領域、および空領域）について加重加算を行う（つまり、階調補正を行う）。なお、加重加算処理は、次の式（４）および式（５）を用いて行われる。

ＭＩＸ＿ＨＵＭＡＮ＝ＢＥＦＯＲＥ＿ＨＵＭＡＮ×（１．０−ＢＨ＿ＭＩＸ＿ＲＡＴＩＯ）＋ＡＦＴＥＲ＿ＨＵＭＡＮ×ＢＨ＿ＭＩＸ＿ＲＡＴＩＯ （４）
ＭＩＸ＿ＳＫＹ＝ＢＥＦＯＲＥ＿ＳＫＹ×（１．０−ＳＨ＿ＭＩＸ＿ＲＡＴＩＯ）＋ＡＦＴＥＲ＿ＳＫＹ×ＳＨ＿ＭＩＸ＿ＲＡＴＩＯ （５）
なお、ＢＥＦＯＲＥ＿ＨＵＭＡＮは領域別マッピング処理前の人物領域を示し、ＡＦＴＥＲ＿ＨＵＭＡＮは領域別トーンマッピング処理後の人物領域を示す。また、ＢＥＦＯＲＥ＿ＳＫＹは領域別マッピング処理前の空領域を示し、ＡＦＴＥＲ＿ＳＫＹは領域別トーンマッピング処理後の空領域を示す。そして、ＭＩＸ＿ＨＵＭＡＮおよびＭＩＸ＿ＳＫＹはそれぞれ加重加算後の人物領域および空領域を示す。

上述のようにして、人物領域および空領域について加重加算を行った後、画像処理部５０３は合成画像を出力画像として出力する。

なお、上述の例では、合成画像について加重加算処理を行って出力画像として出力する例について説明したが、輝度段差ΔＢＨが第２の輝度閾値以上であるか又は輝度段差ΔＢＳが第３の輝度閾値以上であると、領域別トーンマッピング処理で得られた合成画像を加重加算することなく出力画像とするようにしてもよい。

さらに、上述の例では、背景領域の特徴量（輝度平均値）を基準として領域別トーンマッピング処理を行ったが、例えば、人物領域又は空領域の特徴量を基準として領域別トーンマッピング処理を行うようにしてもよい。

また、領域別トーンマッピング処理を行わない場合には、人物領域、背景領域、および空領域のうち主要被写体領域に露出条件が合わされた画像が出力画像とされる。

このように、本発明の実施の形態では、複数の被写体領域の間の輝度段差が所定の輝度閾値未満であると、つまり、領域別トーンマッピング処理による効果が小さいと判定すると、領域別トーンマッピング処理を行わないようにしたので、画像処理部５０３の処理負荷を軽減することができる。

さらに、複数の被写体領域（例えば、人物領域と背景領域）の間の輝度段差が上記の輝度閾値よりも大きい予め定められた輝度閾値以上であると、領域別トーンマッピングの処理を行わないようにしたので、光の回り込みによる不鮮明な領域が生じた出力画像の生成を回避することができる。そして、この際には、ストロボ発光撮像を行うようにしたので、良好に階調補正された出力画像を生成することができる。

上述の説明から明らかなように、図１および図２に示す例においては、画像処理部５０３およびシステム制御部５０４が画像処理装置として用いられる。また、画像分割部１００が分割手段として機能し、特徴量算出部１０１および判定部１０２が判定手段として機能する。そして、画像処理部５０３（階調補正部１０３）およびシステム制御部５０４が画像処理手段として機能する。さらに、システム制御部５０４は指示手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも分割ステップ、判定ステップ、および画像処理ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 画像分割部
１０１ 特徴量算出部
１０２ 判定部
１０３ 階調補正部
５０１ 撮像素子
５０２ Ａ／Ｄ変換部
５０３ 画像処理部
５０４ システム制御部
５０６ 表示部
５０８ ストロボ

Claims (10)

1. 所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置であって、
   前記入力画像を所定の複数の被写体領域に分割する分割手段と、
   前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定手段と、
   前記判定手段によって前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記判定手段によって前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々における特徴量に応じた前記被写体領域の各々の露出条件に基づいて得られた複数の画像を合成処理した合成画像を前記出力画像とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記判定手段によって前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域のうちの１つを主要被写体領域として、当該主要被写体領域の特徴量に応じた露出条件に応じて得られた画像について前記主要被写体領域以外の被写体領域に対してそのゲインを調整するゲイン処理を行って前記出力画像とすることを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴量は前記被写体領域の各々の輝度であることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記被写体領域は第１の被写体領域、第２の被写体領域、および第３の被写体領域であって、前記特徴量は前記被写体領域の各々の輝度の平均値を示す平均輝度値であり、
   前記第２の被写体領域を基準として、前記判定手段によって前記第１の被写体領域と前記第２の被写体領域との前記平均輝度値の差分が第１の輝度閾値未満で第２の輝度閾値以上である前記予め定められた範囲にあると判定されると、前記画像処理手段は前記第１の被写体領域および前記第２の被写体領域に対してトーンマッピングを行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記判定手段によって前記第１の被写体領域と前記第２の被写体領域との前記平均輝度値の差分が第１の輝度閾値以上であると判定されると、ストロボ発光による撮像を指示する指示手段を有することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段によって前記第２の被写体領域と前記第３の被写体領域との前記平均輝度値の差分が第３の輝度閾値以上であると判定されると、前記画像処理手段は前記第２の被写体領域および前記第３の被写体領域に対してトーンマッピングを行うことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記第１の被写体領域、前記第２の被写体領域、および前記第３の被写体領域はそれぞれ人物領域、背景領域、および空領域であることを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
9. 所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置の制御方法であって、
   前記入力画像を所定の複数の被写体領域に分割する分割ステップと、
   前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定ステップと、
   前記判定ステップで前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理ステップと、
   を有することを特徴とする制御方法。
10. 所定の入力画像に応じた画像処理を行って出力画像を得る画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記入力画像を所定の複数の被写体領域に分割する分割ステップと、
    前記被写体領域の各々における特徴を示す特徴量を比較してその差分又は比を得て前記差分又は比が予め定められた範囲にあるか否かを判定する判定ステップと、
    前記判定ステップで前記差分又は比が前記予め定められた範囲にあると判定されると、前記被写体領域の各々についてトーンマッピングを行って前記出力画像とする画像処理ステップと、
    を実行させることを特徴とする制御プログラム。