JP6218389B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、画像内のオブジェクト領域毎に最適なトーンマッピング処理を行うことにより、見た目に近い画像を得る画像処理技術に関する。

従来から、センサ（固体撮像素子）により被写体を撮影する撮像装置により撮影される画像の一部に、被写体に対するセンサのダイナミックレンジが不足していることにより、白とびや黒潰れが生じることが問題となっている。例えば、屋外の逆光シーンで人物を主要被写体として撮影する場合に、人物に対する空の輝度が非常に大きいと、人物を適正とする露出条件では空は全体的に白とびし、撮影者の見た目とは大きく異なる画像が出力されてしまう。

この問題に対して、ダイナミックレンジの広い画像を得る技術として、入力画像を適正露出よりも露光量の低い条件で撮像し、出力時に適正露出相当となるように階調圧縮を行う技術が提案されている。この技術によれば、アンダー露出で撮像することにより高輝度領域の飽和が抑制できるため、従来よりも階調が豊かな画像を得ることが可能となる。

しかしながら、この従来技術は、アンダー露出の画像を適正相当に出力するような特性を持つ階調変換を画像全体に対して行う。図２５は、この従来技術に係る、アンダー露出の画像を適正露出相当に出力する階調変換特性の例を示す図である。図２５に示す階調変換を行った場合、特に高輝度側に割り当てられる出力の階調が足りず、出力される画像が眠くなってしまう（概ね、コントラストが低く、明るい部分と暗い部分との差が小さい画像となる）という問題がある。従って、撮影者の見た目とは異なる画像が出力されるという課題は解決されない。

上記課題に対し、主被写体が適正な露出でない場合に、画像を主被写体領域とそれ以外の領域である背景領域に分割し、主被写体領域と背景領域のそれぞれに対して適切な輝度となるように露出を制御して撮影した２枚の画像を重み付け合成する技術が提案されている（特許文献１参照）。また、画像を所定のブロックに分割し、各ブロックに適した階調変換特性から画素補正量をそれぞれ算出し、各画素から各ブロックの中心までの距離で画素補正量を重み付けして出力信号を得る技術が提案されている（特許文献２参照）。

特開２００８−０４８２５１号公報 特開２００８−０８５６３４号公報

しかしながら、上記特許文献１に記載された技術では、画像を主被写体領域と背景領域に分けている。そのため、背景領域に空や草木、人工物等の固有の輝度レンジを持った種々の被写体が混在している場合に、これらの被写体を一括の階調変換特性で処理してしまうと、従来のような眠い画像が生成されるという問題がある。

また、上記特許文献２に記載された技術では、画像をブロック分割して階調変換特性をそれぞれ算出し、ブロック毎の距離により重み付けをして画素値を求めている。しかし、この方法では、画角内に存在する人物や空等の各オブジェクトに対し、単純なブロック分割では適切な階調制御が難しい。また、距離による補正量の重み付けを行っているため、出力される合成画像が見た目から離れてしまう可能性がある。

本発明は、画像内に存在する種々のオブジェクト毎に最適な階調処理を施すことにより、人間の見た目に近い自然な広ダイナミックレンジ画像を得ることを目的とする。

本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された入力画像を複数の被写体領域に分割する画像分割手段と、前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出手段と、前記基準露出で基準画像を取得する画像取得手段と、前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出手段により算出された対応する前記ゲインを乗じる乗算手段と、を備え、前記乗算手段によって処理された画像を出力画像とすることを特徴とする。

本発明によれば、より人間の見た目に近い、自然な広ダイナミックレンジ画像を得ることができる。

本実施形態における撮影シーンを模式的に示す図である。 本発明の第１実施形態に係る画像処理装置の概略構成を示すブロック図である。 図２の画像処理装置が有する領域別輝度算出部が実行する処理のフローチャートである。 図２の画像処理装置が有する領域別輝度算出部の動作を模式的に示す図である。 図３のステップＳ３０３〜Ｓ３０５における判定方法を模式的に示す図である。 図２の画像処理装置が有する主要被写体領域決定部が実行する処理のフローチャートである。 図６のステップＳ６０３における評価値算出処理を模式的に示す図である。 図２の画像処理装置が備える領域別露出算出部が実行する処理のフローチャートである。 図８に示す各ステップでのＢｖ値算出の一例を模式的に示す図である。 図２の画像処理装置が有する信号処理部の動作を模式的に示す図である。 図２の画像処理装置が有する画像合成部の動作を模式的に示す図である。 本発明の第２実施形態に係る画像処理装置の概略構成を示すブロック図である。 図１２の画像処理装置が有する基準露出・領域別ゲイン算出部が実行する処理のフローチャートである。 図１３のステップＳ１３０３において基準領域を決定する処理のフローチャートである。 図１４の基準領域を決定する処理に用いられる階調優先方法の処理内容を模式的に示す図である。 図１４の基準領域を決定する処理に用いられるノイズ優先方法の処理内容を模式的に示す図である。 図１３のステップＳ１３０６における基準露出と領域別ゲインの算出例を模式的に示す図である。 図１２の画像処理装置が有するゲイン処理部の動作を模式的に示す図である。 オクルージョン領域の発生を模式的に示す図である。 本発明の第３実施形態に係る画像処理装置の概略構成を示すブロック図である。 図２０の画像処理装置が有する人物移動量算出部が実行する処理のフローチャートである。 図２０の画像処理装置が有する人物移動量算出部が実行する人物移動量算出処理を模式的に示す図である。 図２０の画像処理装置が有する画像生成処理判定部が実行する処理のフローチャートである。 図２３のステップＳ２３０３における画像生成処理の決定方法を模式的に示す図である。 従来のアンダー露出の画像を適正露出相当に出力する階調変換特性の例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、本実施形態における撮影シーンを模式的に示す図である。本実施形態では、図１（ａ）に示すように、逆光の下で人物を撮影するシーンを想定する。そして、図１（ｂ）〜（ｄ）に示すように、画像を空領域（ｂ）、背景領域（ｃ）、人物領域（ｄ）の３領域に分割して、各領域に適切な露出を算出し、出力される合成画像において各領域に適切な露出が得られるように処理を行う。なお、通常、図１（ａ）に示すような逆光シーンでは、空に対して人物及び背景が極端に暗いため、人物と背景はアンダー露出で撮影される。

図２は、第１実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、露出決定部２０１、領域別露出画像撮像部２０７、信号処理部２０８、位置ズレ検出部２０９、画像位置合わせ部２１０、画像合成部２１１、画像表示部２１２及び画像記憶部２１３を有する。

露出決定部２０１は、図１（ｂ）〜（ｄ）の３領域（空領域、背景領域、人物領域）のそれぞれに対して適切な露出を決定する。露出決定部２０１は、露出算出画像撮像部２０２、露出算出用画像分割部２０３、領域別輝度算出部２０４、主要被写体領域決定部２０５及び領域別露出算出部２０６を有する。

露出算出画像撮像部２０２は、露出を決定する際に用いる画像を撮像し、取得する。以下の説明では、露出算出画像撮像部２０２が露出を決定する際に用いる画像をＡＥ用画像と称呼する。ＡＥ用画像の露出条件は、領域別輝度算出部２０４の出力する露出条件に従って決定される。但し、初期状態では、領域別輝度算出部２０４の出力は存在しないため、デフォルトの露出条件により撮像を行う。なお、デフォルトの露出条件は特に限定されないが、例えば、画像内の輝度平均値を算出し、算出した輝度平均値が所定の輝度値になるような露出条件等が挙げられる。

露出算出用画像分割部２０３は、ＡＥ用画像を、空領域、背景領域及び人物領域の３領域に分割する。ここで、分割の方法は特に問わないものとする。画像を所定領域に分割する技術の例としては、画像の特徴量と評価値を求めて、所定の領域に分割する技術がある。また、特開２００６−０３９６６６号公報に記載されているように、ニューラルネットワークを用いた画像分割の技術がある。

領域別輝度算出部２０４は、露出算出用画像分割部２０３により領域分割されたＡＥ画像を用いて、各領域の輝度を算出する。また、領域別輝度算出部２０４は、各領域の輝度値を検出し、ＡＥ用画像の露出が輝度算出に適する露出ではないと判断した場合には、露出算出画像撮像部２０２に新たなＡＥ用画像の露出値を出力し、これにより露出算出画像撮像部２０２は再撮像を行う。

図３は、領域別輝度算出部２０４が実行する処理のフローチャートである。図４は、領域別輝度算出部２０４の動作を模式的に示す図である。先ず、領域別輝度算出部２０４は、ステップＳ３０１において、着目領域を設定する。本実施形態では、画像を空領域、背景領域及び人物領域の３領域に分割しているが、着目する領域の順序は問わない。次に、領域別輝度算出部２０４は、ステップＳ３０２において、着目領域の抽出結果を読み込む。その際、図４に示すように、抽出結果のうち、特に、人物領域の抽出結果は人物の顔領域のみとする。また、抽出画像のフォーマットは、該当領域である部分を「１」、該当領域以外の部分を「０」とした画像である。例えば、空抽出画像では、空の部分が「１」となり、それ以外の部分は「０」となる。また、人物領域の場合には、人物の顔部分のみが「１」となり、人物の首から下の部分及び空領域と背景領域が「０」となる。

次に、領域別輝度算出部２０４は、ステップＳ３０３〜Ｓ３０５において、現在処理しているＡＥ画像が輝度算出に適する画像か否かを判定する。図５は、ステップＳ３０３〜Ｓ３０５における判定方法を模式的に示す図である。領域別輝度算出部２０４は、ステップＳ３０３において、着目領域の輝度ヒストグラムを生成する。次に、領域別輝度算出部２０４は、ステップＳ３０４，Ｓ３０５において、生成した輝度ヒストグラムの分布が低輝度領域又は高輝度領域に偏っているかを判定する。

この判定では、図５に示すように、低輝度領域の区間を０≦Ｙ≦Ｙ１、高輝度領域の区間をＹ２≦Ｙ≦Ｙ＿ＭＡＸと定義し、先ず、各領域に含まれる画素数ＮＬＯＷ、ＮＨＩをそれぞれ、下記式（１）、式（２）により算出する。

次に、算出したＮＬＯＷ，ＮＨＩがそれぞれ、所定の閾値Ｎ１，Ｎ２以上であるかを判定する。ＮＬＯＷ≧Ｎ１の場合（Ｓ３０４でＹＥＳ）、領域別輝度算出部２０４は、画像の輝度分布が低輝度領域に偏っており、ＡＥ用画像として適切でないと判定し（図５（ｂ））、処理をステップＳ３１０へ進める。一方、ＮＬＯＷ＜Ｎ１の場合（Ｓ３０４でＮＯ）、領域別輝度算出部２０４は、処理をステップＳ３０５へ進める。ＮＨＩ≧Ｎ２の場合（Ｓ３０５でＹＥＳ）は、領域別輝度算出部２０４は、高輝度領域に偏っており、ＡＥ用画像として適切でないと判定し（図５（ｃ））、処理をステップＳ３１１へ進める。ＮＨＩ＜Ｎ２の場合（Ｓ３０５でＮＯ）は、領域別輝度算出部２０４は、ＡＥ用画像として適切であると判定し（図５（ａ））、処理をステップＳ３０６へ進める。

次に、ステップＳ３０６において、領域別輝度算出部２０４は、着目領域の重みをセットする。ここで、「重み」とは、画像内の各画素に対して、「０」から「１」の重みを割り当てた画像であるとする。本実施形態では、図４の「重み画像２」に示すように、空領域及び人物領域に対する重みは、全画素に対して同じ値がセットされ、背景領域に対する重みは、中央部の重みを「１」とし、中央からの距離に応じて値が減衰する特性を持つものとする。

続いて、ステップＳ３０７において、領域別輝度算出部２０４は、加重平均により着目領域の輝度値Ｙａｒｅａを算出する。ステップＳ３０７で用いる加重平均の式は、着目領域の抽出画像の座標（ｉ，ｊ）に対する画素値をｗ１（ｉ，ｊ）、各重み画像の座標（ｉ，ｊ）に対する画素値をｗ２（ｉ，ｊ）とすると、下記式（３）で表される。

式（３）において、Ｙ（ｉ，ｊ）は、座標（ｉ，ｊ）に対する入力輝度値である。以下、図４に示されるように、ステップＳ３０７により得られる空領域、背景領域及び人物領域の各着目領域に対して算出した輝度値Ｙａｒｅａをそれぞれ、Ｙ＿ＳＫＹ、Ｙ＿ＢＡＣＫ及びＹ＿ＨＵＭＡＮとする。

次に、ステップＳ３０８において、領域別輝度算出部２０４は、全領域の輝度を算出したか否かを確認する。全領域の輝度を算出していない場合（Ｓ３０８でＮＯ）、領域別輝度算出部２０４は、処理をステップＳ３０９へ進め、そこで着目領域を更新した後、処理をステップＳ３０２へ戻す。一方、全領域の輝度を算出した場合（Ｓ３０８でＹＥＳ）、領域別輝度算出部２０４は、処理を終了する。

さて、ステップＳ３０４にてＡＥ用画像として適切でないと判定された場合の処理であるステップＳ３１０において、領域別輝度算出部２０４は、ＡＥ用画像の撮影回数が所定回数以上であるかを確認する。領域別輝度算出部２０４は、撮影回数が所定回数以上である場合（Ｓ３１０でＹＥＳ）、処理をステップＳ３１２へ進め、撮影回数が所定回数以上でない場合（Ｓ３１０でＮＯ）、処理をステップＳ３１３へ進める。ステップＳ３１３において、領域別輝度算出部２０４は、現在のＡＥ用画像が適正値よりもアンダー露出であると判断し、現在の撮影露出から所定の輝度段差だけオーバー露出で撮影するように露出算出画像撮像部２０２にフィードバックするという結果を出力し、その後、本処理を終了させる（ステップＳ３１３）。

また、ステップＳ３０５にてＡＥ用画像として適切でないと判定された場合の処理であるステップＳ３１１において、領域別輝度算出部２０４は、ＡＥ用画像の撮影回数が所定回数以上であるかを確認する。領域別輝度算出部２０４は、撮影回数が所定回数以上である場合（Ｓ３１１でＹＥＳ）、処理をステップＳ３１２へ進め、撮影回数が所定回数以上でない場合（Ｓ３１１でＮＯ）、処理をステップＳ３１４へ進める。ステップＳ３１４において、領域別輝度算出部２０４は、現在のＡＥ用画像が適正値よりもオーバー露出であると判断し、現在の撮影露出から所定の輝度段差だけアンダー露出で撮影するように露出算出画像撮像部２０２にフィードバックするという結果を出力し、その後、本処理を終了させる。

ステップＳ３１２において、領域別輝度算出部２０４は、例外処理を行うという結果を出力し、その後、本処理を終了させる。ここで、例外処理を行うという判定がなされた場合には、以降の処理は行われず、ストロボ撮影が行われる。

以上が領域別輝度算出部２０４の処理内容であり、領域別輝度算出部２０４の出力として、空領域、背景領域及び人物領域の各領域における輝度値Ｙ＿ＳＫＹ、Ｙ＿ＢＡＣＫ及びＹ＿ＨＵＭＡＮ、又は、露出算出画像撮像部２０２において再撮像を行う際の露出条件が生成される。

領域別輝度算出部２０４において各領域の輝度値が算出されると、主要被写体領域決定部２０５が、分割した空領域、背景領域及び人物領域の中から主要被写体領域を選択する。図６は、主要被写体領域決定部２０５が実行する処理のフローチャートである。

主要被写体領域決定部２０５は、先ず、ステップＳ６０１において、着目領域を設定し、ステップＳ６０２において、ステップＳ６０１で設定した着目領域の抽出結果を読み込む。ステップＳ６０１，Ｓ６０２の処理は、図３を参照して説明したステップＳ３０１，Ｓ３０２と略同一であるが、人物の抽出結果については、図３とは異なり、人物全体の抽出結果とする。

次に、主要被写体領域決定部２０５は、ステップＳ６０３において、着目領域の評価値を算出する。図７は、ステップＳ６０３での評価値算出処理を模式的に示す図である。図７に示すように、評価値ＶＡＬは、着目領域の面積Ｓに所定の係数ｋを乗じた値であり、下記式（４）で表される。

ここで、ｗ１（ｉ，ｊ）は、上記式（３）におけるｗ１（ｉ，ｊ）と同様に、抽出画像の座標（ｉ，ｊ）における画素値を表す。抽出画像は、座標（ｉ，ｊ）が該当領域ではｗ１（ｉ，ｊ）＝１、該当領域以外ではｗ１（ｉ，ｊ）＝０であるため、画像全域にわたって積分することにより、着目領域の面積を算出することができる。また、所定の係数ｋは、領域の面積に依らず、該当領域を重視するか否かを示す値であり、図７に示すように、各領域に対して固有の値を持つものとする。なお、所定の係数ｋは、デフォルトで固定値を設定していてもよいし、所定のシーンに応じて変化させてもよい。

次に、主要被写体領域決定部２０５は、ステップＳ６０４において、全ての領域の評価値を算出したか否かの確認を行う。評価値を未算出の領域がある場合（Ｓ６０４でＮＯ）、主要被写体領域決定部２０５は、ステップＳ６０５において着目領域を更新した後、処理をステップＳ６０２へ戻す。一方、全ての領域の評価値を算出し終わった場合（Ｓ６０４でＹＥＳ）、主要被写体領域決定部２０５は、ステップＳ６０６において、空領域、背景領域及び人物領域のうち、評価値（ＶＡＬ＿ＳＫＹ、ＶＡＬ＿ＢＡＣＫ、ＶＡＬ＿ＨＵＭＡＮ）の最も大きい領域を主要被写体領域とする。

以上が主要被写体領域決定部２０５の処理内容であり、主要被写体領域決定部２０５からの出力として、空領域、背景領域及び人物領域に分割されたこれらの領域の中から主要被写体領域が決定される。

本実施形態では、分割された領域毎に露出を変化させて、１枚の合成画像を生成する。ここで、分割された領域毎に設定される露出は、各領域に対する適正露出とは異なる。この理由は、各領域を適正露出で撮影した場合、後述の合成処理（各領域に適した露出で撮影されている画像を切り替えて出力）で得られる画像において分割された領域間の輝度の連続性が失われ、嵌め込み合成画像のような不自然な画像となってしまうからである。

従って、領域毎に設定される露出は、各領域の明るさを算出した後、主要被写体領域とそれ以外の着目領域との明るさの関係を考慮して求める必要があり、以降、このような露出を各領域に対する「適切な露出」と称呼する。

領域別露出算出部２０６は、着目領域毎に適切な露出を算出する。図８は、領域別露出算出部２０６が実行する露出算出処理のフローチャートである。図９は、図８に示す各ステップでのＢｖ値算出の一例を模式的に示す図である。

先ず、図８に不図示であるが、領域別露出算出部２０６は、各領域の明るさをＢｖ値で求める。ここで、「Ｂｖ値」とは、露出制御の際に被写体の明るさを表す数値であり、Ｂｖ値が１だけ増加すると明るさは２倍となるように、明るさに対して対数的な特性を持つ。

領域別露出算出部２０６は、ステップＳ８０１において、領域別輝度算出部２０４で算出した各領域の輝度値Ｙ＿ＳＫＹ、Ｙ＿ＢＡＣＫ及びＹ＿ＨＵＭＡＮと、予め設定された適正露出相当における各領域の目標輝度値Ｙ＿ＴＡＲＧＥＴ＿ＳＫＹ、Ｙ＿ＴＡＲＧＥＴ＿ＢＡＣＫ及びＹ＿ＴＡＲＨＥＴ＿ＨＵＭＡＮとから、各領域に対する補正Ｂｖ値を算出する。

なお、本実施形態において「補正Ｂｖ値」という名称を用いるのは以下の理由による。即ち、領域別輝度は領域別輝度算出部２０４によりＡＥ用画像から算出されたものであり、領域別輝度を目標輝度値にするように露出条件を制御する際には、そのＡＥ用画像の露出条件からの補正量を計算するからである。

また、ＡＥ用画像の露出条件と、ＡＥ用画像の露出条件において適正に撮影されるＢｖ値とは１対１で対応しており、絞り値、シャッタ速度、撮影感度の露出条件が定まれば、ＡＥ用画像の露出条件で適正露出となるＢｖ値は一意に決定する。そして、Ｂｖ値に対する適切な露出条件の制御方法は、本実施形態では撮像装置において予め設定されており、特定のＢｖ値を持った被写体を適正露出相当で撮影する露出条件も一意に決定されるものとする。ここで、予め設定された撮像条件の特徴としては、Ｂｖ値に応じて、シャッタ速度と感度のみで露出条件を制御するものとする。この理由は、絞り値を変更して複数枚撮影を行うと、撮影画像間でボケ味が変化し或いは像倍率が変わる等の現象が生じ、合成画像の画質劣化を起こす可能性があるので、これを回避するためである。

空領域、背景領域及び人物領域のそれぞれの補正Ｂｖ値を、ΔＢｖ＿ＳＫＹ、ΔＢｖ＿ＢＡＣＫ及びΔＢｖ＿ＨＵＭＡＮとすると、これらは、上記の定義により図９に示すように、下記式（５）〜（７）から算出することができる。

ここで、ΔＢｖ＿ＳＫＹとΔＢｖ＿ＢＡＣＫは、図９に示すように、ＡＥ用画像の露出条件が示すＢｖ値（Ｂｖ＿ＣＡＰＴＵＲＥ）からの補正量である。従って、ステップＳ８０２において、領域別露出算出部２０６は、各領域の明るさＢｖ＿ＳＫＹ、Ｂｖ＿ＢＡＣＫ及びＢｖ＿ＨＵＭＡＮを下記式（８）〜（１０）から算出することができる。

続いて、前述した合成画像における不自然さに対する対策として、ステップＳ８０３において、領域別露出算出部２０６は、ステップＳ８０２において算出されたＢｖ＿ＳＫＹ、Ｂｖ＿ＢＡＣＫ及びＢｖ＿ＨＵＭＡＮに対して下記式（１１）〜（１４）による処理を行う。

ここで、Ｂｖ＿ＭＡＩＮは、主要被写体領域のＢｖ値である。そして、Ｂｖ＿ＳＫＹ＿ＯＵＴ、Ｂｖ＿ＢＡＣＫ＿ＯＵＴ及びＢｖ＿ＨＵＭＡＮ＿ＯＵＴをそれぞれ、空領域、背景領域及び人物領域の「出力Ｂｖ値」と称呼する。

本実施形態では、主要被写体領域は背景領域であると仮定する。よって、上記式は、主要被写体領域のＢｖ値を基準として、他の領域（空領域及び人物領域）のＢｖ値をＢｖ＿ＭＡＩＮの値に近づける制御を行っていることを意味する。

次に、領域別露出算出部２０６は、ステップＳ８０４において、各領域の出力Ｂｖ値から各領域の露出条件を決定する。ステップＳ８０４で決定される露出条件は、前述の通り、絞り値、シャッタ速度及び撮影感度で定められ、且つ、前述の予め設定された制御方法により出力Ｂｖ値から決定されるものとする。

以上が領域別露出算出部２０６の処理内容であり、領域別露出算出部２０６の出力として、各領域に対して適切な露出条件が算出され、決定された露出条件が露出決定部２０１の出力となる。

領域別露出画像撮像部２０７は、領域別露出算出部２０６により決定された露出条件により撮像動作を行う。本実施形態では、空、背景及び人物に適切な露出で、計３枚の画像を撮像する。以下、これら３枚の画像をそれぞれ、「空露出画像」、「背景露出画像」、「人物露出画像」と称呼することとし、これらを総称して「領域別露出画像」と称呼する。

信号処理部２０８は、領域別露出画像撮像部２０７において撮像された、空露出画像、背景露出画像、人物露出画像に対して所定の信号処理を行う。図１０は、信号処理部２０８の動作を模式的に示す図である。図１０に示すように、信号処理部２０８が行う信号処理は２通りあり、以下、各信号処理を「信号処理１」、「信号処理２」と称呼する。

信号処理１は、位置ズレ検出の入力画像を生成する処理である。入力される各領域の露出画像は、当然ながら、輝度レベルが異なっている。しかし、後述の位置ズレ検出処理においては、入力画像の輝度レベルが揃っていることが望ましいため、信号処理１では、入力画像の輝度レベルをゲインで合わせる処理を行う。また、信号処理１では、所定の階調変換処理やノイズリダクション処理等も実施される。

以下、図１０に示すように、信号処理１で処理された画像をそれぞれ、「位置ズレ検出用空画像」、「位置ズレ検出用背景画像」、「位置ズレ検出用人物画像」と称呼し、総称して「位置ズレ検出用画像」と称呼する。この位置ズレ検出用画像は、位置ズレ検出部２０９へ出力される。なお、本件では、空露出画像、背景露出画像、人物露出画像のどの露出の画像に対して輝度レベルを合わせるかについては、特に限定されない。

信号処理２は、合成用の画像を生成する処理である。従って、信号処理１のような輝度レベルを合わせる処理は行わず、所定の階調変換処理やノイズリダクション処理等の信号処理を行って画像を出力する。以下、図１０に示すように、信号処理２で処理された画像をそれぞれ、「合成用空画像」、「合成用背景画像」、「合成用人物画像」と称呼し、総称して「合成用画像」と称呼する。この合成用画像は、画像位置合わせ部２１０へ出力される。

位置ズレ検出部２０９は、位置ズレ検出用画像間の位置ズレを検出する。領域別露出画像撮像部２０７により撮像される領域別露出画像間には、手振れによる位置ズレが含まれているため、合成処理を行うにあたって位置ズレの補正処理が必要となり、ここでは、位置ズレを表すパラメータとして射影変換係数を用いることとする。

本実施形態では、位置ズレ検出の手法として、画像を複数のブロックに分割し、分割したブロックから基準画像に対する動きベクトルを算出し、算出した動きベクトル群の情報を用いて、最小二乗法で射影変換係数の推定を行う等の既存の技術を使用する。ここで、「基準画像」とは、主要被写体領域に対する露出で撮像された画像である。本実施形態では、前述の通り、主要被写体領域は背景領域であると仮定しているため、基準画像は位置ズレ検出用背景画像となる。よって、位置ズレ検出部２０９の出力として、位置ズレ検出用背景画像に対して、位置ズレ検出用空画像の位置ズレパラメータＨ１と、位置ズレ検出用人物画像の位置ズレパラメータＨ２が算出される。

画像位置合わせ部２１０は、合成用画像の位置合わせを行う。画像位置合わせ部２１０は、具体的には、位置ズレパラメータＨ１，Ｈ２を用いて合成用空画像及び合成用人物画像の変形を行う。この変形処理により、画像位置合わせ部２１０の出力として、合成用背景画像に対して位置合わせされた合成用空画像と合成用人物画像とが得られる。

画像合成部２１１は、画像位置合わせ部２１０において位置合わせされた合成用画像を合成し、１枚の合成画像を生成する。図１１は、画像合成部２１１の動作を模式的に示す図である。画像合成部２１１へは、位置合わせ済みの合成用画像３枚と３値画像１枚の計４枚の画像が入力される。ここで、「３値画像」とは、空領域、背景領域及び人物領域の各領域に対してそれぞれ、別の値を割り当てた画像である。本実施形態では、空領域に「２」、背景領域に「１」、人物領域に「０」の値を割り当てることとする。また、３値画像は、位置合わせ部２１０において位置合わせの基準となった画像から生成される。そのため、本実施形態では合成用背景画像から３値画像を生成する。さらに、３値画像を生成するために必要となる領域分割方法は、露出算出用画像分割部２０３についての説明で述べたように、本実施形態において特に限定されない。

図１１に示すように、合成画像は、３値画像の値に基づいて、合成用画像を切り替えて出力される。空領域には合成用空画像を、背景領域には合成用背景画像を、人物領域には合成用人物画像をそれぞれ出力し、合成画像を生成する。

以上が画像合成部２１１の処理内容であり、画像合成部２１１の出力として、空領域、背景領域及び人物領域の各領域のそれぞれにおいて適切な露出となっている合成画像が生成される。こうして画像合成部２１１において生成された合成画像は、画像表示部２１２及び画像記憶部２１３に送られる。画像表示部２１２は合成画像を表示し、画像記憶部２１３は合成画像の画像データを記憶する。

以上の説明の通り、本実施形態によれば、画像を所定の領域に分割し、各領域間の明るさ（輝度）の関係からそれぞれの領域に適切な露出条件を求め、求めた露出条件で撮像した複数枚の画像を合成して、合成画像を得る。そのため、画像全体を所定の階調変換特性で階調圧縮する従来の方法と比較して、より見た目に近い広ダイナミックレンジ画像を得ることができる。
＜第２実施形態＞
第１実施形態では、画像を分割した各領域に対して適切となる露出条件を求め、求めた露出条件で複数枚の画像を撮像して合成することにより、所望の合成画像を得た。これに対して、第２実施形態では、複数枚撮像を行わず、１枚の画像から所望の画像を生成する。この所望の画像は、各被写体領域に対して露出条件が異なるものであるので、１枚の画像から同様の画像を生成するために、各被写体領域に対して異なるゲインを乗じる処理を行う。

図１２は、第２実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、基準露出・ゲイン決定部１２０１、基準露出画像撮像部１２０６、ゲイン処理部１２０７、信号処理部１２０８、画像表示部１２０９及び画像記憶部１２１０を有する。そして、基準露出・ゲイン決定部１２０１は、露出算出画像撮像部１２０２、露出算出用画像分割部１２０３、領域別輝度算出部１２０４及び基準露出・領域別ゲイン算出部１２０５を有する。

基準露出・ゲイン決定部１２０１における、露出算出画像撮像部１２０２、露出算出用画像分割部１２０３及び領域別輝度算出部１２０４の処理は、第１実施形態の露出決定部２０１における露出算出画像撮像部２０２、露出算出用画像分割部２０３及び領域別輝度算出部２０４の処理と同じである。よって、ここでは、基準露出・領域別ゲイン算出部１２０５による処理以降の処理について説明することとする。

図１３は、基準露出・領域別ゲイン算出部１２０５が実行する処理のフローチャートである。ステップＳ１３０１〜Ｓ１３０２の処理は、図８のステップＳ８０１〜Ｓ８０２の処理と同じであるため、その説明を省略し、ステップＳ１３０３以降の処理について以下に説明する。

基準露出・領域別ゲイン算出部１２０５は、ステップＳ１３０３において、基準領域を決定する。「基準領域」とは、撮像する１枚の画像の露出条件を決定するための基準となる領域である。図１４は、ステップＳ１３０３において基準領域を決定する処理のフローチャートである。基準領域を決定する方法としては、本実施形態、（α）面積優先方法、（β）階調優先方法、（γ）ノイズ優先方法を用いることができる。

まず、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０１において、決定方法が面積優先方法であるか否かを判定する。「面積優先方法」とは、第１実施形態における主要被写体領域決定部２０５の処理と同じく、各領域の面積に所定の係数を乗じた値を評価値とし、求めた評価値から主要被写体領域を決定し、決定した主要被写体領域を基準領域とする方法である。従って、決定方法が面積優先方法の場合（Ｓ１４０１でＹＥＳ）、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０２において、主要被写体領域決定部２０５と同じ処理を行い、主要被写体領域を決定する。その後、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０３において、ステップＳ１４０２で決定した主要被写体領域を基準領域とし、本処理を抜ける。

決定方法が面積優先方法ではない場合（Ｓ１４０１でＮＯ）、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０４において、決定方法が階調優先方法であるか否かを判定する。図１５は、階調優先方法の処理内容を模式的に示す図である。階調優先方法では、適正Ｂｖ値の最も高い領域を基準領域とする。図１５の例では、基準領域は空領域となる。この場合、空領域が白とびを起こさないように撮影を行った場合には、背景領域と人物領域は、適切な明るさよりもアンダー露出で撮影されることが多い。従って、背景領域と人物領域に適切なゲインを乗じることによって、背景領域と人物領域を所望の輝度レベルに制御することができ、階調が保持されるという利点がある。よって、階調優先方法である場合（Ｓ１４０４でＹＥＳ）、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０５において、適正Ｂｖ値が最も大きい領域を基準領域とする。

決定方法が階調優先方法でない場合（Ｓ１４０４でＮＯ）、ノイズ優先方法が用いられることとなる。「ノイズ優先方法」とは、画像に乗じるゲイン量の上限値を設定し、ゲイン量がこの上限値を上回らないように基準領域を設定する方法である。ここで、ゲイン量の上限値は、センサの分解能及びノイズレベルと画像として許容できるノイズ量との関係から決定される。ゲイン量は、分割された領域間のＢｖ差から算出されるため、ゲイン量の上限が設定されると、Ｂｖ差の許容量を算出することができる。以下、Ｂｖ差の許容量を「Ｂｖ差閾値」と称呼する。

図１６は、ノイズ優先方法の処理内容を模式的に示す図である。基準露出・領域別ゲイン算出部１２０５は、ノイズ優先方法を用いる場合、先ず、ステップＳ１４０６において、適正Ｂｖ値が最も大きい領域を着目領域とする。図１６の例では、最初の着目領域は空領域となる。次に、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０７において、適正Ｂｖ値が最も小さい領域を目標領域とする。図１６の例では、目標領域は人物領域となる。

次に、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４０８において、着目領域の適正Ｂｖ値と目標領域の適正Ｂｖ値との差分を求める。この差分は、着目領域を適切に撮影した画像に乗じるゲイン量の最大値に対応する。そこで、基準露出・領域別ゲイン算出部１２０５は、同ステップ１４０８において、求めた差分がＢｖ差閾値以上であるか否かを判定する。

基準露出・領域別ゲイン算出部１２０５は、差分がＢｖ差閾値よりも小さい場合（Ｓ１４０８でＮＯ）、ゲインの最大値がゲイン量の上限よりも小さいと判断し、処理をステップＳ１４０９へ進める。ステップＳ１４０９において、基準露出・領域別ゲイン算出部１２０５は、現在の着目領域を基準領域とする。図１６（ａ）の例では、空領域の適正Ｂｖ値（Ｂｖ＿ＳＫＹ）と、目標領域である人物領域の適正Ｂｖ値（Ｂｖ＿ＨＵＭＡＮ）との差がＢｖ差閾値よりも小さいため、空領域が基準領域となる。

一方、差分がＢｖ差閾値以上である場合（Ｓ１４０８でＹＥＳ）、基準露出・領域別ゲイン算出部１２０５は、ゲインの最大値がゲイン量の上限よりも大きいと判断し、処理をステップＳ１４１０へ進める。ステップＳ１４１０において、基準露出・領域別ゲイン算出部１２０５は、着目領域を変更する。ここで、変更する着目領域は、現在の着目領域の次に適正Ｂｖ値が大きい領域とする。図１６の例では、空領域の次の着目領域は背景領域となる。

ステップＳ１４１０の後、ステップＳ１４１１において、基準露出・領域別ゲイン算出部１２０５は、着目領域が目標領域と等しいか否かを判定する。着目領域が目標領域と等しくない場合（Ｓ１４１１でＮＯ）、処理はステップＳ１４０８へ戻され、変更した着目領域と目標領域に対してステップＳ１４０８の判定処理が行われる。図１６（ｂ）の例では、空領域と人物領域のＢｖ差はＢｖ差閾値以上であるが、背景領域の適正Ｂｖ値（Ｂｖ＿ＢＡＣＫ）と目標領域である人物領域の適正Ｂｖ値（Ｂｖ＿ＨＵＭＡＮ）との差がＢｖ差閾値よりも小さいため、基準領域は背景領域となる。

一方、着目領域が目標領域と等しくない場合（Ｓ１４１１でＹＥＳ）、どの領域に対しても目標領域とのＢｖ差がＢｖ差閾値以上であるため、着目領域は最終的に目標領域に行き着く。この場合、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１４１２において、例外処理としてストロボ発光処理を行う。図１６（ｃ）の例では、空領域及び背景領域と人物領域とのＢｖ差がいずれもＢｖ差閾値以上であるため、例外処理となる。

なお、例えば、図１６（ｂ）の場合において背景領域を基準領域とした場合、背景領域を適切に撮影した画像では、空領域はオーバー露出で撮影される。従って、空領域を適切な輝度に制御するには、ゲインダウンを行う必要がある。しかし、ベイヤーの入力画像にゲインを乗じる場合にゲインダウンを行うと、飽和部の色バランスが崩れ、画像に予期せぬ色がつく現象が生じる。従って、ゲインダウンは行わず、空部分はオーバー露出のまま出力される。この場合、階調優先方法において空を基準領域にした場合と比較すると、階調性は失われることになる。

上述した基準領域を決定するための３つの方法（（α）〜（γ））のうちのどの方法を用いるかは、画像処理装置内で予め１つの方法を選択しておいてもよいし、撮影シーンによって適応的に切り替えてもよく、また、ユーザによって選択されるようにしてもよい。

こうして基準領域が決定されると、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１３０４において、各領域の出力Ｂｖ値を算出する。本実施形態では、基準領域の適正Ｂｖ値をＢｖ＿ＭＡＩＮとし、おいて、上記式（１２）〜（１４）により、各領域の出力Ｂｖ値であるＢｖ＿ＳＫＹ＿ＯＵＴ、Ｂｖ＿ＢＡＣＫ＿ＯＵＴ及びＢｖ＿ＨＵＭＡＮ＿ＯＵＴを算出する。

次に、基準露出・領域別ゲイン算出部１２０５は、ステップＳ１３０５において、ステップＳ１３０４にて算出した出力Ｂｖ値の中で、基準領域の出力Ｂｖ値を基準Ｂｖ値とし、この基準Ｂｖ値に対応する露出条件を基準露出とする。本実施形態では、基準領域は背景領域であると仮定する。従って、基準露出は、背景領域の出力Ｂｖ値に対応する露出条件となる。

続くステップＳ１３０６において、基準露出・領域別ゲイン算出部１２０５は、各領域に乗じるゲインを算出する。図１７は、ステップＳ１３０６における基準露出と領域別ゲインの算出例を模式的に示す図である。図１７に示すように、基準領域の出力Ｂｖ値をＢｖ＿ＳＴＤ＿ＯＵＴとおくと、各領域に乗じるゲイン量ＧＡＩＮ＿ＳＫＹ，ＧＡＩＮ＿ＢＡＣＫ，ＧＡＩＮ＿ＨＵＭＡＮは、下記式（１５）〜（２１）により算出することができる。

なお、上記式（１５）〜（１８）は、ゲイン量を算出するための中間式であり、ΔＢｖ＿ＳＫＹ＿ＯＵＴ、ΔＢｖ＿ＢＡＣＫ＿ＯＵＴ及びΔＢｖ＿ＨＵＭＡＮ＿ＯＵＴはそれぞれ、基準Ｂｖ値と各領域のＢｖ値との差分である。

図１７の例では、ΔＢｖ＿ＳＫＹ＿ＯＵＴ＜０、ΔＢｖ＿ＢＡＣＫ＿ＯＵＴ＝０、ΔＢｖ＿ＨＵＭＡＮ＿ＯＵＴ＞０の関係が成立するため、ＧＡＩＮ＿ＳＫＹ＜１、ＧＡＩＮ＿ＢＡＣＫ＝１、ＧＡＩＮ＿ＨＵＭＡＮ＞１となる。

背景領域の出力Ｂｖ値を適正にするような露出で撮像を行うと、背景領域よりもＢｖ値の大きい（背景よりも明るい）空領域は、適切な露出条件よりもオーバー露出で撮像され、背景よりＢｖ値の小さい（背景よりも暗い）人物領域は、適切な露出条件よりもアンダー露出で撮像される。従って、ゲインの定性的な説明として、空領域及び人物領域を適切な明るさに制御するために乗じるゲインとしては、空領域では１未満、人物領域では１以上の値が適当であり、当然ながら、背景領域に乗じるゲインは１倍が適当である。図１７に示すように、ゲインが１倍未満となる場合には、ゲインを等倍にする。その理由は前述の通りである。即ち、本実施形態では、空領域のゲインＧＡＩＮ＿ＳＫＹは１になる。

以上が基準露出・領域別ゲイン算出部１２０５の処理内容であり、基準露出・領域別ゲイン算出部１２０５の出力として、基準露出と、各領域に乗じるゲイン量が決定される。決定された基準露出とゲイン量は、基準露出・ゲイン決定部１２０１の出力となる。

基準露出画像撮像部１２０６は、基準露出・ゲイン決定部１２０１から出力された基準露出で１枚の基準露出画像を撮像する。図１８は、ゲイン処理部１２０７の動作を模式的に示す図である。ゲイン処理部１２０７への入力は、３領域（空領域、背景領域、人物領域）のゲインと、基準露出画像及び３値画像である。ここで、３値画像は、第１実施形態における３値画像と同じ画像で、人物領域に「０」、背景領域に「１」、空領域に「２」が割り当てられた画像である。

図１８に示すように、ゲイン画像は、３値画像の値に基づいて基準露出画像に乗じるゲインの値を切り替えることによって生成される。ゲイン処理部１２０７は、基準露出画像に対して、空領域にＧＡＩＮ＿ＳＫＹを、背景領域にＧＡＩＮ＿ＢＡＣＫを、人物領域にＧＡＩＮ＿ＨＵＭＡＮをそれぞれ乗算し、ゲイン画像を生成する。

以上がゲイン処理部１２０７の処理内容であり、ゲイン処理部１２０７の出力として、各領域に適切なゲインが乗算されたゲイン画像が生成される。

信号処理部１２０８は、ゲイン処理部１２０７から出力されるゲイン画像に対して、所定の階調変換処理やノイズリダクション処理等の信号処理を行う。信号処理部１２０８において信号処理が行われた画像が、最終的な画像（出力画像）として画像表示部１２０９と画像記憶部１２１０に送られる。画像表示部１２０９は出力画像を表示し、画像記憶部２１３は出力画像の画像データを記憶する。

以上説明したように、本実施形態によれば、画像を所定の領域に分割し、各領域間の明るさの関係から基準となる露出条件を求め、基準となる露出条件で撮像した画像に対して各領域に適切なゲイン処理を行うことで、最終的な出力画像を得る。従って、画像全体を所定の階調変換特性で階調圧縮する従来の方法と比較して、より見た目に近い広ダイナミックレンジ画像を得ることができる。

＜第３実施形態＞
第１実施形態では、露出を変えて複数枚の画像を撮影し、得られた複数の画像を合成して所望の合成画像を得た。以下、この方法を「複数枚処理」と称呼する。また、第２実施では、１枚の画像を撮影し、撮影画像に領域毎に異なるゲインを乗じることで所望の画像を得た。以下、この方法を「１枚処理」と称呼する。

複数枚処理と１枚処理には、最終的に得られる画像の画質に与える影響という観点から、それぞれメリットとデメリットがある。複数枚処理については、感度を変えずにシャッタ速度を変化させて露出制御を行うことで、合成画像の各領域間におけるノイズ量を小さく、且つ、均一にすることができる。しかし、特に人物が動いている場合には、背景領域や空領域の一部に人物が出力されてしまう領域（以下「オクルージョン領域」と称呼する）が発生するという問題がある。図１９は、オクルージョン領域の発生を模式的に示す図である。一方、１枚処理の場合、オクルージョン領域は発生しない。しかし、１枚処理では領域毎にゲインを変えて処理するため、領域間のノイズの程度が変わってしまうという問題や、ゲインを強く乗じた領域でノイズ量が大きくなって画質が損なわれるという問題がある。

従って、最終的に得られる画像の画質を向上させるためには、これら２種類の処理を適応的に使い分けることが好ましいと考えられる。そこで、第３実施形態では、複数枚処理（第１の画像生成方法）と１枚処理（第２の画像生成方法）とを被写体の状態に応じて使い分ける。本実施形態では、被写体の状態として、ノイズ量に対応するものとして領域間の輝度差を、オクルージョン領域に対応するものとして人物の移動量を考えることとする。

図２０は、第３実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、露出算出画像撮像部２００１、露出算出用画像分割部２００２、領域別輝度算出部２００３、人物移動量算出部２００４及び画像生成処理判定部２００５を備える。また、この画像処理装置は、複数枚処理部２００６、１枚処理部２００７、画像表示部２００８及び画像記憶部２００９を備える。

露出算出画像撮像部２００１、露出算出用画像分割部２００２及び領域別輝度算出部２００３での処理は、第１実施形態の露出決定部２０１における露出算出画像撮像部２０２、露出算出用画像分割部２０３及び領域別輝度算出部２０４での処理と同じである。よって、ここでは、人物移動量算出部２００４による処理以降の処理について説明する。

図２１は、人物移動量算出部２００４が実行する処理のフローチャートである。また、図２２は、人物移動量算出部２００４が実行する人物移動量算出処理を模式的に示す図である。

先ず、人物移動量算出部２００４は、ステップＳ２１０１において、人物の顔が存在するか否かを判定する。この判定は、ＡＥ用画像及び前画像において顔検出が成功したか否かで判定する。ここで、「前画像」は、図２２に示すように、ＡＥ用画像を複数回撮影した場合（図３のＳ３１３，Ｓ３１４を経由した場合）は、ＡＥ用画像が確定する１つ前のタイミングで撮影されたＡＥ用画像となる。また、「前画像」は、ＡＥ用画像を１回しか撮影していない場合は、ＡＥ用画像を撮影する直前のタイミングでＥＶＦ（電子ビューファインダ）表示用として撮影された画像となる。

次に、人物移動量算出部２００４は、人物の顔が存在する場合（Ｓ２１０１でＹＥＳ）、処理をステップＳ２１０２へ進め、人物の顔が存在しない場合（Ｓ２１０１でＮＯ）、処理をステップＳ２１０３へ進める。ステップＳ２１０２において、人物移動量算出部２００４は、顔検出の履歴から人物移動量を求める。本実施形態では、顔検出の結果、少なくとも顔領域の開始座標が出力されるとする。図２２に示すように、前画像の顔領域の開始座標とＡＥ用画像の顔領域の開始座標の差分を示すベクトルを「ＭＶ＿ＦＡＣＥ」とすると、人物移動量はＭＶ＿ＦＡＣＥの大きさで算出される。

一方、ステップＳ２１０３において、人物移動量算出部２００４は、人物移動量に「０」をセットする。なお、人物の顔が複数個検出された場合には、主要人物と思われる顔を判定し、こうして判定された顔情報を用いて人物移動量の算出を行う。

以上が人物移動量算出部２００４の処理内容であり、人物移動量算出部２００４から人物移動量の値が出力される。

図２３は、画像生成処理判定部２００５が実行する処理のフローチャートである。画像生成処理判定部２００５は、先ず、ステップＳ２３０１〜Ｓ２３０２において、各領域の適正Ｂｖ値を算出する。この処理は、第１実施形態で説明したステップＳ８０１〜Ｓ８０２の処理と同じであるため、ここでの説明を省略する。

次に、画像生成処理判定部２００５は、ステップＳ２３０３において、画像生成処理の決定を行う。ここで、「画像生成処理の決定」とは、複数枚処理又は１枚処理のいずれを用いるかを決定することである。

図２４は、画像生成処理の決定方法を模式的に示す図である。画像生成処理の決定には、図２４に示すように、人物移動量及び適正Ｂｖ値の最大値と最小値の差ΔＢｖを用いる。例えば、図１５の例では、適正Ｂｖ値が最大となる領域は空領域であり、最小となる領域は人物領域であるため、ΔＢｖ＝Ｂｖ＿ＳＫＹ−Ｂｖ＿ＨＵＭＡＮで算出される。

ΔＢｖが小さいほど画像に乗じるゲイン量が小さくなり、１枚処理においても画質の劣化が小さいと考えられるため、ΔＢｖが所定の閾値ＴＨ＿ΔＢｖよりも小さい場合には、１枚処理を行う。また、複数枚処理のデメリットであるオクルージョン領域については、人物移動量が小さいほど、画質に与える影響は小さくなると考えられる。そのため、ΔＢｖが所定の閾値ＴＨ＿ΔＢｖよりも大きく、人物移動量が所定の閾値ＴＨ＿ＭＶよりも小さい場合に、複数枚処理を行う。また。ΔＢｖが所定の閾値ＴＨ＿ΔＢｖよりも大きく、人物移動量が所定の閾値ＴＨ＿ＭＶよりも大きい場合には、第２実施形態において説明したノイズ優先方法を用いて１枚処理を行う。その理由は、１枚処理によってオクルージョン領域の発生を防ぐことができ、さらにノイズ優先方法を用いることによって許容量よりも大きなゲインがかかることを抑制できるからである。

以上が、画像生成処理判定部２００５の処理内容であり、画像生成処理判定部２００５において、複数枚処理を行うか１枚処理を行うかの決定がなされる。

画像生成処理判定部２００５が複数枚処理を行うと判定した場合、複数枚処理部２００６が複数枚合成処理を行い、出力画像としての合成画像を生成する。なお、複数枚処理部２００６は、第１実施形態に係る画像処理装置の主要被写体領域決定部２０５から画像合成部２１１までの処理と同一の処理を行う。一方、画像生成処理判定部２００５が１枚処理を行うと判定した場合、１枚処理部２００７が１枚処理で出力画像を生成する。なお、１枚処理部２００７は、第２実施形態に係る画像処理装置の基準露出・領域別ゲイン算出部１２０５から信号処理部１２０８までの処理と同一の処理を行う。

最後に、複数枚処理部２００６又は１枚処理部２００７において生成された出力画像が、画像表示部２００８及び画像記憶部２００９に送られる。

以上説明したように、本実施形態によれば、領域毎の基準Ｂｖ値の差ΔＢｖと人物移動量の値とに基づいて複数枚処理を行うか１枚処理を行うかを判定する。従って、複数枚処理と１枚処理のそれぞれのメリットを生かして出力画像を生成することができ、いずれかの処理に固定した場合と比較して、出力画像の画質向上を図ることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０１ 露出決定部
２０２，１２０２，２００１ 露出算出画像撮像部
２０３，１２０３，２００２ 露出算出用画像分割部
２０４，１２０４，２００３ 領域別輝度算出部
２０５ 主要被写体領域決定部
２０６ 領域別露出算出部
２０７ 領域別露出画像撮像部
２０８，１２０８ 信号処理部
２１１ 画像合成部
１２０１ 基準露出・ゲイン決定部
１２０５ 基準露出・領域別ゲイン算出部
１２０６ 基準露出画像撮像部
１２０７ ゲイン処理部
２００４ 人物移動量算出部
２００５ 画像生成処理判定部
２００６ 複数枚処理部
２００７ １枚処理部

Claims (3)

1. 画像を入力する画像入力手段と、
   前記画像入力手段により入力された入力画像を複数の被写体領域に分割する画像分割手段と、
   前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出手段と、
   前記基準露出で基準画像を取得する画像取得手段と、
   前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出手段により算出された対応する前記ゲインを乗じる乗算手段と、を備え、
   前記乗算手段によって処理された画像を出力画像とすることを特徴とする画像処理装置。
2. 前記画像分割手段は、前記入力画像を、人物領域、背景領域、空領域の３領域に分割することを特徴とする請求項１に記載の画像処理装置。
3. 画像処理装置による画像処理方法であって、
   画像を入力する画像入力ステップと、
   前記画像入力ステップにおいて入力された入力画像を複数の被写体領域に分割する画像分割ステップと、
   前記複数の被写体領域のうちで主要被写体に対応する領域を基準領域として設定し、前記基準領域の輝度値に基づいて基準露出を算出するとともに、前記基準領域以外の前記複数の被写体領域のそれぞれについて前記基準領域との輝度値の差分に基づいてゲインを算出するゲイン算出ステップと、
   前記基準露出で基準画像を取得する画像取得ステップと、
   前記基準画像に含まれる前記複数の被写体領域のそれぞれに前記ゲイン算出ステップにより算出された対応する前記ゲインを乗じる乗算ステップと、を有し、
   前記乗算ステップによって処理された画像を出力画像とすることを特徴とする画像処理方法。