JP2024071082A - 撮像装置及びその制御方法とプログラム - Google Patents

Abstract

【課題】撮影シーンに応じたダイナミックレンジを有する深度合成画像を生成する。【解決手段】撮像装置１００の制御部１０１は、撮像部１０４によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定し、決定した評価領域における深度情報を取得し、評価領域の領域内にある全ての被写体がそれぞれ、深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、ＨＤＲ撮影での撮影条件を決定する。制御部１０１は、決定した撮影条件でＨＤＲ撮影を行い、撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成し、更に複数のＨＤＲ画像の深度合成を行って深度合成画像を生成する。【選択図】図３

Description

本発明は、撮像装置及びその制御方法とプログラムに関し、特にピント位置の異なる画像を撮影して合成する技術に関する。

デジタルカメラ等の撮像装置で大きく離れた複数の被写体を撮像する場合や奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために一部の被写体又は被写体の一部にしかピントを合わせることができないことがある。このような問題に対して特許文献１は、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して撮像領域全体にピントが合っている１枚の合成画像（以下「深度合成画像」という）を生成する技術（以下「深度合成技術」という）を開示している。

深度合成技術を活用することで、例えば、風景撮影では、花や木、岩や海等の前景だけでなく、空や雲、山、遠くに見える建物等の背景にもピントが合った風景画像を得ることができる。また、腕時計や宝石、昆虫等の主被写体が存在する、所謂、物撮りでは、主被写体全体にピントの合った画像を得ることができる。

ここで、深度合成画像においても、被写体の明るさが適正であることが望ましい。そこで、例えば特許文献２は、深度合成に用いる複数の画像に対して主被写体の領域とそれ以外の領域を設定し、各領域の階調を補正する技術を開示している。

特開２０１５－２１６５３２号公報 特開２０２２－７７５９１号公報

例えば、日向と日陰が混在するシーンでの風景撮影や、暗いテーブルや台座に置かれた腕時計や宝石に光が当たっているシーンでの物撮りでは、明暗差が大きいために、撮影画像に白飛びや黒潰れが発生することが多々ある。上記特許文献２に記載された技術では、主被写体にゲインをかけることで主被写体とそれ以外の領域をそれぞれ適切な明るさに補正することができるが、明暗差の大きいシーンを撮影する際に白飛びや黒潰れが発生を抑制することは容易ではない。

また、風景画像のように画角（撮像範囲）全体にピントを合わせたい場合には、画角全体で白飛びや黒潰れを防ぎたい。これに対して、物撮り画像のように主被写体にピントを合わせたいシーン場合には、主被写体の白飛びや黒潰れを防ぎたい一方で、主被写体以外での白飛びや黒潰れの発生は許容されることがある。このように、撮影画像に求められるダイナミックレンジは撮影シーンによって異なる。

本発明は、このような事情に鑑みてなされたものであり、撮影シーンに応じた適切なダイナミックレンジを有する深度合成画像を生成することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像手段によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定する設定手段と、前記評価領域における深度情報を取得する取得手段と、前記評価領域の領域内にある全ての被写体がそれぞれ、前記深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、前記ＨＤＲ撮影での撮影条件を決定する決定手段と、前記撮影条件により前記ＨＤＲ撮影を行うよう前記撮像手段を制御する制御手段と、前記撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成する合成手段と、前記合成手段により合成された複数のＨＤＲ画像から深度合成画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、撮影シーンに応じた適切なダイナミックレンジを有する深度合成画像を生成することができる撮像装置を提供することが可能となる。

実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像装置による深度合成画像の生成処理のフローチャートである。 明暗差の大きい２つの撮影シーンを説明する図である。 Ｓ２０１の処理のフローチャートである。 Ｓ２０５の処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、具体的には、所謂、デジタルカメラであり、静止画を撮像することができ、且つ、合焦位置の情報を記録し、コントラスト値の演算及び画像合成を行うことができる。また、撮像装置１００は、撮影画像に対して拡大・縮小処理を行うことができる。

なお、本発明は、デジタルカメラに限定されるものではなく、ＣＭＯＳセンサ等の撮像素子による撮像機能と前述の画像処理機能を備えるものであればよく、例えば、スマートフォンやタブレットＰＣ等の電子機器への適用が可能である。

撮像装置１００は、制御部１０１、駆動部１０２、光学系１０３、撮像部１０４、ＲＯＭ１０５、ＲＡＭ１０６、画像処理部１０７、表示部１０８、ストレージ１０９及び操作部１１０を備える。

制御部１０１は、ＣＰＵやＭＰＵ等のシグナルプロセッサであり、ＲＯＭ１０５に格納されているプログラムをＲＡＭ１０６に読み出して実行することにより、撮像装置１００の各部の動作を統括的に制御する。例えば、制御部１０１は、撮像部１０４に対して撮像の開始と終了の指令を出し、画像処理部１０７に対して画像処理の指令を出す。

ＲＯＭ１０５は、撮像装置１００を構成する各ブロックの動作プログラムや、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、制御部１０１がＲＯＭ１０５から読み出したプログラムを展開するための作業領域と、撮像部１０４（画像処理部１０７）から出力される画像データやストレージ１０９から読み出された画像データ等を一時的に保存する記憶領域を有する。

操作部１１０は、所定の指令が割り当てられたスイッチやボタン、キー、表示部１０８に重畳配置されるタッチパネル等であって、ユーザ操作を受け付けて、割り当てられた指令を制御部１０１へ通知する。制御部１０１は、操作部１１０からの指令に応じた処理を行う。

光学系１０３は、ズームレンズやフォーカスレンズ、絞り等によって構成され、被写体からの入射光を撮像部１０４の撮像素子（不図示）に結像させる。ズームレンズを駆動することにより画角（撮像範囲）を調整し、フォーカスレンズを駆動することにより合焦動作（ピント合わせ）を行い、絞りを駆動することにより光学系１０３を透過する光量を調整することができる。駆動部１０２は、モータ等によって構成され、制御部１０１の指令の下で、光学系１０３を構成するフォーカスレンズの位置を光軸方向において移動させることで、光学系１０３の焦点距離を調整する。

撮像部１０４は、ＣＭＯＳセンサやＣＣＤセンサや等の撮像素子を備え、光学系１０３により形成される入射光の光学像をアナログ電気信号からなる画像信号に変換する。なお、第１実施形態において、撮像素子は１回の露光で１枚の画像データを生成するものとする。撮像部１０４はまた、撮像素子から出力されるアナログ電気信号をデジタル信号からなる画像データに変換するＡ／Ｄ変換器を備える。図１では、撮像部１０４からの出力（画像データ）が制御部１０１へ送られるようになっているが、撮像部１０４からの出力は画像処理部１０７へ送信されて、画像処理部１０７において後述の各種画像処理が行われるよう構成されていてもよい。

撮像部１０４を動画撮像モードで駆動することにより、時間的に連続する複数の画像を動画のフレームとして撮像することができる。また、撮像部１０４は、結像した光学像から被写体輝度を測光することができる。但し、被写体輝度の測光機能は、必ずしも撮像部１０４が備えている必要はなく、ＡＥセンサ等を別途設けることで実現してもよい。

画像処理部１０７は、撮像部１０４から出力された画像データやストレージ１０９に記録されている画像データに対して、ホワイトバランス調整や色補間、フィルタリング、合成処理等の様々な画像処理を行う。また、画像処理部１０７は、撮像部１０４から出力される画像データに対してＪＰＥＧ等の規格で圧縮処理を行う。

なお、画像処理部１０７としては、例えば、特定の処理を行う回路からなる集積回路（ＡＳＩＣ）が用いられるが、制御部１０１が所定のプログラムを実行することによって画像処理部１０７の機能の一部又は全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして備える必要はない。

表示部１０８は、液晶ディスプレイや有機ＥＬディスプレイ等であり、撮像部１０４（画像処理部１０７）やストレージ１０９から読み出されてＲＡＭ１０６に一時的に保存されている画像や撮像装置１００の各種設定を行うためのメニュー画面等を表示する。ストレージ１０９は、撮像部１０４による撮影画像、画像処理部１０７にて所定の処理が施された画像、撮像時の合焦位置の情報等を記録する記憶装置である。ストレージ１０９は、撮像装置１００に着脱可能なメモリカード等であってもよい。

本実施形態では、露出条件の異なる複数の画像を合成することによってダイナミックレンジを拡大した画像を得る技術、所謂、ＨＤＲ合成技術を用いて白飛びと黒潰れを軽減させつつ、被写体に応じた被写界深度が得られるように深度合成を行う。このように、深度合成処理とＨＤＲ合成処理を伴う撮像手法を、以下、「深度合成ＨＤＲ撮影」と称呼する。深度合成ＨＤＲ撮影により、被写体に応じた被写界深度を有すると共に撮影シーンに応じた適切なダイナミックレンジを有する深度合成画像を取得ことができる。

図２は、撮像装置１００による画像生成処理のフローチャートである。図２にＳ番号で示す各処理（ステップ）は、制御部１０１がＲＯＭ１０５に格納されたプログラムをＲＡＭ１０６に展開して、撮像装置１００を構成する各部の動作を統括的に制御することにより実現される。

Ｓ２０１で制御部１０１は、撮像部１０４により被写体を測光し、被写体の輝度情報に基づいてＨＤＲ撮影のための露出段差を設定する。ここで、Ｓ２０１の処理について、図３及び図４を参照して詳細に説明する。

図３は、明暗差の大きい２つの撮影シーンを説明する図である。図３（ａ）は明暗差の大きい風景撮影シーンを模式的に表しており、撮像範囲３００のうち、背景３０１が日向であり、前景３０２が日陰である。ここで、撮像装置１００には、撮影モードとして風景モードが設定されているものとする。図３（ａ）中に示す評価領域３０３は、被写体の輝度情報を演算するための領域であり、且つ、深度情報を取得するための領域として用いられる。図３（ａ）に示されるように、風景モードでは、評価領域３０３は撮像範囲３００の略全体に、つまり、背景３０１と前景３０２にわたって設定される。

図３（ｂ）の上段は、図３（ａ）の撮影シーンにおけるヒストグラム３０４を表しており、白飛び（輝度値の大きい右側）と黒潰れ（輝度値の小さい左側）の両方が発生していることがわかる。図３（ｂ）の下段は、図３（ａ）の撮影シーンにおいて白飛びと黒潰れの発生が抑制された場合のヒストグラム３０５であり、撮像範囲３００に対して必要とされるダイナミックレンジ３０６を示している。

図３（ｃ）は明暗差の大きい物撮り撮影シーンを模式的に表しており、撮像範囲３０７のうち、主被写体領域３０８は光が当たっている明るい領域であり、主被写体領域３０８以外の領域（斜線領域）が背景領域３０９である。ここで、撮像装置１００には、撮影モードとして物撮りモードが設定されているものとする。図３（ｃ）中に示す評価領域３１０は、画像の輝度情報を演算する領域であり、且つ、深度情報を取得するための領域として用いられる。図３（ａ）の風景撮影シーンでは、評価領域３０３は背景３０１と前景３０２を含むように、撮像範囲３００に対して設定された。これに対して、図３（ｃ）に示されるように、物撮りモードでは、評価領域３１０は主被写体となる腕時計の領域にのみ設定される。

図３（ｄ）の上段は、図３（ｃ）の撮影シーンにおけるヒストグラム３１１を表しており、白飛びと黒潰れの両方が発生していることがわかる。図３（ｄ）の下段は、図３（ｃ）の撮影シーンにおける白飛びと黒潰れの発生が抑制された場合のヒストグラム３１２であり、主被写体に対して必要とされるダイナミックレンジ３１３を示している。

図４は、Ｓ２０１の処理のフローチャートである。図４のフローチャートの各処理についての説明では、適宜、図３を参照する。Ｓ４０１で制御部１０１は、撮像装置１００に設定されている撮影モードが風景モードであるか否かを判定する。なお、ユーザは、操作部１１０のモードダイアルを操作することにより所望の撮影モードを撮像装置１００に設定することができる。風景モード以外の撮影モードには、プログラムＡＥ、シャッタ優先ＡＥ、絞り優先ＡＥ、風景モード、スポーツモード、物撮りモード等がある。制御部１０１は、風景モード以外の撮影モードが設定されていると判定した場合（Ｓ４０１でＮｏ）、Ｓ４０２の処理を実行し、風景モードが設定されていると判定した場合（Ｓ４０１でＹｅｓ）、Ｓ４０４の処理を実行する。

Ｓ４０２で制御部１０１は、撮像装置１００に設定されている撮影モードが物撮りモードであるか否かを判定する。制御部１０１は、物撮りモードが設定されていると判定した場合（Ｓ４０２でＹｅｓ）、Ｓ４０５の処理を実行し、物撮りモード以外の撮影モードが設定されていると判定した場合（Ｓ４０２でＮｏ）、Ｓ４０３の処理を実行する。

Ｓ４０３で制御部１０１は、画角（撮像範囲）の略中央に非移動体の主被写体が存在するか否かを判定する。制御部１０１は、非移動体の主被写体が存在しないと判定した場合（Ｓ４０３でＮｏ）、Ｓ４０４の処理を実行し、非移動体の主被写体が存在すると判定した場合（Ｓ４０３でＹｅｓ）、Ｓ４０５の処理を実行する。

Ｓ４０１～Ｓ４０３の判定の例として、物撮りモード以外の撮影モードが設定されており、且つ、図３の撮像範囲３００に示されるように主被写体が存在せず複数の被写体が存在する撮影シーンでは、処理はＳ４０４へ進められる。一方、風景モード以外の撮影モードが設定されており、且つ、図３（ｃ）の撮像範囲３０７に示されるように画角中央に主被写体が存在する撮影シーンでは、処理はＳ４０５へ進められる。

Ｓ４０４で制御部１０１は、撮像範囲全体に評価領域を設定する。例えば、図３（ａ）に示したように、撮像範囲３００のほぼ全域がカバーされるように評価領域３０３が設定される。なお、本実施形態では、風景モードが設定されている場合には、主被写体が存在せずに複数の被写体が存在する撮影シーンである可能性が高いとみなして、Ｓ４０３の判定を実行しなくともよいようにしている。

Ｓ４０５で制御部１０１は、主被写体に評価領域を設定する。例えば、図３（ｃ）に示したように、主被写体領域３０８に対して評価領域３１０が設定される。なお、本実施形態では、物撮りモードが設定されている場合には、主被写体が存在する撮影シーンである可能性が高いとみなして、Ｓ４０３の判定を実行しなくともよいようにしている。

制御部１０１は、Ｓ４０４又はＳ４０５で評価領域を設定すると、Ｓ４０６の処理を実行する。Ｓ４０６で制御部１０１は、Ｓ４０４で設定した評価領域の測光を行う。Ｓ４０７で制御部１０１は、ＨＤＲ撮影条件を決定する。具体的には、Ｓ４０７において制御部１０１は、先ず、Ｓ４０６で取得した測光値から輝度分布情報（ヒストグラム）を求め、最大値と最小値の差分から輝度レンジを求める。そして、制御部１０１は、撮像素子のダイナミックレンジに応じて輝度レンジをカバーするために必要なアンダー露出撮影、適正露出撮影、オーバー露出撮影の露出段差と撮影回数を演算する。制御部１０１は、Ｓ４０７の処理が終了すると、続いてＳ２０２の処理を実行する。

図２のフローチャートの説明に戻る。Ｓ２０２で制御部１０１は、Ｓ２０１内のＳ４０４，Ｓ４０５で設定した評価領域における深度情報を取得する。そして、制御部１０１は、評価領域内の全ての被写体がそれぞれ、取得した深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１枚においてピントが合った状態となるように、それら複数の画像の撮影条件を決定する。複数の画像の撮影条件とは、具体的には、深度合成に必要となる撮影回数とピントずらし量である。

Ｓ２０３で制御部１０１は、駆動部１０２を制御して、Ｓ２０２で求めたピントずらし量だけフォーカスレンズを駆動して、光学系１０３の焦点距離を調整する。Ｓ２０４で制御部１０１は、Ｓ４０７で決定したＨＤＲ撮影条件で、アンダー露出撮影、適正露出撮影及びオーバー露出撮影を行う。更にＳ２０４で制御部１０１は、画像処理部１０７により、得られたアンダー露出画像、適正露出画像及びオーバー露出画像のＨＤＲ合成を行い、ＨＤＲ合成画像を生成する。

Ｓ２０５で制御部１０１は、画像処理部１０７により、Ｓ２０４で生成されたＨＤＲ合成画像の深度合成を行う。なお、最初に処理がＳ２０５に進んだ状態では、ＨＤＲ合成画像は１枚しかないため、実質的にＳ２０５の処理はスキップされ、更にＳ２０６の判定が‘Ｎｏ’となって、処理はＳ２０３へ進められることになる。

ここで、Ｓ２０５の深度合成処理について、図５を参照して詳細に説明する。図５（ａ）は、深度合成処理における位置合わせ処理のフローチャートである。

Ｓ５０１で制御部１０１は、Ｓ２０４で撮像部１０４が撮像したＨＤＲ撮影画像の中から位置合わせ処理での基準画像を取得する。位置合わせ処理での基準画像には、例えば、撮像順番が最も早いものを選択することができるが、ピント位置を変えながら撮像することで撮像される画像間で僅かに画角が変化することが多いため、撮像した画像の中で画角が最も狭いものを選択してもよい。

Ｓ５０２で制御部１０１は、位置合わせ処理の対象画像を取得する。位置合わせ処理の対象画像は、Ｓ５０１で取得した基準画像以外の画像で、位置合わせ処理が終了していない画像である。制御部１０１は、例えば、撮像順番が最も早いものを基準画像とした場合、撮像順に対象画像を取得する。

Ｓ５０３で制御部１０１は、基準画像と対象画像の位置のずれ量を演算する。演算方法の一例について、以下に説明する。先ず、制御部１０１は、基準画像に対して複数のブロックを設定する。このとき、各ブロックを同じサイズに設定することが望ましい。続いて、制御部１０１は、対象画像に対して、基準画像に設定したブロックと同じ位置に、基準画像のブロックよりも広い範囲となる探索範囲を設定する。そして、制御部１０１は、対象画像の各探索範囲に、基準画像の対応するブロックとの輝度の差分絶対値和（ＳＡＤ）が最小となる対応点を演算する。更に制御部１０１は、求めた対応点と基準画像のブロックの中心の位置関係に基づき、位置のずれをベクトルとして演算する。なお、対応点の演算は、差分絶対値和（ＳＡＤ）に限られず、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等を用いてもよい。

Ｓ５０４で制御部１０１は、Ｓ５０３で求めたベクトル（基準画像と対象画像の位置のずれ量）から変換係数を演算する。変換係数としては、例えば、射影変換係数が用いられるが、これに限定されるものではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

Ｓ５０５で制御部１０１は、画像処理部１０７により、Ｓ５０４で演算した変換係数を用いて対象画像の変形処理を行う。例えば、変形処理後の座標をＰ（ｘ´，ｙ´）、変形処理前の座標をＰ（ｘ，ｙ）、Ｓ５０５で求めた変換係数を行列Ａとして、画像処理部１０７は下記式１により変形処理を行う。これにより位置合わせ処理は終了する。

図５（ｂ）は、深度合成処理における画像合成処理のフローチャートである。Ｓ５１１で制御部１０１は、画像処理部１０７により、位置合わせを行った後の各画像（基準画像を含む）のコントラスト値を演算する。コントラスト値の演算方法は、例えば、下記式２乃至５を用いて行うことができる。即ち、各画素の色信号Ｓｒ，Ｓｇ，Ｓｂから下記式２を用いて輝度Ｙを演算する。続いて、３×３の画素の輝度Ｙの行列Ｌに、下記式３乃至５に示したように、ソーベルフィルタを適用することにより、コントラスト値Ｉを演算する。なお、コントラスト値の演算方法はこれに限られず、例えば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや、所定の帯域を通過するバンドパスフィルタに代えてもよい。

Ｓ５１２で制御部１０１は、画像処理部１０７により、合成マップを生成する。合成マップの生成方法としては、各画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を演算する方法を用いることができる。即ち、各画像の同じ位置の画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を演算する。例えば、各画像の同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、他の画素に対して０％の合成比率を与える。つまり、下記式６による演算を行う。

上記式６において、‘Ｃｋ（ｘ，ｙ）’はＳ５１１で演算したコントラスト値を、‘ｍ’はピント位置の異なる複数の画像のうちのｍ番目の画像を、‘ｘ’は画像の水平座標を、‘ｙ’は垂直座標を、‘Ａｍ（ｘ，ｙ）’は合成マップの比率をそれぞれ表している。なお、Ｓ５１２では、境界部が不自然にならないように合成比率を調整する必要がある。そのため、１枚の画像における合成マップの合成比率は、０％と１００％との二値化によるものでなく、連続的に変化するものになる。

Ｓ５１３で制御部１０１は、画像処理部１０７により、Ｓ５１２で生成した合成マップに従って合成画像を生成し、これにより本処理が終了することで、Ｓ２０５の処理が終了する。

図２のフローチャートの説明に戻る。Ｓ２０６で制御部１０１は、深度合成が終了したか否か、つまり、Ｓ２０２で設定された深度合成のためのピント位置を変更したＨＤＲ撮影と、ＨＤＲ画像の深度合成が終了したか否かを判定する。制御部１０１は、深度合成が終了していないと判定した場合（Ｓ２０６でＮｏ）、Ｓ２０３の処理を実行し、深度合成が終了したと判定した場合（Ｓ２０６でＹｅｓ）、本処理を終了させる。

上記説明の通りに、深度合成ＨＤＲ撮影を行う際に、ＨＤＲ撮影での露出段差を決定するための評価領域を主被写体の有無に応じて設定する。これにより、主被写体の有無に応じた被写界深度を有すると共に適切なダイナミックレンジを有する画像を生成することが可能となる。その際、特定の撮影モードに応じて評価領域を自動的に設定することにより、主被写体の有無の検出を行うことなく、深度合成ＨＤＲ撮影を開始することが可能となる。

なお、上記実施形態では、撮像装置１００に設定された撮影モードが風景モードでも物撮りモードもない場合に、非移動体の主被写体の有無に応じて評価領域の設定態様を決定した。この場合、非移動体の主被写体の有無を判定する手法としては、ＨＤＲ撮影前のスルー画像を用いて自動的に判定する手法がある。例えば、スルー画像の深度が浅い場合には、駆動部１０２により光学系１０３の絞りを絞って被写界深度を大きくした状態でスルー画像を撮影し、画角に複数の被写体が存在する撮影シーンか主被写体が存在する撮影シーンかを判定するようにする。これに限らず、深度合成ＨＤＲ撮影前にプレ撮影を行い、プレ撮影画像から撮影シーンを自動判別する構成であってもよいし、深度合成ＨＤＲ撮影の１枚目のＨＤＲ撮影時の画像から主被写体の有無を自動判別する構成であってもよい。主被写体の検出には、例えば、パターンマッチング等の公知の技術を用いることが可能である。

更に、制御部１０１によって自動的に評価領域が設定される構成に限らず、ユーザ（撮影者）が任意に評価領域を設定するよう構成されていてもよい。例えば、ユーザによる操作部１１０に対する入力操作に応じて、制御部１０１は表示部１０８に評価領域を設定するためのＧＵＩを表示する。ＧＵＩは、例えば、評価領域を、タッチ操作で描画するものであってもよいし、四角形等の多角形の大きさや形状を変更するものであってもよい。

＜第２実施形態＞
第１実施形態では、撮像部１０４が備える撮像素子は、１回の露光で１枚の画像データを生成するものであった。これに対して、第２実施形態では、撮像部１０４が備える撮像素子は、所謂、ＤＧＯ（Ｄｕａｌ Ｇａｉｎ Ｏｕｔｐｕｔ）素子であるとする。ＤＧＯ素子は、単位画素からの出力信号に対して列回路を２つ持ち、列回路内にある増幅部のゲインを別に持つことで、１回の露光でゲインの異なる２枚の画像（ＨｉｇｈゲインとＬｏｗゲインの画像）を出力することができる。ＤＧＯ素子を用いて深度合成ＨＤＲ撮影を行った場合には、一度の露光で２枚の画像が得られるためにＨＤＲ合成の際にこれらの画像間の位置合わせ処理が不要となり、被写体に移動体を含む場合に移動体のブレ（不鮮明化）を抑制することができる。

本発明においてＤＧＯ素子を用いる場合、図２のフローチャートのＳ２０２で制御部１０１は、図４のフローチャートのＳ４０７で決めた撮影条件に応じて、アンダー露出（Ｌｏｗゲイン画像）と適正露出（Ｈｉｇｈゲイン画像）を取得するＤＧＯ撮影を行う。そして、制御部１０１は、得られた複数枚の画像をＳ２０４にて画像処理部１０７によりＨＤＲ合成する。このように、ＤＧＯ撮影画像をＨＤＲ合成に用いることにより、移動体にぼやけが生じるのを抑制しつつ、適切にダイナミックレンジを拡大させた深度合成画像を生成することができる。なお、その他の処理は、第１実施形態での処理に準ずるため、ここでの説明を省略する。

本実施形態の開示は、以下の構成および方法を含む。
（構成１）撮像手段によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定する設定手段と、前記評価領域における深度情報を取得する取得手段と、前記評価領域の領域内にある全ての被写体がそれぞれ、前記深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、前記ＨＤＲ撮影での撮影条件を決定する決定手段と、前記撮影条件により前記ＨＤＲ撮影を行うよう前記撮像手段を制御する制御手段と、前記撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成する合成手段と、前記合成手段により合成された複数のＨＤＲ画像から深度合成画像を生成する生成手段と、を備えることを特徴とする撮像装置。
（構成２）撮影モードを設定する手段を備え、前記設定手段は、前記撮影モードが風景モードが設定されている場合に、前記撮像手段による撮像範囲の略全体に前記評価領域を設定することを特徴とする構成１に記載の撮像装置。
（構成３）前記設定手段は、前記撮影モードが物撮りモードが設定されている場合に、前記撮像手段による撮像範囲にある主被写体に対して前記評価領域を設定することを特徴とする構成２に記載の撮像装置。
（構成４）非移動体である主被写体が前記撮像手段による撮像範囲の略中央にあるか否かを判定する判定手段を備え、前記設定手段は、前記主被写体がないと判定された場合に前記撮像手段による撮像範囲の略全体に前記評価領域を設定し、前記主被写体があると判定された場合に前記主被写体に対して前記評価領域を設定することを特徴とする構成１に記載の撮像装置。
（構成５）前記判定手段は、前記撮像手段により得られるスルー画像から前記判定を行うことを特徴とする構成４に記載の撮像装置。
（構成６）前記制御手段は、前記ＨＤＲ撮影を行う前に前記撮像手段によるプレ撮影を行い、前記判定手段は、前記プレ撮影により得られた画像を用いて前記判定を行うことを特徴とする構成４に記載の撮像装置。
（構成７）前記判定手段は、前記ＨＤＲ撮影により得られる１枚目の画像を用いて前記判定を行うことを特徴とする構成４に記載の撮像装置。
（構成８）前記設定手段は、入力操作に応じて前記評価領域を設定する操作手段であることを特徴とする構成１に記載の撮像装置。
（構成９）前記決定手段は、前記評価領域の領域内にある被写体の輝度情報に基づいて前記露出段差を決定することを特徴とする構成１乃至８のいずれか１つに記載の撮像装置。
（構成１０）前記撮影条件は、撮影回数およびピントずらし量を含むことを特徴とする構成１乃至９のいずれか１つに記載の撮像装置。
（構成１１）前記撮像手段は、一度の露光で異なるゲインが掛けられた複数枚の画像を出力する撮像素子を有し、前記決定手段は、前記異なるゲインにより前記露出段差を決定することを特徴とする構成１乃至１０のいずれか１つに記載の撮像装置。
（構成１２）コンピュータを構成１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。
（方法１）撮像装置の制御方法であって、撮像手段によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定するステップと、前記評価領域における深度情報を取得するステップと、前記評価領域の領域内にある全ての被写体がそれぞれ、前記深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、前記ＨＤＲ撮影での撮影条件を決定するステップと、前記撮影条件により前記ＨＤＲ撮影を行うよう前記撮像手段を制御するステップと、前記撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成するステップと、前記合成された複数のＨＤＲ画像から深度合成画像を生成するステップと、を有することを特徴とする撮像装置の制御方法。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 制御部
１０４ 撮像部
１０７ 画像処理部
１０８ 表示部
１１０ 操作部
３００，３０７ 撮像範囲
３０３，３１０ 評価領域

Claims (13)

1. 撮像手段によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定する設定手段と、
   前記評価領域における深度情報を取得する取得手段と、
   前記評価領域の領域内にある全ての被写体がそれぞれ、前記深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、前記ＨＤＲ撮影での撮影条件を決定する決定手段と、
   前記撮影条件により前記ＨＤＲ撮影を行うよう前記撮像手段を制御する制御手段と、
   前記撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成する合成手段と、
   前記合成手段により合成された複数のＨＤＲ画像から深度合成画像を生成する生成手段と、を備えることを特徴とする撮像装置。
2. 撮影モードを設定する手段を備え、
   前記設定手段は、前記撮影モードが風景モードが設定されている場合に、前記撮像手段による撮像範囲の略全体に前記評価領域を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記撮影モードが物撮りモードが設定されている場合に、前記撮像手段による撮像範囲にある主被写体に対して前記評価領域を設定することを特徴とする請求項２に記載の撮像装置。
4. 非移動体である主被写体が前記撮像手段による撮像範囲の略中央にあるか否かを判定する判定手段を備え、
   前記設定手段は、前記主被写体がないと判定された場合に前記撮像手段による撮像範囲の略全体に前記評価領域を設定し、前記主被写体があると判定された場合に前記主被写体に対して前記評価領域を設定することを特徴とする請求項１に記載の撮像装置。
5. 前記判定手段は、前記撮像手段により得られるスルー画像から前記判定を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記ＨＤＲ撮影を行う前に前記撮像手段によるプレ撮影を行い、
   前記判定手段は、前記プレ撮影により得られた画像を用いて前記判定を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記判定手段は、前記ＨＤＲ撮影により得られる１枚目の画像を用いて前記判定を行うことを特徴とする請求項４に記載の撮像装置。
8. 前記設定手段は、入力操作に応じて前記評価領域を設定する操作手段であることを特徴とする請求項１に記載の撮像装置。
9. 前記決定手段は、前記評価領域の領域内にある被写体の輝度情報に基づいて前記露出段差を決定することを特徴とする請求項１又は８に記載の撮像装置。
10. 前記撮影条件は、撮影回数およびピントずらし量を含むことを特徴とする請求項１又は８に記載の撮像装置。
11. 前記撮像手段は、一度の露光で異なるゲインが掛けられた複数枚の画像を出力する撮像素子を有し、
    前記決定手段は、前記異なるゲインにより前記露出段差を決定することを特徴とする請求項１に記載の撮像装置。
12. 撮像装置の制御方法であって、
    撮像手段によりＨＤＲ撮影を行う際の露出段差を決定するための評価領域を設定するステップと、
    前記評価領域における深度情報を取得するステップと、
    前記評価領域の領域内にある全ての被写体がそれぞれ、前記深度情報に基づいて焦点深度を変えて撮影される複数の画像のいずれか１つにおいてピントが合った状態となるように、前記ＨＤＲ撮影での撮影条件を決定するステップと、
    前記撮影条件により前記ＨＤＲ撮影を行うよう前記撮像手段を制御するステップと、
    前記撮影条件ごとのＨＤＲ撮影により得られた画像からＨＤＲ画像を合成するステップと、
    前記合成された複数のＨＤＲ画像から深度合成画像を生成するステップと、を有することを特徴とする撮像装置の制御方法。
13. コンピュータを請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。
    

Images