JP7286451B2

JP7286451B2 - 撮像装置、撮像方法およびプログラム

Info

Publication number: JP7286451B2
Application number: JP2019131062A
Authority: JP
Inventors: 陽一高橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2023-06-05
Anticipated expiration: 2039-07-16
Also published as: US11196914B2; US20210021764A1; JP2021016128A

Description

本発明は、焦点位置の異なる複数の画像を撮像する撮像装置に関するものである。

デジタルカメラなどの画像処理装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる、画角の重なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

特開平１０―２９０３８９号公報

しかしながら、特許文献１に記載の技術を用いるとき、解像感の高い合成画像を得るために、被写界深度を浅くして撮像した画像を用いて合成を行うと、以下の課題が生じる。奥側と手前側とに被写体が存在するとき、奥側の被写体に焦点を合わせたとしても、手前の被写体のぼけが重なってしまうと、合成画像における奥側と手前側との被写体の重なり部分に鮮明な画像が得られない。

本発明は、上記の課題を鑑みてなされたものであり、深度合成の合成画像のための撮像を行うとき、解像感を維持しつつ、合焦領域に対してボケの重なりを抑える撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、被写体に対して、少なくとも一部の画角が重なり、焦点位置の異なる複数の画像を撮像する撮像手段と、前記被写体の距離情報を取得し、さらに前記距離情報に基づいて距離の差分を取得する取得手段と、前記距離の差分に基づいて、絞り値を設定する設定手段と、前記複数の画像に対して合成を行う合成手段と、を有し、前記撮像手段は、前記設定手段によって設定された絞り値で前記複数の画像に対して撮像することを特徴とする撮像装置を提供する。

本発明の構成によれば、深度合成を行うとき、解像感を維持しつつ、合焦領域に対してボケの重なりを抑える撮像装置を提供することができる。

本発明の実施形態における撮像装置の一例としてのデジタルカメラの外観図である。本発明の実施形態におけるデジタルカメラの構成例を示すブロック図である。本発明の実施形態における深度合成を説明するためのフローチャートである。本発明の実施形態における最大ぼけ率の推定を説明するためのフローチャートである。本発明の実施形態における領域分割を説明するための図である。本発明の実施形態におけるぼけ率の算出を説明するための図である。本発明の実施形態における絞り値と最大ぼけ率との関係を示すグラフの一例である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１に本実施形態における撮像装置の一例としてのデジタルカメラの外観図である。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮像指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。

図２は、本実施形態におけるデジタルカメラの構成例を説明するためのブロック図である。

図２において、撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像素子は、２次元状に配置された画素のそれぞれが複数の光電変換領域を有し、各画素で同じ位置に存在する光電変換領域群の出力から、視点の異なる複数の視差画像を取得することができる。複数の視差画像については、画素ごとに複数の光電変換領域の出力を加算することで、各画素が１つの光電変換領域を有する通常の撮像素子で得られる撮像画像を取得することができる。本実施形態では、各画素を独立した２つの光電変換領域（フォトダイオード）Ａ，Ｂで構成している。光電変換領域Ａの出力と、光電変換領域Ｂの出力とをそれぞれ独立した画像として取得することで、２つの視差画像Ａ，Ｂを取得することができる。また、光電変換領域ＡとＢの出力を画素ごとに加算することで、通常の撮像画像を取得することができる。なお、撮像画像は、例えば後述する画像処理部２４で複数の視差画像を加算合成して得られる例を説明するが、撮像部２２で加算合成を行って取得してもよい。このように、視差画像Ａ，Ｂと撮像画像は一度の撮像（露光）で取得できる。なお、本実施形態の説明においては２つの視差画像を同時に取得する場合について説明するが、撮像面近傍に入射する光束をより多数の画素（例えば３×３画素）で受光してより多くの視差画像を同時に取得する構成であってもよい。また撮像部２２はＡ／Ｄ変換処理機能を備えている。ＡＦ評価値検出部２３ではデジタル画像信号から得られるコントラスト情報や視差画像から得られる位相差からＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、デジタルカメラ１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。ストロボ９０は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。

また、画像処理部２４では被写体の距離情報を取得することができる。入力した２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像部から被写体までの距離情報を画素ごとに取得することが可能である。ここでは２つの視差画像の位相差から被写体までの距離を取得しているが、撮像レンズ１０３を駆動させながら撮像部２２によって撮像を行い、ブロックごとのコントラスト値を評価値として、被写体までの距離を取得してもよい。

また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

被写体領域分割機能について説明する。システム制御部５０は画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、画像中の特徴量、例えば色情報から、隣接した画素で色情報が近いものをグルーピングして領域分割し、メモリ３２に記憶する。ここでは色情報から領域分割を行う例を示したが、輝度情報を付加情報として用い、領域分割を行うようにしても良い。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体領域を分割することが可能である。本実施例では画像中の色情報から被写体領域を分割しているが、画像中のエッジ情報や距離情報も利用して領域分割してもよい。

撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮像準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。

第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮像が可能である。中央１点ＡＦとは撮像画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行うことである。また、撮像画面内から主被写体を検出し、主被写体に対してＡＦを行うこともできる。

図３は、本実施形態における深度合成を説明するためのフローチャートである。

ステップＳ３０１で、スイッチＳＷ１が押下されたら、ステップＳ３０２に進む。

ステップＳ３０２で、システム制御部５０の制御下で画像処理部２４は撮像部２２から取得した視差情報を使用し、各画素の距離情報を取得する。視差情報を直接取得できない撮像部２２が設けられている場合、焦点位置を変更しながら複数の画像を撮像し、撮像した画像の同じ位置の画素のコントラスト値を比較するという従来の方法で、距離情報を得ることもできる。

ステップＳ３０３で、システム制御部５０は、合成に用いる複数の画像を撮像するときの焦点位置（撮像位置）を設定する。たとえば、システム制御部５０は、ステップＳ３０２で取得した距離情報に基づいて、被写体の最も至近側から無限遠側までの範囲が合成画像の被写界深度に入るように撮像位置を設定する。または、ユーザが操作部７０に設けられるタッチパネルなどを通じて、撮像位置の両端を指定し、システム制御部５０が撮像位置の両端に基づいて全部の撮像位置を設定する。

ステップＳ３０４で、システム制御部５０は、最大ぼけ率を推定する。

図４は、本実施形態における最大ぼけ率の推定を説明するためのフローチャートである。

ステップＳ４０１で、システム制御部５０は、領域分割を行う。

図５は本実施形態における領域分割を説明するための図である。図５（ａ）では、デジタルカメラ１００から見た領域分割の様子を示している。図５（ａ）には、領域５１１ないし５１３、および背景５１４が示されている。図５（ｂ）は、図５（ａ）の撮像の様子を横から見たときの様子を示す画像である。図５（ｂ）では、デジタルカメラ１００が撮像した被写体の領域５１１ないし５１３、背景５１４の間の光軸方向における距離を示している。

以下では、図４を用いて、最大ぼけ率の推定について説明する。

ステップＳ４０１では、画像処理部２４は、領域分割を行う。領域分割の方法としては、たとえば、ステップＳ３０２で画像処理部２４が取得した距離情報に基づいて行うことができる。具体的に、距離情報が近い領域を１つのグループとして領域分割を行う。たとえば、図５（ａ）のような場合、領域５１１の部分が、被写体の表面が多少の凹凸があるとしても、領域全体の距離情報がほぼ同じと考えられる。したがって、画像処理部２４は、領域５１１を１つのグループとして認識する。同様に、画像処理部２４は、領域５１２と領域５１３とも同じく、それぞれ１つのグループとして認識する。最後に、距離情報が無限遠に近い背景５１４を背景として認識する。以上のような処理で、図５（ａ）に示した画像から領域５１１ないし５１３を分割できる。

距離情報から領域分割の方法以外では、画像処理部２４は、被写体の色の情報または輝度の情報を用いて領域分割を行うこともできる。

ステップＳ４０２では、画像処理部２４は、撮像範囲５０２１から５０２２までの間に存在する領域の合焦位置を取得する。たとえば、図５（ｂ）に示したようなシーンでは、画像処理部２４は、ステップＳ３０２での取得した距離情報から、領域５１１ないし５１３のそれぞれ合焦位置を取得する。図５（ｂ）の場合、領域５１１ないし５１３のそれぞれ合焦位置は、デジタルカメラ１００から３０ｃｍ、６０ｃｍ、８０ｃｍである。

ステップＳ４０３で、画像処理部２４は、隣接領域を検出する。たとえば、図５（ａ）のシーンでは、画像処理部２４は、互いに重なる領域５１１と領域５１３、および領域５１２と領域５１３、をそれぞれ隣接領域として検出する。

ステップＳ４０４で、画像処理部２４は、隣接領域間のぼけ率を算出する。ぼけ率は被写体の領域の距離情報の差分から取得することができる。

ぼけ率の具体的な算出方法について説明する。図６は、本実施形態におけるぼけ率の算出を説明するための図である。

図６では、被写体６０１と被写体６０２とが示されている。光軸方向から見て、被写体６０１と被写体６０２とが一部重なっている。つまり、被写体６０１にあたる領域と被写体６０２にあたる領域とが前述の隣接領域に該当する。被写体６０１とレンズ１０３との距離をａ１、被写体６０２とレンズ１０３との距離をａ２とする。レンズの像距離をｆとすると、被写体６０１と被写体６０２とのそれぞれの像距離ｂ１、ｂ２を下記の（式１）、（式２）で求めることができる。

被写体６０１にあたる領域と被写体６０２にあたる領域とが前述の隣接領域なので、ぼけ率を下記の（式３）で算出できる。

ただし、（式３）では、ＢＬＲｒは最大ぼけ率である。

（式１）、（式２）および（式３）を連立して、以下の（式４）が得られる。

以上のような計算を、画像処理部２４は、すべての隣接領域（たとえば、図５における領域５１１と領域５１３、および領域５１２と領域５１３）にたいして行うことで、いくつかのぼけ率を算出する。ステップＳ４０５で、画像処理部２４は、ステップＳ４０４で算出したぼけ率のうちの最大のものを、最大ぼけ率とする。

次に、ステップＳ３０５で、システム制御部５０は、許容ぼけ量に基づいて絞り値を決定する。ここでいう許容ぼけ量は、レンズなどの性質により予め設定されているものでもよいし、ユーザが設定したものでもよい。

まず、撮像部２２上でのぼけ量ｄを下記の（式５）で算出できる。ただし、Ｄは有効口径を表し、ＢＬＲｒｍａｘはステップＳ３０４で推定した最大ぼけ率を表す。

絞り値をＦは以下の（式６）で表せる。

上記の（式５）および（式６）を連立して、許容ぼけ量ｄ´に抑えるための絞り値Ｆの最小値は以下の（式７）で求めることができる。

なお、ステップ３０５での処理は以下のように実施してもよい。システム制御部５０が自動で絞り値を設定する場合は、あらかじめ不揮発性メモリ５６に保持していた解像度が最も高くなる絞り値を優先的に使うが、（式７）で算出された絞り値よりも小さい場合は（式７）で算出した絞り値を使う。ユーザが絞り値を設定していた場合には、設定した絞り値が（式７）で算出した絞り値よりも小さい場合は表示部２８に警告表示した上で、（式７）で算出した絞り値を設定してもよい。また、システム制御部５０が、最大ぼけ率から（式７）を用い、設定可能な最小値Ｆを求めていたが、不揮発性メモリ５６に最大ぼけ率に応じた絞り値の決定テーブルを保持しておき、テーブルに基づいて、絞り値を決定するようにしてもよい。図７は、本実施形態における絞り値と最大ぼけ率との関係を示すグラフの一例である。たとえば、システム制御部５０は、図７に示したようなグラフを用いて、最大ぼけ率から絞り値を算出してもよい。

ステップＳ３０７で、撮像部２２は、ステップＳ３０３で決定された撮像位置で撮像を行う。

ステップＳ３０８で、画像処理部２４は、ステップＳ３０７で撮像された画像に対して深度合成を行う。

深度合成の方法の一例について説明する。まず、システム制御部５０は、合成の対象となる２つの画像の位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部５０は、片方の画像に、複数のブロックを設定する。システム制御部５０は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部５０は、もう片方の画像に、設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部５０は、もう片方の画像のそれぞれの探索範囲に、最初に設定したブロックとの輝度の差分絶対値和（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部５０は、最初に設定したブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。システム制御部５０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

次に、システム制御部５０は位置のずれ量から変換係数を算出する。システム制御部５０は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

たとえば、システム制御部５０は、（式８）に示した式を用いて変形を行うことができる。

（式８）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。

次に、画像処理部２４は、位置合わせを行った後のそれぞれの画像に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部２４は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式９）を用いて輝度Ｙを算出する。

Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式９）
次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式１０）ないし（式１２）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、画像処理部２４は、合成マップを生成する。合成マップの生成方法としては、画像処理部２４は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部２４は、こうした合成比率の設定を、画像のすべての位置に対して行う。

最後に、画像処理部２４は、合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

本実施形態によれば、隣接領域の距離の差分を考慮して絞り値を設定することで、合焦している領域にぼけの重なりを抑えることができる。

さらに、本実施形態では、１枚目の画像を撮像してから、同時に評価値の算出を始め、処理の迅速化を図ることもできる。

（そのほかの実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００デジタルカメラ
１０３撮像レンズ
２２撮像部
５０システム制御部

Claims

被写体に対して、少なくとも一部の画角が重なり、焦点位置の異なる複数の画像を撮像する撮像手段と、
前記被写体の距離情報を取得し、さらに前記距離情報に基づいて距離の差分を取得する取得手段と、
前記距離の差分に基づいて、絞り値を設定する設定手段と、
前記複数の画像に対して合成を行う合成手段と、を有し、
前記撮像手段は、前記設定手段によって設定された絞り値で前記複数の画像に対して撮像することを特徴とする撮像装置。
前記合成手段が前記合成を行うことで合成画像を生成し、
前記合成画像の被写界深度は、前記複数の画像のいずれかの前記被写界深度よりも深いことを特徴とする請求項１に記載の撮像装置。
さらに、前記複数の画像の前記焦点位置を指定する指定手段を有することを特徴とする請求項１または請求項２に記載の撮像装置。
さらに、前記被写体の像の領域を分割する分割手段を有し、
前記取得手段は、前記分割手段によって分割された領域の前記距離情報に基づいて、前記距離の差分を取得することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記分割手段は、色に関する情報、輝度に関する情報、前記距離情報の少なくとも１つを用いて、前記被写体の像の領域を分割することを特徴とする請求項４に記載の撮像装置。
前記取得手段は、前記被写体の像の領域のうち、隣接するものの前記距離情報の差分を取得することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
被写体に対して、少なくとも一部の画角が重なり、焦点位置の異なる複数の画像を撮像する撮像ステップと、
前記被写体の距離情報を取得し、さらに前記距離情報に基づいて距離の差分を取得する取得ステップと、
前記距離の差分に基づいて、絞り値を設定する設定ステップと、
前記複数の画像に対して合成を行う合成ステップと、を有し、
前記撮像ステップにおいては、前記設定ステップによって設定された絞り値で前記複数の画像に対して撮像することを特徴とする撮像方法。
撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
被写体に対して、少なくとも一部の画角が重なり、焦点位置の異なる複数の画像を撮像する撮像ステップと、
前記被写体の距離情報を取得し、さらに前記距離情報に基づいて距離の差分を取得する取得ステップと、
前記距離の差分に基づいて、絞り値を設定する設定ステップと、
前記複数の画像に対して合成を行う合成ステップと、を行わせ、
前記撮像ステップにおいては、前記設定ステップによって設定された絞り値で前記複数の画像に対して撮像することを特徴とするプログラム。