JP6346793B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、本発明は、フォーカス位置を変更しながら、複数の画像データを取得する撮像装置、撮像装置の制御方法、及びプログラムに関する。

被写界深度の広い画像を得る技術として、撮影レンズのフォーカス位置を変えながら複数の画像を撮影し、各々の画像から合焦している領域を抽出し、合成する技術（深度合成技術と呼ばれる）が知られている。この深度合成技術は、一般に膨大な画像処理演算が必要となるため、被写界深度の拡大効果を撮影前もしくは撮影後ただちに確認したい場合には、何らかの簡易的な方法で同様の効果を得る必要がある。

特許文献１には、撮影条件と画像処理の処理属性からピント範囲に入っているか否かの判定を行い、被写体がピント範囲外の場合には、警告することが開示されている。これによって、撮影者は合成後の被写界深度が所望のものか否かの確認を行うことができる。

特開２０１２−１２４５５５号公報

特許文献１では、ピント範囲を光学モデルに従って算出しており、収差等を複雑に含む実際の光学系のピント範囲とは無視できない誤差が生じてしまう。また、被写界深度拡大の効果を画像で確認できないため、撮影者の希望に沿った画像であるかの判断が難しい。

本発明は、このような事情を鑑みてなされたものであり、被写界深度合成の効果を事前に画像で精度よく確認できるようにした撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部と、上記画像データ取得部で得られた画像データを、表示用画像データに変換する解像度変換部と、上記複数の画像データの中から上記画像データ取得部で画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択部と、上記画像選択部にて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成部と、を具備し、上記画像合成部は、上記解像度変換部で解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて、少ない数の画像データを上記画像選択部で選択し、画像合成を行う。

第２の発明に係る撮像装置は、上記第１の発明において、上記画像選択部は、上記複数の画像データの中から、少なくとも焦点位置のずらし量と解像度変更後の解像度に基づき合成すべき画像データを選択する。
第３の発明に係る撮像装置は、上記第１または第２の発明において、上記画像データ取得部は、画像データからコントラストピークを検出するのに適したずらし量で焦点位置をずらしながら画像データを取得する。
第４の発明に係る撮像装置は、上記第３の発明において、上記ずらし量は、通常のＡＦモードでのコントラストピーク検出よりも、フォーカス間隔を細かく、かつフォーカスをスキャンする幅を広くする。

第５の発明に係る撮像装置は、上記第２の発明において、上記画像選択部は、上記解像度変換部による解像度変更後の解像度が低いほど、かつ、上記画像データ取得部にて取得された画像データの解像度が低いほど、合成すべき画像データのフォーカス位置のずれ量を大きくする。
第６の発明に係る撮像装置は、上記第１の発明において、上記画像選択部が選択する合成フレーム数は、記録用画像データの合成フレーム数が一番多く、次いで本撮影の記録用確認画像データ、撮影準備状態の合成効果確認用画像データの順に合成フレーム数が少なくなる。
第７の発明に係る撮像装置は、上記第１の発明において、上記表示用画像データは、上記記録用画像データよりも低い解像度を有する。

第８の発明に係る撮像装置は、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部と、上記画像データ取得部で得られた画像データを、低い解像度の画像データに変換する解像度変換部と、本撮影を指示するための操作部と、上記操作部によって上記本撮影が指示された際に、上記画像データ取得部によって取得された上記複数の画像データの全てを合成して記録用画像データを生成し、さらに上記画像データ取得部によって取得された上記複数の画像データの内の一部を選択し、この選択された画像データを合成して被写界深度の深い確認用画像データを生成する画像合成部と、上記画像合成部によって合成された確認用画像データに基づいて深度合成画像を表示する表示部と、を具備し、上記画像合成部は、上記確認用画像データを生成する際には、上記解像度変換部によって上記複数の画像データを上記低い解像度の画像データに変換し、記録用画像データの生成のために解像度変換を行なわずに画像合成する場合に比べて少ない数の画像データを選択し、画像合成を行う。

第９の発明に係る撮像装置は、上記第８の発明において、さらに、画像データを記録する記録部を有し、上記記録部は、上記画像合成部によって生成された記録用画像データを記録する。

第１０の発明に係る撮像装置の制御方法は、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得ステップと、上記画像データ取得ステップで得られた画像データを、表示用画像データに変換する解像度変換ステップと、上記複数の画像データの中から、上記画像データ取得ステップで画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択ステップと、上記画像選択ステップにて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成ステップと、を具備し、上記画像合成ステップは、上記解像度変換ステップで解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて少ない数の画像データを上記画像選択ステップで選択し、画像合成を行う。

第１１の発明に係るプログラムは、撮像装置内のコンピュータを実行させるためのプログラムであって、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得ステップと、上記画像データ取得ステップで得られた画像データを、表示用画像データに変換する解像度変換ステップと、上記複数の画像データの中から、上記画像データ取得ステップで画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択ステップと、上記画像選択ステップにて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成ステップと、を具備し、上記画像合成ステップは、上記解像度変換ステップで解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて少ない数の画像データを上記画像選択ステップで選択し、画像合成を行うこと、をコンピュータに実行させる。

本発明によれば、被写界深度合成の効果を事前に画像で精度よく確認できるようにした撮像装置、撮像装置の制御方法、及びプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラの深度合成ＡＦの動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの撮影の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、フォーカス位置と合成フレームの関係を示す図である。

以下、本発明の好ましい実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、このカメラは、深度合成モードが設定されている場合には、撮影準備を指示するレリーズ釦の半押し操作がなされると、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得し、深度合成を行い、画像効果確認用に表示する（後述する図３のＳ３６、Ｓ３７、Ｓ３８参照）。また、実際に撮影を指示するレリーズ釦の全押し操作を行うと、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得し、深度合成を行い、画像効果確認用に表示する（後述する図３のＳ４３、Ｓ４４、Ｓ４５参照）。また、このときの複数の画像を用いて、記録用に深度合成を行い、これを記録媒体に記録する（後述する図３のＳ４６、Ｓ４７参照）。なお、確認用に深度合成を行う場合には、記録用に行う深度合成に比較し、使用する画像のフレーム数を少なくし、また画像データの解像度も低くする。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置を図示しないフォーカス位置検出部から取得し、またズームレンズのズーム位置を図示しないズーム位置検出から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、被写体像を撮像して画像データを取得する撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５は、画素混合部１０６およびＡ／Ｄ変換部１０７に接続されている。画素混合部１０６は、撮像素子１０３の画素毎に出力されアナログ処理された画像信号について、複数の画素の画像信号を混合する。例えば、２画素、４画素、または９画素からの画像信号を加算し、１つの画像信号として出力する。ライブビュー画像を表示する表示パネル１３５の表示精度はそれほど高くなく、記録用画像が必要とする精度より低くても、表示精度として十分であるため、ライブビュー表示等においては画素混合部１０６によって画素混合を行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０５と画素混合部１０６に接続されており、アナログ処理部１０５または画素混合部１０６から出力されるアナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａ、画像変換部１０９ｂ、および画像合成を行う画像合成部１０９ｃを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、解像度変換部１０９ｂ、および画像合成部１０９ｃを使用する。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつ深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

解像度変換部１０９ｂは、画像データの解像度を変換する。この解像度の変換にあたっては、バイキュービック等の画素補間を使用し、画像の解像度を低下させ、またリサイズすることができる。解像度変換部１０９ｂは、画像取得部（撮像素子１０３、ドライバ２０５、レンズ制御部１２１ａ等）で得られた画像データの解像度を変更する解像度変更部として機能する。

画像合成部１０９ｃは、設定されている合成モード等に応じて種々の画像合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｃは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。画像合成部１０９ｃは、後述する画像選択部（詳しくは、合成画像選択部１２１ｃにて説明する）にて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成部として機能する。

また、画像合成部１０９ｃは、操作部によって撮影準備状態が指示された際に、画像データ取得部によって取得された上記複数の画像データの全てもしくは一部を合成して被写界深度の深い画像データを生成する画像合成部として機能する（後述する図３のＳ３６、Ｓ３７参照）。また、画像合成部１０９ｃは、操作部によって本撮影が指示された際に、画像データ取得部によって取得された複数の画像データの内の一部を選択し、この選択された画像データを合成して確認用の画像データを生成する画像合成部として機能する（図３のＳ４４、Ｓ４５参照）。また、画像合成部１０９ｃは、画像データ取得部によって取得された上記複数の画像データの全てを合成して記録用の画像データを生成する画像合成部として機能する（Ｓ図３のＳ４６参照）。

なお、図示しないが、画像処理部１０９内には、画像圧縮部と画像伸張部が設けられている。画像圧縮部は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。このＡＦ処理部１１３等は、操作部によって撮影準備状態が指示された際に、画像データ取得部によって取得された画像データに基づいて、コントラストピークを検出し、撮影レンズを合焦位置に移動させるＡＦ部として機能する。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。また、マイクロコンピュータ１２１は、レンズ制御部１２１ａ、撮影指示部１２１ｂ、および合成画像選択部１２１ｃを有しており、これらは、ハードウエアで構成してもよいが、本実施形態においては、これらの機能をソフトウエアによって実行する。

レンズ制御部１２１ａは、交換レンズ２００内のマイクロコンピュータ２０７とドライバ２０５を介して、撮影レンズを移動させてフォーカス位置を変更する。後述するように、深度合成ＡＦ時（図３のＳ３６）や、深度合成モードの設定時における撮影時（図３のＳ４３、図５のＳ８３）には、レンズ制御部１２１ａが、撮影指示部１２１ｂからの指示を受けてフォーカス位置を変更させる。

撮影指示部１２１ｂは、合成画像選択部１２１ｃからのフォーカス位置の指示に従って、レンズ制御部１２１ａにフォーカス位置を指示し、撮像素子１０３に対して複数回の撮像を指示する。すなわち、深度合成モード設定時には、撮影レンズ２０１を複数のフォーカス位置に順次、移動させ、それぞれの位置において撮像素子１０３が撮像を行い、複数の画像データを取得する。撮影指示部１２１ｂは、これらの撮影動作の制御を行う。この撮影指示部１２１ｂ等は、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部として機能する。また、画像取得部は、画像データからコントラストピークを検出するのに適したずらし量で焦点位置をずらしながら画像データを取得する（図４参照）。

合成画像選択部１２１ｃは、フラッシュメモリ１２５の基準間隔テーブルと解像度補正係数を入力し、合成画像の選択を行う。すなわち、深度合成モードが設定されている際に、深度合成用に撮影する画像のフォーカス位置間隔や、また画像データから合成用に解像度を低下させるために、画素データの間引き等を行うための解像度補正係数（合成間隔補正係数ともいう）を読み出し、これらのデータを用いて、合成画像の選択を行う。

この合成画像選択部１２１ｃは、画像取得部で画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像を選択する画像選択部として機能する。また、この画像選択部は、少なくとも焦点位置のずらし量と解像度変更後の解像度に基づき合成すべき画像を選択する。また、画像選択部は、解像度変更部による解像度変更後の解像度が低いほど、かつ、画像取得部にて取得された画像の解像度が低いほど、合成すべき画像のフォーカス位置のずれ量を大きくする。また、画像選択部が選択する合成フレーム数は、記録用画像の合成フレーム数が一番多く、次いで本撮影の記録用確認画像、撮影準備状態の合成効果確認用画像の順に合成フレーム数が少なくなる（図７参照）。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して本撮影を行う。レリーズ釦は、撮影準備状態を指示するための操作部として機能する（図３のＳ３３参照）。また、レリーズ釦は、本撮影を指示するための操作部として機能する（図３のＳ４１参照）。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、基準間隔テーブルと解像度補正係数を記憶している。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、画像データを記録する記録部として機能し、この記録部は画像合成部によって生成された記録用画像データを記録する（図３のＳ４７参照）。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。表示ドライバ１３３および表示パネル１３５は、画像合成部によって合成された確認用の画像データに基づいて深度合成画像を表示する表示部として機能する（図３のＳ３８、Ｓ４５参照）。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４乃至図６に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定可能である。また、ＡＦモードとして、通常モードやマクロモードが設定可能である。ここで、マクロモードは近距離の被写体を撮影するに適した撮影モードである。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。

ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

ＡＥ動作を行うと、ステップＳ３６〜Ｓ３８において、深度合成ＡＦを行い、合成効果画像を生成し、表示する。まず、深度合成ＡＦを行う（Ｓ３６）。ここでは、ＡＦ動作を行うために交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のフォーカス位置を移動させながら、コントラスト信号のピーク位置を検出する。また、撮影指示部１２１ｂが、深度合成の確認用画像を生成するために複数の画像を取得する。通常のＡＦ動作では、コントラスト信号のピーク位置を検出するだけでよいので、ピーク位置前後をスキャンすればよいが、本実施形態においては、深度合成を行うための画像を取得するため、ピーク位置前後よりは広範囲のフォーカス位置に移動させる。また、深度合成ＡＦにおいては、レリーズ釦が全押しされた際に、深度合成を行うためのフォーカス位置を設定する。この深度合成ＡＦの詳しい動作については、図４を用いて後述する。また、画像の選択については図７を用いて後述する。

ステップＳ３６において深度合成ＡＦを行うと、次に、合成効果確認用の画像処理を行う（Ｓ３７）。ここでは、ステップＳ３６において取得した複数の画像を用いて合成効果確認用に深度合成を行う。この深度合成は、表示パネル１３５において、深度合成の効果、例えば、ピントの合っている範囲を確認する等を行うために行うことから、表示パネル１３５の表示精度を考慮して、記録用に行う深度合成よりは使用する画像のフレーム数は少なくし、また画像の解像度も低くする。この画像処理の詳しい動作については、図６を用いて後述する。

ステップＳ３７において画像処理を行うと、合成効果確認用に画像表示を行う（Ｓ３８）。ここでは、ステップＳ３７において深度合成された画像を、表示パネル１３５に所定時間の間、例えば、３秒程度表示する。撮影者、確認用の深度合成画像を観察し、ピントの合っている範囲を確認することができる。

ステップＳ３３における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影を行う（Ｓ４３）。ここでは、ステップＳ３５において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

また、深度合成モードが設定されている場合には、絞り、焦点距離、被写体距離（マクロか遠距離か）等の撮影状態に基づいて、ステップＳ７７において設定された深度合成用に撮影する複数のフォーカス位置に基づいてフォーカスレンズを移動させ、設定されたフォーカス位置に達すると撮影を行い、複数の画像データを取得する。この撮影の詳しい動作については、図５を用いて後述する。この複数のフォーカス位置は、記録画像の位置とし、確認用の画像を合成する際には、ステップＳ４４で説明するように、合成画像選択部１２１ｃが複数の画像の中から選択する。

ステップＳ４３においては、撮影を行うと記録画像確認用に画像処理を行う（Ｓ４４）。ここでは、ステップＳ４３において取得した複数の画像データの中から、合成画像選択部１２１ｃが、確認用画像として使用する画像データを選択し、この選択された画像データを用いて深度合成を行う。後述するステップＳ４６における記録画像に比較し、使用する画像データのフレーム数は少ないか、画像データの解像度は低いので、比較的短時間で深度合成処理を行うことができる。この画像処理の詳しい動作については、図６を用いて後述する。

なお、ステップＳ４４における画像処理は、記録画像の確認用であることから、より精度の高い画像で確認するために、ステップＳ３７における合成効果確認用の画像処理に比較し、使用する画像データのフレーム数や解像度の少なく一方は高い方が望ましい。

ステップＳ４４において、記録用画像の確認のための画像処理を行うと、次に、記録画像確認用画像表示を行う（Ｓ４５）。ここでは、ステップＳ４４において生成された深度合成画像の画像データを表示パネル１３５に所定時間の間、表示する。撮影者は、撮影直後に記録される深度合成画像と略同等の確認画像を観察し、これからピント範囲等を確認することができる。なお、撮影者の意図に沿わない場合には、操作部材を操作することにより深度合成画像を消去するようにしてもよい。

ステップＳ４５において確認用画像の表示を行うと、次に、記録用に画像処理を行う（Ｓ４６）。ここでは、ステップＳ４３において取得した複数の画像データを用い、画像処理部１０９によって記録用に画像処理を行う。また、深度合成モードが設定されている場合には、ステップＳ４３において、取得した複数の画像データを用いて深度合成を行う。この画像処理の詳しい動作については、図６を用いて後述する。

なお、ステップＳ４５において、確認用画像の表示を行うと、マイクロコンピュータ１２１は、ステップＳ４６、Ｓ４７の処理と並行して、ステップＳ３１以下の処理を実行するようにしてもよい。ステップＳ４６、Ｓ４７の実行中であっても、撮影者は次の撮影の準備を迅速に行いたい場合もあるからである。また、記録処理された深度合成画像については表示を行っていないが、確認用画像の表示に引き続き表示しても構わない。

画像処理を行うと、次に静止画記録を行う（Ｓ４７）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定可能）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。

ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。

基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。

ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４７において静止画記録を行うと、またはステップＳ３８において、合成効果確認用画像の表示を行うと、次に、電源オフか否かの判定を行う（Ｓ３９）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能である（Ｓ９）。深度合成モードが設定された場合には、レリーズ釦の半押しがなされると（Ｓ３３Ｙｅｓ）、深度合成ＡＦが行われ、合成効果確認用に深度合成がなされ、生成画像が表示される（Ｓ３５〜Ｓ３８）。このため、ライブビュー表示中であってもレリーズ釦の半押し操作によって、深度合成の画像が表示されるので、撮影前に深度合成画像を観察でき、ピント範囲等を確認することができる。

また、レリーズ釦の全押しがなされると（Ｓ４１Ｙｅｓ）、本撮影が行われ、すなわち、フォーカスレンズの位置を変えながら撮影が行われ、複数の画像データを取得する（Ｓ４３）。この複数の画像データの中から一部が選択され記録画像確認用に深度合成がなされ、生成画像が表示される（Ｓ４４、Ｓ４５）。確認用に使用する画像データは記録用の画像データよりフレーム数が少ないための短時間で処理が終わり、深度合成画像を表示できる（Ｓ４５）。このため、記録画像と略同等の深度合成画像を撮影直後に確認することができる。

次に、図４に示すフローチャートを用いて、ステップＳ３６の深度合成ＡＦの詳しい動作について説明する。深度合成ＡＦのフローに入ると、まず、合成用撮影枚数を設定する（Ｓ７１）。ここでは、ステップＳ４３の撮影の際における静止画の合成用撮影枚数を決定する。合成用撮影枚数は、記録媒体１３１の記録容量等、状況に応じて予め定められた枚数でもよいし、また撮影者が設定する枚数でもよい。

ステップＳ７１において合成用撮影枚数の設定を行うと、次に、コントラスト信号のピークを検出する（Ｓ７３）。ここでは、コントラストピークの検出に適したフォーカス間隔で被写体を撮影し（撮像素子１０３から画像データを取得する）、画像データを取得し、この画像データをフォーカス位置に対応付けてＳＤＲＡＭ１２７に一時記憶する。そして、このとき取得した画像データからコントラスト信号を抽出し、このコントラスト信号のピーク位置を検出する。但し、このステップにおけるフォーカス間隔は、通常のＡＦコントラストピーク検出より細かめに設定し、かつフォーカスをスキャンする幅は広めに設定する。また、画像データは画素混合部１０６によって混合されたデータを用いて行う。フォーカススキャン中の画像データはＳＤＲＡＭ１２７に保存しておく。

なお、ステップＳ７３において、フォーカス間隔を細かめに設定し、かつフォーカススキャンする幅は広めに設定するのは、以下の理由による。通常のＡＦ動作では、コントラスト信号のピーク位置を検出だけでよいので、フォーカス間隔はそれ程細かくする必要はなく、またスキャン幅は広くする必要はない。しかし、本実施形態においては、深度合成用の画像を取得するために行っており、合成後の画像の被写界深度を所望の深度にするためにフォーカス間隔やスキャン幅を、通常ＡＦとは異ならせている。すなわち、被写界深度に応じたフォーカス間隔とするために通常ＡＦのピーク検出より細かめの設定となり、かつ被写界深度を深くするために通常ＡＦよりスキャン幅を広げている。

ステップＳ７３においてコントラストピーク検出を行うと、次に、フォーカス基準位置を設定する（Ｓ７５）。ここでは、コントラスト信号がピーク位置になるフォーカス位置をフォーカス基準位置に設定する。すなわち、合焦位置をフォーカス基準位置としている。

ステップＳ７５においてフォーカス基準位置を設定すると、次に、フォーカス位置を設定する（Ｓ７７）。ここでは、ステップＳ４３における静止画撮影で使用するフォーカス位置を設定する。ステップＳ７５において設定したフォーカス基準位置を中心とし、撮影枚数を近接側と望遠側で同じ数になるように配置することが望ましい。また、フォーカス位置の間隔は、被写体距離、焦点距離、絞り値を引き数として、基準間隔テーブル（フラッシュメモリ１２５に記憶されている）を参照することで決定する。

ステップＳ７７においてフォーカス位置の設定を行うと、次に、合成すべきフォーカス位置を設定する（Ｓ７９）。合成すべきフォーカス位置の間隔は、基準間隔に解像度補正係数（フラッシュメモリ１２５に記憶されている）を乗算した間隔とする。解像度補正係数は、撮像された合成前の画像の解像度と表示パネル１３５の解像度、表示パネル１３５に表示した際の合成効果、画像処理に要する時間を考慮して決定する。

なお、前述したように、確認用の深度合成処理は、レリーズ釦の半押し時の合成効果確認用（図３のＳ３７）と、レリーズ釦の全押し時の記録画像の確認用（図３のＳ４４）の２種類がある。両者の画像の精度を同程度としてもよいが、記録画像の確認は実際に記録される画像の確認用であるために、記録画像確認用を高精度とする方が望ましい。このために、フラッシュメモリ１２５に記憶する基準間隔テーブルと解像度補正係数は、合成効果確認用と記録画像確認用の２種類を設ける。

ステップＳ７９において合成すべきフォーカス位置を設定すると、深度合成ＡＦのフローを終了し、元のフローに戻る。

次に、図５に示すフローチャートを用いて、ステップＳ４３の撮影の詳しい動作について説明する。撮影のフローに入ると、まず、深度合成が設定されているか否かを判定する（Ｓ８１）。深度合成モードは、ステップＳ９のカメラ設定においてユーザが設定可能である。

ステップＳ８１における判定の結果、深度合成モードが設定されていなかった場合には、撮影を行う（Ｓ８９）。ここでは、レリーズ釦が半押しされ、ステップＳ３５において決定した露出制御値および合焦位置において、撮像素子１０３で撮像を行い、画像データを取得する。

一方、ステップＳ８１における判定の結果、深度合成モードが設定されていた場合には、フォーカス移動を行う（Ｓ８３）。ここでは、ステップＳ７５（図４）において設定されたフォーカス位置に、設定された順番に従って、フォーカスレンズを移動させる。

フォーカス移動を行うと、次に、撮影を行う（Ｓ８５）。ステップＳ７５で設定されたフォーカス位置に達すると、ステップＳ３５で算出された露出制御値で、撮影を行い、撮像素子１０３から画像データを取得する。ここでの撮影にあたって、露光時間はメカシャッタ１０１によって制御するが、撮像素子１０３の電子シャッタによって制御するようにしてもよい。撮影で取得した画像データは、ＳＤＲＡＭ１２７等に一時保存する。

撮影を行うと、次に、撮影終了か否かを判定する（Ｓ８７）。ここでは、ステップＳ７５において設定されたフォーカス位置の数（撮影枚数）だけ撮影を行ったか否かを判定する。この判定の結果、設定された深度合成用の撮影枚数の撮影が終了していない場合には、ステップＳ８３に戻り、次のフォーカス位置にフォーカスレンズを移動させ、深度合成用の撮影を行う。

ステップＳ８７における判定の結果、設定された深度合成用の撮影枚数の撮影が終了した場合、またはステップＳ８９の撮影を行うと、撮影のフローを終了し、元のフローに戻る。

このように、撮影のフローにおいて、深度合成が設定されている場合には（Ｓ８１）、ステップＳ７５において設定されたフォーカス位置に移動させて撮影を行う（Ｓ８５）。予め設定された全てのフォーカス位置で撮影が終了すると（Ｓ８７）、深度合成用の撮影を終了する。

次に、図６に示すフローチャートを用いて、ステップＳ３７、Ｓ４４、Ｓ４６（図４）の画像処理の詳しい動作について説明する。画像処理のフローに入ると、まず、ステップＳ８１と同様に、深度合成か否かの判定を行う（Ｓ１１１）。このステップでは、ステップＳ９において、深度合成モードが設定されたか否かに基づいて判定する。

ステップＳ１１１における判定の結果、深度合成モードが設定されていなかった場合には、基本画像処理を行う（Ｓ１２７）。ここでは、ステップＳ８９において取得した画像データを読み出し、この画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の基本画像処理を施す。

一方、ステップＳ１１１における判定の結果、深度合成モードが設定されていた場合には、基本画像処理を行う（Ｓ１１３）。ここでは、ステップＳ８５において取得した深度合成用に取得した画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の基本画像処理を施す。なお、ステップＳ１１３における基本画像処理は、ステップＳ１２７における基本画像処理と同じでもよいが、ステップＳ１１３における基本画像処理では、深度合成用であることから、例えば、エッジ強調を強く施すなど、通常モードの基本画像処理と異ならせてもよい。

基本画像処理を行うと、次に、記録画像確認用および合成効果確認用のいずれかであるか否かについて判定する（Ｓ１１５）。ここでは、ステップＳ３７またはＳ４４における画像処理の場合にはＹｅｓと判定し、ステップＳ４６の記録画像の画像処理の場合にはＮｏと判定する。

ステップＳ１１５における判定の結果、記録画像確認用および合成効果確認用のいずれかであった場合には、解像度変換を行う（Ｓ１１７）。ここでは、解像度変換部１０９ｂが、ステップＳ８５において取得した画像データに対して、フラッシュメモリ１２７に記憶されている画像の解像度を用いて、解像度変換を行う。この場合、表示する表示パネル１３５の解像度に合わせて画像の解像度を変換する。

ステップＳ１１７において解像度変換を行うと、またはステップＳ１１５における判定の結果がＮｏの場合には、次に、１枚目か否かの判定を行う（Ｓ１１９）。ここでは、深度合成用に撮影した複数の画像の中の１枚目か否かを判定する。１枚目の場合には、合成対象画像がないことから、ステップＳ１１７以下の処理をスキップする。

ステップＳ１１９における判定の結果、１枚目でなかった場合には、位置合わせを行う（Ｓ１２１）。このステップでは、画像合成部１０９ｃが、撮影した合成用の画像の座標ズレを補正する位置合わせを行う。位置合わせとしては、例えば、１枚の画像をブロック分割し、ブロック毎の相関値が最も少ない座標へ移動量を算出し、移動量に合わせて位置合わせを行う。これ以外にも、画像全体の移動量を算出してもよい。画像全体の移動量を算出する方法は、演算時間を短縮できるが、精度が低下する。

位置合わせを行うと、次に、深度合成を行う（Ｓ１２３）。ここでは、画像合成部１０９ｃが、被写界深度を拡大する効果を得るための画像合成を行う。例えば、各画像の高周波成分を画素毎に抽出し、抽出された高周波成分の高い方の画素を採用して、画素毎に高周波成分を合成し、深度合成画像を生成する。

ステップＳ１２３において深度合成を行うと、またはステップＳ１１９における判定の結果、１枚目であった場合には、処理終了か否かを判定する（Ｓ１２５）。ここでは、撮影された合成用画像の処理が終了したか否かを判定する。すなわち、記録画像効果確認用または合成効果確認用の画像処理の場合には、ステップＳ７９（図４）において設定された合成すべきフォーカス位置に対応した全ての画像データについて処理が終了したか否かについて判定する。また記録用画像の画像処理の場合には、ステップＳ７１、Ｓ７７において設定されたフォーカス位置に対応した全ての画像データについて処理が終了したか否かに基づいて判定する。この判定の結果、処理が終了していない場合には、次の合成用画像を読み出し、ステップＳ１１３以下の処理を繰り返す。

ステップＳ１２１における判定の結果、処理が終了した場合、またはステップＳ１２３において基本画像処理を行うと、画像処理のフローを終了し、元のフローに戻る。

このように、本実施形態における画像処理のフローでは、深度合成の場合には、ステップＳ８５（図５参照）において撮影された複数の合成用画像を用いて、深度合成を行っている（Ｓ１２３）。また、記録画像効果確認用または合成効果確認用の深度合成の場合には、解像度変換を行っている（Ｓ１１７）。解像度変換によって画像データのサイズを小さくすることによって、表示の精度を確保しつつ、処理時間の短縮を図っている。

次に、図７を用いて、フォーカス位置と合成フレームの関係について説明する。図７において、横軸はフォーカス位置を示している。また、符号Ａで示した範囲は、ステップＳ３６の深度合成ＡＦにおけるフォーカス位置および合成効果確認用画像の合成フレームの位置を示す。また、符号Ｂで示した範囲は、本撮影時におけるステップＳ４３〜Ｓ４７におけるフォーカス位置および合成フレームの位置を示す。

深度合成ＡＦの場合には、符号Ａの範囲に示すように、通常ＡＦ用フォーカス位置Ｌａ１〜Ｌａ５の間隔に比較し、深度合成ＡＦ用フォーカス位置Ｌｂ１〜Ｌｂ９の間隔は密となっている。これは、記録時の深度合成の際に正確にフォーカス位置を設定するためである。また、合成効果確認用画像は、フォーカス位置Ｆｂ１、Ｆｂ５、Ｆｂ９において取得した画像データを用いて合成する。深度合成に使用する画像のフレーム数が少ないことから、表示パネル１３５の表示精度を確保しつつ、合成のための処理時間の短縮を図ることができる。

また、レリーズ釦の全押しがなされたとき本撮影の場合には、符号Ｂの範囲に示すように、静止画記録用のフォーカス位置は、基準間隔Ｌｓｄごとに設定され、これに対応するフォーカス位置Ｆｄ１〜Ｆｄ１３で画像データが取得され、記録用の深度合成の画像はこれらの画像データから生成される。記録確認用の深度合成は、フォーカス位置Ｆｃ１〜Ｆｃ１３において取得した画像データを用いて生成される。

このように、合成効果確認用に使用する画像のフレーム数が一番少なく、次いで記録確認用に使用するフレーム数が少なく、記録画像用に使用するフレーム数が一番多い。このため、記録用の深度合成画像は処理時間が掛かるが高精度の画像データを生成することができる。一方、合成効果確認用および記録確認用の深度合成画像は、表示パネル１３５に表示するには十分な精度を確保しつつ、処理時間を短縮することができる。このため、シャッタチャンスを逃すことなく、深度合成をした場合の確認画像を観察することが可能となる。

以上説明したように、本発明の一実施形態における撮像装置は、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部（例えば、撮影指示部１２１ｂ、撮像素子１０３、ドライバ２０５等）と、画像取得部で画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像を選択する画像選択部（例えば、合成画像選択部１２１ｃ等）と、画像選択部にて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成部（例えば、画像合成部１０９ｃ等）を有している。このように、画像合成するための画像データを焦点位置のずらし量と画像データの解像度に基づいて選択していることから、被写界深度合成の効果を事前に画像で精度よく確認できる。

また、本発明の一実施形態に係る制御方法やプログラムは、焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得ステップ（例えば、図４のＳ７３、図５のＳ８３、Ｓ８５）と、画像取得ステップで画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像を選択する画像選択ステップ（例えば、図６のＳ１１５、Ｓ１１７）と、記画像選択ステップにて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成ステップ（図６のＳ１２３）を有している。

なお、本発明の一実施形態においては、レリーズ釦の半押し時と、全押し時の両タイミングにおいて、確認用の深度合成画像を生成し、表示していたが、これに限らず、いずれか一方のタイミングで生成し表示するようにしてもよい。また、本発明の一実施形態においては、合成画像選択部１２１ｃは、合成すべき画像を選択するにあたって、画像データを取得した際の焦点位置のずらし量と画像データの解像度の両方に基づいて、合成すべき画像を選択していたが、これに限らず、どちらか一方のみに基づいて選択してもよく、また他の条件を加えてもよい。

また、本発明の一実施形態においては、確認用の深度合成画像は、静止画のみ生成し表示していたが、これに限らず動画撮影時において深度合成画像を生成し表示するようにしてもよい。動画の場合には、焦点位置をずらしながら取得したフレーム画像を複数記憶しておき、ずらし量や画像データの解像度に基づいて、合成に使用するフレーム画像を選択すればよい。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像を合成し、被写界深度の広い画像を生成するための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０６・・・画素混合部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・解像度変換部、１０９ｃ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１９・・・フォーカス基準位置設定部、１２１・・・マイクロコンピュータ、１２１ａ・・・レンズ制御部、１２１ｂ・・・撮影指示部、１２１ｃ・・・合成画像選択部、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ

Claims (11)

1. 焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部と、
   上記画像データ取得部で得られた画像データを、表示用画像データに変換する解像度変換部と、
   上記複数の画像データの中から上記画像データ取得部で画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択部と、
   上記画像選択部にて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成部と、
   を具備し、
   上記画像合成部は、上記解像度変換部で解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて、少ない数の画像データを上記画像選択部で選択し、画像合成を行うことを特徴とする撮像装置。
2. 上記画像選択部は、上記複数の画像データの中から、少なくとも焦点位置のずらし量と解像度変更後の解像度に基づき合成すべき画像データを選択する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記画像データ取得部は、画像データからコントラストピークを検出するのに適したずらし量で焦点位置をずらしながら画像データを取得することを特徴とする請求項１または２に記載の撮像装置。
4. 上記ずらし量は、通常のＡＦモードでのコントラストピーク検出よりも、フォーカス間隔を細かく、かつフォーカスをスキャンする幅を広くしたことを特徴とする請求項３に記載の撮像装置。
5. 上記画像選択部は、上記解像度変換部による解像度変更後の解像度が低いほど、かつ、上記画像データ取得部にて取得された画像データの解像度が低いほど、合成すべき画像データのフォーカス位置のずれ量を大きくすることを特徴とする請求項２に記載の撮像装置。
6. 上記画像選択部が選択する合成フレーム数は、記録用画像データの合成フレーム数が一番多く、次いで本撮影の記録用確認画像データ、撮影準備状態の合成効果確認用画像データの順に合成フレーム数が少なくなることを特徴とする請求項１に記載の撮像装置。
7. 上記表示用画像データは、上記記録用画像データよりも低い解像度を有することを特徴とする請求項１に記載の撮像装置。
8. 焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得部と、
   上記画像データ取得部で得られた画像データを、低い解像度の画像データに変換する解像度変換部と、
   本撮影を指示するための操作部と、
   上記操作部によって上記本撮影が指示された際に、上記画像データ取得部によって取得された上記複数の画像データの全てを合成して記録用画像データを生成し、さらに上記画像データ取得部によって取得された上記複数の画像データの内の一部を選択し、この選択された画像データを合成して被写界深度の深い確認用画像データを生成する画像合成部と、
   上記画像合成部によって合成された確認用画像データに基づいて深度合成画像を表示する表示部と、
   を具備し、
   上記画像合成部は、上記確認用画像データを生成する際には、上記解像度変換部によって上記複数の画像データを上記低い解像度の画像データに変換し、記録用画像データの生成のために解像度変換を行なわずに画像合成する場合に比べて少ない数の画像データを選択し、画像合成を行うことを特徴とする撮像装置。
9. さらに、画像データを記録する記録部を有し、
   上記記録部は、上記画像合成部によって生成された記録用画像データを記録する、
   ことを特徴とする請求項８に記載の撮像装置。
10. 焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得ステップと、
    上記画像データ取得ステップで得られた画像データを、表示用画像データに変換する解像度変換ステップと、
    上記複数の画像データの中から、上記画像データ取得ステップで画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択ステップと、
    上記画像選択ステップにて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成ステップと、
    を具備し、
    上記画像合成ステップは、上記解像度変換ステップで解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて少ない数の画像データを上記画像選択ステップで選択し、画像合成を行うことを特徴とする撮像装置の制御方法。
11. 撮像装置内のコンピュータを実行させるためのプログラムであって、
    焦点位置を所定量ずらしながら被写体像を撮像し複数の画像データを取得する画像データ取得ステップと、
    上記画像データ取得ステップで得られた画像データを、表示用画像データに変換する解像度変換ステップと、
    上記複数の画像データの中から、上記画像データ取得ステップで画像データを取得した際の焦点位置のずらし量と画像データの解像度に基づき、合成すべき画像データを選択する画像選択ステップと、
    上記画像選択ステップにて選択された複数の画像データを合成して被写界深度の深い画像データを生成する画像合成ステップと、
    を具備し、
    上記画像合成ステップは、上記解像度変換ステップで解像度変換を行った上記表示用画像データを画像合成する場合には、解像度変換を行っていない記録用画像データを画像合成する場合に比べて少ない数の画像データを上記画像選択ステップで選択し、画像合成を行うこと、
    をコンピュータに実行させることを特徴とするプログラム。

Images