JP7195790B2

JP7195790B2 - 撮像装置及びその制御方法

Info

Publication number: JP7195790B2
Application number: JP2018126164A
Authority: JP
Inventors: 俊明殖栗
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2022-12-26
Anticipated expiration: 2038-07-02
Also published as: US20220078353A1; US11212433B2; JP2020003760A; US20200007783A1; US11490002B2

Description

本発明は、フォーカスブラケット撮影機能を有する撮像装置における焦点調節技術に関するものである。

従来から、電子スチルカメラなどの撮像装置において、撮影後にベストな一枚を選択でき、ピント合わせが難しい接写やワンチャンスで動く被写体を狙うために、１レリーズで焦点距離を前後にずらした複数の画像を記録させる撮像装置が知られている。異なる複数のピントを同時に記録できることから、フォーカスブラケット撮影と呼ばれている。また、この撮影により記録された画像を用いて、撮像装置内で深度合成された画像を作成することも可能である。

特許文献１では、合焦点をピント振り撮影の基準値とし、ピントを振りながら数回の撮影を行う。例えば、－１．０Ｄ、－０．５Ｄ、ＯＤ、＋０．５Ｄ、＋１．０Ｄで５回撮影を行う技術が提案されている。また、特許文献２では、カメラが決定した１つの合焦ポイントの前後を複数枚、フォーカスブラケット撮影する際に、決定された合焦ポイントにおける焦点評価値の大きさが大きいほど、ピント振り間隔を小さくすることが開示されている。

特開平０９－１３５８１２号公報特許第５２７８５６４号

しかしながら、上述の特許文献１や特許文献２に開示された従来技術では、合焦点をピント振り撮影の基準値として等間隔に撮影する。このため、例えば、花のような被写体を撮影しようとした場合に、おしべ等にピントが合い、手前の花びらや葉っぱなど手前側の領域にピントが合いにくい場合があった。他にも、時計のような被写体でも、場合によっては、手前側の領域にピントが合いにくい状況があった。

そこで、本発明は、手前側の領域にピントが合いにくい被写体に対してもピントの合った画像を取得することが可能な撮像装置を提供することを目的とする。

本発明の技術的特徴として、フォーカスレンズを含む撮影光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出のための信号を出力することが可能な複数の画素を有する撮像手段を有する撮像装置の制御方法であって、ユーザからの撮影準備指示に応じて、前記撮像手段からの出力に基づいて焦点状態を検出する第１の焦点検出工程と、互いにピント位置が異なる複数の画像であって、合成画像を生成するために用いられる複数の画像を撮像するように前記撮像手段を制御する制御工程とを有し、前記制御工程では、ユーザの指示に応じて前記複数の画像の撮影回数を制御し、前記制御工程では、前記複数の画像を撮像する際のピント位置のステップ幅を、前記第１の焦点検出工程による焦点検出結果に基づく合焦位置を基準として、当該基準から無限遠側への前記ピント位置のステップ幅をユーザの指示に応じた第１のステップ幅とするとともに、当該基準から至近側へのピント位置のステップ幅を前記第１のステップ幅よりも小さく、かつ、ピントの精度誤差を補完する第２のステップ幅とすることを特徴とする。

本発明によれば、手前側の領域にピントが合いにくい被写体に対してもピントの合った画像を取得することが可能な撮像装置を提供することができる。

本発明の実施例における撮像装置の構成を示すブロック図である。（Ａ）本発明の実施形態における撮像素子２２の画素配列を示した図である。（Ｂ）本発明の実施形態における撮像素子２２の読み出し回路の構成例を示した図である。本発明の実施形態における撮影光学系の射出瞳面と、像高ゼロ、すなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。本発明の実施形態におけるＴＶＡＦ焦点検出部の構成を示すブロック図である。本発明の実施形態における撮影モード処理を示すフローチャート図である。本発明の実施形態における撮影モード処理を示すフローチャート図である。本発明の実施形態における撮影モード処理を示すフローチャート図である。本発明の実施形態における画面例を示す模式図である。本発明の実施形態におけるピント位置、ステップ幅、撮影順序を示す模式図である。本発明の実施形態２における撮影モード処理を示すフローチャート図である。本発明の実施形態３における撮影モード処理を示すフローチャート図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜撮像装置の構成＞
本実施形態では、撮像装置の一例として、レンズ交換可能な一眼レフタイプのデジタルカメラにおいて、本発明を適用した場合を示す。

図１は、撮像装置の主要部の構成を示すブロック図である。図１に示すように、撮像装置１００は、レンズユニット１１０とカメラ本体１２０とを有する。

レンズユニット１１０は、図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。レンズユニット１１０は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）、及び駆動／制御系を有する。本実施形態において、レンズユニット１１０は、フォーカスレンズ１０４を含み、被写体の光学像を形成する撮影レンズである。第１レンズ群１０１は、レンズユニット１１０の被写体側の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り１０２及び第２レンズ群１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット１１０が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１１０の合焦距離を調節する焦点調節を行う。

ここで、フォーカスレンズ１０４の位置制御を行うレンズ駆動方式について簡単に説明する。レンズ駆動方式には、主に、超音波モータ駆動方式とＤＣモータ駆動方式がある。超音波モータ駆動方式は、超音波により駆動させる方式である。ステータの駆動子を振動させて、ロータを物理的に移動させるため、駆動音が小さく、レンズ位置決め精度が高い。一方、ＤＣモータ駆動方式は、直流モータにより駆動させる方式である。駆動にはギアを介するので、駆動音が大きく、レンズ位置決め精度が超音波モータ駆動方式に比べて劣る。

駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１１０の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１１０の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。レンズＭＰＵ（プロセッサ）１１７は、レンズユニット１１０に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてシステム制御部５０と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の位置を検出し、システム制御部５０からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。また、レンズＭＰＵ１１７は、システム制御部５０からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点検出に必要な光学情報が予め記憶されている。システム制御部５０は、例えば、内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１１０の動作を制御する。

カメラ本体１２０は、光学系（光学ローパスフィルタ２１及び撮像素子２２）と、駆動／制御系とを有する。レンズユニット１１０の第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４と、カメラ本体１２０の光学ローパスフィルタ２１は、撮影光学系を構成する。

光学ローパスフィルタ２１は、撮影画像の偽色やモアレを軽減する。撮像素子２２は、ＣＭＯＳイメージセンサと周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ、ｍは２以上の整数）が配置される。本実施形態の撮像素子２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦが可能である。画像処理部２４は、撮像素子２２が出力する画像データから、位相差ＡＦ用のデータと、表示、記録、およびコントラスト焦点検出方式（コントラストＡＦ、ＴＶＡＦ）用の画像データを生成する。また、画像処理部２４では、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像素子２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、スルー画像表示（ライブビュー表示）を行える。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、撮像装置１００全体を制御する。システム制御部５０は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。また、システム制御部５０は、レンズＭＰＵ１１７に対し、レンズ位置の取得要求や、所定の駆動量での絞り、フォーカスレンズ、ズーム駆動要求や、レンズユニット１１０に固有の光学情報の取得要求などを発行する。また、システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切り替えスイッチ６０、シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切り替えスイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、撮像装置１００のカメラ本体１２０に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像素子２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。また、例えば、ライブビューボタンが押されると撮像素子２２を通して取得された映像の表示部２８への表示／非表示を切り替えることができる。

操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネル７０ａを有する。タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａを光の透過率が表示部２８の表示を妨げないように構成し、表示部２８の表示面の上層に取り付ける。そして、タッチパネル７０ａにおける入力座標と、表示部２８上の表示座標とを対応付ける。これにより、恰もユーザが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。システム制御部５０はタッチパネル７０ａへの以下の操作。あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。またタッチパネル７０ａ上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル７０ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部８１は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像素子２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

撮像面位相差焦点検出部２９は、画像処理部２４により得られる焦点検出用データを用いて位相差ＡＦで焦点検出処理を行う。より具体的には、画像処理部２４が、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、撮像面位相差焦点検出部２９は、この一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の撮像面位相差焦点検出部２９は、専用のＡＦセンサを用いず、撮像素子２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。撮像面位相差焦点検出部２９の動作については後で詳細に説明する。

ＴＶＡＦ焦点検出部３０は、画像処理部２４が生成するＴＶＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラストＡＦの焦点検出処理を行う。コントラストＡＦの焦点検出処理は、フォーカスレンズ１０４を移動して評価値がピークとなるフォーカスレンズ位置を合焦位置として検出する。

このように、本実施形態のデジタルカメラは、位相差ＡＦとコントラストＡＦの両方を実行可能であり、状況に応じて選択的に使用したり、組み合わせて使用したりすることができる。

＜撮像素子の構成＞
図２に画像センサとしての撮像素子２２の受光面の一部を示す。撮像素子２２は、撮像面位相差ＡＦを可能にするために、一つのマイクロレンズに対して光電変換部であるフォトダイオードを２つ保持している画素部をアレイ状に並べている。これにより、各画素部で、レンズ鏡筒の射出瞳を分割した光束を受光することが可能になっている。言い換えると、撮像素子２２は、撮影光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出のための信号を出力することが可能な複数の画素を有する構成である。

図２（Ａ）は、本実施形態に係る撮像素子２２の画素配列を示した図で、２次元Ｃ－ＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、レンズユニット１１０側から観察した状態を示している。撮像素子２２には、ベイヤー配列のカラーフィルタが設けられ、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に配置されている。画素２１１において、円２１１ｉは、オンチップマイクロレンズを表し、オンチップマイクロレンズの内側に配置された複数の矩形２１１ａ，２１１ｂは、それぞれ光電変換部である。

撮像素子２２は、すべての画素の光電変換部がＸ方向に２分割され、個々の光電変換部の光電変換信号と、光電変換信号の和が独立して読み出し可能である。また、光電変換信号の和から一方の光電変換部の光電変換信号を減じることで、他方の光電変換部の光電変換信号に相当する信号を得ることができる。個々の光電変換部における光電変換信号は位相差ＡＦ用のデータとして用いたり、３Ｄ（３－Ｄｉｍｅｎｓｉｏｎａｌ）画像を構成する視差画像の生成に用いたりしてもよい。また、光電変換信号の和は、通常の撮影画像データとして用いることができる。

図２（Ｂ）は、本実施形態の撮像素子２２の読み出し回路の構成例を示す図である。水平走査回路１５１、垂直走査回路１５３の各画素の境界部には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部は、これらの走査ラインを介して信号が外部に読み出される。

図３は、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロ、すなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして、撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は、変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図３では、レンズユニット１１０の焦点距離が至近端と無限遠端の中央にある状態を示している。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状や、像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図３（Ａ）において、レンズユニット１１０は、第１レンズ群１０１を保持する鏡筒部材１０１ｂ、第３レンズ群１０５、フォーカスレンズ１０４を保持する鏡筒部材１０４ｂを含む。また、絞り１０２の開放時の開口径を規定する開口板１０２ａ、絞り込み時の開口径を調節するための絞り羽根１０２ｂを含む。なお、撮影光学系を通過する光束の制限部材として作用する虚像１０１ｂ、１０２ａ、１０２ｂ、及び１０４ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

画素２１１は、像面中央近傍に配置されており、本実施形態では、中央画素と呼ぶ。中央画素２１１は、最下層より、光電変換部２１１ａ，２１１ｂ、配線層２１１ｅ～２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材で構成される。そして、２つの光電変換部は、オンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。すなわち、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部の表面に投影される。

図３（Ｂ）は、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部２１１ａ及び２１１ｂに対する投影像は、各々ＥＰ１ａ及びＥＰ１ｂとなる。また、本実施形態では、撮像素子は、２つの光電変換部２１１ａと２１１ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。

図３（Ａ）で、撮影光学系を通過する光束の最外部をＬで示すと、光束Ｌは、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは、撮影光学系でケラレがほぼ発生していない。図３（Ｂ）では、図３（Ａ）の光束Ｌを、ＴＬで示している。ＴＬで示す円の内部に、光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは、１０２ａと言い換えることができる。この際、像面中央では、各投影像ＥＰ１ａ及びＥＰ１ｂのケラレ状態は、光軸に対して対称となり、各光電変換部２１１ａ及び２１１ｂが受光する光量は等しい。

＜位相差ＡＦ焦点検出動作の説明＞
同一画素行に配置された所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像、光電変換部２１１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。光電変換部２１１ａ、２１１ｂの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の出力を加算して算出した疑似的な輝度（Ｙ）信号を用いる。但し、赤、青、緑の色ごとに、ＡＦ用Ａ像、Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点状態を示す焦点ずれ量（デフォーカス量）を検出することができる。本実施形態では、一方の光電変換部の出力と全光電変換部の出力の和を撮像素子２２から読み出すものとする。例えば、光電変換部２１１ａの出力と、光電変換部２１１ａ，２１１ｂの出力の和とが読み出される場合、光電変換部２１１ｂの出力は、和から光電変換部２１１ａの出力を減じることで取得する。これにより、ＡＦ用Ａ像とＢ像の両方を得ることができ、位相差ＡＦが実現できる。

位相差ＡＦを行う場合、システム制御部５０は、撮像素子２２からの出力を読み出すように制御する。そして、システム制御部５０は、画像処理部２４に対して焦点検出領域の情報を与え、焦点検出領域内に含まれる画素の出力から、ＡＦ用Ａ像およびＢ像のデータを生成して撮像面位相差焦点検出部２９に供給するよう命令する。画像処理部２４は、この命令に従ってＡＦ用Ａ像およびＢ像のデータを生成して撮像面位相差焦点検出部２９に出力する。

なお、本実施形態では、一例として水平方向に射出瞳を２分割する構成を説明したが、撮像素子一部の画素については、垂直方向に射出瞳を２分割する構成としてもよい。また、水平および垂直の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した位相差ＡＦが可能となる。

＜ＴＶＡＦ焦点検出動作の説明＞
次に、図４を用いて、コントラストＡＦ（ＴＶＡＦ）について説明する。コントラストＡＦは、システム制御部５０とＴＶＡＦ焦点検出部３０が連携してフォーカスレンズの駆動と評価値の算出を繰り返し行うことで実現される。まず、画像処理部２４からＲＡＷ画像データがＴＶＡＦ焦点検出部３０に入力されると、ＡＦ評価用信号処理回路４０１で、ベイヤー配列信号からの緑（Ｇ）信号の抽出と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。本実施形態では、ＴＶＡＦを緑（Ｇ）信号で行う場合を説明するが、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、ＲＧＢ全色用いて輝度（Ｙ）信号を生成してもよい。ＡＦ評価用信号処理回路４０１で生成される出力信号は、用いられた信号の種類によらず、以後の説明では、輝度信号Ｙと呼ぶ。

なお、システム制御部５０から、領域設定回路４１３に焦点検出領域が設定されているものとする。領域設定回路４１３は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４０９、垂直積分回路４０６、４１０、垂直ピーク検出回路４０５、４０７、４１１の各回路に入力される。また、各焦点評価値が焦点検出領域内の輝度信号Ｙで生成されるように、輝度信号Ｙが各回路に入力するタイミングが制御される。なお、領域設定回路４１３には、焦点検出領域に合わせて複数の領域が設定可能である。

次に、Ｙピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２へ入力され、領域設定回路４１３に設定された焦点検出領域内で水平ラインごとのＹラインピーク値が求められる。ラインピーク検出回路４０２の出力は、垂直ピーク検出回路４０５において焦点検出領域内で垂直方向にピークホールドされ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効な指標である。

次に、Ｙ積分評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、水平積分回路４０３へ入力され、焦点検出領域内で水平ラインごとにＹの積分値が求められる。さらに、水平積分回路４０３の出力は、垂直積分回路４０６において焦点検出領域内で垂直方向に積分されて、Ｙ積分評価値が生成される。Ｙ積分評価値は、焦点検出領域内全体の明るさを判断する指標として用いることができる。

次に、Ｍａｘ－Ｍｉｎ評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２に入力され、焦点検出領域内で水平ラインごとのＹラインピーク値が求められる。また、ガンマ補正された輝度信号Ｙは、ライン最小値検出回路４０４に入力され、焦点検出領域内で水平ラインごとに輝度信号Ｙの最小値が検出される。検出された水平ラインごとの輝度信号Ｙのラインピーク値及び最小値は、減算器に入力され、（ラインピーク値－最小値）が垂直ピーク検出回路４０７に入力される。垂直ピーク検出回路４０７は、焦点検出領域内で垂直方向にピークホールドを行い、Ｍａｘ－Ｍｉｎ評価値を生成する。Ｍａｘ－Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効な指標である。

次に、領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号は、ラインピーク検出回路４０９へ入力され、焦点検出領域内で水平ラインごとのラインピーク値が求められる。ラインピーク値は、垂直ピーク検出回路４１１によって焦点検出領域内でピークホールドされ、領域ピーク評価値が生成される。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。

次に、全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、焦点検出領域内で水平ラインごとのラインピーク値を求める。信号がラインピーク値を垂直積分回路４１０に入力し、焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、主要なＡＦ評価値である。従って、本実施形態では、単に焦点評価値と記載した場合は、全ライン積分評価値を意味する。

システム制御部５０のＡＦ制御部５０ａは、上述したそれぞれの焦点評価値を取得し、レンズＭＰＵ１１７を通じてフォーカスレンズ１０４を光軸方向に沿って所定方向に所定量移動させる。そして、新たに得られた画像データに基づいて上述した各種の評価値を算出し、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。本実施形態では、各種のＡＦ用評価値を水平ライン方向および垂直ライン方向で算出する。これにより、水平、垂直の直交する２方向の被写体のコントラスト情報に対して焦点検出を行うことができる。

＜実施例１＞
以下、図５から図８を参照して、実施例１の動作を説明する。

図５は、本実施形態による撮像装置１００のカメラ本体１２０の全体的な動作に関するフローチャート図である。このフローチャートにおける各処理は電源スイッチ７２が操作され電源がオンに切り替わると、システム制御部５０が不揮発性メモリ５６に格納されたプログラムを実行することにより実現される。

Ｓ１０１において、フラグや制御変数等を初期化する。Ｓ１１１において、システムメモリ５２に記録されている撮影設定を読み出す。ここで撮影設定とは、フォーカスブラケット撮影を実行するかを示す設定、フォーカスブラケット撮影における複数回の撮影の撮影回数、フォーカスブラケット撮影のステップ幅の各設定値である。これ以降の説明では、フォーカスブラケット撮影を実行するかを示す設定として「する」が選択されているものとして進める。

これらの撮影設定は、操作部７０のメニューボタンを押すことで設定可能である。また、システム制御部５０は、メニュー画面を表示し、操作部７０に対するユーザ操作に応じて、撮影設定を変更する。ここでは連続撮影設定機能について、その設定画面例を図８（ａ）から図８（ｅ）を用いて説明する。

図８（ａ）には、機能７０２が一覧表示されている。ユーザは操作部材７０に含まれる上下左右ボタンなどを押下することで、カーソル７０４を移動させ、ＳＥＴボタンを押下することで任意の機能の設定変更画面へ遷移する。図８（ｂ）はフォーカスブラケット撮影画面の例である。機能タイトル７１２と、各子機能７１４～７１８が表示されている。また、機能７１４と、それに対する設定値７２０が一覧表示されている。フォーカスブラケット撮影７１４は、フォーカスブラケット撮影を実行するかを示す設定する項目である。設定画面例は図８（ｃ）に示す通りであり、ユーザは選択肢７３２の中から設定値を選択する。初期値である「する」の他に、設定をユーザは選択可能である。「する」設定時は機能の実行を行う。「しない」設定時は機能の実行を行わない。撮影回数７１６は、フォーカスブラケット撮影における撮影回数を設定する項目である。設定画面例は図８（ｄ）に示す通りであり、ユーザは３桁の各数字を変更することで撮影回数を設定する。初期値は１００となっており、ここでは、百の位にフォーカスが当たっていてこの数値を変更できる状態になっている。この時、指標７４８、指標７５０が表示されていて、操作部材７０に含まれる上下ボタンを押下するか、各指標へのタッチ操作を行うことで数値を変更できる。ステップ幅７１８は、フォーカスブラケット撮影のフォーカスレンズのステップ幅を設定する項目である。設定画面例は図８（ｅ）に示す通りであり、ユーザは１から９の１桁の数字を変更することでステップ幅を設定する。ステップ幅の１は精度誤差程度のフォーカスステップ幅を示している。また、初期値は４となっており、ここでは、指標７６４、指標７６６が表示されていて、操作部材７０に含まれる上下ボタンを押下するか、各指標へのタッチ操作を行うことで数値を変更できる。上記設定より、フォーカスブラケット撮影における設定が可能になる。

図５の説明に戻って、Ｓ１０２において、システム制御部５０は、モード切り替えスイッチ６０の設定位置を判断し、撮影モードに設定されていたならばＳ１０４へ進み、それ以外に設定されていたならばＳ１０３へ進む。Ｓ１０３において、システム制御部５０は、モード切り替えスイッチ６０の設定位置を判断し、再生モードに設定されていたならばＳ１０５へ進み、それ以外に設定されていたならばＳ１０６へ進む。Ｓ１０４における撮影モード処理の詳細は後述する。

Ｓ１０６において、システム制御部５０は、その他のモードに関わる処理を行う。その他のモードとしては、記録媒体２００に格納されたファイルの送受信を行う通信モード等が含まれる。Ｓ１０７において、システム制御部５０は、電源スイッチ７２がオフであるか否かを判定し、電源オンに設定されていれば、Ｓ１０２へ戻り、電源オフに設定されていれば、Ｓ１０８へ進む。電源ＯＦＦ処理が完了すると撮像装置の動作を終了する。

図６は、本実施形態によるシステム制御部５０により実行される撮影モード処理に関するフローチャート図である。

Ｓ２０２では表示部２８にスルー画像の表示を開始する。Ｓ２０４では撮影操作判断処理により動作指示の入力を検出したかどうかを判定する。撮影操作判断処理により第１シャッタースイッチ６２、第２シャッタースイッチ６４、タッチダウン操作７０の検知ができる。第１シャッタースイッチ６２、第２シャッタースイッチ６４が押されたことを検出した場合はＳ２０８に、タッチダウン操作７０を検出した場合はＳ２３２に、検出していない場合はＳ２０４に進む。

Ｓ２０８では撮影操作判断処理により第１シャッタースイッチ６２が押されているかどうかを判定する。第１シャッタースイッチ６２が押されている場合はＳ２１０に、そうでない場合はＳ２１２に進む。Ｓ２１０では撮像面ＡＦのＡＦ方式に合わせてＡＦを行い、同時にＡＥを行う。Ｓ２１２では表示部２８にスルー画像の表示を開始する。すでにスルー画像が表示されている場合は、表示内容の変更はない。

Ｓ２１４では撮影操作判断処理により第２シャッタースイッチ６４が押されているかどうかを判定する。第２シャッタースイッチ６４が押されている場合はＳ２２２に、そうでない場合はＳ２１６に進む。Ｓ２１６では撮影操作判断処理により第１シャッタースイッチ６２が押されているかどうかを判定する。第１シャッタースイッチ６２が押されている場合はＳ２１２に、そうでない場合はＳ２１８に進む。Ｓ２１８では撮像素子２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理が実施されたか、つまり１枚以上の撮影が行われたかを判定する。実施された場合はＳ２２０に進み、実施されていない場合はフローチャートを終了する。Ｓ２２０では最後に撮影した画像に関して、メモリ３２に格納された表示用の画像データ（クイックレビュー画像）を表示部２８に表示する。

Ｓ２２２ではシステム制御部５０によりフォーカスレンズ１０４の光軸方向ＯＡにおける位置を記憶する。その後、図７のＢに進む。Ｓ２３２では撮像面ＡＦのＡＦ方式に合わせてＡＦを行い、同時にＡＥを行う。Ｓ２３４では表示部２８にスルー画像の表示を開始する。すでにスルー画像が表示されている場合は、表示内容の変更はない。Ｓ２３６ではシステム制御部５０によりフォーカスレンズ１０４の光軸方向ＯＡにおける位置を記憶する。その後、図７のＢに進む。

図７は本実施形態によるシャッターボタン操作、およびタッチダウン操作による撮影処理を行うフローチャートである。

このフローチャートでは、撮影時に焦点検出を行ったピント位置から至近側にピント位置をずらして撮影を開始する動作について説明する。これにより、後処理で撮影により出力された画像を用いて深度合成処理を行うことで、撮影時に焦点検出を行った位置よりも至近側のピント位置からピントが合った画像を生成することができる様になる。

また、至近側にピントを合わせた時の被写界深度は無限遠側に比べて短くなるため、ピントが合った画像を生成するには、より狭いステップ幅でピント位置を刻んで撮影した方が良い。この時のピント位置について、図９（ａ）を使って説明する。この図では、ピント位置をずらしながら撮影する際に、どのようなピント位置、ステップ幅、撮影順序になるのかを示している。ピント位置は、ピント位置８０２からピント位置８１２まで６つが示されていて、左側が至近側のピント位置、右側が無限遠側のピント位置となっている。また、各ピント位置との間隔が、ステップ幅８２２からステップ幅８３０である。まず、焦点検出を行った時のピント位置をピント位置８０６に示す位置とする。焦点検出を行ったピント位置から無限遠側のピント位置の間隔は、ステップ幅８２６からステップ幅８３０までステップ幅メニューに従っている。一方、焦点検出を行ったピント位置から至近側のピント位置の間隔は、ステップ幅８２２からステップ幅８２４までステップ幅メニューより短いステップ幅となっている。また、撮影される画像のピント位置は（１）から（６）まで至近側から無限遠側に順に行う。このようにピント位置を変えて撮影を行うことで、撮影時に焦点検出を行った位置よりも至近側のピント位置からピントが合った画像を生成することができる様になる。

図７の説明に戻って、Ｓ３０２において、システム制御部５０は、フォーカスブラケット撮影の撮影枚数のカウントを開始する。Ｓ３０４において、システム制御部５０は、レンズメモリ１１８に記憶されているレンズ駆動方式情報をレンズＭＰＵ１１７経由で取得し、レンズ駆動方式を判断する。ＤＣモータ駆動方式の場合はＳ３１６に、そうでない場合はＳ３０６に進む。Ｓ３０６において、システム制御部５０は、フォーカスレンズ１０４を移動させるフォーカスステップをメニューで設定したステップ幅よりも小さな値を設定する。例えば、ステップ幅設定が「４」の場合にはフォーカスステップを４未満の値となる「３」に設定する。

Ｓ３０８において、システム制御部５０は、レンズＭＰＵ１１７経由で、ステップＳ３０６で設定したフォーカスステップ幅だけ至近側にフォーカスレンズ１０４を移動させる。Ｓ３１０において、システム制御部５０は、レンズＭＰＵ１１７からエラー信号が届いていないか、つまりフォーカスレンズ１０４が至近側にこれ以上移動できないかどうかを判断する。エラー信号が届いている場合にはＳ３１２に進み、そうでない場合はＳ３０８に進む。Ｓ３１２において、システム制御部５０は、現在のピント位置情報をレンズＭＰＵ１１７経由で取得し、焦点検出時のピント位置と同じか、あるいは無限遠側にあるか判定する。現在のピント位置が焦点検出時のピント位置と同じか、あるいは無限遠側にある場合はＳ３１４に進み、そうでない場合はＳ３２２に進む。

Ｓ３１４において、システム制御部５０は、撮影設定のフォーカスステップをメニューで設定したステップ幅を設定する。Ｓ３２２において、システム制御部５０は、撮像素子２２からの信号読み出しから画像処理部２４による画像処理までの一連の撮影処理の動作を行う。Ｓ３２４において、システム制御部５０は、Ｓ３２２で処理した画像データを記録媒体２００に書き込む。Ｓ３２６において、システム制御部５０は、システムメモリ５２に記憶されている撮影カウントを１増加させる。

Ｓ３２８において、システム制御部５０は、システムメモリ５２に記憶されている撮影カウントがメニューで設定した撮影枚数設定よりも小さいかどうかを判定する。撮影カウントがメニューで設定した撮影枚数設定よりも小さい場合はＳ３３０に進み、そうでない場合はＳ３３８に進む。Ｓ３３０において、システム制御部５０は、レンズＭＰＵ１１７経由で、ステップＳ３１６で設定したフォーカスステップ幅だけ無限遠側にフォーカスレンズ１０４を移動させる。Ｓ３３２において、システム制御部５０は、レンズＭＰＵ１１７からエラー信号が届いていないか、つまりフォーカスレンズ１０４が無限遠側にこれ以上移動できないかどうかを判断する。エラー信号が届いている場合にはＳ３３８に進み、そうでない場合はＳ３３４に進む。

Ｓ３３４において、システム制御部５０は、第２シャッタースイッチ６４が押されているかどうかを判定する。第２シャッタースイッチ６４が押されている場合はＳ３３８に進み、そうでない場合はＳ３３６に進む。これにより、撮影途中であっても、第２シャッタースイッチを再度押された場合に、撮影をキャンセルすることができるようになる。Ｓ３３６において、システム制御部５０は、背面表示パネル２８ａにタッチされ、タッチパネル７０ａがタッチダウンを検知したかどうかを判定する。タッチパネル７０ａがタッチダウンを検知した場合はＳ３３８に進み、そうでない場合はＳ３２２に進む。これにより、撮影途中であっても、背面表示パネル２８ａにタッチされた場合に、撮影をキャンセルすることができるようになる。Ｓ３３８において、システム制御部５０は、システムメモリ５２に記憶されている撮影カウントをリセットする。この後、図７のＣに進む。

このように図５から図７の各フローによって、焦点検出を行ったピント位置から至近側のピント位置の間隔は、ステップ幅メニューより短いステップ幅とする。また、ピント位置を変えて撮影を行うことで、撮影時に焦点検出を行った位置よりも至近側のピント位置からピントが合った画像を生成することが可能になる。

また、Ｓ３０４においてレンズ駆動方式がＤＣモータ駆動方式の場合には、焦点検出を行ったピント位置から至近側にピント位置をずらすことなく撮影を行っているが、ＤＣモータ駆動方式でない場合と同様に至近側にピント位置を移動させて撮影しても良い。

以上のようにして、手前側の領域にピントが合いにくい被写体に対しても、撮影時にピント位置を至近側にずらすことで、深度合成したい深度の範囲の撮影を行うことが可能になる。さらに合焦位置から至近側の領域の解像感を高めることが可能になる。

＜実施例２＞
焦点検出時に撮像面位相差ＡＦを行った後に、ピント位置を至近側に移動させる場合には、例えばＴＶＡＦのような撮像面位相差ＡＦとは異なるＡＦ方式によりボケ判定を行いながらピント位置を決める。これにＡＦ制御部１５１より至近側の適切な被写体の位置にピント位置を合わせることができる可能性がある。この時のピント位置について、図９（ｂ）を使って説明する。

この図では、図９（ａ）と異なる部分のみ説明する。撮像面位相差ＡＦにより焦点検出を行ったピント位置から無限遠側のピント位置の間隔は、ステップ幅８２６からステップ幅８３０までステップ幅メニューに従っている。また、ＴＶＡＦによりボケ判定を行いながら決めた至近側のピント位置の間隔は、ステップ幅８３２からステップ幅８３４までステップ幅となっている。この時のステップ幅は、ＴＶＡＦによりボケ判定を行いながら決めるのでステップ幅メニューとは異なる間隔になる。また、撮影される画像のピント位置は（１）から（６）まで至近側から無限遠側に順に行う。

このようにピント位置を変えて撮影を行うことで、撮影時に焦点検出を行った位置よりも至近側のピント位置からピントが合った画像を生成することができる様になる。

以下、図１０を参照して、本発明の実施例の動作を説明する。

図１０は本実施形態によるシャッターボタン操作、およびタッチダウン操作による撮影処理を行うフローチャート図である。フローチャート図は、実施例１と異なるところのみ説明する。

Ｓ３４２において、ＴＶＡＦ焦点検出部３０において、コントラスト値を取得してボケ判定を行う。

Ｓ３４４において、システム制御部５０は、Ｓ３４２の処理結果として、コントラスト値が高い領域が一定領域以上あるかどうかを判定する。コントラスト値が高い領域が一定領域以上ある場合はＳ３４６に進み、そうでない場合はＳ３０８に進む。これにより、コントラスト値が高い、つまりピントが合った領域を含む画像を深度合成の素材画像の１枚にすることができ、結果として深度合成によりこの領域も解像感のある合成画像を生成することが可能になる。

Ｓ３４６において、システム制御部５０は、システムメモリ５２にピント位置を記憶する。ここで記憶されたピント位置は、図７（ｂ）を使って説明すると撮影順序（２）、撮影順序（１）と遡って確定していくものである。また、ここで記憶されたピント位置は、撮影が開始された時には、撮影順序（１）、撮影順序（２）、撮影順序（３）と撮影するピント位置８１４、ピント位置８１６、ピント位置８０６を決める際に利用される。

Ｓ３４８において、システム制御部５０は、現在のピント位置から次のピント位置までの差を求めフォーカスステップとして割り当てる。ここでのフォーカスステップとは、図７（ｂ）を使って説明すると、撮影順序（１）の撮影を行う場合、ピント位置８１４からピント位置８１６のステップ幅８３２のことである。

このように図１０のフローによって、ＴＶＡＦによりボケ判定を行いながら決めたピント位置に従い撮影することが可能になる。また、Ｓ３４２ではＴＶＡＦ焦点検出部３０を用いてボケ判定を行っているが、その他のＡＦ方式でボケ判定を行えるものがあれば、そのＡＦ方式を用いても良い。

＜実施例３＞
焦点検出時のピント精度は、被写体によって甘くなることがある。そのため、精度誤差程度のステップ幅だけピント位置を至近側にずらして撮影することで精度誤差を補完することができる。ここでは、精度誤差程度のステップ幅をフォーカスステップ設定の１とする。この時のピント位置について、図９（ｃ）を使って説明する。

この図では、図９（ａ）、図９（ｂ）と異なる部分のみ説明する。焦点検出を行ったピント位置から無限遠側のピント位置の間隔は、ステップ幅８２６からステップ幅８３０までステップ幅メニューに従っている。また、焦点検出を行ったピント位置から至近側のピント位置の間隔は、ステップ幅８３６となっている。これは、精度誤差を補完できるようなステップ幅である。また、撮影される画像のピント位置は（１）から（５）まで至近側から無限遠側に順に行う。

以下、図１１を参照して、本発明の実施例の動作を説明する。図１１は本実施形態によるシャッターボタン操作、およびタッチダウン操作による撮影処理を行うフローチャート図である。フローチャート図は、実施例１、実施例２と異なるところのみ説明する。

Ｓ３５２において、システム制御部５０は、フォーカスレンズ１０４を移動させるフォーカスステップにフォーカスステップ設定と異なる最小値を設定する。フォーカスステップ設定が４であれば、最小値として精度誤差程度のステップ幅となる１を設定する。これにより、ピントの精度誤差程度の範囲をカバーした画像を深度合成の素材画像の１枚にすることができ、結果として深度合成によりピントの精度誤差程度の範囲も解像感のある合成画像を生成することが可能になる。

このように精度誤差を補完できるようなステップ幅だけ至近側に戻して撮影することが可能になる。なお、Ｓ３５２において、フォーカスステップとして最小値である１を設定しているが、精度誤差を補完できるのであればこれに限らない。

＜その他の実施形態＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した各実施形態においては、本発明をレンズが着脱可能なデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。レンズ交換できないタイプのデジタルカメラや、ビデオカメラに対しても適用可能である。また、携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。

Claims

フォーカスレンズを含む撮影光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出のための信号を出力することが可能な複数の画素を有する撮像手段と、
ユーザからの撮影準備指示に応じて、前記撮像手段からの出力に基づいて焦点状態を検出する第１の焦点検出手段と、
互いにピント位置が異なる複数の画像であって、合成画像を生成するために用いられる複数の画像を撮像するように前記撮像手段を制御する制御手段と、を有し、
前記制御手段は、ユーザの指示に応じて前記複数の画像の撮影回数を制御し、
前記制御手段は、前記複数の画像を撮像する際のピント位置のステップ幅を、前記第１の焦点検出手段による焦点検出結果に基づく合焦位置を基準として、当該基準から無限遠側への前記ピント位置のステップ幅をユーザの指示に応じた第１のステップ幅とするとともに、当該基準から至近側へのピント位置のステップ幅を前記第１のステップ幅よりも小さく、かつ、ピントの精度誤差を補完する第２のステップ幅とすることを特徴とする撮像装置。
前記複数の画像を撮像する際のピント位置は、被写界深度に基づいて設定されることを特徴とする請求項１に記載の撮像装置。
ピント位置が無限遠に達した場合には、撮影カウントが前記複数の画像の撮影回数に達していなくても、合成画像を生成するために用いられる複数の画像の撮像を終了することを特徴とする請求項１または２に記載の撮像装置。
フォーカスレンズを含む撮影光学系の異なる瞳領域を通過した光束を光電変換して、一対の焦点検出のための信号を出力することが可能な複数の画素を有する撮像手段を有する撮像装置の制御方法であって、
ユーザからの撮影準備指示に応じて、前記撮像手段からの出力に基づいて焦点状態を検出する第１の焦点検出工程と、
互いにピント位置が異なる複数の画像であって、合成画像を生成するために用いられる複数の画像を撮像するように前記撮像手段を制御する制御工程とを有し、
前記制御工程では、ユーザの指示に応じて前記複数の画像の撮影回数を制御し、
前記制御工程では、前記複数の画像を撮像する際のピント位置のステップ幅を、前記第１の焦点検出工程による焦点検出結果に基づく合焦位置を基準として、当該基準から無限遠側への前記ピント位置のステップ幅をユーザの指示に応じた第１のステップ幅とするとともに、当該基準から至近側へのピント位置のステップ幅を前記第１のステップ幅よりも小さく、かつ、ピントの精度誤差を補完する第２のステップ幅とすることを特徴とする制御方法。