JP2015004922A - 焦点調節装置及び撮像装置 - Google Patents

Abstract

【課題】 主要被写体が人物以外の物体となる場合であっても、その物体に対して確実に焦点が合わせる。
【解決手段】 本発明の焦点調節装置は、被写体光を取り込む撮像光学系と、被写体が含まれる第１の画像を生成する生成部と、撮像光学系により取り込まれる被写体光に基づいて連続して取得される第２の画像に対して前記第１の画像を用いたテンプレートマッチングを行うことで、前記第２の画像のそれぞれから切り出す領域を対象領域として設定する設定部と、第２の画像から切り出した対象領域の画像のそれぞれに対して圧縮処理を行う圧縮部と、圧縮処理された対象領域の画像のデータ量の変化に基づいて、撮像光学系におけるフォーカスポジションを制御する制御部と、を備えたことを特徴とする。
【選択図】 図１

Description

本発明は、焦点調節装置及び撮像装置に関する。

位相差検出方式やコントラスト検出方式のオートフォーカス（ＡＦ）制御を備えたデジタルカメラを用いて高速な連続撮影を行う場合、各撮影間において上記のＡＦ制御を実行することが困難であることから、フォーカスを固定にすることが一般的である（特許文献１参照）。そこで、高速な連続撮影における個々の撮影で得られる画像データ自体のデータ量の変化に基づいて、高速な連続撮影におけるフォーカス制御を行うことが考案されている。

特開２００６−２０１２８２号公報

例えば画像データのデータ量の変化を、高速な連続撮影におけるフォーカス制御に用いる場合、得られる画像データのデータ量が一定であれば、主要被写体に焦点が合っていなくても、主要被写体に焦点が合っていると判定されてしまう。そこで、撮影時に使用される焦点検出位置や主要被写体を含む所定範囲を切り出した画像データのデータ量の変化を用いることが考案されている。しかしながら、人物以外の物体を主要被写体とする場合、主要被写体となる物体が、必ずしも主要被写体と認識されるとは限らないことから、主要被写体が人物以外の物体となる場合には、その物体に対して確実に焦点が合わせることが難しいという問題がある。

本発明は、主要被写体が人物以外の物体となる場合であっても、その物体に対して確実に焦点が合わせることができるようにした焦点調節装置及び撮像装置を提供することを目的とする。

本発明の焦点調節装置は、被写体光を取り込む撮像光学系と、被写体が含まれる第１の画像を生成する生成部と、前記撮像光学系により取り込まれる被写体光に基づいて連続して取得される第２の画像に対して前記第１の画像を用いたテンプレートマッチングを行うことで、前記第２の画像のそれぞれから切り出す領域を対象領域として設定する設定部と、前記第２の画像から切り出した前記対象領域の画像のそれぞれに対して圧縮処理を行う圧縮部と、前記圧縮処理された前記対象領域の画像のデータ量の変化に基づいて、前記撮像光学系におけるフォーカスポジションを制御する制御部と、を備えたことを特徴とする。

また、本発明の撮像装置は、取り込まれる被写体光に基づく画像を連続して出力することが可能な撮像素子と、前記撮像素子から出力される画像に基づいて、前記撮像光学系のフォーカスポジションを制御する、上記に記載の焦点調節装置と、を備えたことを特徴とする。

本発明によれば、主要被写体が人物以外の物体となる場合であっても、その物体に対して確実に焦点が合わせることができる。

本発明のデジタルカメラの構成を示す機能ブロック図である。 （ａ）顔領域の大きさが１つの分割領域の大きさよりも小さく且つ顔領域が１つの分割領域内に収まる場合に設定される比較対象領域を示す図、（ｂ）顔領域の大きさが１つの分割領域の大きさよりも小さく且つ顔領域が複数の分割領域に跨る場合に設定される比較対象領域を示す図、（ｃ）顔領域の大きさが１つの分割領域の大きさよりも大きい場合に設定される比較対象領域を示す図である。 （ａ）複数の顔領域のうち、最も大きい顔領域を選択した場合に設定される比較対象領域を示す図、（ｂ）複数の顔領域のうち、ＡＦエリアに重畳される顔領域を選択した場合に設定される比較対象領域を示す図である。 走行するレース車両を撮像した画像と、コントラスト情報から特定される主要被写体の領域を示す図である。 （ａ）焦点が合うＡＦエリアが１つで、且つ該ＡＦエリアが１つの分割領域内に収まる場合に設定される比較対象領域を示す図、（ａ）焦点が合うＡＦエリアが１つで、且つ該ＡＦエリアが複数の分割領域に跨る場合に設定される比較対象領域を示す図である。 （ａ）焦点が合う複数のＡＦエリアが１つの分割領域内に収まる場合に設定される比較対象領域を示す図、（ｂ）焦点が合う複数のＡＦエリアが隣接する複数の分割領域に跨る場合に設定される比較対象領域を示す図、（ｃ）焦点が合う複数のＡＦエリアが離散する分割領域のそれぞれに収まる場合に設定される比較対象領域を示す図である。 高速連写における一連の処理の流れを示すフローチャートである。 高速連写における一連の処理の流れを示すフローチャートである。 高速連写における一連の処理の流れを示すフローチャートである。

以下、本発明の実施形態としてデジタルカメラ１０を例に説明する。本発明のデジタルカメラ１０は、１回の撮像処理により静止画像を取得する撮影の他、複数回の撮像処理を連続して行って複数の静止画像を取得する連続撮影を行うことが可能である。この連続撮影は、例えば３０コマ／秒、５０コマ／秒、６０コマ／秒など高速な連続撮影を行うことができる。以下、高速な連続撮影を高速連写と称して説明する。

図１に示すように、デジタルカメラ１０は、撮像光学系１５、クイックリターンミラー１６、メカニカルシャッタ１７、撮像素子１８、アナログフロントエンド（ＡＦＥ）回路１９、タイミングジェネレータ（ＴＧ）２０、レンズ駆動機構２１、シャッタ駆動機構２２、バッファメモリ２５、画像処理回路２６、圧縮／伸長回路２７、表示制御回路２８、表示装置２９、接続用Ｉ／Ｆ３０、ＣＰＵ４０、不揮発性メモリ４１、ワークメモリ４２、焦点検出部４３、レリーズボタン４４、操作部４５などを備えている。ＡＦＥ回路１９、バッファメモリ２５、画像処理回路２６、圧縮／伸長回路２７、表示制御回路２８、接続用Ｉ／Ｆ３０、ＣＰＵ４０は、バス４６を介して電気的に接続される。

撮像光学系１５は、被写界光束を結像し、撮像素子１８の撮像面近傍に被写界像を形成する。図１においては、撮像光学系１５を単一のレンズにて記載しているが、実際には、フォーカシングレンズを備えた複数のレンズから構成される。このフォーカシングレンズは、レンズ駆動機構２１を介して光軸方向に移動される。フォーカシングレンズを光軸方向に移動させることで、フォーカス制御が実行される。

また、撮像光学系１５は、不図示の絞りを備えている。この絞りは、ＣＰＵ４０により設定されるＡｖ値に応じて、絞り径が調整される。このＡｖ値は、ユーザが入力した値であってもよいし、自動露出演算により算出された値であってもよい。

クイックリターンミラー１６は、撮像光学系１５と撮像素子１８との間の被写界光束の光路上に配置される。このクイックリターンミラー１６は、ミラーダウン状態と、ミラーアップ状態との間で切り替えられる。クイックリターンミラー１６がミラーダウン状態の場合、被写体光束はクイックリターンミラー１６により焦点検出部４３及び不図示の測光部へと導かれる。一方、クイックリターンミラー１６がミラーアップ状態の場合、被写体光束は、クイックリターンミラー１６により撮像素子１８へ導かれる。

メカニカルシャッタ１７は、クイックリターンミラー１６と撮像素子１８との間の、被写界光束の光路上に配置される。このメカニカルシャッタ１７は、ＴＧ２０からの駆動信号を受けたシャッタ駆動機構２２により開閉される。

撮像素子１８は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどから構成される。この撮像素子１８は、ＴＧ２０から供給される駆動信号に応じて、信号の蓄積及び信号の読み出しを行う。

ＴＧ２０は、ＣＰＵ４０からの指示に応じて、撮像素子１８やシャッタ駆動機構２２に対して駆動信号を出力する。また、ＴＧ２０は、ＡＦＥ回路１９やＣＰＵ４０に対して同期信号を供給する。ここで、ＴＧ２０は、撮像素子１８へ供給する駆動信号のパターンと、メカニカルシャッタ１７へ供給する駆動信号のパターンとの組み合わせにより、１フレーム当たりの露光時間を制御する。この露光時間は、ＣＰＵ４０により指定されたＴｖ値に応じた値に設定される。ここで、Ｔｖ値は、ユーザが入力した値であってもよいし、自動露出演算により算出された値であってもよい。ここで、高速連写を実行する場合には、メカニカルシャッタ１７を開状態としたまま、撮像素子１８の駆動制御（信号の蓄積及び信号の読み出し）を行う。この場合、露光時間は、撮像素子１８に供給される駆動信号のみで制御される。つまり、高速連写を行う場合、メカニカルシャッタ１７ではなく、電子シャッタとなる。

ＡＦＥ回路１９は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを備えている。ＣＤＳ回路は、撮像素子１８から出力されるアナログ信号のノイズ成分を相関二重サンプリングにより除去する。ゲイン回路は、ノイズが除去されたアナログ信号を増幅する。Ａ／Ｄ変換回路は、増幅されたアナログ信号をデジタル信号に変換する。

ここで、ゲイン回路による信号の増幅時に用いられる信号増幅率（ゲイン）は、ＣＰＵ４０からのＳｖ値に基づいた値である。このＳｖ値は撮影時の感度（ＩＳＯ感度）であり、このＳｖ値は、ユーザが指定した値であってもよいし、自動露出演算にて算出された値であってもよい。

焦点検出部４３は、ミラーダウン状態のクイックリターンミラー１６から導かれた被写界光束を瞳分割してから再統合することにより、撮像素子１８に対する撮像光学系１５のデフォーカス信号を生成する位相差検出方式の焦点検出部から構成される。ここで、撮像光学系１５のデフォーカス信号は、撮像範囲に対して複数配置される複数のＡＦエリアのそれぞれで生成される。

バッファメモリ２５は、ＡＦＥ回路１９から出力されたデジタル信号が書き込まれる。このバッファメモリ２５は、ＡＦＥ回路１９から出力されたデジタル信号が書き込まれる他、画像処理回路２６から転送された他のデジタル信号が書き込まれる。ここで、バッファメモリ２５は、複数フレーム分のデジタル信号を記憶することができる。

画像処理回路２６は、ホワイトバランス処理回路、画素補間回路、マトリクス処理回路、非線形変換（γ補正）処理回路及び輪郭強調処理回路などを備え、バッファメモリ２５から読み出されたデジタル信号に対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）及び輪郭強調などの処理を施す。

画像処理回路２６は、テンプレート生成部４７、トリミング部４８を備えている。テンプレート生成部４７は、ＡＦ処理時に取り込まれる画像データから得られるコントラスト情報を用いて、主要被写体が含まれる領域を特定する。この特定の後、テンプレート生成部４７は、特定された領域からなる画像をテンプレート画像として生成する。なお、テンプレート画像を生成する際に、ＡＦ処理時に取り込まれる画像データのコントラスト情報を用いているが、コントラスト情報に加えて、画像データにおける色情報を用いて、被写体が含まれる領域を特定することも可能である。

トリミング部４８は、高速連写により得られた画像データのそれぞれから、後述する比較対象領域に該当する領域をトリミング処理する。なお、トリミング処理により生成される画像データ（対象画像データ）は、バッファメモリ２５に記憶される。

圧縮／伸長回路２７は、画像処理済みの画像データや、対象画像データに対して圧縮処理を施す。圧縮処理が施された画像データは、接続用Ｉ／Ｆ３０を介して記憶媒体５０に書き込まれる。ここで、記憶媒体５０としては、不揮発性メモリからなるメモリーカード、光学ディスク、磁気ディスクなどが挙げられる。また、圧縮／伸長回路２７は、記憶媒体５０から読み出した圧縮処理済みの画像データに対して伸長処理を行う。表示制御回路２８は、入力された画像データを表示用の所定方式の信号に変換して表示装置２９に表示する。

ＣＰＵ４０は、不揮発性メモリ４１に格納されている制御プログラムに従って、ワークメモリ４２を一時記憶作業領域として利用して各部の制御を行う。このＣＰＵ４０は、高速連写時に、顔検出部５１、領域設定部５２、データ比較部５３、焦点制御部５４の機能が有効となる。

顔検出部５１は、画像中に含まれる人物の顔を検出する。この顔を検出する処理としては、例えば画像に含まれる肌色の領域を検出し、肌色の領域に含まれる特徴量から、顔であるか否かの判定を行う処理、又は顔形状のテンプレートを複数用意しておき、テンプレートと画像との相関から顔の領域を検出する処理等が挙げられる。顔検出部５１は、顔が検出されると、検出された顔を含む矩形の領域の位置情報を求める。ここで、顔領域の位置情報は、顔領域の四隅の頂点の位置座標を示すアドレスデータである。

領域設定部５２は、データ比較部５３にて実行されるデータ量の比較の際に用いる領域（比較対象領域）を設定する。領域設定部５２は、１回目の撮像処理により得られる画像を縦ｍ個横ｎ個の計ｍ×ｎ個の領域に分割する。この領域分割に関わるデータは例えばワークメモリ４２に記憶される。以下、画像を分割することで得られる領域を分割領域と称して説明する。顔検出部５１による顔検出処理において顔が検出された場合には、画像に設定される複数の分割領域のうち、検出された顔の領域が含まれる分割領域を、比較対象領域として設定する。一方、顔検出部５１による顔検出処理において顔が検出されない場合、領域設定部５２は、テンプレート画像が生成されているか否かにより、以下の処理を実行する。例えばテンプレート画像が生成されている場合、領域設定部５２は、テンプレート画像と、高速連写により取得された画像とを用いてテンプレートマッチングを行う。そして、領域設定部５２は、テンプレートマッチングによりテンプレート画像に一致する領域が含まれる矩形の領域を比較対象領域として設定する。一方、テンプレート画像が生成されていない場合、領域設定部５２は、１回目の撮像処理におけるフォーカス制御にて使用されるＡＦエリアを含む分割領域を比較対象領域として設定する。そして、領域設定部５２は、上述したいずれかの方法で比較対象領域を設定した後、比較対象領域の位置情報を求める。なお、比較対象領域の位置情報は、画像処理回路２６に出力される。画像処理回路２６のトリミング部４８は、比較対象領域の位置情報に基づいて、高速連写により得られる各画像データに対してトリミング処理を実行する。このトリミング処理により、対象画像データが生成される。

データ比較部５３は、圧縮処理が施された対象画像データのデータ量を比較する。一般に、同じ被写界を連続して２回撮影した場合、個々の撮影においてピントが合っていれば、それぞれの撮影にて得られる２つの画像データのデータ量は近似する。しかしながら、１回目の撮影においてピントが合い、２回目の撮影においてピントが合っていない場合には、１回目の撮影で得られる画像は鮮鋭度が高い画像となり、２回目の撮影で得られる画像は鮮鋭度が低い画像となる。ここで、鮮鋭度の高い画像のデータ量は、鮮鋭度の低い画像のデータ量よりも大きくなる傾向がある。また、比較対象領域は、人物の顔領域や人物以外の被写体の領域、又は焦点が合うＡＦエリアが含まれる領域である。したがって、圧縮処理済みの対象画像データのデータ量を比較することで、画像において注目すべき領域に対して焦点が合い、他の領域に焦点が合わないように、フォーカス制御を行うことができる。

焦点制御部５４は、撮影時におけるフォーカス制御を実行する。例えば高速連写における１回目の撮像処理のフォーカス制御は、焦点検出部４３における検出結果を利用したフォーカス制御である。また、高速連写における２回目以降のフォーカス制御は、データ比較部５３による比較結果に基づいたフォーカス制御である。なお、２回目以降のフォーカス制御は、比較対象領域をトリミングすることで得られる対象画像データにおける鮮鋭度と対象画像データのデータ量との関係を利用したフィードバック制御となる。

次に、比較対象領域の設定について説明する。まず、領域設定部５２は、1回目の撮像処理により得られた画像をｍ×ｎ個の分割領域に分割する。図２は、１回目の撮像処理により得られた画像Ｐを縦４個、横６個計２４個の領域Ａ_１〜Ａ_２４に分割した場合である。

そして、以下の手順で比較対象領域を設定する。まず、顔検出部５１により顔が検出されている場合、領域設定部５２は、検出された顔が単数（１つ）であるか、複数（２以上）であるかを判定する。例えば画像Ｐから１つの顔が検出される場合、領域設定部５２は、検出された顔の領域（顔領域）が１つの分割領域よりも小さいか否かを判定する。顔領域が分割領域よりも小さいと判定した場合、領域設定部５２は、検出された顔領域が複数の分割領域のいずれかの領域に収まるか、複数の分割領域に跨るかを判定する。

図２（ａ）に示すように、検出された顔領域ＦＲ_１が１つの分割領域よりも小さく、また顔領域ＦＲ_１が分割領域Ａ_１７に収まる場合、領域設定部５２は、分割領域Ａ_１７を比較対象領域として設定する。

図２（ｂ）に示すように、検出された顔領域ＦＲ_２が１つの分割領域よりも小さい場合であっても、顔領域ＦＲ_２が複数の分割領域Ａ_１０、Ａ_１１、Ａ_１６、Ａ_１７に跨るときもある。このような場合には、領域設定部５２は、分割領域Ａ_１０、Ａ_１１、Ａ_１６、Ａ_１７を比較対象領域として設定する。図２（ｂ）においては、顔領域ＦＲ_２が複数の分割領域Ａ_１０、Ａ_１１、Ａ_１６、Ａ_１７に跨る場合を説明しているが、顔領域が上下方向又は左右方向に隣り合う２つの分割領域に跨る場合には、顔領域が跨る２つの分割領域を比較対象領域に設定する。

図２（ｃ）に示すように、顔領域ＦＲ_３が１つの分割領域よりも大きい場合には、顔領域ＦＲ_３は複数の分割領域に跨るので、このような場合、領域設定部５２は、顔領域ＦＲ_３が跨る分割領域Ａ_１０、Ａ_１１、Ａ_１２、Ａ_１６，Ａ_１７、Ａ_１８、Ａ_２２、Ａ_２３、Ａ_２４を比較対象領域として設定する。なお、検出される顔領域が他の分割領域に跨る場合も同様にして、比較対象領域が設定される。

次に、顔検出部５１により検出された顔が複数となる場合、領域設定部５２は、まず、検出された複数の顔に基づく顔領域のうち、１つの分割領域よりも大きい顔領域があるか否かを判定する。図３（ａ）は、３つの顔領域ＦＲ_４、ＦＲ_５、ＦＲ_６が検出された場合を示す。顔領域ＦＲ_４、ＦＲ_５、ＦＲ_６のうち、顔領域ＦＲ_６が最も大きい顔領域となる場合には、領域設定部５２は顔領域ＦＲ_６を選択する。そして、領域設定部５２は、選択された顔領域ＦＲ_６が跨る分割領域Ａ_１６，Ａ_１７、Ａ_２２、Ａ_２３を、比較対象領域として設定する。

図３（ｂ）に示すように、検出された３つの顔領域ＦＲ_７、ＦＲ_８、ＦＲ_９のいずれもが１つの分割領域よりも小さい場合がある。このような場合には、領域設定部５２は、顔領域の位置とＡＦエリアの位置とに基づいて、ＡＦエリアのいずれかに重畳する顔領域があるか否かを判定する。ＡＦエリアのいずれかに重畳する顔領域があれば、領域分割部５２は、その顔領域を選択し、選択された顔領域が収まる分割領域、或いは顔領域が跨る分割領域を比較対象領域として設定する。図３（ｂ）においては、顔領域ＦＲ_８がＡＦエリアに重畳しているので、領域設定部５２は、顔領域ＦＲ_８を選択する。そして、領域設定部５２は、顔領域ＦＲ_８が収まる分割領域Ａ_９を比較対象領域として設定する。なお、検出された顔領域のいずれもがＡＦエリアに重畳されない場合には、検出された顔領域のうち、最も大きい顔領域が位置する分割領域を比較対象領域としてもよいし、焦点が合うＡＦエリアが含まれる分割領域を比較対象領域としてもよい。

一方、顔検出部５１により顔が検出されていない場合で、且つテンプレート画像が生成されている場合には、以下の方法で比較対象領域を設定する。高速連写を実行するときのＡＦ処理は、レリーズボタン４４の半押し操作に応答して実行される。そこで、テンプレート生成部４７は、ＡＦ処理時に得られる画像データからコントラスト情報を取得した後、取得したコントラスト情報を用いて、テンプレート画像を生成する。図４に示すように、例えば走行するレース車両を高速連写する場合を考える。この場合、ドライバーが被るヘルメットにピントを併せて撮影を行うのが一般的である。したがって、ヘルメット付近のコントラストは他の領域に比べて高い。そこで、テンプレート生成部４７は、コントラストが高いヘルメットが含まれる矩形の領域６０を用いたテンプレート画像データを生成する。

したがって、領域設定部５２は、高速連写における各撮像処理により得られた画像データに対して、テンプレート画像データを用いたテンプレートマッチングを行い、テンプレート画像データに対応する領域を比較対象領域として設定する。

さらに、顔検出部５１により顔が検出されていない場合で、且つテンプレート画像が生成されていない場合もある。この場合、領域設定部５２は、高速連写が開始されたときに実行されるフォーカス制御の結果に基づいて、複数の分割領域のうちのいずれかの領域を、比較対象領域として設定する。上述した１回目の撮像処理においては、焦点検出部４３により求められるＡＦエリア毎のデフォーカス信号を用いたフォーカス制御が実行される。領域設定部５２は、これらＡＦエリアのうち、焦点が合うＡＦエリアを用いて、比較対象領域を設定する。

図５（ａ）に示すように、ＡＦエリアＢ_１が焦点の合うＡＦエリアとなる場合、このＡＦエリアＢ_１は分割領域Ａ_１０に収まっている。したがって、領域設定部５２は、ＡＦエリアＢ_１が収まる分割領域Ａ_１０を比較対象領域として設定する。

図５（ｂ）に示すように、分割領域Ａ_９、Ａ_１０、Ａ_１５、Ａ_１６に跨るＡＦエリアＢ_２が焦点の合うＡＦエリアとなる場合、領域設定部５２は、分割領域Ａ_９、Ａ_１０、Ａ_１５、Ａ_１６を比較対象領域として設定する。

例えば、撮影時においては、複数のＡＦエリアが焦点の合うＡＦエリアとなる場合がある。このような場合、領域設定部５２は、焦点の合うＡＦエリアのそれぞれが１つの分割領域に収まるか否かを判定する。図６（ａ）は、焦点の合うＡＦエリアが複数、１つの分割領域に収まる場合であり、焦点の合うＡＦエリアは塗りつぶして示している。この場合、領域設定部５２は、焦点が合うＡＦエリアが収まる分割領域Ａ_１０を比較対象領域として設定する。

一方、焦点の合うＡＦエリアが複数あり、それぞれのＡＦエリアが複数の分割領域に収まる場合には、領域設定部５２は、焦点の合うＡＦエリアが含まれる分割領域を全て比較対象領域として設定する。図６（ｂ）の場合、塗りつぶしで示すＡＦエリアが焦点の合うＡＦエリアである。この場合、領域設定部５２は、焦点が合うＡＦエリアが位置する分割領域Ａ_９、Ａ_１０、Ａ_１５、Ａ_１６を比較対象領域として設定する。

なお、図６（ｃ）に示すように、焦点が合うＡＦエリアが近接して位置せず、離散して位置している場合もある。このような場合には、領域設定部５２は、焦点が合うＡＦエリアが含まれる分割領域Ａ_８及び分割領域Ａ_１０、Ａ_１１を比較対象領域として設定する。

以下、高速連写を行う際の処理の流れを図７〜図９のフローチャートに基づいて説明する。

ステップＳ１０１は、レリーズボタンが半押し操作されたか否かを判定する処理である。詳細は省略するが、レリーズボタン４４には、その半押し操作及び全押し操作を検知する検知スイッチが設けられている。レリーズボタン４４が半押し操作されると、半押し操作を検知する検知スイッチがオンとなり、その信号（以下、半押し信号）がＣＰＵ４０に出力される。この半押し信号が入力されたことを受けて、ＣＰＵ４０は、ステップＳ１０１の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０２に進む。

一方、レリーズボタン４４が半押し操作されないときには半押し信号がＣＰＵ４０に入力されない。この場合、ＣＰＵ４０は、ステップＳ１０１の判定処理の結果をＮｏとする。つまり、ステップＳ１０１の判定処理の結果がＹｅｓとなるまで、このステップＳ１０１の判定処理が繰り返し実行される。

ステップＳ１０２は、ＡＥ処理及びＡＦ処理を実行する処理である。ＣＰＵ４０は、不図示の測光装置から出力される信号に基づいてＡＥ処理を実行する。ＣＰＵ４０がＡＥ処理を実行することで、Ｔｖ値、Ａｖ値及びＳｖ値の組み合わせが決定される。また、ＣＰＵ４０は、焦点検出部４３が出力するデフォーカス信号に基づいてＡＦ処理を実行する。

ステップＳ１０３は、テンプレート画像データを生成する処理である。ＣＰＵ４０は、ＡＦ処理時に得られた画像データのコントラスト情報を用いて、コントラストが高い領域を主要被写体となる領域として特定する。そして、画像処理回路２６は、特定した主要被写体となる領域に基づく画像データをテンプレート画像データとして生成する。

ステップＳ１０４は、レリーズボタンの半押し操作が解除されたか否かを判定する処理である。上述したように、レリーズボタン４４が半押し操作されると、半押し信号がＣＰＵ４０に入力される。また、レリーズボタン４４の半押し操作が解除されると、ＣＰＵ４０への半押し信号の出力が停止される。すなわち、このステップＳ１０４においては、ＣＰＵ４０は、レリーズボタン４４の半押し信号の出力が停止されたか否かによって、レリーズボタン４４の半押し操作が解除されたか否かを判定する。

例えば半押し信号の出力が継続されている場合には、ＣＰＵ４０は、レリーズボタン４４の半押し操作が解除されていないと判定する。この場合、ステップＳ１０４の判定処理の結果がＮｏとなり、ステップＳ１０５に進む。一方、半押し信号の出力が停止された場合には、ＣＰＵ４０は、レリーズボタン４４の半押し操作が解除されたと判定する。この場合、ステップＳ１０４の判定処理の結果がＹｅｓとなり、ステップＳ１０１に戻る。

ステップＳ１０５は、レリーズボタンの全押し操作されたか否かを判定する処理である。レリーズボタン４４が全押し操作されると、全押し操作を検知する検知スイッチがオンとなり、その信号（全押し信号）がＣＰＵ４０に出力される。全押し信号が入力されたことを受けて、ＣＰＵ４０は、ステップＳ１０４の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０６に進む。一方、全押し信号が入力されない場合には、ＣＰＵ４０は、ステップＳ１０５の判定処理の結果をＮｏとする。この場合、ステップＳ１０４に戻る。

ステップＳ１０６は、撮像処理（１回目）である。ＣＰＵ４０は、ステップＳ１０２で決定されたＴｖ値、Ａｖ値及びＳｖ値を、レンズ駆動機構２１、ＴＧ２０、ＡＦＥ回路１９に対して指定する。同時に、ＣＰＵ４０は、クイックリターンミラー１６をミラーアップ状態に切り替える。そして、ＣＰＵ４０は、ＴＧ２０に撮像開始の信号を出力する。これにより、撮像処理が実行される。

この撮像処理を行うことで、撮像素子１８から画像信号が出力される。この画像信号はＡＦＥ回路１９を介してバッファメモリ２５に記憶される。画像処理回路２６は、バッファメモリ２５に記憶された画像信号を読み出す。画像処理回路２６は、読み出した画像信号に対してホワイトバランス調整、色補間、階調変換、色変換などの画像処理を施す。これにより、画像データＰ_１が生成される。圧縮／伸長回路２７は、画像処理済みの画像データをバッファメモリ２５上に複製（コピー）する。そして、複製した画像データＰ_１に対して圧縮処理を施す。そして、圧縮処理された画像データＰ_１をバッファメモリ２５に記憶する。

ステップＳ１０７は、画像データＰ_１及び画像データＰ_１のデータ量を記憶する処理である。ＣＰＵ４０は、バッファメモリ２５に記憶された圧縮処理済みの画像データＰ_１を読み出し、記憶媒体５０に記憶する。同時に、ＣＰＵ４０は、圧縮処理された画像データＰ_１のデータ量をワークメモリ４２に書き込む。

ステップＳ１０８は、顔検出処理である。ＣＰＵ４０は、バッファメモリ２５から画像処理が施された画像データＰ_１を読み出し、顔検出処理を実行する。この顔検出処理で顔が検出されると、ＣＰＵ４０は、検出された顔を含む矩形の領域を顔領域として抽出する。

ステップＳ１０９は、顔が検出されたか否かを判定する処理である。ステップＳ１０８の顔検出処理で顔が検出されている場合には、ＣＰＵ４０は、ステップＳ１０９の判定処理の結果をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、ステップＳ１０８の顔検出処理で顔が検出されない場合には、ＣＰＵ４０は、ステップＳ１０９の判定処理の結果をＮｏとする。この場合、ステップＳ１１１に進む。

ステップＳ１１０は、顔領域を比較対象領域に設定する処理である。まず、ＣＰＵ４０は、画像処理済みの画像データＰ_１に基づく画像を複数の分割領域に分割する。例えば画像データＰ_１から１つの顔が検出されている場合、ＣＰＵ４０は、顔領域の大きさと分割領域の大きさとを比較する。顔領域の大きさが１つの分割領域の大きさ以下となる場合には、ＣＰＵ４０は、顔領域が１つの分割領域に収まるか、複数の分割領域に跨るかを判定する。顔領域が１つの分割領域に収まる場合には、ＣＰＵ４０は、顔領域が収まる分割領域を比較対象領域として設定する。一方、顔領域が複数の分割領域に跨る場合、ＣＰＵ４０は、顔領域が跨る分割領域を比較対象領域として設定する。顔領域の大きさが１つの分割領域の大きさを超過する場合には、ＣＰＵ４０は、顔領域が跨る複数の分割領域を比較対象領域として設定する。

次に、複数の顔が検出される場合には、ＣＰＵ４０は、検出される複数の顔領域のうち、１つの分割領域の大きさを超過する顔領域があるか否かを判定する。１つの分割領域の大きさを超過する顔領域がある場合には、ＣＰＵ４０は、該顔領域が跨る分割領域を比較対象領域として設定する。一方、検出される複数の顔領域のいずれもが、１つの分割領域の大きさよりも小さい場合には、ＣＰＵ４０は、ＡＦエリアに重畳される顔領域が位置する分割領域を比較対象領域として設定する。ここで、ＡＦエリアに重畳される顔領域が位置する分割領域とは、ＡＦエリアに重畳される顔領域が収まる分割領域、又はＡＦエリアに重畳される顔領域が跨る分割領域である。ＣＰＵ４０は、比較対象領域を設定した後、比較対象領域に設定された分割領域の位置情報を取得し、ワークメモリ４２に書き込む。

ステップＳ１０９における判定処理が実行され、該判定処理の結果がＮｏとなる場合、言い換えれば画像データＰ_１から人物の顔が検出されない場合、ステップＳ１１１に進む。

ステップＳ１１１は、テンプレート画像データを生成しているか否かを判定する処理である。上述したステップＳ１０３の処理において、テンプレート画像データを生成している場合、ＣＰＵ４０は、ステップＳ１１１の判定処理の結果をＹｅｓとする。この場合、ステップＳ１１２に進む。一方、ステップＳ１０３の処理において、テンプレート画像データを生成していない場合、ＣＰＵ４０は、ステップＳ１１１の判定処理の結果をＮｏとする。この場合、ステップＳ１１３に進む。

ステップＳ１１２は、テンプレートマッチングを用いて比較対象領域を設定する処理である。ＣＰＵ４０は、テンプレート画像データと、１回目の撮像処理により得られた画像データＰ_１とを用いたテンプレートマッチング処理を実行する。そして、ＣＰＵ４０は、画像データＰ_１に基づく画像のうち、テンプレート画像データに基づく画像に一致する矩形の領域を比較対象領域として設定する。ＣＰＵ４０は、設定した比較対象領域の位置情報を取得し、ワークメモリ４２に書き込む。

ステップＳ１１１の判定処理の結果がＮｏとなる場合、言い換えればテンプレート画像データを生成していない場合、ステップＳ１１３に進む。

ステップＳ１１３は、ＡＦエリアに基づいて比較対象領域を設定する処理である。ＣＰＵ４０は、ＡＦエリアのうち、焦点が合うＡＦエリアを特定する。そして、ＣＰＵ４０は、特定したＡＦエリアが位置する分割領域、或いは、ＡＦエリアが跨る分割領域を比較対象領域として設定する。ＣＰＵ４０は、比較対象領域に設定した後、比較対象領域に設定された分割領域の位置情報を取得し、ワークメモリ４２に書き込む。

上述したステップＳ１１０、ステップＳ１１２或いはステップＳ１１３のいずれかの処理を行うことで、比較対象領域が設定される。この比較対象領域の設定の後、ステップＳ１１４に進む。

ステップＳ１１４は、比較対象領域の位置情報を用いた画像データＰ_１に対するトリミング処理である。画像処理回路２６は、バッファメモリ２５に記憶された画像処理済みの画像データＰ_１を読み出す。そして、画像処理回路２６は、設定した比較対象領域の位置情報を用いて、画像データＰ_１に対するトリミング処理を行う。このトリミング処理を行うことで、比較対象領域に基づく対象画像データＰ_１’が生成される。生成された対象画像データＰ_１’は、バッファメモリ２５に記憶される。

ステップＳ１１５は、トリミング処理された対象画像データＰ_１’及び対象画像データＰ_１’のデータ量を記憶する処理である。圧縮／伸長回路２７は、バッファメモリ２５に記憶された対象画像データＰ_１’を読み出す。そして、圧縮／伸長回路２７は、読み出した対象画像データＰ_１’に対する圧縮処理を実行する。この圧縮処理が施された対象画像データＰ_１’はバッファメモリ２５に記憶される。同時に、ＣＰＵ４０は、圧縮処理された対象画像データＰ_１’のデータ量をワークメモリ４２に記憶する。

ステップＳ１１６は、レリーズボタンの操作が解除されたか否かを判定する処理である。上述したように、レリーズボタン４４が操作されると、レリーズボタン４４の操作に基づく信号（半押し信号、全押し信号）がＣＰＵ４０に入力される。このステップＳ１１６においては、レリーズボタン４４の操作に基づく信号の出力が停止されたか否かによって、レリーズボタン４４の操作が解除されたか否かを判定する。

例えば、レリーズボタン４４の操作に基づく信号の出力が継続されていれば、ＣＰＵ４０は、レリーズボタン４４の操作が解除されていないと判定する。この場合、ステップＳ１１６の判定処理の結果はＮｏとなり、ステップＳ１１７に進む。一方、レリーズボタン４４の操作に基づく信号の出力が停止された場合、ＣＰＵ４０は、レリーズボタン４４の操作が解除されたと判定する。この場合、ステップＳ１１６の判定処理の結果はＹｅｓとなる。この場合には、高速連写に係る処理が終了する。

ステップＳ１１７は、撮像処理（２回目）である。この２回目の撮像処理は、撮像光学系１５を構成するフォーカシングレンズの位置を固定した撮像処理である。２回目の撮像処理が実行されると、撮像素子１８から出力される画像信号は、ＡＦＥ回路１９を介してバッファメモリ２５に記憶される。画像処理回路２６は、バッファメモリ２５に記憶された画像信号を読み出し、ホワイトバランス調整、色補間、階調変換、色変換などの画像処理を施す。これにより、画像データＰ_２が生成される。圧縮／伸長回路２７は、バッファメモリ２５に記憶された画像処理済みの画像データＰ_２をバッファメモリ２５上に複製（コピー）する。そして、複製した画像データＰ_２に対して圧縮処理を施す。そして、圧縮処理された画像データＰ_２をバッファメモリ２５に記憶する。

ステップＳ１１８は、画像データＰ_２及び画像データＰ_２のデータ量を記憶する処理である。ＣＰＵ４０は、バッファメモリ２５に記憶された圧縮処理済みの画像データＰ_２を読み出し、記憶媒体５０に記憶する。また、同時に、ＣＰＵ４０は、圧縮処理された画像データＰ_２のデータ量をワークメモリ４２に書き込む。

ステップＳ１１９は、テンプレートマッチングを用いた比較対象領域の設定が行われているか否かを判定する処理である。テンプレートマッチングを用いて比較対象領域を設定している場合、ＣＰＵ４０は、ステップＳ１１９の判定処理の結果をＹｅｓとする。この場合、ステップＳ１２０に進む。一方、テンプレートマッチングを用いて比較対象領域を設定していない、言い換えれば、検出された顔やＡＦエリアに基づいて比較対象領域を設定している場合、ＣＰＵ４０は、ステップＳ１１９の判定処理の結果をＮｏとする。この場合、ステップＳ１２１に進む。

ステップＳ１２０は、画像データＰ_２に対象画像データＰ_１’と一致する箇所があるか否かを判定する処理である。画像処理回路２６は、対象画像データＰ_１’及び画像データＰ_２をそれぞれ読み出す。これら画像データを読み出した後、画像処理回路２６は、これら画像データを用いたテンプレートマッチングを行う。テンプレートマッチングにより、画像データＰ_２に対象画像データＰ_１’と一致する箇所がある場合、画像処理回路２６は、ステップＳ１２０の判定処理の結果をＹｅｓとする。この場合、ステップＳ１２１に進む。一方、画像データＰ_２に、対象画像データＰ_１’が一致する箇所がない場合、画像処理回路２６は、ステップＳ１２０の判定処理の結果をＮｏとする。この場合、ステップＳ１２４に進む。

ステップＳ１２１は、画像データＰ_２に対するトリミング処理である。顔の領域が含まれる分割領域を比較対象領域として設定している場合や、焦点が合うＡＦエリアが含まれる分割領域を比較対象領域として設定している場合には、画像処理回路２６は、比較対象領域として設定された分割領域の位置情報に基づいて、画像データＰ_２に対するトリミング処理を実行する。この場合、比較対象領域の位置は固定となる。

一方、テンプレートマッチングを行って画像データＰ_２に対象画像データＰ_１’と一致する箇所があれば、その一致する箇所が比較対象領域となる。したがって、画像処理回路２６は、テンプレートマッチングにより取得された比較対象領域の位置情報に基づいて、画像データＰ_２に対するトリミング処理を実行する。このトリミング処理を行うことで、対象画像データＰ_２’が生成される。この生成された対象画像データＰ_２’は、バッファメモリ２５に記憶される。この場合、テンプレート画像に含まれる被写体の位置が変化（被写体が移動）している場合もあるので、この場合には、比較対象領域は必ずしも固定されない。

ステップＳ１２２は、対象画像データＰ_２’及び対象画像データＰ_２’のデータ量を記憶する処理である。圧縮／伸長回路２７は、バッファメモリ２５に記憶された対象画像データＰ_２’を読み出す。そして、圧縮／伸長回路２７は、読み出した対象画像データＰ_２’に対する圧縮処理を実行する。この圧縮処理が施された対象画像データＰ_２’はバッファメモリ２５に記憶される。同時に、ＣＰＵ４０は、圧縮処理された対象画像データＰ_２’のデータ量をワークメモリ４２に記憶する。

ステップＳ１２３は、対象画像データＰ_１’及び対象画像データＰ_２’間のデータ量の変化量を算出する処理である。ＣＰＵ４０は、ワークメモリ４２に記憶した対象画像データＰ_１’及び対象画像データＰ_２’のデータ量をそれぞれ読み出し、これら対象画像データのデータ量から、データ量の変化量Δ_１２を求める。詳細には、ＣＰＵ４０は、対象画像データＰ_２’のデータ量から対象画像データＰ_１’のデータ量を減算し、データ量の変化量Δ_１２を求める。

上述したステップＳ１２０における判定処理がＮｏとなる場合、つまり、テンプレートマッチングを行っても画像データＰ_２において対象画像データＰ_１’と一致する箇所がない場合、ステップＳ１２４に進む。

ステップＳ１２４は、画像データＰ_１及び画像データＰ_２間のデータ量の変化量を算出する処理である。ＣＰＵ４０は、ワークメモリ４２に記憶した画像データＰ_１及び画像データＰ_２のデータ量をそれぞれ読み出し、これら画像データのデータ量から、データ量の変化量Δ_１２を求める。

ステップＳ１２５は、データ量の変化量が基準範囲を超過しているか否かを判定する処理である。ステップＳ１２３又はステップＳ１２４により求めたデータ量の変化量Δ_１２が基準範囲を越えている場合、ＣＰＵ４０は、ステップＳ１２５の判定処理の結果をＹｅｓとし、ステップＳ１２６に進む。一方、ステップＳ１２３又はステップＳ１２４により求めたデータ量の変化量Δ_１２が基準範囲以下となる場合、ＣＰＵ４０は、ステップＳ１２５の判定処理の結果をＮｏとし、ステップＳ１２９に進む。

つまり、ステップＳ１２５の判定処理の結果がＮｏとなる場合には、データ量の変化量は、誤差の範囲に含まれると推測できる。したがって、フォーカシングレンズの位置は、２回目の撮像処理におけるフォーカシングレンズの位置に固定される。なお、この基準範囲は、予め実験、統計などにより求められる範囲であることが望ましい。

ステップＳ１２６は、データ量の変化量が低下しているか否かを判定する処理である。ステップＳ１２３及びステップＳ１２４にて求めたデータ量の変化量Δ_１２が負の値となる場合、ＣＰＵ４０は、データ量の変化量が低下したと判定する。この場合、ＣＰＵ４０は、ステップＳ１２６の判定処理の結果をＹｅｓとする。この場合、ステップＳ１２７に進む。一方、データ量の変化量Δ_１２が正の値となる場合、ＣＰＵ４０は、データ量の変化量が増加したと判定する。この場合、ＣＰＵ４０は、ステップＳ１２６の判定処理の結果をＮｏとし、ステップＳ１２９に進む。

ステップＳ１２７は、フォーカシングレンズの移動量を算出する処理である。ＣＰＵ４０は、ステップＳ１２３又はステップＳ１２４により求めたデータ量の変化量を用いて、フォーカシングレンズの移動量を算出する。このフォーカシングレンズの移動量の算出においては、例えば焦点距離など、撮像光学系１５に固有の特性が考慮される。

ステップＳ１２８は、フォーカシングレンズを移動させる処理である。ＣＰＵ４０は、ステップＳ１２７にて求めた移動量に基づいて、レンズ駆動機構２１を介してフォーカシングレンズを移動させる。このとき、フォーカシングレンズの移動方向は、予め至近端方向又は無限端方向のいずれかに設定される。

例えば、撮影により得られる画像データのデータ量は、焦点が合わない画像データに比べて、焦点が合う画像データのデータ量は大きくなる。つまり、データ量の変化量が負の値となる場合には、２回目の撮像処理で得られた画像データは、１回目の撮像処理により得られた画像データに比べて主要被写体に焦点が合っていない画像データであると推定できる。一方、データ量の変化量が正の値となる場合には、２回目の撮像処理で得られた画像データは、１回目の撮像処理により得られた画像データよりも主要被写体に焦点が合う画像データであると推定できる。したがって、データ量の変化量が負の値となる場合には、上述したように、主要被写体に焦点を合わせるようにフォーカシングレンズを移動させる制御を行う。

ステップＳ１２９は、レリーズボタンの操作が解除されたか否かを判定する処理である。レリーズボタン４４の操作に基づく信号の出力が継続されていれば、ＣＰＵ４０は、レリーズボタン４４の操作が解除されていないと判定する。この場合、ステップＳ１２９の判定処理の結果はＮｏとなり、ステップＳ１３０に進む。つまり、３回目以降の撮像処理が実行される。

一方、レリーズボタン４４の操作に基づく信号の出力が停止された場合、ＣＰＵ４０は、レリーズボタン４４の操作が解除されたと判定する。この場合、ステップＳ１２９の判定はＹｅｓとなる。この場合には、高速連写に係る処理が終了する。

以下、３回目以降の撮像処理について説明する。なお、３回目以降の撮像処理が実行された後の処理の流れは同一の処理が実行されることから、図９においては、符号ｎ（ｎ≧３）を用いて説明している。

ステップＳ１３０は、３回目の撮像処理である。この撮像処理により、撮像素子１８から出力される画像信号は、ＡＦＥ回路１９を介してバッファメモリ２５に記憶される。画像処理回路２６は、バッファメモリ２５に記憶される画像信号を読み出し、ホワイトバランス調整、色補間、階調変換、色変換などの画像処理を施す。これにより、画像データＰ_３が生成される。圧縮／伸長回路２７は、バッファメモリ２５に記憶された画像処理済みの画像データＰ_３をバッファメモリ２５上に複製（コピー）する。そして、複製した画像データＰ_３に対して圧縮処理を施す。そして、圧縮処理された画像データＰ_３をバッファメモリ２５に記憶する。

ステップＳ１３１は、画像データＰ_３及び画像データＰ_３のデータ量を記憶する処理である。ＣＰＵ４０は、バッファメモリ２５に記憶された圧縮処理済みの画像データＰ_３を読み出し、記憶媒体５０に記憶する。また、同時に、ＣＰＵ４０は、圧縮処理された画像データＰ_３のデータ量をワークメモリ４２に書き込む。

ステップＳ１３２は、テンプレートマッチングを用いた比較対象領域の設定が行われているか否かを判定する処理である。テンプレートマッチングを用いて比較対処領域を設定している場合、ＣＰＵ４０は、ステップＳ１３２の判定処理の結果をＹｅｓとする。この場合、ステップＳ１３３に進む。一方、テンプレートマッチングを用いて比較対象領域を設定していない、言い換えれば、検出された顔やＡＦエリアに基づいて比較対象領域を設定している場合、ＣＰＵ４０は、ステップＳ１３２の判定処理の結果をＮｏとする。この場合、ステップＳ１３４に進む。

ステップＳ１３３は、画像データＰ_３に対象画像データＰ_１’と一致する箇所があるか否かを判定する処理である。画像処理回路２６は、対象画像データＰ_１’及び画像データＰ_３をそれぞれ読み出す。これら画像データを読み出した後、画像処理回路２６は、これら画像データを用いたテンプレートマッチングを行う。テンプレートマッチングにより、画像データＰ_３に対象画像データＰ_１’と一致する箇所がある場合、画像処理回路２６は、ステップＳ１３３の判定処理の結果をＹｅｓとする。この場合、ステップＳ１３４に進む。一方、画像データＰ_３に、画像データＰ_１’と一致する箇所がない場合、画像処理回路２６は、ステップＳ１３３の判定処理の結果をＮｏとする。この場合、ステップＳ１３７に進む。

ステップＳ１３４は、画像データＰ_３に対するトリミング処理である。顔の領域が含まれる分割領域を比較対象領域として設定している場合や、焦点が合うＡＦエリアが含まれる分割領域を比較対象領域として設定している場合には、画像処理回路２６は、比較対象領域として設定された分割領域の位置情報に基づいて、画像データＰ_３に対するトリミング処理を実行する。この場合、比較対象領域の位置は固定となる。

一方、テンプレートマッチングを行って画像データＰ_３に対象画像データＰ_１’と一致する箇所があれば、その一致する箇所が比較対象領域となる。したがって、画像処理回路２６は、テンプレートマッチングにより取得された比較対象領域の位置情報に基づいて、画像データＰ_３に対するトリミング処理を実行する。このトリミング処理を行うことで、対象画像データＰ_３’が生成される。この生成された対象画像データＰ_３’は、バッファメモリ２５に記憶される。この場合、テンプレート画像に含まれる被写体の位置が変化（被写体が移動）している場合もあるので、この場合には、比較対象領域は必ずしも固定されない。

ステップＳ１３５は、トリミング処理された対象画像データＰ_３’及び対象画像データＰ_３’のデータ量を記憶する処理である。圧縮／伸長回路２７は、バッファメモリ２５に記憶された対象画像データＰ_３’を読み出す。そして、圧縮／伸長回路２７は、読み出した対象画像データＰ_３’に対する圧縮処理を実行する。この圧縮処理が施された対象画像データＰ_３’はバッファメモリ２５に記憶される。同時に、ＣＰＵ４０は、圧縮処理された対象画像データＰ_３’のデータ量をワークメモリ４２に記憶する。

ステップＳ１３６は、対象画像データＰ_１’、対象画像データＰ_２’及び対象画像データＰ_３’のデータ量の変化量を算出する処理である。ＣＰＵ４０は、ワークメモリ４２に記憶した対象画像データＰ_１’、対象画像データＰ_２’及び対象画像データＰ_３’のデータ量をそれぞれ読み出す。そして、ＣＰＵ４０は、データ量の変化量Δ_１３、Δ_２３を求める。詳細には、ＣＰＵ４０は、対象画像データＰ_３’のデータ量から対象画像データＰ_１’のデータ量を減算することでデータ量の変化量Δ_１３を求め、対象画像データＰ_３’のデータ量から対象画像データＰ_２’のデータ量を減算することでデータ量の変化量Δ_２３を求める。

一方、上述したステップＳ１３３における判定処理がＮｏとなる場合、つまり、テンプレートマッチングを行っても画像データＰ_３において対象画像データＰ_１’と一致することがない場合、ステップＳ１３７に進む。

ステップＳ１３７は、画像データＰ_１、画像データＰ_２及び画像データＰ_３のデータ量の変化量を算出する処理である。ＣＰＵ４０は、ワークメモリに記憶した画像データＰ_１、画像データＰ_２及び画像データＰ_３のデータ量をそれぞれ読み出し、これら画像データのデータ量から、データ量の変化量を求める。詳細には、ＣＰＵ４０は、画像データＰ_３のデータ量から画像データＰ_１のデータ量を減算することでデータ量の変化量Δ_１３を求め、画像データＰ_３のデータ量から画像データＰ_２のデータ量を減算することでデータ量の変化量Δ_２３を求める。

ステップＳ１３８は、データ量の変化量が基準範囲を超過しているか否かを判定する処理である。ＣＰＵ４０は、ステップＳ１３６又はステップＳ１３７において求めたデータ量の変化量のうち、データ量の変化量Δ_２３が基準範囲を超過しているか否かを判定する。例えばデータ量の変化量Δ_２３が基準範囲を超過している場合、ＣＰＵ４０は、ステップＳ１３８の判定処理の結果をＹｅｓとし、ステップＳ１３９に進む。一方、データ量の変化量Δ_２３が基準範囲以下であれば、ＣＰＵ４０は、ステップＳ１３８の判定処理の結果をＮｏとし、ステップＳ１４５に進む。この場合、フォーカシングレンズの位置が固定されたままとなる。

ステップＳ１３９は、データ量の変化量が低下したか否かを判定する処理である。ＣＰＵ４０は、求めたデータ量の変化量Δ_１３が、データ量の変化量Δ_２３に対して小さくなるか否かを判定する。例えばデータ量の変化量Δ_１３がデータ量の変化量Δ_２３以下となる場合、ＣＰＵ４０は、ステップＳ１３９の判定処理の結果をＹｅｓとする。この場合、ステップＳ１４０に進む。一方、データ量の変化量Δ_１３がデータ量の変化量Δ_２３を超過する場合、ＣＰＵ４０は、ステップＳ１３９の判定処理の結果をＮｏとする。この場合、ステップＳ１４３に進む。

ステップＳ１４０は、前回の撮像処理においてレンズ固定であるか否かを判定する処理である。例えば２回目の撮像処理において、フォーカシングレンズの位置を固定した場合、ステップＳ１４０の判定処理の結果をＹｅｓとする。この場合、ステップＳ１４５に進む。一方、２回目の撮像処理において、フォーカシングレンズの位置を移動させた場合には、ステップＳ１４０の判定処理の結果をＮｏとする。この場合、ステップＳ１４１に進む。

ステップＳ１４１は、フォーカシングレンズの移動量を算出する処理である。ＣＰＵ４０は、データの変化量Δ_２３を用いてフォーカシングレンズの移動量を算出する。

ステップＳ１４２はフォーカシングレンズを同一方向に移動させる処理である。ＣＰＵ４０は、レンズ駆動機構２１を介して、フォーカシングレンズをステップＳ１２８におけるフォーカシングレンズの移動方向と同一方向に移動させる。なお、このときのフォーカシングレンズの移動量はステップＳ１４１にて求めた移動量である。

ステップＳ１３９において、データ量の変化量が低下していないと判定された場合、ステップＳ１４３に進む。

ステップＳ１４３は、フォーカシングレンズの移動量を算出する処理である。ＣＰＵ４０は、データの変化量Δ_２３を用いてフォーカシングレンズの移動量を算出する。

ステップＳ１４４は、フォーカシングレンズを逆方向に移動させる処理である。ＣＰＵ４０は、レンズ駆動機構２１を介して、フォーカシングレンズをステップＳ１２８におけるフォーカシングレンズの移動方向と逆方向に移動させる。なお、このときのフォーカシングレンズの移動量はステップＳ１４１にて求めた移動量である。

ステップＳ１４５は、レリーズボタンの操作が解除されたか否かを判定する処理である。レリーズボタン４４の操作に基づく信号の出力が継続されていれば、ＣＰＵ４０は、レリーズボタン４４の操作が解除されていないと判定する。この場合、ステップＳ１４５の判定処理の結果はＮｏとなり、ステップＳ１３０に進む。つまり、４回目以降の撮像処理が実行される。一方、レリーズボタン４４の操作に基づく信号の出力が停止された場合、ＣＰＵ４０は、レリーズボタン４４の操作が解除されたと判定する。この場合、ステップＳ１４５の判定はＹｅｓとなる。この場合には、高速連写に係る処理が終了する。

以降、ステップＳ１３０からステップＳ１４５の処理がレリーズボタンの操作が解除されるまで繰り返し実行される。

このように、本実施形態においては、対象画像データに対する圧縮処理を行ったときのデータ量の変化に基づいて、各撮像処理におけるフォーカス制御が実行される。ここで、人物の顔を検出している場合には、検出された顔の領域が含まれる分割領域が比較対象領域として設定される。同様にして、焦点が合うＡＦエリアがあれば、焦点が合うＡＦエリアが含まれる分割領域を比較対象領域として設定される。したがって、このような場合には、人の顔など、予め焦点を合わせた領域に対して、従来のフォーカス制御を用いなくとも、適切にフォーカス制御を行うことが可能となる。

また、人物の顔以外の物体を主要被写体とした高速連写を行う場合には、上述した被写体検出処理を行っても、主要被写体となる物体を検出することができないこともある。例えば高速連写を行う前に、焦点を合わせた領域を主要被写体の領域として設定した場合、被写体検出にて主要被写体が検出されない場合、単なる領域に対するデータ量の変化量の比較を行うことになる。したがって、ユーザの意図する領域に焦点を合わせた画像を得ることができなくなる。しかしながら、本実施形態では、ＡＦ処理を行ったときに得られる画像データからコントラストの高い領域を主要被写体が含まれる領域として設定することで、ユーザの意図する領域内の特徴量を得ることができる。したがって、高速連写時には、ユーザの意図する領域を用いたテンプレートマッチングを行うことで、得られる画像において、ユーザの意図する領域の位置を特定することができ、その特定された領域に基づく画像データのデータ量の変化量を用いることで、主要被写体が人物でない場合や、主要被写体の位置が変化した場合であっても、主要被写体と思われる領域に対して、焦点を合わせたフォーカス制御を適切に行うことが可能である。

本実施形態では、ＡＦ処理の際に得られる画像データのコントラスト情報から主要被写体の領域を特定し、特定した領域に基づいたテンプレート画像を生成しているが、予めユーザの入力操作が行われた領域に基づいてテンプレート画像を生成することも可能である。また、予めテンプレート画像を複数記憶させておき、複数のテンプレート画像のいずれかを用いることも可能である。

本実施形態では、検出された顔が含まれる分割領域を比較対象領域として設定した場合、比較対象領域の位置は固定となる。しかしながら、比較対象領域として設定される分割領域に基づいて生成される対象画像データを用いたテンプレートマッチングを新たに取得される画像データに対して実行することで、検出された顔が含まれる分割領域を特定してもよい。つまり、上述した動作を行うことで、高速連写中に、検出される顔の位置が変化する場合にも対応することが可能となる。この場合、顔の位置が複数の分割領域に跨って位置する場合もある。したがって、トリミング処理を行う領域は、顔が跨って位置する分割領域ではなく、テンプレートマッチングを行う際に用いる比較対象領域の大きさと同一の大きさの領域とすればよい。

本実施形態では、各撮像処理により得られた画像データを用いているが、これに限定される必要はなく、デジタルカメラにおいては、得られた画像データを縮小した画像データを用いて顔検出処理を行っている場合もあるので、本実施形態のフォーカス制御を、縮小した画像データを用いて行うことも可能である。

本発明では、デジタルカメラにおけるフォーカス制御を、位相差検出方式のフォーカス制御としているが、これに限定される必要はなく、コントラスト検出方式のフォーカス制御としてもよい。

本発明のデジタルカメラとして、クイックリターンミラーを有するデジタルカメラを例にあげて説明しているが、これに限定する必要はなく、クイックリターンミラーを搭載していない、コンパクトカメラ、カメラ機能を備えた携帯電話機の他、コンピュータに搭載又は接続されたカメラなどであってもよい。

１０…デジタルカメラ、１８…撮像素子、２６…画像処理回路、２７…圧縮／伸長回路、４０…ＣＰＵ、４１…不揮発性メモリ、４２…ワークメモリ、４７…テンプレート生成部、４８…トリミング部、５１…顔検出部、５２…領域設定部、５３…データ比較部、５４…焦点制御部

Claims (9)

1. 被写体光を取り込む撮像光学系と、
   被写体が含まれる第１の画像を生成する生成部と、
   前記撮像光学系により取り込まれる被写体光に基づいて連続して取得される第２の画像に対して前記第１の画像を用いたテンプレートマッチングを行うことで、前記第２の画像のそれぞれから切り出す領域を対象領域として設定する設定部と、
   前記第２の画像から切り出した前記対象領域の画像のそれぞれに対して圧縮処理を行う圧縮部と、
   前記圧縮処理された前記対象領域の画像のデータ量の変化に基づいて、前記撮像光学系におけるフォーカスポジションを制御する制御部と、
   を備えたことを特徴とする焦点調節装置。
2. 請求項１に記載の焦点調節装置において、
   前記生成部は、前記第２の画像を取得する前に取り込まれる第３の画像の少なくともコントラスト情報を用いて、前記第３の画像に含まれる前記被写体の画像を前記第１の画像として生成することを特徴とする焦点調節装置。
3. 請求項１又は請求項２に記載の焦点調節装置において、
   前記被写体を検出する被写体検出部を、さらに備え、
   前記設定部は、前記第２の画像を取得したときに前記被写体検出部により前記被写体を検出できない場合に、前記第１の画像を用いたテンプレートマッチングを行うことで、前記対象領域を設定することを特徴とする焦点調節装置。
4. 請求項３に記載の焦点調節装置において、
   前記設定部は、前記被写体検出部により前記被写体を検出した場合に、前記検出した被写体の領域を前記対象領域として設定することを特徴とする焦点調節装置。
5. 請求項１から請求項４のいずれか１項に記載の焦点調節装置において、
   画像を取得する範囲に対応して設けられる複数の焦点検出エリアを用いて、前記撮像光学系の焦点状態を検出する焦点検出部を備え、
   前記設定部は、前記生成部により前記第１の画像が生成されていない場合に、前記複数の焦点検出エリアのうち、焦点が合う焦点検出エリアが含まれる領域を前記対象領域として設定することを特徴とする焦点調節装置。
6. 請求項１から請求項５のいずれか１項に記載の焦点調節装置において、
   前記制御部は、ユーザからの指示に従って前記フォーカスポジションの初期調節を行うことを特徴とする焦点調節装置。
7. 請求項１から請求項５のいずれか１項に記載の焦点調節装置において、
   前記制御部は、位相差検出方式により前記フォーカスポジションの初期調節を行うことを特徴とする焦点調節装置。
8. 請求項１から請求項７のいずれか１項に記載の焦点調節装置において、
   前記制御部は、前記データ量の変化量が基準範囲を超過したときに、前記フォーカスボジションを変位させることを特徴とする焦点調節装置。
9. 取り込まれる被写体光に基づく画像を連続して出力することが可能な撮像素子と、
   前記撮像素子から出力される画像に基づいて、前記撮像光学系のフォーカスポジションを制御する、請求項１から請求項８のいずれか１項に記載の焦点調節装置と、
   を備えたことを特徴とする撮像装置。

Images