JP4980982B2 - 撮像装置、撮像方法、合焦制御方法及びプログラム - Google Patents

Description

本発明は撮像装置、撮像方法、合焦制御方法及びプログラムに係り、特に撮像素子で撮像される画像をリアルタイムに表示（スルー画像の表示）する撮像装置、撮像方法、合焦制御方法及びプログラムに関する。

特許文献１には、スルー画像表示時には両方のＣＣＤに蓄積された画像データを交互に読み出しスルー画像表示に適した制御により、ＡＦ処理時には一方のＣＣＤの画像データを用いてＡＦ処理を行い、他方のＣＣＤの画像データをスルー画像表示することにより、スルー画像表示時のフレームレートを向上させ、かつＡＦ処理時の性能を高める撮像装置が記載されている。

特許文献２には、被写体光を２個に分割し、分割されたそれぞれの像において光軸と垂直な横方向に移動する被写体像を検出し、検出結果に基づいて被写体の光軸方向及び光軸方向と垂直な方向の被写体の動きを検出し、その被写体に対し合焦を行う自動焦点装置が記載されている。
特開２００７―９７０３３号公報 特開平５―９３８５０号公報

しかしながら、特許文献１に記載された発明においては、ＡＦ処理に用いるＣＣＤと、スルー画像表示に用いるＣＣＤとで別のＣＣＤを用意しなければならないという問題がある。

また、特許文献２に記載された発明においては、被写体光を２個に分割する必要があるため、構造が複雑になり、またコストがかかるという問題がある。

さらに、特許文献２に記載された発明においては、光軸と垂直な横方向以外に移動する被写体像を検出して被写体の動きを検出するため、光軸と垂直な横方向以外に移動する被写体像に対して合焦精度がよくないという問題がある。

本発明はこのような事情に鑑みてなされたもので、被写体の動きに合わせたスルー画像撮影やＡＦ制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一の態様に係る発明は、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、を備えたことを特徴とする。

本発明の一の態様によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体の移動速度に応じたフレームレートでスルー画像の撮影を行う。これにより、フレームレートの制御に最も適した被写体を選択し、その被写体に最適なフレームレートでスルー画像の撮影をすることができる。そのため、画質のよいスルー画像を得ることができる。

本発明の他の態様によれば、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、前記被写体検出手段により複数の被写体が検出された場合には、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行うことを特徴とする。

本発明の他の態様によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、検出された動く被写体の位置の移動速度又は移動距離を算出し、算出された移動速度又は移動距離に応じて連続的に行う合焦制御（コンティニュアスＡＦ）の間隔を制御する。これにより、動く被写体に対する合焦精度を上げることができる。また、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してＡＦ制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。

本発明のさらに他の態様によれば、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記移動方向検出手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出手段により検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする。

本発明のさらに他の態様によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出し、検出された移動方向に応じて連続的に行う合焦制御（コンティニュアスＡＦ）のサーチ方向を制御する。これにより、動く被写体に対する合焦精度を上げることができる。また、撮像光学系を動かす方向を予め決められるため、合焦制御を高速化することができる。さらに、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してＡＦ制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測手段であって、前記被写体検出手段により複数の被写体が検出された場合には、前記対象被写体設定手段により設定された前記対象被写体の位置を予測する被写***置予測手段と、前記被写***置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段であって、前記被写体検出手段により複数の被写体が検出された場合には前記被写***置予測手段により予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、を備えたことを特徴とする。

本発明のさらに他の態様によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、動く被写体の位置に基づいて被写***置を予測し、予測された被写***置を含む所定の領域に対して合焦制御（コンティニュアスＡＦ）を行う。これにより、動く被写体に対して確実に合焦制御を行うことができる。また、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してＡＦ制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。

本発明のさらに他の態様によれば、前記撮像手段により撮像された画像の特徴点を抽出する特徴点抽出手段を備え、前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする。

本発明のさらに他の態様によれば、画像データの特徴点を抽出することにより被写体とその中心位置を検出し、その中心位置に基づいて被写体の移動速度又は移動距離を算出する。これにより、被写体を誤認識することを防止することができる。

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された被写体の画像を連続して表示する表示ステップと、前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出ステップと、前記算出ステップで算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御ステップと、を含むことを特徴とする。

本発明のさらに他の態様によれば、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記算出ステップで算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御ステップと、前記被写体検出ステップで複数の被写体が検出された場合には、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行うことを特徴とする。

本発明のさらに他の態様によれば、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出ステップと、前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記移動方向検出ステップで検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、前記移動方向検出ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出ステップで検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする。

本発明のさらに他の態様によれば、被写体を所定のフレームレートで連続して撮像する撮像ステップと、前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、前記被写体検出ステップで検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測ステップであって、前記被写体検出ステップで複数の被写体が検出された場合に、前記対象被写体設定ステップで設定された前記対象被写体の位置を予測する被写***置予測ステップと、前記被写***置予測ステップで予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップであって、前記被写体検出ステップで複数の被写体が検出された場合には前記被写***置予測ステップで予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップと、を含むことを特徴とする。

本発明のさらに他の態様によれば、請求項６に記載の撮像方法又は請求項７から９のいずれかに記載の合焦制御方法を演算装置に実行させることを特徴とする。

本発明によれば、被写体の動きに合わせたスルー画像撮影やＡＦ制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することができる。

以下、添付図面に従って本発明が適用された撮像装置、撮像方法、合焦制御方法及びプログラムを実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
本発明の第１の実施の形態は、撮像された被写体像のなかに動きのある被写体が１つ検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。

図１は第１の実施の形態の撮像装置のデジタルカメラ１０の内部の電気的な概略構成を示すブロック図である。

図１に示すように、デジタルカメラ１０は、主として、ＣＰＵ１１０、メモリ１１２、タイミングジェネレータ（ＴＧ）１１４、モータドライバ１１６、１１８、操作部１２０、ズームレンズ１２２、フォーカスレンズ１２４、撮像素子１２６、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２、画像信号処理部１３４、圧縮伸張処理部１３６、ＡＥ／ＡＦ検出回路１４０、動体検出回路１４２、メディアコントローラ１５０、表示回路１５４、記憶メディア１５２、画像表示装置１５６等で構成されている。

ＣＰＵ１１０は、操作部１２０から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１０の全体を統括制御する。

バスを介してＣＰＵ１１０と接続されたメモリ１１２には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データや、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。また、メモリ１１２は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データ等の一時記憶領域として利用される。

操作部１２０は、シャッターボタン、電源／モードスイッチ、ズームボタン等により構成される。

シャッターボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、このシャッターボタン２６が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。

電源／モードスイッチは、デジタルカメラ１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、デジタルカメラ１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。デジタルカメラ１０は、電源／モードスイッチをスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチをスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

ズームボタンは、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとからなる。撮影モード時にズームテレボタンとズームワイドボタンとが操作されると、ＣＰＵ１１０は、モータドライバ１１６を介してズームレンズ１２２を移動し、焦点距離を変化させる。

ズームレンズ１２２は、モータドライバ１１６を介してズームモータにより駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。

フォーカスレンズ１２４は、モータドライバ１１８を介してフォーカスモータにより駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。

撮像素子１２６は、たとえば、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が受光面に二次元的に配置されており、ズームレンズ１２２、フォーカスレンズ１２４等によって結像された被写体の画像を電子的に撮像する。タイミングジェネレータ（ＴＧ）１１４は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２６を駆動するためのタイミング信号を出力する。

アナログ処理部１２８は、撮像素子１２６から出力された画像信号に対して、画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅してＡ／Ｄ変換器１３０に出力する。

Ａ／Ｄ変換器１３０は、アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して出力する。

画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

画像信号処理部１３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理部１３６は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

ＡＥ／ＡＦ検出回路１４０は、ＡＥ（自動露出）検出回路とＡＦ（自動合焦）検出回路とで構成される。ＡＦ検出回路は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア検出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズ１２４を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２６を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させるコントラストＡＦを行う。

ＡＥ検出回路は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ（自動ホワイトバランス）制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。

動体検出回路１４２は、被写体の動きを検出し、スルー画像表示用のフレームレートを決定する。動体検出回路１４２は、図２に示すように、動体検出時（ｎフレーム目）の画像と、動体検出時より１フレーム前（ｎ−１フレーム目）の画像とが入力されると、パラメータとしてメモリ１１２に記録された移動速度とフレームレートの対応表を用いて、スルー画表示用のフレームレートを出力する。動体検出回路１４２で行う処理については後に詳述する。

メディアコントローラ１５０は、ＣＰＵ１１０からの指令に従い、メディアスロットに装填された記憶メディア１５２に対してデータの読み／書きを制御する。

表示回路１５４は、ＣＰＵ１１０からの指令に従い、画像表示装置１５６への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号を画像表示装置１５６に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換して画像表示装置１５６に出力するとともに、必要に応じてＣＰＵ１１０で合成された、所定の文字、図形情報を画像表示装置１５６に出力する。

画像表示装置１５６は、カラー表示が可能な液晶ディスプレイで構成されている。この画像表示装置１５６は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。

次に、以上のように構成された本実施の形態のデジタルカメラ１０の作用について説明する。

電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。

この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。

アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４２に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。

図３は、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号から動体検出回路１４２においてスルー画像表示用のフレームレートを出力し、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。

動体検出回路１４２は、以下に示すように、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体を検出する（ステップＳ１０）。

動体検出回路１４２は、被写体の動きを検出する画像として、ｎフレーム目の画像データを取得する。動体検出回路１４２は、図４（ｂ）に示すように、入力されたｎフレーム目の画像データから、被写体の特徴点（例えば被写体のエッジ等）を検出する。

次に動体検出回路１４２は、ｎフレーム目の画像の１フレーム前（ｎ−１フレーム目）の画像データを取得する。動体検出回路１４２は、入力されたｎ−１フレーム目の画像について、ｎフレーム目の画像データに対して行ったのと同様にして、被写体の特徴点（例えば被写体のエッジ等）を検出する。

そして、ｎ−１フレーム目の画像データから検出された特徴点（図４（ａ）参照）と、に示すようなｎフレーム目の画像データから検出された特徴点（図４（ｂ）参照）とを比較し、同一の特徴点の位置が一致しない場合には、被写体が動いていると判断する。

また、動体検出回路１４２は、ｎ−１フレーム目の画像データから検出された特徴点（図４（ａ）参照）に基づいて被写体の輪郭を検出し、それに基づいてｎ−１フレーム目の被写体の中心を求める。また、動体検出回路１４２は、ｎフレーム目の画像データから検出された特徴点（図４（ｂ）参照）に基づいて被写体の輪郭を検出し、それに基づいてｎフレーム目の被写体の中心を求める。このように、特徴点に基づいて被写体の中心を算出することにより、被写体を誤認識することを防止することができる。

これにより、被写体検出処理（ステップＳ１０）が終了する。ステップＳ１０において、動いている被写体が検出された場合には、動体検出回路１４２は、図４（ｃ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度を算出する（ステップＳ１１）。このように、被写体の中心に基づいて被写体の移動速度を算出することにより、被写体の移動速度を正確に算出することができる。

動体検出回路１４２は、算出された被写体の移動距離と、１フレームの時間（フレームレートの逆数）とに基づいて、被写体の移動速度を算出する。

これにより、移動速度算出処理（ステップＳ１１）を終了する。動体検出回路１４２は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する（ステップＳ１２）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて３０〜６０フレーム／秒のフレームレートが設定されている。ステップＳ１２で選択されたスルー画像表示用のフレームレートは動体検出回路１４２からＣＰＵ１１０に出力される。

ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。取画像信号処理部１３４はり込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像がリアルタイムで画像表示装置１５６に表示される（ステップＳ１３）。

これにより、動く被写体に対して最適なフレームレートが選択され、被写体の動きに合わせたスルー画像制御が行われる。ユーザは、画像表示装置１５６に表示されたスルー画像を確認しながらズームボタンを操作することにより、画角を決定し、撮影動作を行う。

撮影はシャッターボタン２６の押下によって行なわれる。シャッターボタン２６が半押しされると、Ｓ１ＯＮ信号がＣＰＵ１１０に入力される。

ＣＰＵ１１０は、ＡＥ／ＡＦ検出回路１４０で算出された積算値のデータに基づいて、レンズ駆動部を制御してレンズ群を含む撮影光学系のフォーカスレンズ１２４を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ１２４が移動するように、レンズ駆動部を制御する。

ＣＰＵ１１０は、ＡＥ／ＡＦ検出回路１４０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、求めた撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従い撮像素子１２６の電子シャッターと絞り駆動部を制御して（いわゆる電子シャッター）適正な露光量を得る。

また、ＡＥ／ＡＦ検出回路１４０は、自動ホワイトバランス調整時、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１０に提供する。

ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

以上のように、シャッターボタン２６の半押しによって、ＡＥ／ＡＦ処理及びＡＷＢ処理が行なわれる。この間、ユーザは、必要に応じてズームボタン３８を操作し、レンズ群をズーミングさせて画角を調整し、ＣＰＵ１１０は、ＡＥ／ＡＦ処理及びＡＷＢ処理を継続して行う。

この後、シャッターボタン２６が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力され、ＣＰＵ１１０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で撮像素子１２６を露光する。

撮像素子１２６から出力された画像信号は、アナログ処理部１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２を介してメモリ１１２に取り込まれ、画像信号処理部１３４において輝度／色差信号に変換されたのち、メモリ１１２に格納される。

メモリ１１２に格納された画像データは、圧縮伸張処理部１３６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１１２に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メディアコントローラ１５０を介して記憶メディア１５２に記録される。

本実施の形態によれば、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。

すなわち、被写体の動きが早くなると、フレームレートは自動的に上げられる。被写体の動きよりフレームレートが遅い場合には、被写体の動きが滑らかに見えない等の問題が発生するが、被写体の動きにあわせてフレームレートを上げることにより、動く被写体が含まれる場合のスルー画像の画質を向上させることができる。

また、被写体の動きが遅くなったり被写体が止まったりした場合には、フレームレートは自動的に下げられる。被写体の動きよりフレームレートが速い場合には消費電力が大きくなる、ノイズが大きくなることにより画質が低下するなどの不具合が発生するが、被写体の動きに合わせてフレームレートを下げることにより、このような不具合を防止することができる。

なお、本実施の形態では、ステップＳ１１において、図４（ｃ）に示すように、ステップＳ１０で算出された特徴点に基づいて被写体の中心を算出し、被写体の中心に基づいて被写体の移動距離を算出したが、図５に示すように、ステップＳ１０で算出された特徴点に基づいて被写体の移動距離を算出するようにしてもよい。この場合には、被写体の中心を求める必要が無いため、処理を簡略化し、処理に要する時間を短縮することができる。

また、本実施の形態では、ステップＳ１２において、移動速度とフレームレートの対応表を参照して、ステップＳ１１で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択したが、スルー画像表示用のフレームレートを選択する方法はこれに限らない。例えば、ステップＳ１１で被写体の移動速度を算出する代わりに、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心との移動距離を算出し、予めメモリ１１２に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したスルー画像表示用のフレームレートを選択するようにしてもよい。

また、本実施の形態では、連続した２枚の画像から被写体を検出したが、連続していない２枚の画像から被写体を検出してもよいし、２枚以上の画像から被写体を検出してもよい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、動体検出回路１４２において動きのある被写体が１つだけ検出された（ステップＳ１０）場合について説明したが、動きのある被写体が１つだけ検出されるとは限らない。

本発明の第２の実施の形態は、動体検出回路１４２において動きのある被写体が複数検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。以下、本発明の第２の実施の形態のデジタルカメラ１１について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

デジタルカメラ１１の内部の電気的な概略構成は、デジタルカメラ１０と同一であるため説明を省略し、デジタルカメラ１１の作用について説明する。

デジタルカメラ１１の電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。

この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。
アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４２に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。

図６は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてスルー画像表示用のフレームレートを求め、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。

動体検出回路１４２は、以下に示すように、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。

次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。

まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。

動体検出回路１４２は、図７に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、被写体がどちらに移動するか（被写体の移動方向）を予測する（ステップＳ２３）。

また、動体検出回路１４２は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。

動体検出回路１４２は、ステップＳ２３で予測された移動方向と、ステップＳ１１で予測された移動速度とに基づいて、ｎ＋１フレーム目の画像データにおいて被写体がどこに移動しているか（被写体の予測移動距離）を算出する（ステップＳ２４）。

Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。

ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１及びＳ２４を再度行う。

ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われた場合（ステップＳ２６でＹＥＳ）には、Ｎ個の被写体に対してステップＳ２５で算出された予測移動距離が最大となる被写体を対象被写体として選択する（ステップＳ２７）。このステップＳ２７で予測移動距離を算出するのは、速く進むこと等によりｎ＋１フレーム目の画像の撮影範囲から外れる被写体を除外するためである。図８は、ステップＳ２０で２個の被写体が検出された場合におけるそれぞれの被写体の予測移動距離を示したものである。図８において、被写体１の予測移動距離より被写体２の予測移動距離のほうが大きいこと、及び被写体２が撮影範囲の中にとどまることにより、被写体２が対象被写体として選択される。

動体検出回路１４２は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ２１で選択された対象被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する（ステップＳ２８）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて３０〜６０フレーム／秒のフレームレートが設定されている。ステップＳ２８で選択されたスルー画像表示用のフレームレートは動体検出回路１４２からＣＰＵ１１０に出力される。

ＣＰＵ１１０は、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。取画像信号処理部１３４はり込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像がリアルタイムで画像表示装置１５６に表示される（ステップＳ１３）。

この結果、動く被写体に対して最適なスルー画像制御が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。

本実施の形態によれば、最も動きの早い被写体に合わせてスルー画像のフレームレートを選択することにより、画像データのなかに動く被写体が複数存在する場合においても、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。

なお、本実施の形態では、ステップＳ２４において、ステップＳ２３で予測された被写体の移動方向と、ステップＳ１１で算出された被写体の移動速度とを用いて被写体の予測移動距離を求めたが、被写体の予測移動距離の求め方はこれに限らず、ｎ−１フレーム目の被写体の中心位置と、ｎフレーム目の被写体の中心位置とからｎ＋１フレーム目の被写体の中心位置を求め、ｎフレーム目の被写体の中心位置とｎ＋１フレーム目の被写体の中心位置との差を予測移動距離としてもよい。

また、本実施の形態では、ステップＳ２４において、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動距離を算出したが、光軸方向（ｚ方向）を加え、ｚ方向、ｙ方向及びｚ方向の全ての方向を考慮した移動距離を算出してもよい。ｚ方向の移動距離は、例えば、被写体の大きさの変化量と、被写体間での距離と、被写体の大きさ（例えば、人物の顔の場合には、約２０〜３０ｃｍ）とに基づいて算出することができる。この場合には、被写体の種類と大きさとの関係を予めメモリ１１２に記憶しておけばよい。

また、本実施の形態では、ステップＳ２７において、ステップＳ２０で検出された被写体がＮ個の被写体から予測移動距離が最大となる被写体を対象被写体として選択したが、対象被写体を選択する方法はこれに限らず、ステップＳ１１で算出された被写体の移動速度が最大の被写体を対象被写体としてもよいし、画像中心に最も近い被写体（図１７ステップＳ２０〜Ｓ５２参照、詳細は後述）を対象被写体としてもよい。

＜第３の実施の形態＞
本発明の第１の実施の形態及び第２の実施の形態は、動く被写体に応じたフレームレートでスルー画像を表示することで、滑らかで画質のよいスルー画像を表示する形態であるが、滑らかで画質のよいスルー画像を表示する方法はこれに限らない。

本発明の第３の実施の形態は、画質のよりスルー画像を得るために、動く被写体に対してコンティニュアスＡＦを行う形態である。以下、本発明の第３の実施の形態のデジタルカメラ１２について説明する。なお、第１の実施の形態又は第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図９はデジタルカメラ１２の内部の電気的な概略構成を示すブロック図である。

図９に示すように、デジタルカメラ１０は、主として、ＣＰＵ１１０、メモリ１１２、タイミングジェネレータ（ＴＧ）１１４、モータドライバ１１６、１１８、操作部１２０、ズームレンズ１２２、フォーカスレンズ１２４、撮像素子１２６、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２、画像信号処理部１３４、圧縮伸張処理部１３６、ＡＥ／ＡＦ検出回路１４４、動体検出回路１４６、メディアコントローラ１５０、表示回路１５４、記憶メディア１５２、画像表示装置１５６等で構成されている。

ＡＥ／ＡＦ検出回路１４４は、ＡＥ検出回路とＡＦ検出回路とで構成される。ＡＥ検出回路については、ＡＥ／ＡＦ検出回路１４０と同一であるため、説明を省略する。

ＡＦ検出回路は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア検出部及びＡＦエリア内の評価値を積算する積算部から構成される。

ＡＦ検出回路は、通常は、測距エリアを画面中央に固定して評価値を算出し、動体検出回路１４６からコンティニュアスＡＦの対象エリアが入力された場合には、入力された対象エリアを測距エリアとして評価値を算出する。

ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズ１２４を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２６を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させるコントラストＡＦを行う。

また、ＣＰＵ１１０は、スルー画像撮影時には、コントラスト方式によるＡＦ処理を繰り返し行うコンティニュアスＡＦを行う。

動体検出回路１４６は、被写体の動きを検出し、コンティニュアスＡＦのサーチ方向、フレームレート（ＡＦ処理の間隔）及び対象エリアを決定する。動体検出回路１４６は、図１０に示すように、動体検出時（ｎフレーム目）の画像と、動体検出時より１フレーム前（ｎ−１フレーム目）の画像とが入力されると、コンティニュアスＡＦのサーチ方向及び対象エリアを出力し、更にパラメータとしてメモリ１１２に記録された移動速度とフレームレートの対応表を用いてコンティニュアスＡＦのフレームレートを出力する。動体検出回路１４６で行う処理については後に詳述する。

次に、以上のように構成された本実施の形態のデジタルカメラ１２の作用について説明する。

電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。

この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。

アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。これにより、撮像素子１２６で撮像された被写体像が画像信号として取り込まれる。

ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、所定のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。画像信号処理部１３４は取り込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像が画像表示装置１５６にスルー画像として表示される。

それと共に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号は動体検出回路１４６に取り込まれる。動体検出回路１４６は、コンティニュアスＡＦの対象エリア、フレームレート及びサーチ方向を出力し、ＣＰＵ１１０は、動体検出回路１４６から出力された結果に基づいてコンティニュアスＡＦを行う。当該処理の流れについて図１１を用いて説明する。

動体検出回路１４６は、ｎフレーム目の画像データとｎフレーム目の画像の１フレーム前（ｎ−１フレーム目）の画像データとを取得し、それぞれの画像データから被写体の特徴点（例えば被写体のエッジ等）を検出し（図１２（ａ）、（ｂ）参照）、これらの特徴点を比較し、同一の特徴点の位置が一致しない場合には被写体が動いていると判断する。そして、動体検出回路１４６は、検出された特徴点に基づいて、ｎ−１フレーム目の被写体の中心を算出と、ｎフレーム目の被写体の中心とを算出することにより、動いている被写体を検出する（ステップＳ１０）。

そして、動体検出回路１４６は、図１２（ｃ）に示すように、これらに基づいて被写体がどちらに移動するか（被写体の移動方向）を予測する（ステップＳ２３）。ステップＳ２３では、光軸方向と垂直な方向（ｘ方向及びｙ方向）の移動方向を予測する。

また、動体検出回路１４６は、図１２（ｃ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて被写体の移動距離を算出し、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。

さらに、動体検出回路１４６は、図１２（ｄ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の光軸方向と垂直な方向（ｘ方向及びｙ方向）、すなわち画像データ上における被写体の位置を予測する（ステップＳ３０）。

ステップＳ３０で予測された被写体の予測位置は、コンティニュアスＡＦの対象エリアとして動体検出回路１４６からＡＥ／ＡＦ検出回路１４４に入力される。ＡＥ／ＡＦ検出回路１４４は、入力された対象エリアをｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定する（ステップＳ３１）。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。

コンティニュアスＡＦの測距エリアの設定（ステップＳ３１）が終了したら、動体検出回路１４６は、以下のようにして被写体の移動方向に基づいてコンティニュアスＡＦのサーチ方向を決定する（ステップＳ３２）。

まず、動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を予測する。すなわち、動体検出回路１４６は、図１４（ａ）に示すように、ｎフレーム目の被写体がｎ−１フレーム目の被写体より小さい場合には、被写体が離れる方向に移動していると判断し、図１４（ｂ）に示すように、ｎフレーム目の被写体がｎ−１フレーム目の被写体より大きい場合には、被写体が近づく方向に移動していると判断する。なお、被写体の大きさは、ステップＳ１０で算出された特徴点を連結するなどの方法により求めることができる。

そして、動体検出回路１４６は、予測された被写体のｚ方向の移動方向と同一の方向をコンティニュアスＡＦのサーチ方向と決定する。すなわち、動体検出回路１４６は、被写体が離れる方向に移動していると判断した場合には、被写体が離れる方向をコンティニュアスＡＦのサーチ方向と決定し、被写体が近づく方向に移動していると判断した場合には、被写体が近づく方向をコンティニュアスＡＦのサーチ方向と決定する。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。このように、コンティニュアスＡＦのサーチ方向、すなわちフォーカスレンズ１２４を動かす方向が予め決められるため、フォーカスレンズ１２４の移動に要する時間を短縮し、すぐにピントを合わせることができる。

動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。

ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。ＡＦ／ＡＦ検出回路１４４は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートで、ステップＳ３１で算出されたコンティニュアスＡＦの測距エリアに対して評価値を算出する。その評価値が所定の値より低くなった場合には、ＣＰＵ１１０は、ステップＳ３２で算出されたコンティニュアスＡＦのサーチ方向にフォーカスレンズ１２４を移動させ、ステップＳ３１で算出されたコンティニュアスＡＦの測距エリアの評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させる。

この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。

本実施の形態によれば、動く被写体の速さや位置に追従してコンティニュアスＡＦを行うことができる。そのため、動き回る子供など規則的でない動きをする被写体に対しても、確実に合焦させることができる。また、被写体の動きを予測しているため、合焦速度を上げ、すぐに被写体にピントを合わせることができる。

なお、本実施の形態では、被写体の動きに合わせてコンティニュアスＡＦのフレームレートを変えたが、コンティニュアスＡＦのフレームレートのみでなく、被写体の動きに合わせてスルー画像表示のフレームレートも変えるようにしてもよい。

また、本実施の形態では、ステップＳ３０において、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて被写体の位置を予測したが、被写体の位置を予測する方法はこれに限らず、例えば、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて算出してもよい。

また、本実施の形態では、ステップＳ２３で光軸方向と垂直な方向（ｘ方向及びｙ方向）の移動方向を予測し、ステップＳ３２で光軸方向（ｚ方向）の移動方向を予測したが、ステップＳ３３においてｘ方向、ｙ方向及びｚ方向の全ての移動方向を予測してもよい。

また、本実施の形態では、ステップＳ３２において、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を予測したが、光軸方向（ｚ方向）の被写体の移動方向を予測する方法はこれに限らない。例えば、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より上向きであれば被写体が離れていると判断し、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より下向きであれば被写体が近づく方向に移動していると判断するようにしてもよい。

また、本実施の形態では、ステップＳ３３において、移動速度とフレームレートの対応表を参照して、ステップＳ１１で算出された被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択したが、コンティニュアスＡＦのフレームレートを選択する方法はこれに限らない。例えば、ステップＳ１１で被写体の移動速度を算出する代わりに、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心との移動距離を算出し、予めメモリ１１２に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したコンティニュアスＡＦのフレームレートを選択するようにしてもよい。

＜第４の実施の形態＞
本発明の第３の実施の形態は、動体検出回路１４６において動きのある被写体が１つだけ検出された（ステップＳ３０）場合について説明したが、動きのある被写体が１つだけ検出されるとは限らない。

本発明の第４の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、第２の実施の形態と同様の方法により被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態である。以下、本発明の第４の実施の形態のデジタルカメラ１３について説明する。なお、第３の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

デジタルカメラ１３の内部の電気的な概略構成は、デジタルカメラ１２と同一であるため説明を省略し、デジタルカメラ１３の作用について説明する。

デジタルカメラ１３の電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。

この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。

アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４６に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４６から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。

図１５は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてコンティニュアスＡＦの条件（サーチ方向、フレームレート及び対象エリア）を決定し、この条件でコンティニュアスＡＦを行う処理の流れを示すフローチャートである。

動体検出回路１４６は、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。

次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。

まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。

動体検出回路１４６は、特徴点に基づいて、ｎ−１フレーム目の被写体の中心とｎフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する（ステップＳ２３）。

また、動体検出回路１４６は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ４１）。ここでは、ある被写体を基準にした相対的な移動速度を算出する。ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度を算出する。また、ｎ−１フレーム目の被写体の大きさとｎフレーム目の被写体の大きさとの差と、テレ端とワイド端との比率とに基づいて、光軸方向（ｚ方向）の被写体の移動速度を算出する。そして、ｘ方向及びｙ方向の移動速度と、ｚ方向の移動速度とに基づいて被写体の移動速度を算出する。

動体検出回路１４６は、ステップＳ１７で予測された移動方向と、ステップＳ４１で予測された光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度とに基づいて、ｎ＋１フレーム目の画像データにおいて、被写体がどこに移動しているか（被写体の予測移動距離）を算出する（ステップＳ２４）。

Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。

ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１及びＳ２４を再度行う。

ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われた場合（ステップＳ２６でＹＥＳ）には、Ｎ個の被写体に対してステップＳ２５で算出された予測移動距離が最大となる被写体を対象被写体として選択する（ステップＳ２７）。このステップＳ２７で予測移動距離を算出するのは、速く進むこと等により撮影範囲から外れる被写体を除外するためである。図１６に示す例においては、被写体２が対象被写体として選択される。

次に、ステップＳ２７で選択された被写体に対して最適なコンティニュアスＡＦの条件を求める（ステップＳ３０〜Ｓ３３）。以下、図１６に示す被写体２に対して最適なコンティニュアスＡＦの条件を求める場合を例に説明する。

動体検出回路１４６は、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の画像データ上における被写体２のｘ方向及びｙ方向の位置を予測する（ステップＳ３０）。

ステップＳ３０で予測された被写体の予測位置は、コンティニュアスＡＦの対象エリアとして動体検出回路１４６からＡＥ／ＡＦ検出回路１４４に入力され、ＡＥ／ＡＦ検出回路１４４でｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定される（ステップＳ３１）。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。

動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスＡＦのサーチ方向と決定する（ステップＳ３２）。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。これにより、ＣＰＵ１１０は、フォーカスレンズ１２４を動かす方向を予め決めておくことができるため、フォーカスレンズ１２４の移動に要する時間を短縮することができる。

動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。

これにより、コンティニュアスＡＦの条件を求めるステップ（ステップＳ３０〜Ｓ３３）が終了する。そして、ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。

この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。

本実施の形態によれば、最も動きの早い被写体に合わせてＡＦ処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。

＜第５の実施の形態＞
本発明の第４の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態であるが、主要な被写体を選択する方法はこれに限らない。

本発明の第５の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、画面の中心に最も近い被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態である。以下、本発明の第５の実施の形態のデジタルカメラ１４について説明する。なお、第３の実施の形態又は第４の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

デジタルカメラ１４の内部の電気的な概略構成は、デジタルカメラ１２と同一であるため説明を省略し、デジタルカメラ１４の作用について説明する。

図１７は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてコンティニュアスＡＦの条件（サーチ方向、フレームレート及び対象エリア）を決定し、この条件でコンティニュアスＡＦを行う処理の流れを示すフローチャートである。

動体検出回路１４６は、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。

次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。

まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。

動体検出回路１４６は、特徴点に基づいて、ｎ−１フレーム目の被写体の中心とｎフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する（ステップＳ２３）。

また、動体検出回路１４６は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。

動体検出回路１４６は、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の画像データ上における被写体のｘ方向及びｙ方向の位置を予測し（ステップＳ３０）、画像データの中心からステップＳ３０で予測された被写体の位置までの距離を算出する（ステップＳ５１）。

Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。

ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１を再度行う。

ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１の処理が行われた場合（ステップＳ２６でＹＥＳ）には、ステップＳ５１で算出された画像データの中心から被写体の位置までの距離が最も短い被写体、すなわち画面中心に最も近い被写体を対象被写体として選択する（ステップＳ５２）。

図１８に示す例においては、現在のフレーム（ｎフレーム目）では、被写体２が画面中心に近い被写体であるため、被写体２が対象被写体とうぃて選択される。それに対し、現在のフレームの次のフレーム（ｎ＋１フレーム目）では、被写体１が画面中心に近いため、被写体１を対象被写体とする。

動体検出回路１４６は、ステップＳ５２で選択された被写体の予測位置であって、ステップＳ３０で予測された予測位置をＡＥ／ＡＦ検出回路１４４に入力する。ＡＥ／ＡＦ検出回路１４４は、入力された予測位置をｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定する（ステップＳ３１）。これにより、画面中心に最も近い被写体に対して確実に合焦させることができる。

動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスＡＦのサーチ方向と決定する（ステップＳ３２）。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。

動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。

これにより、コンティニュアスＡＦの条件を求めるステップ（ステップＳ３０〜Ｓ３３）が終了する。そして、ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。

この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。

本実施の形態によれば、画面中心に最も近い被写体に合わせてＡＦ処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。

なお、本実施の形態では、画面中心に最も近い被写体を対象被写体として選択し（ステップＳ５２）、選択された被写体の動きに応じてその被写体に対してＡＦ処理を行ったが、当該動きのある被写体が複数検出された場合に所望の被写体を選択する方法を被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態（例えば第１の実施の形態や第２の実施の形態）に適用してもよい。

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理をおこなうＰＣなどの撮像装置にも同様に適用することができる。また、ＰＣなどの装置に適用するプログラムとして提供することもできる。

本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。 上記デジタルカメラ１０の動体検出回路１４２の機能を示す図である。 上記デジタルカメラ１０のスルー画像表示の処理の流れを示すフローチャートである。 上記デジタルカメラ１０の処理内容を説明するための図である。 上記デジタルカメラ１０の処理内容を説明するための図である。 本発明が適用されたデジタルカメラ１１のスルー画像表示の処理の流れを示すフローチャートである。 上記デジタルカメラ１１の処理内容を説明するための図である。 上記デジタルカメラ１１の処理内容を説明するための図である。 本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。 上記デジタルカメラ１１の動体検出回路１４６の機能を示す図ある。 上記デジタルカメラ１２のＡＦ処理の流れを示すフローチャートである。 上記デジタルカメラ１２の処理の内容を説明するための図である。 上記デジタルカメラ１２の処理の内容を説明するための図である。 上記デジタルカメラ１２の処理の内容を説明するための図である。 上記デジタルカメラ１３のＡＦ処理の流れを示すフローチャートである。 上記デジタルカメラ１３の処理の内容を説明するための図である。 上記デジタルカメラ１４のスルー画像表示の処理の流れを示すフローチャートである。 上記デジタルカメラ１４の処理の内容を説明するための図である。

符号の説明

１０、１１、１２、１３，１４：デジタルカメラ、１１０：ＣＰＵ、１１２：メモリ、１１４：タイミングジェネレータ（ＴＧ）、１１６、１１８：モータドライバ、１２０：操作部、１２２：ズームレンズ、１２４：フォーカスレンズ、１２６：撮像素子、１２８：アナログ処理部（ＣＤＳ／ＡＭＰ）、１３０：Ａ／Ｄ変換器、１３２；画像入力制御部、１３４：画像信号処理部、１３６：圧縮伸張処、１４０、１４４：ＡＥ／ＡＦ検出回路、１４２、１４６：動体検出回路、１５０：メディアコントローラ、１５２記憶メディア、１５４：表示回路、１５６：画像表示装置

Claims (10)

1. 被写体を所定のフレームレートで連続して撮像する撮像手段と、
   前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、
   前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
   前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、
   前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、
   を備えたことを特徴とする撮像装置。
2. 撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、
   前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
   前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
   前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、
   前記被写体検出手段により複数の被写体が検出された場合には、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、
   前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行うことを特徴とする撮像装置。
3. 撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、
   前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
   前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、
   前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、
   前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
   前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、
   前記移動方向検出手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、
   前記自動合焦制御手段は、前記被写体検出手段により複数の被写体が検出された場合には前記対象被写体設定手段により設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出手段により検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする撮像装置。
4. 被写体を所定のフレームレートで連続して撮像する撮像手段と、
   前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
   前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
   前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、
   前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測手段であって、前記被写体検出手段により複数の被写体が検出された場合には、前記対象被写体設定手段により設定された前記対象被写体の位置を予測する被写***置予測手段と、
   前記被写***置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段であって、前記被写体検出手段により複数の被写体が検出された場合には前記被写***置予測手段により予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、
   を備えたことを特徴とする撮像装置。
5. 前記撮像手段により撮像された画像の特徴点を抽出する特徴点抽出手段を備え、
   前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、
   前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする請求項１から４のいずれか１項記載の撮像装置。
6. 被写体を所定のフレームレートで連続して撮像する撮像ステップと、
   前記撮像ステップで撮像された被写体の画像を連続して表示する表示ステップと、
   前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
   前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出ステップと、
   前記算出ステップで算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御ステップと、
   を含むことを特徴とする撮像方法。
7. 撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、
   前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
   前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
   前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記算出ステップで算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御ステップと、
   前記被写体検出ステップで複数の被写体が検出された場合には、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、
   前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行うことを特徴とする合焦制御方法。
8. 撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像する撮像ステップと、
   前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
   前記被写体検出ステップで検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出ステップと、
   前記撮影光学系を移動させて前記被写体検出ステップで検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御ステップであって、前記移動方向検出ステップで検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御ステップと、
   前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
   前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、を含み、
   前記移動方向検出ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出し、
   前記自動合焦制御ステップは、前記被写体検出ステップで複数の被写体が検出された場合には前記対象被写体設定ステップで設定された前記対象被写体に対して合焦制御を行い、かつ前記移動方向検出ステップで検出された前記対象被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定することを特徴とする合焦制御方法。
9. 被写体を所定のフレームレートで連続して撮像する撮像ステップと、
   前記撮像ステップで撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出ステップと、
   前記被写体検出ステップで検出された動く被写体の移動速度又は移動距離を算出する算出ステップと、
   前記被写体検出ステップで複数の被写体が検出された場合に、前記算出ステップで算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定ステップと、
   前記被写体検出ステップで検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測ステップであって、前記被写体検出ステップで複数の被写体が検出された場合に、前記対象被写体設定ステップで設定された前記対象被写体の位置を予測する被写***置予測ステップと、
   前記被写***置予測ステップで予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップであって、前記被写体検出ステップで複数の被写体が検出された場合には前記被写***置予測ステップで予測された前記対象被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御ステップと、
   を含むことを特徴とする合焦制御方法。
10. 請求項６に記載の撮像方法又は請求項７から９のいずれかに記載の合焦制御方法を演算装置に実行させることを特徴とするプログラム。

Images