JP6172973B2 - 画像処理装置 - Google Patents

Description

本発明は、被写体を追尾するための追尾処理を行う画像処理装置に関する。

従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている（例えば、特許文献１参照）。

特許第２６０５００４号公報

近年、デジタルカメラ等の撮像装置において連写動作が可能なものが増加してきている。ここで、連写動作中に追尾処理を用いてＡＦを行うことを考える。このとき、連写動作中の本露光の時点で得られる画像データを用いて追尾処理を行うと、１フレーム前の追尾処理の結果がＡＦに反映されることになる。したがって、移動する被写体を撮影する場合、被写体の移動に対してＡＦが遅れてしまうおそれがある。また、本露光と本露光との間の画像データを用いて追尾処理を行うと被写体に対するＡＦの遅れを少なくすることができる。しかしながら、この場合には本露光と本露光との間で高速にフォーカスレンズをスキャン動作させる必要があるので、ピントが合っていない画像データを用いて追尾処理がなされる可能性がある。ピントが合っていない画像データを用いて追尾処理がなされると、正確に追尾位置を算出することが困難になる。

本発明は、前記の事情に鑑みてなされたもので、連写動作中の追尾処理の性能を向上させることが可能な画像処理装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の画像処理装置は、撮影光学系に含まれるフォーカスレンズを移動させながら撮像素子による複数回の撮像動作を実行し、該複数回の撮像動作の結果として前記撮像素子で取得された複数の画像データのうちでコントラストがピークとなる画像データが取得された前記フォーカスレンズの位置を検出するスキャン動作を行い、前記ピークとなる位置に基づいて算出される合焦位置に前記フォーカスレンズを移動させる焦点調節部と、静止画撮影のための撮像動作を連続して行う連写動作を前記撮像素子に実行させる制御部と、前記撮像素子により取得された画像データに基づいて被写体を追尾する追尾処理部と、を具備し、前記追尾処理部は、前記連写動作の実行中に、静止画撮影とその次の静止画撮影の間で、前記焦点調節部によって前記スキャン動作を実行させて焦点調節動作を行い、前記スキャン動作中にコントラストがピークとなる画像データを記憶させ、該コントラストがピークとなる画像データに基づいて被写体を追尾することを特徴とする。
前記の目的を達成するために、本発明の一態様の画像処理装置は、撮影光学系に含まれるフォーカスレンズを移動させながら撮像素子による複数回の撮像動作を実行し、該複数回の撮像動作の結果として前記撮像素子で取得された複数の画像データのうちでコントラストがピークとなる画像データが取得された前記フォーカスレンズの位置を検出するスキャン動作を行い、前記ピークとなる位置に基づいて算出される合焦位置に前記フォーカスレンズを移動させる焦点調節部と、静止画撮影のための撮像動作を連続して行う連写動作を前記撮像素子に実行させる制御部と、前記撮像素子により取得された画像データに基づいて被写体を追尾する追尾処理部と、を具備し、前記追尾処理部は、前記連写動作の実行中に、静止画撮影とその次の静止画撮影の間で、前記焦点調節部によりスキャン動作を実行させて焦点調節動作を行い、前記スキャン動作中に取得された画像データを記憶させ、記憶された画像データと前記連写動作の実行中の静止画撮影において取得された画像データに基づいて被写体を追尾することを特徴とする。

本発明によれば、連写動作中の追尾処理の性能を向上させることが可能な画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。 輝度情報を用いた追尾処理について説明するための図である。 色情報を用いた追尾処理について説明するための図である。 顔検出処理を用いた追尾処理について説明するための図である。 撮像装置の撮影動作を示すフローチャートである。 ＡＦ処理について示すフローチャートである。 輝度情報を用いた追尾処理について示すフローチャートである。 色情報を用いた追尾処理について示すフローチャートである。 類似色エリアの探索処理について示すフローチャートである。 顔検出を用いた追尾処理について示すフローチャートである。 顔検出位置の探索処理について示すフローチャートである。 連写モード中の処理を時系列で示した図である。 図１３（ａ）は図１２のＡ点のタイミングで得られる画像データの例を示す図であり、図１３（ｂ）は図１２のＢ点のタイミングで得られる画像データの例を示す図であり、図１３（ｃ）は図１２のＣ点のタイミングで得られる画像データの例を示す図である。 本発明の一実施形態の追尾処理に用いる画像データの取得タイミングを示す図である。 ピーク画像データの例を示す図である。 追尾処理に本露光画像データとピーク画像データを用いる変形例について示す図である。 図１７（ａ）は本露光画像データの例を示す図であり、図１７（ｂ）はピーク画像データの例を示す図である。 本露光画像データとピーク画像データとの間にサイズ差がある変形例の追尾処理を説明するための図である。 本露光画像データとピーク画像データとの間に構造の差がある変形例の追尾処理を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。

撮影光学系１０２は、図示しない被写体からの撮影光束Ｆを、撮像素子１１４の受光面上に導くための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。

絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する撮影光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。

シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。

撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの撮影光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された撮影光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。

撮影光学系１０２及び撮像素子１１４とともに撮像部として機能する撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。

ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、追尾画像エリア、追尾色ログエリア、追尾データログエリアを記憶エリアとして有している。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。
追尾画像エリアは、追尾処理に必要な画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾処理に必要な画像データは、評価画像データと参照画像データとがある。
追尾色ログエリアは、追尾色ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾色ログは、追尾処理の結果として得られた追尾位置の色情報を記録したログである。
追尾データログエリアは、追尾データログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾データログは、追尾処理の結果として得られた追尾位置の位置データを記録したログである。

表示素子１２０は、例えば液晶ディプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。

タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。

システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、焦点検出情報取得回路１３０８と、メモリ制御回路１３０９と、を有している。

ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する制御部である。

焦点調節部の一例として機能するＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０８で取得されたＡＦ評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路１３０３は、ＡＥ処理を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。

画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。

追尾処理回路１３０５は、画像データの輝度情報を用いた追尾処理を行う。ここで、輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの中の追尾対象を含む所定領域２０２の画像データを、評価画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この後の追尾処理では、参照画像データにおける評価画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の追尾画像エリアに記憶する。この参照画像データのうちの所定の追尾エリア２０４の画像データと評価画像データ２０２との画像相関度を求めることにより、参照画像データの評価画像データ２０２と対応する部分を探索する。画像相関度は、例えば評価画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図２（ｂ）に示す参照画像データのエリア２０６の参照画像データと評価画像データ２０２との差分絶対値和を求めたとすると、参照画像データのエリア２０６と評価画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データのエリア２０８と評価画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、評価画像データ２０２との画像相関度が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、画像相関度が最大の、即ち差分絶対値和が最小のエリアを参照画像データから探索する。図２（ｂ）の例では、エリア２０８となる。なお、追尾データログエリアには、エリア２０８の中で最も一致度の高い位置を追尾位置として記録する。このような位置が複数ある場合には、例えば、エリア２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。

追尾処理回路１３０６は、画像データの色情報を用いた追尾処理を行う。ここで、色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できるエリアである類似色エリアを探索する。図３（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、この位置３０２を含む画像データを評価画像データとし、この評価画像データの位置３０２の色情報を取得する。そして、参照画像データ中で、評価画像データから取得した色情報と最も類似の色情報を有する位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有するエリアを探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合にはエリアに含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合にはエリアに含めない。このようにして類似色エリアを探索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形エリア３０４が類似色エリアとなる。また、追尾データログエリアに記録する追尾位置は、例えば類似色エリア３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。

Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の追尾エリアの中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、類似色エリア３０４の色と同色であると判定できるエリアを類似色エリアとして探索する。図３（ｂ）の例では、エリア３０６が類似色エリアとなる。そして、求められた類似色エリアであるエリア３０６の重心位置３０８がを追尾位置として追尾データログエリアに記憶させる。

顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理を用いた追尾処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図４（ａ）に示すような顔パーツ４０２、４０４、４０６との画像相関度を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との画像相関度は、図４（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含むエリア４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４（ｂ）では、顔エリアを矩形エリアとしているが、円形エリアとしても良い。

焦点検出情報取得回路１３０８は、撮像素子１１４を介して入力された画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ評価値を取得する。

メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。

操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズボタン、モードボタン、選択キー、電源ボタン等が含まれる。
レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズボタンを半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
モードボタンは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、通常撮影モードと連写モードを選択できる。通常撮影モードは、レリーズボタンの１回の全押しに応答して１回の静止画撮影を行う撮影設定である。また、連写モードは、レリーズボタンの１回の全押しに応答して複数回の静止画撮影を行う撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源ボタンが操作されると、撮像装置１００が省電力待機状態となる。

ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。

次に、本実施形態に係る撮像装置の動作について説明する。図５は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。

Ｓ１００において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。

Ｓ１０２において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０２において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。

また、Ｓ１０２において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０４において、ＣＰＵ１３０１は、ＡＦ制御回路１３０２にレリーズＡＦ処理を実行させる。レリーズＡＦにおいては、スキャン動作によって、フォーカスレンズを合焦位置まで駆動させる。スキャン動作では、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、焦点検出情報取得回路１３０８で順次算出されるＡＦ評価値を評価する。そして、ＡＦ制御回路１３０２は、ＡＦ評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。

Ｓ１０６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。

Ｓ１０８において、ＣＰＵ１３０１は、追尾処理を行う。輝度情報を用いた追尾処理を行うのか、色情報を用いた追尾処理を行うのか、顔検出を用いた追尾処理を行うのかは予め設定されているものである。複数の追尾処理を併用しても良い。それぞれの追尾処理の詳細については後で詳しく説明する。
Ｓ１１０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ制御回路１３０２にＡＦ処理を実行させる。ＡＦ処理の詳細については後で詳しく説明する。

Ｓ１１２において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１２において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１０８の追尾処理以後の処理を実行する。図５の例では、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。

また、Ｓ１１２において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１４において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、ＡＥ処理として、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とするために必要な、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。そして、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
Ｓ１１６において、ＣＰＵ１３０１は、Ｓ１０８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。

Ｓ１１８において、ＣＰＵ１３０１は、撮影設定が連写モードであるか否かを判定する。前述したように、撮影設定は、例えばモードボタンの操作によって設定される。

Ｓ１１８において、撮影設定が連写モードであると判定した場合に、Ｓ１２０において、ＣＰＵ１３０１は、ＡＦ制御回路１３０２に再度のＡＦ処理を実行させる。このＡＦ処理の詳細については後で詳しく説明する。

Ｓ１２２において、ＣＰＵ１３０１は、Ｓ１２０のＡＦ処理の結果、ピーク画像データが確定できたか否かを判定する。ピーク画像データとは、ＡＦ処理の際に算出されるＡＦ評価値が最大（ピーク）である画像データのことを言う。詳細については後で詳しく説明する。Ｓ１２２において、ピーク画像データが確定できていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２０のＡＦ処理の再実行をＡＦ制御回路１３０２に指示する。

Ｓ１２２において、ピーク画像データが確定できたと判定した場合に、ＣＰＵ１３０１は、Ｓ１２４において、追尾処理を行う。この追尾処理の詳細については後で詳しく説明する。

また、Ｓ１２６において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この処理は、Ｓ１１４で示した処理とほぼ同様である。ただし、連写モードの場合には、先に記録されている静止画像ファイルに新たに得られた静止画像データを順次記録する。

Ｓ１２８において、ＣＰＵ１３０１は、Ｓ１２４の追尾処理の結果として得られた追尾位置を示すデータを、Ｓ１２６において記録メディア１２８に記録した静止画像ファイルに追記する。

Ｓ１３０において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオフされたかを判定する。Ｓ１３０において、２ｎｄレリーズスイッチがオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２０の以後の処理を実行する。図５の例では、２ｎｄレリーズスイッチがオフされるまでは、連写動作が継続される。

Ｓ１３０において、２ｎｄレリーズスイッチがオフされたと判定した場合に、Ｓ１３２において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図５に示す動作を終了させる。

次に、ＡＦ処理について説明する。図６は、ＡＦ処理について示すフローチャートである。図６の処理は、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、焦点検出情報取得回路１３０８との連携動作によって行われる。

Ｓ２００において、ＡＦ制御回路１３０２は、撮影設定が連写モードであるか否かを判定する。

Ｓ２００において、撮影設定が連写モードでない、即ち通常モードであると判定した場合に、Ｓ２０２において、ＡＦ制御回路１３０２は、前処理を行う。前処理として、ＡＦ制御回路１３０２は、例えば焦点検出情報取得回路１３０８に保持されているＡＦ評価値の値を初期値する。また、前処理として、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御して撮影光学系１０２内のフォーカスレンズを予め定めた初期位置に駆動させる。

Ｓ２０４において、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御して撮影光学系１０２内のフォーカスレンズの駆動を開始させる。

Ｓ２０６において、焦点検出情報取得回路１３０８は、撮像素子１１４により取得され入力された画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ評価値を取得する。

Ｓ２０８において、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０８で取得されたＡＦ評価値から、フォーカスレンズを駆動すべき方向が検出できたか否かを判定する。今回の処理で取得されたＡＦ評価値が前回の処理で取得されたＡＦ評価値よりも増加しているときに、フォーカスレンズを駆動すべき方向が順方向であることが検出される。また、今回の処理で取得されたＡＦ評価値が前回の処理で取得されたＡＦ評価値よりも減少しているときに、フォーカスレンズを駆動すべき方向が逆方向であることが検出される。したがって、Ｓ２０８においては、ＡＦ評価値の変化量が算出できたか否かを判定する。ＡＦ評価値の変化量が算出できたとき、フォーカスレンズを駆動すべき方向が検出できたと判定する。

Ｓ２０８において、フォーカスレンズを駆動すべき方向が検出できたと判定した場合に、Ｓ２１０において、ＡＦ制御回路１３０２は、フォーカスレンズを駆動すべき方向を判定する。ここでは、ＡＦ評価値の変化量の符号より、フォーカスレンズを駆動すべき方向を判定する。

Ｓ２１２において、ＡＦ制御回路１３０２は、フォーカスレンズを駆動すべき方向が順方向であるか否かを判定する。ここでは、ＡＦ評価値の変化量の符号が正であるとき、フォーカスレンズを駆動すべき方向が順方向であるとする。実際には、ＡＦ評価値の変化量が所定の閾値よりも小さい場合、ＡＦ評価値の変化量の符号が正であってもフォーカスレンズを駆動すべき方向が順方向であるとは言えない場合があり得る。したがって、ＡＦ評価値の変化量の符号が正であってもその絶対値が所定の閾値よりも小さい場合には、フォーカスレンズを駆動すべき方向が順方向でないと判定するようにしても良い。

Ｓ２１２において、フォーカスレンズを駆動すべき方向が順方向であるとＡＦ制御回路１３０２が判定した場合に、ＣＰＵ１３０１は、処理をＳ２１８に移行させる。

Ｓ２１２において、フォーカスレンズを駆動すべき方向が順方向でないと判定した場合に、Ｓ２１４において、ＡＦ制御回路１３０２は、フォーカスレンズを駆動すべき方向が逆方向であるか否かを判定する。ここでは、ＡＦ評価値の変化量の符号が負であるとき、フォーカスレンズを駆動すべき方向が逆方向であるとする。実際には、ＡＦ評価値の変化量が所定の閾値よりも小さい場合、ＡＦ評価値の変化量の符号が負であってもフォーカスレンズを駆動すべき方向が逆方向であるとは言えない場合があり得る。したがって、ＡＦ評価値の変化量の符号が負であってもその絶対値が所定の閾値よりも小さい場合には、フォーカスレンズを駆動すべき方向が逆方向でないと判定するようにしても良い。

Ｓ２１４において、フォーカスレンズを駆動すべき方向が逆方向でないとＡＦ制御回路１３０２が判定した場合にはフォーカスレンズの駆動方向が確定できなかったことを意味する。このとき、ＣＰＵ１３０１は、処理をＳ２０４に戻す。この場合、再度の駆動方向の判定が行われる。

Ｓ２１４において、フォーカスレンズを駆動すべき方向が逆方向であるとＡＦ制御回路１３０２が判定した場合、Ｓ２１６において、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御して撮影光学系１０２内のフォーカスレンズの駆動方向を逆転させる。

Ｓ２１８において、焦点検出情報取得回路１３０８は、撮像素子１１４により取得され入力された画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ評価値を取得する。

Ｓ２２０において、ＣＰＵ１３０１は、撮像素子１１４を介して取得される画像データをＲＡＭ１１８のワークエリアに記憶させる。Ｓ２２０の処理が行われる毎に画像データを順次追記させる。ここで、Ｓ２２０において画像データを記憶させる際には、記憶させる画像データをＡＦ評価値と対応付けしておく。

Ｓ２２２において、ＡＦ制御回路１３０２は、焦点検出情報取得回路１３０８で取得されたＡＦ評価値から、ＡＦ評価値の最大値（ピーク）が検出されたか否かを判定する。ＡＦ評価値のピークは、ＡＦ評価値が増加傾向から減少傾向に転じたことを検出することによって検出される。

Ｓ２２２において、ＡＦ評価値のピークが検出されていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ２１８に戻す。この場合には、次のＡＦ評価値を取得して再度のピーク検出が行われる。

Ｓ２２２において、ＡＦ評価値のピークが検出されたと判定した場合に、Ｓ２２４において、ＡＦ制御回路１３０２は、検出したピークの付近の複数のＡＦ評価値に基づいてＡＦ評価値が真のピークとなるフォーカスレンズの位置を合焦位置として演算する。

Ｓ２２６において、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御して撮影光学系１０２内のフォーカスレンズを合焦位置に駆動させせる。このようにしてＡＦ処理が終了される。

Ｓ２００において、撮影設定が連写モードであると判定した場合に、Ｓ２２８において、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御してフォーカスレンズの初期駆動を行う。初期駆動とは、フォーカスレンズを初期位置へ駆動させることである。例えば前回の合焦位置から所定量だけ無限側にずらした位置に駆動させる処理である。

Ｓ２３０において、ＡＦ制御回路１３０２は、焦点調整機構１０４を制御してフォーカスレンズを初期位置から至近側に駆動するスキャン動作を行う。その後、ＣＰＵ１３０１は、処理をＳ２１８に移行させる。このように、連写モードの場合には、フォーカスレンズの駆動方向を一方向に定めておく。連写モードの場合は、被写体が撮影レンズの光軸方向に移動する場合を想定して予め被写体の移動方向に合わせたフォーカスレンズの駆動方向を設定しＡＦの追従性を向上させている。したがって、通常モードのような駆動方向の検出の処理が不要である。

また、連写モード中のＳ２１８におけるＡＦ評価値の算出に際しては、静止画撮影のための撮像動作である本露光の間のタイミングで撮像素子１１４により取得され入力された画像データを用いる。

次に、本実施形態における追尾処理について説明する。図７は、輝度情報を利用した追尾処理について示すフローチャートである。図７の処理は、追尾処理回路１３０５が主体となって行われる。ここで、輝度情報を利用した追尾処理においては、評価画像データを取得しておく必要がある。評価画像データは、追尾枠の表示時において取得されて画像記憶部としての追尾画像エリアに記録されている。また、追尾エリアの大きさは、追尾処理回路１３０５により予め設定されている。

Ｓ３００において、追尾処理回路１３０５は、撮影設定が連写モードであるか否かを判定する。

Ｓ３００において、撮影設定が連写モードであると判定した場合に、Ｓ３０２において、追尾処理回路１３０５は、ＲＡＭ１１８に記憶されたピーク画像データを取得する。ピーク画像データは、ＲＡＭ１１８のワークエリアに記憶された画像データのうち、ＡＦ評価値が最大の画像データである。

Ｓ３００において、撮影設定が連写モードでない、即ち通常モードであると判定した場合に、Ｓ３１６において、追尾処理回路１３０５は、撮像素子１１４を介して画像データを取得する。このとき、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。追尾処理回路１３０５は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。

Ｓ３０４において、追尾処理回路１３０５は、参照画像データと評価画像データとの画像相関度としてのＳＡＤ（Sum of Absolute Difference：差分絶対値和）を算出する。本実施形態における輝度情報を用いた追尾処理においては、以下の（式１）に従ってＳＡＤを算出する。

ここで、（式１）のＭは、評価画像データの水平方向のサイズ（画素数）を示し、Ｎは、評価画像データの垂直方向のサイズ（画素数）を示している。Ｉ（ｉ，ｊ）は、評価画像データにおける座標（ｉ，ｊ）の画素データを示している。さらに、Ｔ（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の画素データを示している。

Ｓ３０６において、追尾処理回路１３０５は、ＳＡＤが最も小さくなる参照画像データ内の座標（ｉ，ｊ）を検出し、この座標（ｉ，ｊ）を追尾位置とする。

Ｓ３０８において、追尾処理回路１３０５は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば参照画像データの各画素のデータから判断する。具体的には、参照画像データに設定された追尾エリアの隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。

Ｓ３１０において、追尾処理回路１３０５は、追尾位置に応じて評価画像データを更新する。更新後の評価画像データは、Ｓ３０６で決定された追尾位置を含む所定領域の画像データとする。ただし、Ｓ３０８において信頼性が低いと判断された場合には、評価画像データを更新しなくとも良い。

Ｓ３１２において、追尾処理回路１３０５は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ３０６で決定した追尾位置に対応した位置に更新する。その後、追尾処理回路１３０５は、図７の追尾処理を終了させる。ただし、Ｓ３０８において信頼性が低いと判断された場合には、追尾枠の表示位置を更新しなくとも良い。

図８は、色情報を利用した追尾処理について示すフローチャートである。図８の処理は、追尾処理回路１３０６が主体となって行われる。ここで、輝度情報を利用した追尾処理と同様、色情報を利用した追尾処理においても、評価画像データを追尾画像エリアに記憶させておく必要がある。また、追尾エリアの大きさも、追尾処理回路１３０６により予め設定されている。

Ｓ４００において、追尾処理回路１３０６は、撮影設定が連写モードであるか否かを判定する。

Ｓ４００において、撮影設定が連写モードであると判定した場合に、Ｓ４０２において、追尾処理回路１３０６は、ＲＡＭ１１８に記憶されたピーク画像データを取得する。

Ｓ４００において、撮影設定が連写モードでない、即ち通常モードであると判定した場合に、Ｓ４１４において、追尾処理回路１３０６は、撮像素子１１４を介して画像データを取得する。

Ｓ４０４において、追尾処理回路１３０６は、追尾色の色情報と最類似、即ち最も類似度が高い色情報を有する画素の位置（座標）を、参照画像データの中から探索する。そして、追尾処理回路１３０６は、最類似色の画素を含み且つ最類似色の画素と類似する色情報を有するエリアを類似色エリアとして探索する。類似色エリアの探索処理の詳細については後で詳しく説明する。なお、初回の探索時には、評価画像データから取得した色情報を追尾色の色情報とする。次回以降の探索時には、Ｓ４１０で更新された色情報を用いる。なお、色情報は、ＲＧＢデータ又はＳＵＶデータ等、特に限定されるものではない。

Ｓ４０６において、追尾処理回路１３０６は、類似色エリアの重心位置を追尾位置とする。

Ｓ４０８において、追尾処理回路１３０６は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば参照画像データの各画素の彩度から判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。

Ｓ４１０において、追尾処理回路１３０６は、追尾色情報を更新する。更新後の追尾色データは、新たな追尾位置の色情報とする。ただし、Ｓ４０８において信頼性が低いと判断された場合には、追尾色情報を更新しなくとも良い。

Ｓ４１２において、追尾処理回路１３０６は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ４０６で決定した追尾位置に対応した位置に更新する。その後、追尾処理回路１３０６は、図８の追尾処理を終了させる。ただし、Ｓ４０８において信頼性が低いと判断された場合には、追尾枠の表示位置を更新しなくとも良い。

図９は、類似色エリアの探索処理について示すフローチャートである。Ｓ５００において、追尾処理回路１３０６は、類似色エリアを参照画像データの上下左右斜め方向に１画素拡大する。最初は、最類似色を有する画素から上下左右斜め方向に１画素拡大し、次回以降は、拡大後の類似色エリアをさらに上下左右斜め方向に拡大していく。

Ｓ５０２において、追尾処理回路１３０６は、最類似色を有する画素の色情報と拡大後の画素の色情報との画像相関度としての類似度を算出する。類似度は、以下の（式２）で表される。

ここで、（式２）のＭは、拡大後の類似色エリアの水平方向のサイズ（画素数）を示し、Ｎは、拡大後の類似色エリアの垂直方向のサイズ（画素数）を示している。また、Ｉは、追尾色の色情報を示している。さらに、Ｔ（ｉ，ｊ）は、参照画像データにおける座標（ｉ，ｊ）の色情報を示している。

Ｓ５０４において、追尾処理回路１３０６は、Ｓ５０２において算出した類似度が所定の閾値を超えているか否かを判定する。

ステップＳ５０４において、類似度が閾値を超えていない場合には、拡大後の類似色エリアの色情報が最類似色と類似していることを示す。この場合、追尾処理回路１３０６は、処理をＳ５００に戻して類似色エリアをさらに拡大する。

Ｓ５０４において、類似度が閾値を超えている場合には、拡大後の類似色エリアの色情報が最類似色と類似していないことを示す。この場合には、拡大後の画素を類似色エリアには含めないようにする。この場合、追尾処理回路１３０６は、図９の処理を終了して類似色エリアの探索を終了する。

図１０は、顔検出を利用した追尾処理について示すフローチャートである。図１０の処理は、顔検出回路１３０７が主体となって行われる。ここで、顔情報を利用した追尾処理においては、必ずしも評価画像データを取得しておく必要はない。ただし、追尾エリアの大きさは、顔検出回路１３０７により予め設定されている。

Ｓ６００において、追尾処理回路１３０６は、撮影設定が連写モードであるか否かを判定する。

Ｓ６００において、撮影設定が連写モードであると判定した場合に、Ｓ６０２において、顔検出回路１３０７は、ＲＡＭ１１８に記憶されたピーク画像データを取得する。

Ｓ６００において、撮影設定が連写モードでない、即ち通常モードであると判定した場合に、Ｓ６１２において、顔検出回路１３０７は、撮像素子１１４を介して画像データを取得する。

Ｓ６０４において、顔検出回路１３０７は、参照画像データに対して顔検出を行い、顔検出位置を参照画像データの中から探索する。顔検出位置の探索処理の詳細については後で詳しく説明する。

Ｓ６０６において、顔検出回路１３０７は、最大のサイズを有する顔検出位置を追尾位置とする。

Ｓ６０８において、顔検出回路１３０７は、追尾位置の信頼性を判断する。追尾位置の信頼性は、例えば輝度情報の追尾処理と同様、参照画像データ中の顔検出位置の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。

Ｓ６１０において、顔検出回路１３０７は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ６０６で決定した追尾位置に対応した位置に更新する。その後、顔検出回路１３０７は、図１０の追尾処理を終了させる。

図１１は、顔検出位置の探索処理について示すフローチャートである。Ｓ７００において、顔検出回路１３０７は、参照画像データと顔パーツとの画像相関度としての類似度を算出する。類似度は、例えば参照画像データの各画素の画素データと顔パーツの画素データとのＳＡＤである。

Ｓ７０２において、顔検出回路１３０７は、類似度が所定の閾値未満であるか否かを判定する。

Ｓ７０２において、類似度が閾値未満の場合、即ち該当のエリアが顔パーツと類似している場合、顔検出回路１３０７は、Ｓ７０４において、そのエリアを顔検出位置と識別する。また、Ｓ７０２において、類似度が閾値以上の場合に、顔検出回路１３０７は、Ｓ７０６において、そのエリアを顔検出位置でないと識別する。その後、顔検出回路１３０７は、図１１の処理を終了させる。

図１２は、本実施形態における連写モード中の処理を時系列で示した図である。前述したように、連写モード中のＡＦ処理は、スキャン動作を用いる。スキャン動作の前に初期駆動を実行し、スキャン動作中にＡＦ評価値が増加するような初期位置にフォーカスレンズを位置させる。つまり、前回のＡＦ動作により合焦となったフォーカスレンズ位置に対して、被写体の予測される移動分、およびスキャン駆動の所定範囲を加味してＡＦ評価値がピークとなるフォーカスレンズ位置を予測して初期位置を設定する。

ここで、図１２のＡ点のタイミングのときに得られる画像の例を図１３（ａ）に示す。Ａ点のタイミングは、ＡＦ評価値が小さく、フォーカスレンズが合焦位置から大きく外れているタイミングである。したがって、Ａ点の画像は、図１３（ａ）に示すように、コントラストが低く、輪郭がぼけた画像となる。

図１２のＢ点のタイミングのときに得られる画像の例を図１３（ｂ）に示す。Ｂ点のタイミングでは、ＡＦ評価値がＡ点のタイミングよりも増加している。このことは、フォーカスレンズが合焦位置に近づいていることを意味している。したがって、Ｂ点の画像のコントラストは、図１３（ｂ）に示すように、Ａ点の画像のコントラストよりも改善する。ここで、図では示していないが、図１２のＤ点のタイミングのときに得られる画像のコントラストは、Ｂ点のタイミングのときに得られる画像のコントラストと同等である。これは、ＡＦ評価値が等しいためである。

図１２のＣ点のタイミングの時に得られる画像の例を図１３（ｃ）に示す。Ｃ点のタイミングは、フォーカスレンズが合焦位置にあるタイミングである。このとき、画像のコントラストは最大となる。

ここで、連写モード時に追尾処理を行う場合、本露光と本露光との間のスキャン動作中に得られる画像データを用いることにより、追尾処理のタイミングと本露光又は合焦駆動のタイミングとを近づけて、被写体に対する追従性を向上させることが可能である。しかしながら、スキャン動作中の画像データを無作為に選んでしまうと、選んだ画像データによっては追尾処理の性能の低下に繋がる。

本実施形態では、本露光間の画像データのうち、コントラストが最大であるピーク画像データを用いて追尾処理を行う。図１４で示したＥ点とＦ点がそれぞれの本露光の間のスキャン動作でピーク画像データが得られるタイミングである。ピーク画像データは、図１５（ａ）及び図１５（ｂ）で示すように鮮明な画像データである。このような鮮明な画像データを用いて追尾処理を行うことにより、追尾処理の性能を向上させることが可能である。

ここで、コントラストの高い画像データを用いて追尾処理を行う別の手法として、本露光時に得られる画像データを用いることも考えられる。しかしながら、この場合には、動きの速い被写体の撮影時に追尾処理が遅れる可能性が生じる。これは、連写速度が例えば１０コマ/秒の高速連写であっても、本露光の間隔は１００ｍｓと、追尾情報の取得間隔としては大きく不十分なためである。本実施形態は、本露光又は本露光前のＡＦ処理における合焦駆動に近いタイミングで得られて且つコントラストの高いピーク画像データを用いることで、追尾処理の性能を向上させつつ、動きの速い被写体に対する追従性も高めることが可能である。

以下、本実施形態の変形例について説明する。
［変形例１］
輝度情報を用いた追尾処理、色情報を用いた追尾処理、顔検出を用いた追尾処理の何れも２フレームの画像データを用いて追尾処理を行う。前述の実施形態では、追尾処理に用いる２フレームの画像データを何れもピーク画像データとしている。これに対し、ピーク画像データと本露光時に得られた画像データ（以下、本露光画像データと言う）とを用いて追尾処理を行うようにしても良い。具体的には、図１６のＥ点で得られる本露光画像データと図１６のＦ点で得られるピーク画像データとを用いて次回の追尾処理を行う。本露光画像データは、図１７（ａ）で示すように鮮明な画像データである。また、ピーク画像データも、図１７（ｂ）で示すように鮮明な画像データである。これらのような鮮明な画像データを用いて追尾処理を行うことにより、追尾処理の性能を向上させることが可能である。また、２フレームの画像データの時間差を短くすることにより、動きの速い被写体に対する追従性をより高めることが可能である。

［変形例２］
本露光画像データとピーク画像データとを用いて追尾処理を行う場合には、両画像データのサイズ又は構造（フォーマット）が異なっていても良い。

例えば、連写動作時におけるＡＦ処理の追従性を向上させるためには、スキャン動作を高速化させる必要がある。この場合、フォーカスレンズを高速で駆動させる必要があるのに加えてＡＦ評価値を高速に算出できるようにすることが望ましい。この場合、ＡＦ評価値を高速に算出するための１つの手法として、ＡＦ評価値を算出するのに用いる画像データのサイズを縮小することが考えられる。画像データを縮小することにより、画像データの読み出し時間を短縮でき、またＡＦ評価値を算出する際の計算負荷も軽減できる。これにより、回路規模の増大や回路の高速化に伴うコストアップを避けることも可能である。

画像データの縮小の一例を示す。例えば、画素数が１２００万画素（画像サイズ４０００×３０００）の画像データを、ＶＧＡ規格相当（画像サイズ６４０×４８０）の画像データにリサイズする場合は、水平、垂直方向にそれぞれ約１／６の画素数になるように加算又は間引き処理を行う。ここで、画素加算や間引き処理は、撮像素子１１４の内部で処理しても良いし、撮像素子１１４の外部の処理回路（撮像素子ＩＦ回路１１６等）にて実行しても良い。

画像データを縮小した場合、本露光画像データとピーク画像データとの間でサイズ差が生じる。図１８（ａ）が本露光画像データの例であり、図１８（ｂ）が縮小後のピーク画像データの例である。このようなサイズ差のある画像データでは追尾処理を行うことができない。したがって、追尾処理の際には両者のサイズ差を補正する。この補正は、例えばピーク画像データを拡大して本露光画像データと同じサイズとする手法が考えられる。

また、ＡＦ評価値は、画像データのコントラストを評価する目的で算出されるものであるので、輝度情報のみの画像データから算出することもできる。輝度情報のみの画像データは、ＲＧＢ画素の各画素データを所定の割合で加算（混合）して輝度データに変換し、作成した輝度データを適切に配置することで生成される。

ここで、ＡＦ評価値を算出するための画像データを輝度データのみから構成した場合、ピーク画像データも、各画素が輝度の情報のみを有することになる。一方、本露光画像データは、例えば撮像素子１１４のカラーフィルタ配列がベイヤ配列である場合には、各画素が１つの色の情報を有している。図１９（ａ）がベイヤ配列の本露光画像データの例であり、図１９（ｂ）が輝度情報に変換したピーク画像データの例である。このような構造の差のある画像データでも追尾処理を行うことができない。したがって、追尾処理の際には両者の構造の差を補正する。この補正は、例えば本露光画像データをピーク画像データと同様にして輝度情報に変換する手法が考えられる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…焦点検出情報取得回路、１３０９…メモリ制御回路

Claims (6)

1. 撮影光学系に含まれるフォーカスレンズを移動させながら撮像素子による複数回の撮像動作を実行し、該複数回の撮像動作の結果として前記撮像素子で取得された複数の画像データのうちでコントラストがピークとなる画像データが取得された前記フォーカスレンズの位置を検出するスキャン動作を行い、前記ピークとなる位置に基づいて算出される合焦位置に前記フォーカスレンズを移動させる焦点調節部と、
   静止画撮影のための撮像動作を連続して行う連写動作を前記撮像素子に実行させる制御部と、
   前記撮像素子により取得された画像データに基づいて被写体を追尾する追尾処理部と、
   を具備し、
   前記追尾処理部は、前記連写動作の実行中に、静止画撮影とその次の静止画撮影の間で、前記焦点調節部によって前記スキャン動作を実行させて焦点調節動作を行い、前記スキャン動作中にコントラストがピークとなる画像データを記憶させ、該コントラストがピークとなる画像データに基づいて被写体を追尾することを特徴とする画像処理装置。
2. 撮影光学系に含まれるフォーカスレンズを移動させながら撮像素子による複数回の撮像動作を実行し、該複数回の撮像動作の結果として前記撮像素子で取得された複数の画像データのうちでコントラストがピークとなる画像データが取得された前記フォーカスレンズの位置を検出するスキャン動作を行い、前記ピークとなる位置に基づいて算出される合焦位置に前記フォーカスレンズを移動させる焦点調節部と、
   静止画撮影のための撮像動作を連続して行う連写動作を前記撮像素子に実行させる制御部と、
   前記撮像素子により取得された画像データに基づいて被写体を追尾する追尾処理部と、
   を具備し、
   前記追尾処理部は、前記連写動作の実行中に、静止画撮影とその次の静止画撮影の間で、前記焦点調節部によりスキャン動作を実行させて焦点調節動作を行い、前記スキャン動作中に取得された画像データを記憶させ、記憶された画像データと前記連写動作の実行中の静止画撮影において取得された画像データに基づいて被写体を追尾することを特徴とする画像処理装置。
3. 前記連写動作の実行中の静止画撮影とその次の静止画撮影の間でスキャン動作において取得された画像データと前記連写動作の実行中の静止画撮影のための撮像動作において取得された画像データとは、サイズ又は構成が異なり、
   前記追尾処理部は、前記連写動作の実行中のスキャン動作において取得された画像データと前記連写動作の実行中の静止画撮影のための撮像動作において取得された画像データとのサイズの差又は構成の差を補正して被写体を追尾することを特徴とする請求項２に記載の画像処理装置。
4. 前記追尾処理部は、前記画像データに含まれる輝度情報に基づいて被写体を追尾することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記追尾処理部は、前記画像データに含まれる色情報に基づいて被写体を追尾することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記追尾処理部は、前記画像データに基づいて顔を検出し、検出した顔に基づいて被写体を追尾することを特徴とする請求項１又は２に記載の画像処理装置。

Images