JP5616745B2 - 追尾装置および追尾方法 - Google Patents

Description

本発明は、被写体画像中で指定した追尾対象を追跡可能な追尾装置および追尾方法に関する。

移動する被写体にピントや露出を合わせるために追尾装置を搭載した撮影装置が知られている。この追尾装置では、１つの画像内に設定された領域を参照画像とし、この参照画像の画像データと、前述の１つの画像と時系列的に続く画像の画像データと相関演算を行い、参照画像と最も整合する画像の位置を検出し、この位置を追尾位置とする。

例えば、特許文献１に開示の追尾装置は、過去に遡ってｋ回分（ここで、ｋは２以上の整数）の参照画像を記憶する参照メモリと、この参照メモリに記憶されたｉ＝１（ｉは現画像から過去に遡った数）の参照画像と今回の画像との相関演算、およびこの相関演算により最も整合する今回の画像とｉ≧２の各参照画像との相関演算を行う相関演算部と、この相関演算で演算された相関値が予め定めた基準値を超えるか否かを判断する相関判断部と、この判断結果に基づいて参照画像の更新制御を行うメモリ制御部とを有している。

特開平９−６５１９３号公報

前述の追尾装置では、ｉ＝１の参照画像と、それに連続する画像データとの間で相関演算を行うために、追尾対象手前に低速で移動する遮蔽物の一部が侵入し、かつ相関値が基準値を超えない場合には、遮蔽物の一部を含んだ画像が誤って参照画像として更新される。このため、追尾対象が遮蔽物に移ってしまうおそれがある。

追尾対象が遮蔽物に移ってしまわないようにするためには、高精度に相関演算を行う必要があるが、携帯可能な装置では、データ量が増えると処理時間がかかってしまう。一方、データ量を少なくすると、高精度な相関演算を行うことができず、追尾対象が遮蔽物に移ってしまうおそれがある。

本発明は、このような事情を鑑みてなされたものであり、少ない画像データ量で、追尾対象として遮蔽物を移ってしまうことを低減させた追尾装置および追尾方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる追尾装置は、被写体を撮像し、複数のフレーム画像を得る撮像部と、上記撮像された複数のフレーム画像を記憶する画像記憶部と、上記撮像されたフレーム画像内に、追尾対象とする領域を設定する領域設定部と、上記設定された領域のフレーム画像間の画像相関度を評価する評価画像を取得する評価画像取得部と、上記評価画像と上記複数のフレーム画像のうちの１つのフレーム画像から上記設定された領域における第１の画像相関度を検出する第１の相関検出部と、上記評価画像と上記第１の相関検出部で検出するフレーム画像より相対的に時間の離れた２つのフレーム画像から上記設定された領域における第２の画像相関度を検出する第２の相関検出部と、上記第１の画像相関度及び上記第２の画像相関度の何れも相関が高い場合に上記追尾対象とする領域を変更する判断を行う追尾領域変更判断部と、を有し、上記追尾領域変更判断部は、上記第１の画像相関度、または第２の画像相関度の何れかで相関が低いと判断された場合には、上記追尾対象とする領域を変更しないと判断する。

第２の発明に係わる追尾装置は、上記第１の発明において、上記第１および第２の相関検出部による上記第１及び第２の画像相関度の検出は、上記追尾対象とする領域から間引かれたデータを用いて行う。

第３の発明に係わる追尾装置は、上記第１の発明において、上記第１の相関検出部の複数回の検出結果より第１の相関度を判断する第１の閾値を設定し、上記第１の相関度がこの第１の閾値よりも相関が高いか否を判定する第１の相関判定部と、上記第２の相関検出部の複数回の検出結果より第２の相関度を判断する第２の閾値を設定し、上記第２の相関度がこの第２の閾値よりも相関が高いか否かを判定する第２の相関判定部と、を有する。

第４の発明に係わる追尾装置は、上記第１の発明において、上記追尾対象とする領域を変更する判断の更新に応じて、追尾指標となる枠表示位置を移動する。
第５の発明に係わる追尾装置は、上記第１の発明において、撮像する画像の撮像フレームレートを判定するフレームレート判定部を更に有し、上記第１及び第２の相関検出部、または第２の相関検出部は、設定されたフレームレートに応じて画像相関度を検出するフレームレート間隔を変更する。

第６の発明に係わる追尾装置は、被写体を撮像し、フレーム画像を得る撮像部と、上記フレーム画像の内、追尾対象として設定された領域の画像を参照画像として、フレームごとに更新しながら、複数フレームの上記参照画像を記憶する参照画像記憶部と、現フレーム画像を評価画像として記憶する評価画像記憶部と、上記評価画像と隣接フレームの関係にある参照画像と、上記評価画像との間で第１の画像相関度を検出し、上記評価画像と離散フレームの関係にある参照画像と、上記評価画像との間で第２の画像相関度を検出する相関演算部と、上記第１の画像相関度および上記第２の画像相関度の何れも相関度が高い場合に上記追尾対象とする領域の参照画像を変更する判断を行う追尾領域変更判断部と、を有する。

第７の発明に係わる追尾方法は、被写体を撮像し、フレーム画像を取得するたびに、追尾対象として設定された領域の画像を参照画像として記憶し、現フレーム画像を評価画像として記憶し、上記評価画像と隣接フレームの関係にある参照画像と、上記評価画像との間で第１の画像相関度を算出し、上記評価画像と離散フレームの関係にある参照画像と、上記評価画像との間で第２の画像相関度を算出し、上記第１の画像相関度および上記第２の画像相関度の何れも相関度が高い場合に上記追尾対象とする領域の参照画像を変更する。

本発明によれば、少ない画像データ量で、追尾対象として遮蔽物を移ってしまうことを低減させた追尾装置および追尾方法を提供することができる。

本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。 本発明の一実施形態に係わるカメラの動き検出部の内部構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおける動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける基準値算出の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、ブロックマッチングの概念を説明する図である。 本発明の一実施形態に係わるカメラにおいて、低速遮蔽の概念を説明する図である。 本発明の一実施形態に係わるカメラにおいて、参照するフレームによる相関値の違いを説明する図である。 本発明の一実施形態に係わるカメラにおいて、基準値の設定による相関判断の結果の違いを説明する図である。 本発明の一実施形態に係わるカメラにおいて、基準値の決め方を説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、概略、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部にライブビュー表示する。撮影時には、撮影者はライブビュー表示を観察し、構図やシャッタチャンスを決定する。ライブビュー表示の際に、撮影者が被写体を指定すると、指定された被写体を追跡し、この被写体に対してピント合わせを行うと共に適正露出となるように露出制御を行う。レリーズがなされると、撮影を行う。再生モードを選択すると、記録媒体に記録した撮影画像を表示部に再生表示することができる。

図１は、本実施形態に係わるカメラ１の主として電気的構成を示すブロック図である。撮像光学系１１の光軸上に、撮像素子１３が配置されている。撮像素子１３の出力はＡＦＥ（Analogue Front End）１５に接続され、ＡＦＥ１５の出力は動き検出部１７およびバス３３に接続されている。バス３３には、前述の動き検出部１７の他に、画像処理部１９、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２３、システムコントローラ２５、記録部２７、表示部２９、操作部３１が接続されている。

撮像光学系１１は、被写体光束を撮像素子１３に集光させ、被写体像を結像させるための光学系である。撮像部としての機能を有する撮像素子１３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであり、撮像光学系１１により結像された被写体像を各画素で光電変換し、フレーム画像（画像信号）を取得し、ＡＦＥ１５に出力する。

ＡＦＥ１５は、撮像素子１３から出力されるフレーム画像をデジタル化したフレーム画像（画像データ）に変換する等の処理を行う。このＡＦＥ１５によって処理された画像データは、動き検出部１７およびバス３３に出力され、バス３３に出力された画像データはＲＡＭ２１に一時記憶される。

動き検出部１７は、参照画像とは異なる時点で取得した評価画像と相関演算を行い、相関値を検出し、また、動きベクトルを検出する。この動き検出部１７の詳細な構成については、図２を用いて後述する。

画像処理部１９は、ＲＡＭ２１に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部１９は、後述する記録部２７に画像データを記録する際に画像圧縮を行い、また記録部２７から読み出した画像データの伸張を行う。

ＲＡＭ２１は、ＤＲＡＭやＳＤＲＡＭ等の揮発性メモリで構成され、一時記憶用に用いられ、バス３３を介して、ＡＦＥ１５から出力された画像データの一時記憶や、各種情報の一時記憶の際に用いられる。前述の動き検出部１７によって演算された相関値もＲＡＭ２１に一時記憶される。ＲＯＭ２３は、フラッシュＲＯＭ等の不揮発性メモリで構成され、カメラ１の全体を制御するためのプログラムや、各種調整値が記憶される。

記録部２７は、レリーズ時に取得された画像データを記録する記録媒体や、この記録媒体への記録制御部等を有する。記録媒体は、コンパクトフラッシュ（登録商標）、ＳＤカード等、外部からカメラ１に装填可能である。

表示部２９は、カメラ１の背面等に配置され、ＬＣＤモニタや有機ＥＬモニタ等を含み、撮像素子１３からの画像データに基づくライブビュー表示や、記録部２７から読み出した画像データに基づく再生表示等を行う。また、表示部２９には、動き検出部１７等によって検出された追尾被写体の動き量に基づいて追尾指標（ターゲットマーク）の表示を行う。

操作部３１は、電源釦、レリーズ釦、メニュー釦等、各種入力キー等の操作部材である。ユーザが操作部３１のいずれかの操作部材を操作すると、システムコントローラ２５は、ユーザの操作に応じた各種シーケンスを実行する。

システムコントローラ２５は、ＣＰＵ（Central Processing Unit）等の中央処理装置を含み、ＲＯＭ２３に記憶されたプログラムに従って、カメラ１の全体制御を行う。すなわち、撮像光学系１１、撮像素子１３、ＡＦＥ１５、動き検出部１７、画像処理部１９、記録部２７、表示部２９等の各部を制御し、またＲＡＭ２１やＲＯＭ２３のメモリ制御等を行う。

また、システムコントローラ２５は、領域設定部としての機能を果たす。この領域設定部は、レリーズ釦の半押し等により、撮像フレーム画像内に追尾対象とする領域を設定する。また、システムコントローラ２５は、追尾領域変更判断部としての機能も果たす。この領域設定部は、動き検出部１７による隣接フレームの参照画像と評価画像に基づく第１の相関検出の結果と、離散フレームの参照画像と評価画像に基づく第２の相関検出結果の何れの相関結果も高い場合に、追尾対象とする領域を変更する。

次に、動き検出部１７の詳細な構成について図２を用いて説明する。ＡＦＥ１５の出力は、動き検出部１７内のバッファメモリ４１、第１動き検出用メモリ４３、および第２動き検出用メモリ４５にそれぞれ接続されている。評価画像取得部として機能するバッファメモリ４１は、現フレームの画像（評価画像とも称する）の画像データを一時記憶するためのメモリである。厳密は、バッファメモリ４１に一時記憶される画像データは現フレームの直前のフレームであるが、本明細書においては、便宜上、現フレームと称する。

画像記憶部（または参照画像記憶部）として機能する第１動き検出用メモリ４３は、現フレームの１フレーム前の画像（参照画像とも称する）の画像データを一時記憶するためのメモリである。また、画像記憶部（または参照画像記憶部）として機能する第２動き検出用メモリ４５は、現フレームのｎフレーム前の画像（参照画像とも称する）の画像データを一時記憶するためのメモリである。

なお、図２には、１フレーム前とｎフレーム前の画像データを一時記憶するためのメモリのみを記載してあるが、実際には、１フレーム前とｎフレーム前の間の画像データを一時記憶するためのメモリも用意されており、画像データの更新の際には、画像データのシフトを行う。また、第１の動き検出用メモリ４３および第２の動き検出用メモリ４５は、撮像素子１３によって撮像したフレーム画像から少なくとも追尾被写体の領域の画像とその周辺画像を記憶するが、記憶にあたって画像データを間引いてから記憶するようにしてもよい。

バッファメモリ４１の出力、第１動き検出用メモリ４３の出力、および第２動き検出用メモリ４５の出力は相関演算部４７に接続されている。相関演算部４７は、２つの画像データを用い、これらの画像の間で相関演算を行い、第１の相関値および第２の相関値を算出する。相関演算部４７の出力は、バス３１を介してＲＡＭ２１に接続されている。

すなわち、相関演算部４７は、バッファメモリ４１に記憶された評価画像の画像データと第１動き検出用メモリ４３に記憶された参照画像の画像データを用いて、相関演算部４７は第１の相関値を演算し、この第１の相関演算値はＲＡＭ２１に一時記憶する。また、バッファメモリ４１に記憶された評価画像の画像データと第２動き検出用メモリ４５に記憶された参照画像の画像データを用いて、相関演算部４７は第２の相関値を演算し、この第２の相関演算値はＲＡＭ２１に一時記憶する。

また、相関演算部４７は、動き量（動きベクトル）も算出する。動きベクトルは、相関演算部４７によって第１及び第２の相関値が一番高くなった際における評価画像と参照画像の相対的な位置の差を、ｘ座標およびｙ座標の差分で表わす。

次に、本実施形態における追尾動作について、図５および図６を用いて説明する。本実施形態における追尾動作は、追尾対象決定時の追尾対象を示す参照画像と相関値の高い部分を、次のフレームの画像の中から検出することによって行う。この相関値の高い部分の検出は、いわゆるブロックマッチングによって行う。

図５（ａ）は、現フレームより１フレーム前の画像（Ｎ−１フレーム）であり、撮影者が追尾の対象として「Ａ」の文字の部分を指定したときの様子を示す。撮影者が「Ａ」を指定することにより、「Ａ」を含む領域が参照画像４００として選択される。参照画像４００は、横６画素、縦６画素分のサイズであり、画素（ａ１，ｂ１）〜画素（ａ６，ｂ６）の３６画素から構成される。

図５（ｂ）は現フレームの画像（Ｎフレーム）であり、撮影者が「Ａ」の文字を指定したときより、１フレーム後の画像である。この画像の中から、「Ａ」を含むと予測される範囲を評価画像４０２とする。評価画像４０２は、横１８画素、縦１２画素分のサイズであり、画素（ｘ１，ｙ１）〜画素（ｘ１８，ｙ１２）の２１６画素から構成される。

ブロックマッチングによる相関値の演算では、画素（ａ１，ｂ１）〜画素（ａ６，ｂ６）の参照画像４００を、評価画像４０２の内の画素（ｘ１，ｙ１）〜画素（ｘ６，ｙ６）に重ね、対応する画素同士の差分の累積値を求める。次に、評価画像４０２の内でｘ方向に１画素分ずらして同様に対応する画素同士の差分の累積値を求める。評価画像４０２内で参照画像４００の位置をずらしながら、累積値を求め、この中で累積値が最も低い値となるところが最もマッチングが高い。このときの累積値が最も高くなるように変換した値が相関値である。最も相関値が高くなる位置を追尾位置とする。そして、この相関値の最も高かった位置に対応する６×６の画像を参照画像４００として更新する。

このようにブロックマッチングによる相関値の演算では、参照画像４００を評価画像４０２上で移動させながら相関値を求め、相関値が最も高くなる評価画像４０２上の位置を追尾位置とする。また相関値が最も高くなる参照画像を新たな参照画像４００として更新を行う。また、相関値が最も高くなるときの参照画像４００に対応する評価画像４０２上の位置までの移動量が動きベクトルとなる。

図６は、追尾対象の前を、低速で移動する遮蔽物３０２がある場合を示す。図６（ｄ）は、現フレーム（Ｎフレーム）の様子を示し、図６（ｃ）は、現フレームより１フレーム前（Ｎ−１フレーム）、図６（ｂ）は現フレームより２フレーム前（Ｎ−２フレーム）、図６（ａ）は現フレームより３フレーム前（Ｎ−３フレーム）である。撮影者は、現フレームより３フレーム前において、文字「Ａ」の部分を追尾対象として指定している。追尾対象が指定されると、参照画像３００が選択される。

従来の追尾方法では、現フレーム（Ｎフレーム）と、現フレームの１フレーム前（Ｎ−１フレーム）の画像データの相関演算を行い、最も、相関値の高い位置を追尾位置とし、また参照画像の更新を行っていた。それに対して、本実施形態においては、現フレームと１フレーム前の画像の相関演算のみならず、ｎフレーム（少なくとも２フレームより前、図６の例では、３フレーム）前の画像とも相関演算を行い、両者の相関値が所定値以上なければ、追尾位置を変更せず、また参照画像の更新を行わないようにしている。

従来の追尾方法では、低速で移動する遮蔽物の場合、移動速度が低いために１フレーム前の画像と現フレームの画像との差異が大きくならず、図７（ａ）に示すように、相関値は徐々に変化する。すなわち、時刻Ｔ１において、遮蔽物が参照画像中に入りだすと、相関値は徐々に低下し、時刻Ｔ２において予め決められている閾値より低下し、この時点で参照画像の更新が停止する。

一方、本実施形態における追尾方法では、ｎフレーム前の画像とも相関演算を行っていることから、遮蔽物の移動速度が低速であっても、図７（ｂ）に示すように、相関値は急速に低下する。すなわち、時刻Ｔ３において、遮蔽物が参照画像中に入り出すと、相関値は急激に低下し、時刻Ｔ４において閾値より低下し、この時点で参照画像の更新が停止する。このため、遮蔽物が参照画像中から出ると、停止の前の参照画像を用いて、追尾を再開することができる。なお、本実施形態においては、第１の相関値と第２の相関値を算出しており、図７（ｂ）は、第１および第２の相関値を合成した結果を示す。

次に、本実施形態における動作を図３に示すフローチャートを用いて説明する。この図３に示すフローチャートと図４に示すフローチャートは、ＲＯＭ２３に記憶されているプログラムに従って、システムコントローラ２５によって実行される。カメラ１の電源釦が操作されると、スタートする。まず、ライブビュー動作を開始する（Ｓ１１）。このステップでは、撮像素子１３からの画像データに基づいて、表示部２９にライブビュー表示を開始する。

ライブビュー動作を開始すると、次に、ターゲットロックオンを行う（Ｓ１３）。撮影者が被写体追尾を行う場合には、メニュー画面等において被写体追尾モード等を予め設定しておき、その上で、追尾したい被写体をＡＦエリアに合わせ、レリーズ釦を半押しすることにより、領域設定部がターゲットロックオンする。ターゲットロックオンすると指定された領域の画像データを参照画像の画像データとする。なお、表示部２９にタッチパネルを配置した場合には、追尾した被写体をタッチすることによりターゲットロックオンするようにしてもよい。ターゲットロックオンすると、動き検出部１７は動作を開始し、追尾したい被写体の動きを追跡する。

続いて、被写体が検出されたか否かを判定する（Ｓ１５）。ここでは、動き検出部１７によって追尾対象となる被写体を検出できたか否かを判定する。この判定の結果、追尾対象となる被写体を検出できなかった場合には、ステップＳ１３に戻り、検出されるのを待つ。

ステップＳ１５における判定の結果、被写体が検出されると、次に、第１及び第２の参照画像の領域を設定する（Ｓ１７）。ここでは、ターゲットロックオンされた追尾被写体の領域を第１及び第２の参照画像として設定する。ここで設定した参照画像は、第１の動き検出用メモリ４３および第２の動き検出メモリ４５の両方に一時記憶される。

第１及び第２の参照画像を設定すると、次に、追尾被写***置を示すターゲットマークの表示を行う（Ｓ１９）。ここでは、ステップＳ１３においてターゲットロックオンされた被写体の位置を示すターゲットマークを表示部２９上にライブビュー表示に重畳表示し、撮影者が追尾対象を視認できるようにする。

ターゲットマークを表示すると、次に、評価画像が取得されたか否かを判定する（Ｓ２１）。ここでは、ターゲットロックオンされた際のフレームの次のフレームの画像データを取得したか否かを判定する。なお、本実施形態においては、撮像素子１３は、１／１５秒、１／３０秒、１／６０秒、または１／１２０秒程度のフレームレートで画像を取得する。後述するステップＳ４５からステップＳ２１に進んだ際には、次フレームの画像データを取得したか否かを判定する。評価画像としては、１フレームの全画像または参照画像を含むと推定される範囲内の画像とする。

ステップＳ２１における判定の結果、評価画像を取得した場合には、次に、評価画像の領域を記憶する（Ｓ２３）。ここでは、取得した評価画像の画像データをバッファメモリ４１に一時記憶する。

評価画像の記憶を行うと、次に、第１の参照画像と評価画像に基づき動き量と第１の相関値を算出する（Ｓ２５）。ここでは、第１の動き検出用メモリ４３に記憶された第１の参照画像の画像データと、バッファメモリ４１に記憶された評価画像の画像データを用いて、相関演算部４７が動き量と相関値を算出する。

動き量と相関値を算出すると、次に、第１の基準値を算出する（Ｓ２７）。第１の基準値は、図７（ｂ）に示した閾値に相当する値であり、相関値が低下してきた場合に、参照画像の更新を停止するか否かを判定するための値である。本実施形態においては、過去の相関値の平均値を基にして算出している。この第１の基準値の算出については、図４を用いて後述する。

第１の基準値を算出すると、次に、第１の相関値が第１の基準値よりも大きいか否かを判定する（Ｓ２９）。ここでは、ステップＳ２５において算出した第１の相関値と、ステップＳ２７において算出した第１の基準値を比較することにより判定する。

ステップＳ２９における判定の結果、第１の相関値が第１の基準値より大きかった場合には、次に、追尾開始後Ｎフレームが経過したか否かを判定する（Ｓ３１）。追尾開始後、撮像素子１３からフレーム画像が出力されるたびにカウントしておき、このステップでは、カウントしたフレーム数がＮフレームを超えたか否かによって判定する。

ステップＳ３１における判定の結果、追尾開始後Ｎフレームが経過していなかった場合には、１フレーム次の画像を第１の参照画像として更新し、また第１の相関値ログデータを更新する（Ｓ３３）。ここでは、ステップＳ２５において、第１の相関値を算出した際に、最も相関値の大きかった領域を第１の参照画像とし、この領域の画像データを第１の動き検出用メモリ４３に一時記憶する。また、ステップＳ２５において算出した第１の相関値をＲＡＭ２１のログデータ領域に一時記憶する。

ステップＳ３１における判定の結果、追尾開始後Ｎフレームが経過すると、次に、第２の参照画像と評価画像に基づき動き量と第２の相関値を算出する（Ｓ３５）。最初にここのステップで処理する場合には、ステップＳ１７において第２の動き検出用メモリ４５に一時記憶した第２の参照画像の画像データと、ステップＳ２３において取得し、バッファメモリ４１に一時記憶した評価画像の画像データを用いて、相関演算部４７が動き量と第２の相関値を算出する。なお、次回以降、このステップで処理する場合には、後述するステップＳ４１において更新した第２の参照画像の画像データを用いる。

動き量と第２の相関値を算出すると、次に、第２の基準値を算出する（Ｓ３７）。第２の基準値は、第１および第２の参照画像の更新を停止するか否かを判定するための閾値である。第１の基準値と同様、過去の第２の相関値の平均値を基にして算出している。この第２の基準値の算出については、図４を用いて後述する。

第２の基準値を算出すると、次に、第２の相関値が第２の基準値よりも大きいか否かを判定する（Ｓ３９）。ここでは、ステップＳ３５において算出した第２の相関値と、ステップＳ３７において算出した第２の基準値を比較することにより判定する。後述するように、本実施形態においては、第１の基準と第２の基準値の値は異なるようにしている。

ステップＳ３９における判定の結果、第２の相関値が第２の基準値よりも大きかった場合には、次に、１フレーム次の画像を第１、第２の参照画像として更新し、また第１および第２の相関値のログデータの更新を行う（Ｓ４１）。ここでは、ステップＳ３５において、第２の相関値を算出した際に、最も相関値の大きかった領域を第２の参照画像とし、この領域の画像データを第２の動き検出用メモリ４５に一時記憶する。また、ステップＳ３５において算出した第２の相関値をＲＡＭ２１のログデータの記憶領域に一時記憶する。

ステップＳ４１、Ｓ３３において参照画像の更新と相関値のログデータの更新を行うと、またはステップＳ２９、Ｓ３９における判定の結果、相関値が基準値より小さかった場合には、次に、被写***置情報の更新を行い、ターゲットマーク表示位置の変更を行う（Ｓ４３）。追尾被写体の位置は、ステップＳ２５およびＳ３５において算出された動き量に基づいて、決定される。なお、動き量は、動き検出部１７において検出され、前回の追尾被写体の位置から、参照画像が評価画像中で最も一致する位置へのベクトルで決まる。追尾被写***置が決まると、表示部２９に表示されているライブビュー表示に、追尾被写***置（ターゲットマーク）を重畳して表示する。

ターゲットマークを表示すると、次に、撮影開始の操作が行われたか否かを判定する（Ｓ４５）。ここでは、操作部３１の内のレリーズ釦の全押し操作が行われたか否かを判定する。この判定の結果、撮影開始の操作が行われていなかった場合には、ステップＳ２１に戻り、追尾動作を続行する。

一方、ステップＳ４５における判定の結果、撮影開始の操作が行われた場合には、撮影準備動作を行う（Ｓ４７）。撮影準備動作として、追尾被写***置にピントが合うようにＡＦ動作を行い、適正露出となるようにＡＥ動作を行う。

続いて、静止画像データを取得し、画像ファイルの生成を行う（Ｓ４９）。ここでは、撮像素子１３から画像信号を取得し、この画像信号に基づく画像データの画像処理を行い、画像ファイルを生成してから、記録部２７に記録する。画像ファイルを記録すると、一連動作を終了し、電源釦がオンであれば、ステップＳ１１に戻る。

本実施形態におけるフローにおいては、ステップＳ３９における判定の結果、第２相関値が第２の基準値より小さかった場合には、第１及び第２の参照画像が更新されない。このため、遮蔽物が低速で移動しながら追尾被写体を横切る場合には、第１及び第２の参照画像の更新を停止する。そして、遮蔽物が追尾被写体の前を通り過ぎると、参照画像を用いて追尾被写体に対して追尾を再開することができる。

次に、ステップＳ２７における第１の基準値算出と、ステップＳ３７における第２の基準値算出の動作について、図４を用いて説明する。なお、第１の基準値算出のフローの場合には、ステップＳ５１における相関値が第１の相関値であり、第２の基準値算出のフローの場合には、ステップＳ５２における相関値が第２の相関値であり、他は同一であることから合わせて説明する。

この基準値算出のフローでは、第１の相関値と第２の相関値に対する基準を異ならせている。図８（ａ）は第１の相関値の時間的変化を示し、図８（ｂ）は第２の相関値の時間的変化を示している。この場合、第１及び第２の相関値に対して共通の基準値Ａを設定すると、いずれか一方の相関値は基準値Ａを超える可能性が高くなる。図８（ｂ）に示す例では、時刻Ｔ５において遮蔽物を誤検知してしまっている。

そこで、本実施形態においては、図８（ｃ）（ｄ）に示すように、第１の相関値と第２の相関値に対して、それぞれ基準値を異ならせている。すなわち、第１の相関値に対しては、基準値Ａを、第２の相関値に対しては基準値Ｂを設定するようにしている。また、これらの基準値Ａ、基準値Ｂは、第１および第２の相関値の過去のデータに基づいて、図４に示すフローによって、算出するようにしている。

基準値算出のフローに入ると、まず第１（第２）の相関値ログデータから相関値の平均値を算出する（Ｓ５１）。前述したようにステップＳ３３およびＳ４１において、ＲＡＭ２１が相関値のログデータを記憶しているので、このログデータの平均を算出する。

本実施形態においては、ログデータの平均は、過去の４データを用いて行う。現フレームをＮフレームとすると、図９に示すように、第１の基準値Ａは、Ｎ−１フレーム、Ｎ−２フレーム、Ｎ−３フレーム、Ｎ−４フレームで記憶した第１の相関値Ａ１〜相関値Ａ４の平均値とする。また、第２の基準値Ｂは、Ｎ−２フレーム、Ｎ−４フレーム、Ｎ−６フレーム、Ｎ−８フレームで記憶した第２の相関値Ｂ１〜相関値Ｂ４の平均値とする。なお、平均するデータ数としては、本実施形態においては、４データであるが、これよりも多くても少なくても構わない。また、平均値の算出方法として、単純平均でもよいが、直近の相関値の割合が高くなるように重み付けをした加重平均等、他の平均演算を利用してもよい。

相関値の平均値を算出すると、次に、平均値と予め設定した補正係数から基準値を算出する（Ｓ５３）。ステップＳ５１において算出した平均値に、ＲＯＭ２３に記憶した補正係数に基づいて第１の基準値Ａおよび第２の基準値Ｂを算出する。補正係数として、例えば、１．２〜２程度の値とし、平均値に補正係数を乗算することにより、基準値を算出する。この場合、第１の基準値Ａと第２の基準値Ｂとで補正係数を変えてもよく、また演算式を異ならせてもよい。基準値を算出すると元のフローに戻る。

なお、本実施形態においては、相関値を求めるためのフレームレートは一定であったが、評価画像と隣接フレームの参照画像との第１の相関値と、評価画像と離散フレームの参照画像との第２の相関値に基づいて、相関演算部４７における相関検出のフレームレート変更するようにしてもよい。

相関検出のフレームレートの変更にあたって、設定されている撮像フレームを判定するフレームレート判定部を設ける。このフレームレート判定部によって判定されたフレームレートに応じて、相関検出のフレーム間隔を変更する。例えば、設定されている撮像フレームが３０ｆｐｓの場合、相関検出部４７における第１の相関検出のフレーム間隔を１とし、第２の相関検出のフレーム間隔が２と設定されているとする。この場合、設定されている撮像フレームが６０ｆｐｓとなると、第１の相関検出のフレーム間隔を２とし、第２の相関検出のフレーム間隔を４とする。また、設定されている撮像フレームが１２０ｆｐｓとなると、第１の相関検出のフレーム間隔を４とし、第２の相関検出のフレーム間隔を８とすればよい。

以上説明したように、本発明の一実施形態においては、評価画像と複数フレームの画像のうちの１つのフレームから設定された領域における第１の画像相関度を検出し、また、評価画像と第１の画像相関度で検出するフレームより相対的に時間の離れた２つのフレームから設定された領域における第２の画像相関度を検出し、第１の画像相関の検出結果と第２の画像相関の検出結果の何れの相関度が高い場合に追尾対象とする領域を変更する判断を行うようにしている。このため、少ない画像データ量で、追尾対象として遮蔽物を移ってしまうことを低減させることができる。人と人がすれ違う時、手の一部が入ってきた場合などに追尾対象が別のものに移り換わることを防止できる。

本発明の一実施形態においては、フレーム間隔の異なる複数の相関結果を用いて遮蔽物有無を判断している。このため、相関データ量を小さくしても確実に遮蔽物を検出する判断が可能になった。ＶＧＡ程度の小さな画像データであっても、高精度で検出できる。

なお、本発明の一実施形態においては、離散フレーム間として３フレーム離れた画像を使用したが、３フレームに限らず、これよりも多くても構わない。また、隣接フレームとして現フレームと１フレーム離れた画像を使用したが、１フレームに限らず２フレーム以上で構わない。この場合、離散フレームとしては、隣接フレームよりも離れたフレームを使用すればよい。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・カメラ、１１・・・撮像光学系、１３・・・撮像素子、１５・・・ＡＦＥ、１７・・・動き検出部、１９・・・画像処理部、２１・・・ＲＡＭ、２３・・・ＲＯＭ、２５・・・システムコントローラ、２７・・・記録部、２９・・・表示部、３１・・・操作部、３３・・・バス、４１・・・バッファメモリ、４３・・・第１動き検出用メモリ、４５・・・第２動き検出用メモリ、４７・・・相関演算部、３００・・・参照画像、３０２・・・評価画像、４００・・・参照画像、４０２・・・評価画像

Claims (7)

1. 被写体を撮像し、複数のフレーム画像を得る撮像部と、
   上記撮像された複数のフレーム画像を記憶する画像記憶部と、
   上記撮像されたフレーム画像内に、追尾対象とする領域を設定する領域設定部と、
   上記設定された領域のフレーム画像間の画像相関度を評価する評価画像を取得する評価画像取得部と、
   上記評価画像と上記複数のフレーム画像のうちの１つのフレーム画像から上記設定された領域における第１の画像相関度を検出する第１の相関検出部と、
   上記評価画像と上記第１の相関検出部で検出するフレーム画像より相対的に時間の離れた２つのフレーム画像から上記設定された領域における第２の画像相関度を検出する第２の相関検出部と、
   上記第１の画像相関度及び上記第２の画像相関度の何れも相関が高い場合に上記追尾対象とする領域を変更する判断を行う追尾領域変更判断部と、
   を有し、
   上記追尾領域変更判断部は、上記第１の画像相関度、または第２の画像相関度の何れかで相関が低いと判断された場合には、上記追尾対象とする領域を変更しないと判断することを特徴とする追尾装置。
2. 上記第１および第２の相関検出部による上記第１及び第２の画像相関度の検出は、上記追尾対象とする領域から間引かれたデータを用いて行うことを特徴とする請求項１に記載の追尾装置。
3. 上記第１の相関検出部の複数回の検出結果より第１の相関度を判断する第１の閾値を設定し、上記第１の相関度がこの第１の閾値よりも相関が高いか否を判定する第１の相関判定部と、
   上記第２の相関検出部の複数回の検出結果より第２の相関度を判断する第２の閾値を設定し、上記第２の相関度がこの第２の閾値よりも相関が高いか否かを判定する第２の相関判定部と、
   を有することを特徴とする請求項１に記載の追尾装置。
4. 上記追尾対象とする領域を変更する判断の更新に応じて、追尾指標となる枠表示位置を移動することを特徴とする請求項１に記載の追尾装置。
5. 撮像する画像の撮像フレームレートを判定するフレームレート判定部を更に有し、
   上記第１及び第２の相関検出部、または第２の相関検出部は、設定されたフレームレートに応じて画像相関度を検出するフレームレート間隔を変更することを特徴とする請求項１に記載の追尾装置。
6. 被写体を撮像し、フレーム画像を得る撮像部と、
   上記フレーム画像の内、追尾対象として設定された領域の画像を参照画像として、フレームごとに更新しながら、複数フレームの上記参照画像を記憶する参照画像記憶部と、
   現フレーム画像を評価画像として記憶する評価画像記憶部と、
   上記評価画像と隣接フレームの関係にある参照画像と、上記評価画像との間で第１の画像相関度を検出し、上記評価画像と離散フレームの関係にある参照画像と、上記評価画像との間で第２の画像相関度を検出する相関演算部と、
   上記第１の画像相関度および上記第２の画像相関度の何れも相関度が高い場合に上記追尾対象とする領域の参照画像を変更する判断を行う追尾領域変更判断部と、
   を有することを特徴とする追尾装置。
7. 被写体を撮像し、フレーム画像を取得するたびに、追尾対象として設定された領域の画像を参照画像として記憶し、
   現フレーム画像を評価画像として記憶し、
   上記評価画像と隣接フレームの関係にある参照画像と、上記評価画像との間で第１の画像相関度を算出し、
   上記評価画像と離散フレームの関係にある参照画像と、上記評価画像との間で第２の画像相関度を算出し、
   上記第１の画像相関度および上記第２の画像相関度の何れも相関度が高い場合に上記追尾対象とする領域の参照画像を変更する、
   ことを特徴とする追尾方法。