JP2008109552A - 追跡機能付き撮像装置 - Google Patents

Abstract

【課題】追跡対象候補が複数ある場合でも追跡処理を有効に機能させる。追跡対象の確認の容易化に寄与する。
【解決手段】顔検出を用いて撮影画像から追跡対象候補としての人物を抽出する。追跡対象候補が複数ある場合、外部操作又は顔認識処理によって、その中の１つを追跡対象として選択する。追跡対象人物の顔の大きさ、位置、向き及び傾き並びに撮像装置の傾きから、自動追跡に必要な追跡パラメータを自動的に設定し、その追跡パラメータに従って自動追跡を行う。表示画面５０に、撮影画像の全体画像を表示すると共に追跡対象の拡大画像を表示し、更に、全体画像の表示エリアＡＲ１内に追跡対象枠６４を表示する。追跡対象がフレームアウトした場合は、追跡対象の移動軌跡に基づいて追跡対象の位置する方向を推測し、その推測した方向を表示画面上に表示する。
【選択図】図６

Description

本発明は、特定の追跡対象を追跡する機能を備えた撮像装置に関する。

撮像装置を用いて静止画像や動画像を撮影する際、通常、ファインダー又は付属の小型ディスプレイにて被写体を確認しながら構図を調整する。しかしながら、ファインダーや付属の小型ディスプレイに表示される被写体は小さいため、被写体の映り具合などを十分に確認しづらい。これを考慮して、下記特許文献１では、撮影時に被写体としての人物の顔を拡大表示する手法が開示されている。

しかしながら、動画像を撮影する場合には、着目している被写体やそれ以外の物体が撮影領域内で動くため、被写体の位置確認が困難となる場合がある。こういった場合には、被写体を見逃してフレームアウトさせてしまうことがある。或いは、それを防ぐために撮影者が注意深く被写体を目視で追跡する必要があり、撮影者に多大な負担をかける。

特開２００５−３１８５１５号公報

目視での追跡を代行する技術として画像解析による自動追跡技術も開発されている。これを利用すれば、被写体のフレームアウトの防止や撮影者の負担軽減が図られるが、撮影領域内には、追跡対象となる候補が複数存在することが多く、そのような場合、真に追跡すべき対象が不明となって撮影者の意図した追跡が実行されない場合がある。

また、撮影画像を表示する表示画面が小さい場合、単に、自動追跡するだけでは被写体の映り具合などを確認しずらいという問題もある。

また、自動追跡すべき被写体がフレームアウトしてしまった場合、従来は、その被写体の実空間における位置を撮影者が目視で確認し、その目視の結果に基づいて、撮像装置１をパン操作などして再度のフレームインを図るしかなかった。この場合、撮影者の観察対象が、表示画面と実空間との間で行き来することになり、この間に構図が乱れてしまうという問題がある。

上記の問題点に鑑み、本発明は、追跡対象候補が複数ある場合でも追跡処理を有効に機能させる追跡機能付き撮像装置を提供することを目的とする。
また本発明は、追跡対象の確認の容易化に寄与することを他の目的とする。
また本発明は、追跡対象が撮影領域外に出てしまった場合における構図の再調整の容易化に寄与することを他の目的とする。

本発明に係る追跡機能付き撮像装置は、順次撮影を行うことによって、時系列で並ぶ撮影画像を得る撮像手段と、前記撮影画像を表示可能な表示手段と、前記撮影画像の中から１又は２以上の追跡対象候補を検出する追跡対象候補検出手段と、２以上の前記追跡対象候補が検出された際、その２以上の前記追跡対象候補の中の１つを追跡対象として選択する追跡対象選択手段と、前記追跡対象の選択後、時系列で並ぶ前記撮影画像間において前記追跡対象を追跡する追跡手段と、を備えたことを特徴とする。

追跡対象選択手段を備えることにより、追跡対象候補が複数存在する場合でも１つの追跡対象が選択され、その追跡対象を追跡することが可能となる。

具体的には、外部操作によって、或いは、選択対象候補が人物である場合は顔認識処理などによって、追跡対象を特定すればよい。

また例えば、前記表示手段は、表示画面上に全体画像表示エリアを設けて、時系列で並ぶ前記撮影画像の全体画像を動画像として前記全体画像表示エリアに表示すると共に、前記表示画面上に、別途、追跡対象表示エリアを設けて、該追跡対象表示エリアに前記追跡対象を含む画像を拡大表示する。

これにより、全体画像を確認しながら、追跡対象の映り具合などを詳細に且つ容易に確認することができる。

また、具体的には例えば、前記撮影画像の中から人物の顔を検出する顔検出手段を更に備え、前記追跡対象候補検出手段は、前記顔検出手段の検出結果を基に、前記撮影画像の中の各人物を前記追跡対象候補として検出し、前記追跡対象として選択された人物を、追跡対象人物と呼んだ場合、前記追跡手段は、前記追跡対象人物の一部又は全部を含む領域を追跡領域として設定し、前記追跡領域を追跡することによって前記追跡対象を追跡する。

より具体的には例えば、前記顔検出手段は、前記撮影画像の中から、前記追跡対象人物の顔を含む領域を顔領域として抽出し、前記追跡領域は、第１、第２、・・・及び第ｎの要素追跡領域から形成され（ｎは２以上の整数）、第１の要素追跡領域は、前記顔領域とされ、前記追跡手段は、前記追跡対象人物の顔の、前記撮影画像上の大きさ及び位置に基づき、前記第１の要素追跡領域としての前記顔領域を基準として他の要素追跡領域を設定し、これによって前記追跡領域を設定する。

更に例えば、前記追跡手段は、前記大きさ及び位置だけでなく、前記撮影画像内における前記追跡対象人物の顔の傾き、前記撮影画像内における前記追跡対象人物の顔の向き、及び、当該撮像装置の傾き、の少なくとも１つをも参照して、前記追跡領域を設定する。

顔の傾きなどをも考慮した上で追跡領域を設定することにより、追跡領域の最適化が図られ、追跡の安定化が期待される。

また例えば、前記追跡手段は、前記追跡対象の選択後、追跡に必要な追跡用パラメータを自動的に設定して、設定した前記追跡用パラメータに応じた情報を前記表示手段に表示させ、当該撮像装置は、外部からの操作を受け付ける操作手段を更に備え、前記追跡手段によって自動的に設定された前記追跡用パラメータは、前記操作手段に対する所定操作によって変更可能であり、前記追跡手段は、前記所定操作によって変更がなされた場合は、変更後の前記追跡用パラメータに従って前記追跡対象の追跡を行う。

また例えば、前記追跡手段は、前記追跡対象の選択後、追跡に必要な追跡用パラメータを自動的に設定して、設定した前記追跡用パラメータに応じた情報を前記表示手段に表示させ、前記追跡用パラメータは、前記追跡領域を定める情報を含み、当該撮像装置は、外部からの操作を受け付ける操作手段を更に備え、前記追跡手段によって自動的に設定された前記追跡用パラメータは、前記操作手段に対する所定操作によって変更可能であり、
前記追跡手段は、前記所定操作によって変更がなされた場合は、変更後の前記追跡用パラメータに従って前記追跡対象の追跡を行う。

また例えば、前記表示手段は、前記全体画像表示エリアにおいて、前記追跡対象の表示位置を基準とした所定位置に所定の追跡マークを表示する。

追跡マークを表示することにより、撮影領域内における追跡対象の位置の確認が容易となる。

また例えば、前記追跡手段は、各撮影画像から前記追跡対象の移動軌跡を求めて記憶し、前記追跡対象が撮影領域外へ出た場合、前記移動軌跡に基づいて前記追跡対象が位置する方向を推測して、推測した前記方向に応じた報知を行う。

これにより、追跡対象が撮影領域外に出てしまった場合における構図の再調整が容易となる。

また例えば、前記追跡手段は、各撮影画像から前記追跡対象の移動軌跡を求めて記憶し、前記追跡対象が撮影領域外へ出た場合、前記移動軌跡に基づいて前記追跡対象が位置する方向を推測し、その後、推測した前記方向に応じた探索領域を各撮影画像内に定義して、前記探索領域内において前記追跡対象を探索する。

これにより、追跡対象が撮影領域外に出てしまった後の、探索処理の演算負荷が軽減される。

本発明によれば、追跡対象候補が複数ある場合でも有効な追跡が可能である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、動画像（及び静止画像）を撮影可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、制御部１３と、顔検出部１４と、表示部１５と、記録媒体１６と、操作部１７と、傾きセンサ１８と、を備えている。

撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、制御部１３からの制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、制御部１３に出力する。

制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。

撮像部１１により、所定のフレーム周期（例えば、１／６０秒の周期）にて、順次、撮影が行われ、所定のフレーム周期にて順次得られる静止画像（即ち、撮影画像）によって動画像が形成される。

顔検出部１４は、各撮影画像の中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部１４は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように撮影画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報、特開２００６−７２７７０号公報又は上記特許文献１に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像（即ち、撮影画像）内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。

入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。

また、入力画像（即ち、撮影画像）を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

また、顔検出部１４は、各撮影画像内における顔の傾きをも検出可能に構成されている。例えば、入力画像（即ち、撮影画像）を回転させ、回転後の画像に対して上述と同様の顔検出処理を行うことにより、傾いた顔を検出可能であると共に顔の傾き（傾き角度）を検出することができる。ここにおける顔の傾きとは、撮影画像の垂直方向に対する顔の傾きを意味する（詳細は後述）。

顔検出部１４は、更に、各撮影画像における顔の向きも併せて検出する。即ち例えば、顔検出部１４は、各撮影画像において検出された顔が、正面顔（正面から見た顔）であるのか、或いは、横顔（横から見た顔）であるのかを区別して検出可能である。顔の向きを検出する手法として様々な手法が提案されており、顔検出部１４は何れの手法をも採用可能である。

例えば、特開平１０−３０７９２３号公報に記載の手法のように、撮影画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出する。

或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。この手法では、１つの正面顔を左側半分（以下、左顔という）と右側半分（以下、右顔という）とに分けて考え、学習処理を介して左顔に関するパラメータと右顔に関するパラメータを生成しておく。顔検出時には、撮影画像内の注目領域を左右に分割し、各分割領域と、上記２つのパラメータの内の対応するパラメータとの類似度を算出する。そして、一方又は双方の類似度が閾値以上の時に、注目領域が顔領域であると判別する。更に、各分割領域に対する類似度の大小関係から顔の向きを検出する。

顔検出部１４による顔検出結果は、制御部１３に伝達される。顔検出結果には、各撮影画像上における「顔の大きさ、顔の位置、顔の傾き及び顔の向き」が含まれる。

表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、制御部１３の制御の下、現フレーム（或いは直前のフレーム）にて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、シャッタボタン及び所謂十字キー（何れも不図示）等から成り、外部からの操作を受け付ける。操作部１７に対する操作内容は、制御部１３に伝達される。

傾きセンサ１８は、鉛直線に対する撮像装置１の傾きを検出する。例えば、水平線を撮影した時における撮影画像上の水平線が撮影画像上の水平方向（水平ライン）と合致する状態を基準状態とする。この基準状態において撮像装置１は傾いていないものとし（即ち、傾きは０度であるとし）、傾きセンサ１８は、この基準状態からの撮像装置１の傾きを検出する。この傾きの角度を表す傾きデータは制御部１３に伝達される。尚、撮影画像からエッジ成分を抽出することによって撮影画像内の水平線を検出し、この水平線の検出結果から撮影装置１の傾きを検出するようにしてもよい。

撮像装置１は、特徴的な機能として、追跡対象を追跡しつつ撮影を行う追跡撮影機能を備える。追跡撮影機能は、撮像装置１の動作モードの１つである追跡撮影モードにおいて実現される。他の動作モードから追跡撮影モードへの移行は、操作部１７に対する操作によって実現される。

追跡撮影モードにおいては、所定のフレーム周期（例えば、１／６０秒の周期）にて、順次、撮影が行われ、所定のフレーム周期にて順次得られる各撮影画像は、操作部１７に備えられた録画ボタン（不図示）に対する操作に応じて、記録媒体１６に記録される。各撮影画像を得るためのフレームは、フレーム周期が経過するごとに、第１、第２、・・・、第（ｎ−１）、第ｎ番目のフレーム、・・・、の順番で訪れるものとする（ｎは、２以上の整数）。各フレームにおける撮影画像を、以下、「フレーム画像」とも呼ぶ。第１番目のフレームで得られたフレーム画像、第２番目のフレームで得られたフレーム画像、・・・、第（ｎ−１）番目のフレームで得られたフレーム画像、第ｎ番目のフレームで得られたフレーム画像は、時系列で並んでいる。

以下、追跡撮影機能について詳細に説明する。図２は、追跡撮影機能を実現するための追跡処理部２０の機能ブロック図である。但し、図２に示す追跡処理部２０のみによって追跡撮影機能は実現されるのではなく、追跡撮影機能を実現するにあたり、図１に示す他の部位の機能も利用される。追跡処理部２０は、自動追跡されるべき追跡対象の候補を検出する追跡対象候補検出部２１、追跡対象候補の中から１つの追跡対象を選択する追跡対象選択部２２及び追跡対象を自動追跡する追跡部２３を備え、それらは、制御部１３によって実現される。追跡部２３には、自動追跡に必要な追跡用パラメータを設定するパラメータ設定部２４、及び、追跡対象の移動軌跡を記憶する移動軌跡記憶部２５が含まれる。図２に示す各部位には、顔検出部１４による顔検出結果が伝達される。

図３に、追跡撮影モードにおける動作の流れを示す。追跡撮影モードにおける動作は、追跡用設定動作と、追跡動作と、追跡対象探索動作と、に大別される。

最初に、ステップＳ１において追跡用設定動作が行われ、ステップＳ２の追跡動作は追跡用設定動作が完了した後に実行される。そして、追跡動作中に追跡対象がフレームアウトした場合、ステップＳ３の分岐処理を介してステップＳ４に移行し、追跡対象探索動作が実行される。追跡対象がフレームアウトしていない場合は、ステップＳ２の追跡動作が継続実行される。追跡対象が一旦フレームアウトしてから再度フレームインし、ステップＳ４の追跡対象探索動作によって追跡対象が見つかると、再度、ステップＳ２の追跡動作が行われる。

尚、追跡対象に着目した場合において、フレームアウトとは追跡対象が撮影領域内から撮影領域外に出ることを意味する。これとは逆に、追跡対象が撮影領域外から撮影領域内に入ることを、フレームインという。撮像部１１は、撮影領域内に収まる被写体を撮影する。

図４は、追跡撮影モードにおける、表示部１５の表示画面の表示エリア分割例を表す。符号５０は、表示部１５の表示画面を表している。より具体的には、符号５０が付された実線の四角枠は、表示部１５の表示画面における全表示エリアを表している。その全表示エリアは、全体画像表示エリアＡＲ１と、追跡対象表示エリアＡＲ２と、付加情報表示エリアＡＲ３と、その他のエリアと、に分割される。全体画像表示エリアＡＲ１、追跡対象表示エリアＡＲ２及び付加情報表示エリアＡＲ３を、以下、夫々、表示エリアＡＲ１、表示エリアＡＲ２及び表示エリアＡＲ３と略記する。

表示エリアＡＲ１は矩形領域であり、図４において該矩形領域には斜線が施されている。表示エリアＡＲ２は、表示エリアＡＲ１に隣接する矩形領域である。表示エリアＡＲ３は、表示エリアＡＲ１を取り囲むように設けられたドーナツ状領域である。

図１の制御部１３又は図２の追跡処理部２０は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示部１５の表示画面上に画像を表示するための領域の定義、その領域に画像を表示させる処理など、表示に必要な制御を行う。

［追跡用設定動作］
まず、追跡用設定動作について説明する。追跡用設定動作を実行する期間を追跡用設定期間と呼ぶ。図５は、追跡用設定期間における、表示部１５の表示画面５０の表示例を示す。追跡用設定期間においては、順次生成される各フレーム画像の全体画像が動画像として表示エリアＡＲ１に表示される。尚、図５及び人物を含む画像を示す後述の各図において、図示の簡略化上、人物の下半身の図示を省略する場合がある。また、追跡用設定期間において、表示エリアＡＲ３（図４参照）は利用されない。

図１の顔検出部１４は、各フレーム画像に対して上述の顔検出を実施し、図２の追跡対象検出部２１は、顔検出結果に基づきつつ各フレーム画像の中から追跡対象候補を検出する。撮影領域内に位置する人物が、追跡対象候補となる。今、図５に示す如く、撮影領域内に３人の人物が位置しているものとする。この場合は、顔検出によって３人分の顔領域が特定され、その３人の人物が、第１、第２及び第３の追跡対象候補となる。

図２の追跡対象選択部２２は、第１、第２及び第３の追跡対象候補を囲む四角枠６１、６２及び６３を、表示エリアＡＲ１内に表示する。今の例のように複数の追跡対象候補がある場合、予め定められた規則に則って、まず１つの追跡対象候補が表示エリアＡＲ２に拡大表示される。ここで、「表示エリアＡＲ２に拡大表示する」とは、表示エリアＡＲ１内と表示エリアＡＲ２内で共通の画像を表示した際、表示エリアＡＲ２内での該画像の表示サイズを表示エリアＡＲ１内でのそれよりも大きくすることを意味する。

例えば、まず、第１の追跡対象候補を囲む四角枠６１内の画像が、表示エリアＡＲ２内に拡大表示される。この状態で、操作部１７に所定の対象切替操作を行うと、表示エリアＡＲ２内に拡大表示される画像は、第２の追跡対象候補を囲む四角枠６２内の画像に切り替わる。同様に、所定の対象切替操作を実施するたびに、表示エリアＡＲ２内に拡大表示される画像が、第３の追跡対象候補を囲む四角枠６３内の画像、第１の追跡対象候補を囲む四角枠６１内の画像、・・・に切り替わる。撮影者は、表示エリアＡＲ２に拡大表示される追跡対象候補と撮影者が追跡しようとする人物とが合致するまで、上記の対象切替操作を行う。

第１の追跡対象候補を囲む四角枠６１内の画像が表示エリアＡＲ２内に拡大表示されている状態において、操作部１７に所定の追跡対象決定操作が施された場合、図２の追跡対象選択部２２は、第１の追跡対象候補を追跡対象として選択する。同様に、第２の追跡対象候補を囲む四角枠６２内の画像が表示エリアＡＲ２内に拡大表示されている状態において、操作部１７に所定の追跡対象決定操作が施された場合、図２の追跡対象選択部２２は、第２の追跡対象候補を追跡対象として選択する。第３の追跡対象候補についても同様である。

尚、追跡対象候補が複数存在する場合を例示したが、撮影領域内に人物が１人しかいない場合は、検出される追跡対象候補の個数は勿論１となる。

また、操作部１７に対する操作によって複数の追跡対象候補から１つの追跡対象を選択する例を示したが、顔認識処理などの人物特定手段を用いて複数の追跡対象候補から追跡対象を自動的に選択するようにしてもよい。顔認識の手法として様々な手法が知られており、その何れの手法をも利用可能である。

一般的な顔認識の手法を簡単に説明する。この手法では、追跡対象として選択されるべき人物の顔を事前に撮影して、その人物の顔を登録しておく。具体的には、その人物の顔の画像から顔辞書データを作成しておく。そして、追跡用設定期間におけるフレーム画像から各顔領域を切り出し、切り出された顔領域の画像の夫々と顔辞書データにて表される顔画像と間でパターンマッチングを行うことにより、フレーム画像内の何れの顔が登録された人物の顔であるかを判断する。その判断に基づき、登録された人物の顔に対応する追跡対象候補を追跡対象として選択する。

図６は、追跡対象が選択された直後における、表示画面５０の表示例を表す。追跡対象を囲む追跡対象枠６４が表示エリアＡＲ１内に表示され、表示エリアＡＲ２内に追跡対象枠６４内の画像、即ち、追跡対象を含む画像が拡大表示される。表示エリアＡＲ３内の表示内容については追跡動作及び追跡対象探索動作の説明と併せて後述する。

今、図５の四角枠６１内に表示された人物（第１の追跡対象候補）が追跡対象として選択されたとする。また、追跡対象として選択された人物を、以下、追跡対象人物と呼ぶ。以下の説明において、顔、顔の向き、顔の傾き、上半身及び下半身などの、顔又は人体に関する記述は、特に記述しない限り、全て追跡対象人物に関する記述である。

追跡対象が選択されると、図２のパラメータ設定部２４は、顔検出部１４にて検出された追跡対象人物の、撮影画像上における「顔の大きさ、顔の傾き及び顔の向き」と、傾きセンサ１８からの傾きデータと、に基づいて、追跡対象を自動追跡するために必要な追跡用パラメータを自動的に設定する。「顔の大きさ、顔の傾き及び顔の向き」を特定するに当たり、撮影画像上の顔の位置も参照される。設定した追跡用パラメータの内容は、表示エリアＡＲ２に反映される。自動的に設定された追跡用パラメータは、操作部１７に対するパラメータ選択操作によって変更可能であるが、変更がなされるまでの間は、変更前の追跡用パラメータを用いて追跡動作が行われる。

パラメータ設定部２４による追跡用パラメータの自動設定手法について説明する。本実施形態では、追跡用パラメータが８種類ある場合を例示する。異なる種類間の追跡用パラメータを区別するべく、便宜上、８種類の追跡用パラメータを、追跡用パラメータＰＲ₁、ＰＲ₂、ＰＲ₃、ＰＲ₄、ＰＲ₅、ＰＲ₆、ＰＲ₇及びＰＲ₈と表記して区別する。

まず、追跡用パラメータＰＲ₁に着目した説明を行う。追跡用パラメータＰＲ₁は、「追跡対象人物が顔を傾けることなく撮像装置１に対して正面を向いて直立しており且つ撮像装置１が傾いていない状態」に対応している。尚、追跡対象人物は水平線に平行な地面上に位置するものとする。

図７（ａ）は、追跡用パラメータとして追跡用パラメータＰＲ₁が設定されている場合における、表示エリアＡＲ２の表示画像を表す。図７（ｂ）は、追跡用パラメータＰＲ₁に対応する領域設定を表す図である。

今、追跡対象人物の、撮影画像上における顔の幅及び顔の高さを、夫々、Ｗｆ及びＨｆで表す。顔の幅Ｗｆは、例えば、おおむね左右の頬の両端間の距離とされ、顔の高さＨｆは、例えば、おおむね顔の顎の下端から眉毛の上端までの距離とされる。顔の幅Ｗｆ及び顔の高さＨｆは、顔検出部１４の顔検出結果から算出される。

顔の幅方向と顔の高さ方向は直交し、「Ｗｆ×Ｈｆ」で表される矩形領域を顔領域とする。顔の幅方向をＸ軸にとり且つ顔の高さ方向をＹ軸にとったＸＹ座標系を撮影画像内に定義し、顔領域としての矩形領域の角の１つを、このＸＹ座標系の原点Ｏと一致させて考える。追跡用パラメータＰＲ₁におけるＸ軸方向は撮影画像の水平方向と一致する。この場合、ＸＹ座標系において、追跡対象人物の顔領域は、４つの点（０，０）、（Ｗｆ，０）、（０，−Ｈｆ）及び（Ｗｆ，−Ｈｆ）にて囲まれる矩形領域となる。図７（ｂ）において、符号７１は、追跡対象人物の顔領域を表す。

そして、顔領域に隣接してＹ軸の正方向に、矩形領域である顔上部領域を定義する。図７（ｂ）において、紙面上方がＹ軸の正方向に一致する。図７（ｂ）において、符号７２は、追跡対象人物の顔上部領域を表す。顔上部領域としての矩形領域の幅及び高さは、夫々、α₁・Ｗｆ及びα₂・Ｈｆで表される。α₁及びα₂は、予め定められた定数である。また、顔領域としての矩形領域の上辺（Ｘ軸方向に平行であって且つＹ軸の正側の辺）と顔上部領域としての矩形領域の下辺（Ｘ軸方向に平行であって且つＹ軸の負側の辺）は合致する。

また、顔領域に隣接してＹ軸の負方向に、矩形領域である上半身領域を定義する。図７（ｂ）において、符号７３は、追跡対象人物の上半身領域を表す。上半身領域としての矩形領域の幅及び高さは、夫々、β₁・Ｗｆ及びβ₂・Ｈｆで表される。β₁及びβ₂は、予め定められた定数である。また、顔領域としての矩形領域の下辺と上半身領域としての矩形領域の上辺は合致する。

更に、上半身領域に隣接してＹ軸の負方向に、矩形領域である下半身領域を定義する。図７（ｂ）において、符号７４は、追跡対象人物の下半身領域を表す。下半身領域としての矩形領域の幅及び高さは、夫々、γ₁・Ｗｆ及びγ₂・Ｈｆで表される。γ₁及びγ₂は、予め定められた定数である。また、上半身領域としての矩形領域の下辺と下半身領域としての矩形領域の上辺は合致する。

また、顔領域７１、顔上部領域７２、上半身領域７３及び下半身領域７４の各中心は、図８に示す如く、Ｙ軸に平行な直線７５上にのる。

追跡用パラメータＰＲ₁を適用した場合、図７（ａ）に示す如く、表示エリアＡＲ２には、追跡対象人物が拡大表示されると共に顔領域７１、顔上部領域７２、上半身領域７３及び下半身領域７４の各外形が表示され、更に、４つの追跡基準目印Ｍ１〜Ｍ４が表示される。追跡基準目印Ｍ１は顔領域７１の略中央、追跡基準目印Ｍ２は顔上部領域７２の略中央、追跡基準目印Ｍ３は上半身領域７３の略中央に配置される。追跡基準目印Ｍ４は、下半身領域７４の中央上方よりに配置される。

尚、図６及び後述の一部の図（図１８等）において、追跡対象人物の下半身並びに下半身領域及びそれに対応する追跡基準目印の図示を省略している。また、表示エリアＡＲ２に、図７（ａ）に示されるような、顔領域、顔上部領域、上半身領域及び下半身領域の各外形を表示するか否かは任意である。図６及び後述の一部の図（図１８等）は、これらの各外形が表示されない場合を例示している。

パラメータ設定部２４は、追跡対象人物の顔の向き及び顔の傾き、並びに、撮像装置１の傾きに応じて、８種類の追跡用パラメータＰＲ₁〜ＰＲ₈の中から自動的に１種類の追跡用パラメータを選択する。撮像装置１に対する顔の向きが正面であって、且つ、顔が傾いておらず、且つ、撮像装置１も傾いていない時、８種類の追跡用パラメータＰＲ₁〜ＰＲ₈の中から自動的に追跡用パラメータＰＲ₁が選択され、上述のような領域設定が行われる。撮像装置１に対する顔の向きが正面である場合、撮影画像上において顔は正面顔として表れ、撮像装置１に対する顔の向きが横向きである場合、撮影画像上において顔は横顔として表れる。

顔が傾いている場合などにおいては、異なる種類の追跡用パラメータが選択及び設定される。図９に、８種類の追跡用パラメータＰＲ₁〜ＰＲ₈の特性を表として表す。尚、図９において、撮像装置１の傾きは、カメラ傾きと表記されている。

撮像装置１に対する顔の向きが正面であって、且つ、顔が傾いており、且つ、撮像装置１が傾いていない時、自動的に追跡用パラメータＰＲ₂が選択される。
撮像装置１に対する顔の向きが正面であって、且つ、顔が傾いており、且つ、撮像装置１も同一方向に傾いている時、自動的に追跡用パラメータＰＲ₃が選択される。
撮像装置１に対する顔の向きが横向きであって、且つ、顔が傾いておらず、且つ、撮像装置１も傾いていない時、自動的に追跡用パラメータＰＲ₄が選択される。
撮像装置１に対する顔の向きが横向きであって、且つ、顔が傾いており、且つ、撮像装置１が傾いていない時、自動的に追跡用パラメータＰＲ₅が選択される。
撮像装置１に対する顔の向きが横向きであって、且つ、顔が傾いており、且つ、撮像装置１も同一方向に傾いている時、自動的に追跡用パラメータＰＲ₆が選択される。

ここで、顔の傾きとは、撮影画像の垂直方向に対する顔の傾きを意味している。従って、顔の幅方向が撮影画像の水平方向と一致する場合は、顔は傾いておらず、顔の幅方向が撮影画像の水平方向と一致しない場合は、顔は傾いている、と考える。

追跡用パラメータＰＲ₇又はＰＲ₈は、自動的には選択されず、操作部１７に対するパラメータ選択操作によって選択されうる。
追跡用パラメータＰＲ₇は、顔の向きが正面であって、且つ、撮影画像の垂直方向に対して顔は傾いていないものの、上半身に対して顔が傾いているような場合に適している。
追跡用パラメータＰＲ₈は、追跡対象人物が撮像装置１に対して横を向き且つ足を伸ばして座っているような場合に適している。

追跡用パラメータＰＲ₇は、撮像装置１に対する顔の向きが正面であって、且つ、顔が傾いておらず、且つ、撮像装置１が傾いている時に適しているとも言えるため、そのような時に、自動的に追跡用パラメータＰＲ₇が選択されるようにしてもよい。

図１０（ａ）、図１１（ａ）、図１２（ａ）、図１３（ａ）、図１４（ａ）、図１５（ａ）及び図１６（ａ）は、追跡用パラメータとして、それぞれ追跡用パラメータＰＲ₂、ＰＲ₃、ＰＲ₄、ＰＲ₅、ＰＲ₆、ＰＲ₇及びＰＲ₈が設定されている場合における、表示エリアＡＲ２の表示画像を表す。図１０（ｂ）、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）、図１４（ｂ）、図１５（ｂ）及び図１６（ｂ）は、それぞれ、追跡用パラメータＰＲ₂、ＰＲ₃、ＰＲ₄、ＰＲ₅、ＰＲ₆、ＰＲ₇及びＰＲ₈に対応する領域設定を表す図である。

顔領域、顔上部領域、上半身領域及び下半身領域の各形状は、追跡用パラメータＰＲ₁〜ＰＲ₈間において共通している。また、顔領域、顔上部領域、上半身領域及び下半身領域の各外形及びそれらに対応する各追跡基準目印を表示エリアＡＲ２に表示する点も、追跡用パラメータＰＲ₁〜ＰＲ₈間において共通している。但し、追跡用パラメータＰＲ₂〜ＰＲ₈は、主に下記の点で追跡用パラメータＰＲ₁と異なる（特に記述しない点に関しては、基本的に、追跡用パラメータＰＲ₁と同様である）。

図１０（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₂においては、顔の傾き角度に応じて、顔領域に対し上半身領域及び下半身領域が傾けられる。この結果、顔上部領域と顔領域の各中心を結ぶ直線と、上半身領域及び下半身領域の各中心を結ぶ直線は、一致せず且つ平行とならない。

また、表示エリアＡＲ２内における各追跡基準目印の表示位置は、顔領域、顔上部領域、上半身領域及び下半身領域の位置関係に応じて定まる。このため、追跡用パラメータＰＲ₁における各追跡基準目印の表示位置と、追跡用パラメータＰＲ₂におけるそれとは異なる（図７（ａ）と図１０（ａ）を参照）。これは、他の追跡用パラメータにおいても同様である。

図１１（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₃においては、撮影画像内に定義されるＸ軸及びＹ軸が撮像装置１の傾き角度に応じて傾けられる。これにより、Ｘ軸方向は撮影画像の水平方向と平行ではなくなる。

横顔に対応する追跡用パラメータＰＲ₄〜ＰＲ₆及びＰＲ₈においては、顔の幅の定義が異なり、それらにおいて、顔の幅は、おおむね鼻の頂点から後頭部までの距離とされる。また、横顔に対応する追跡用パラメータＰＲ₄〜ＰＲ₆及びＰＲ₈における定数α₁、α₂、β₁、β₂、γ₁及びγ₂の値を、正面顔に対応する追跡用パラメータＰＲ₁等におけるそれらと異ならせても良い。

図１３（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₅においては、顔の傾き角度（顔のうつむき角度）に応じて、顔領域に対し上半身領域及び下半身領域が傾けられる。

図１４（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₆においては、撮影画像内に定義されるＸ軸及びＹ軸が撮像装置１の傾き角度に応じて傾けられる。

図１５（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₇においては、上半身に対する顔の傾き角度に応じて、顔領域に対し上半身領域及び下半身領域が傾けられる。

図１６（ａ）及び（ｂ）に対応する追跡用パラメータＰＲ₈においては、下半身領域が上半身領域に対して９０度傾けられる。

このように、パラメータ設定部２４は、追跡対象人物の顔の、撮影画像上の大きさ及び位置に基づき、顔検出部１４によって抽出された顔領域を基準として、顔上部領域、上半身領域及び下半身領域を設定する。これらの設定内容は、追跡用パラメータの一部を成す。そして、追跡動作によって追跡されるべき追跡領域は、設定された顔領域、顔上部領域、上半身領域及び下半身領域を組み合わせた領域である。

また、上述の如く、追跡領域（特に、それに含まれる上半身領域及び下半身領域）は、顔の大きさ及び位置だけでなく、顔の傾き、顔の向き及び撮像装置１の傾きにも応じて、設定される。これにより、理想的には、設定された上半身領域内及び下半身領域内（及び顔上部領域内）に、夫々、撮影画像上における上半身及び下半身（及び顔上部）が収まることになり、追跡動作において安定した追跡が実現される。

尚、８種類の追跡用パラメータを例示したが、「顔の傾き、顔の向き及び撮像装置１の傾き」に応じて、より細かく追跡用パラメータを細分化することも可能である。この場合、追跡用パラメータの種類は９種類以上となる。但し、追跡用パラメータの種類を７種類以下とすることも可能である。また、「顔の傾き、顔の向き及び撮像装置１の傾き」の全てを参照して追跡領域を設定することが望ましいが、処理の簡素化等を目的として、それらの一部又は全部の参照を省略することも可能である。

パラメータ設定部２４が自動的に設定した追跡用パラメータが適切ではないと撮影者が判断した場合は、上述したように、操作部１７に対するパラメータ選択操作によって追跡用パラメータを変更することができる。例えば、撮像装置１に対する顔の向きが正面であって、且つ、顔が傾いておらず、且つ、撮像装置１も傾いていないにも関わらず、追跡用パラメータＰＲ₃が自動選択されて図１１（ａ）に示すような表示がなされた場合は、撮影者がパラメータ選択操作を行えばよい。これにより、他の追跡用パラメータに対応する情報（上半身領域の外形や追跡基準目印など）が表示エリアＡＲ２内に表示される。この操作を繰り返し、適切な追跡用パラメータ（今の場合、ＰＲ₁）に応じた情報が表示された時点で、撮影者は、操作部１７に対して所定の選択決定操作を行う。この後は、選択決定操作がなされた時点の追跡用パラメータに従った追跡動作がなされる。

［追跡動作］
次に、追跡動作について設定する。パラメータ設定部２４が自動的に設定した追跡用パラメータに対して変更が加えられなかった場合は、その追跡用パラメータが設定された時点から該追跡用パラメータに従った追跡動作が開始され、上述のパラメータ選択操作による追跡用パラメータの変更を介して選択決定操作があった場合は、その選択決定操作があった時点から変更後の追跡用パラメータに従った追跡動作が開始される。

追跡動作では、追跡用パラメータにて定まる追跡領域（追跡領域内の画像）を追跡する。より具体的には、追跡部２３は、追跡領域を形成する４つの領域（顔上部領域、顔領域、上半身領域及び下半身領域）の夫々を追跡ブロックとして捉え、追跡ブロックごとに、追跡ブロック（追跡ブロック内の画像）の追跡を行う。尚、顔上部領域の一部、顔領域の一部、上半身領域の一部及び下半身領域の一部を、夫々、追跡ブロックとして捉えるようにしても良い。

１つの追跡ブロックを追跡する手法として、様々な手法が公知又は周知となっており、追跡部２３は、それらの何れの手法をも採用可能である。一般的な手法を、図１７を参照して簡単に説明する。この手法は、画像マッチング法の一種であり、ブロックマッチング法とも呼ばれる。

図１７（ａ）において、符号１００は、第（ｎ−１）フレーム画像を表し、符号１０１は、第（ｎ−１）フレーム画像における着目した追跡ブロックを表す。図１７(ｂ)において、符号１１０は、第ｎフレーム画像を表し、符号１１１は、第ｎフレーム画像における着目した候補ブロックを表し、符号１１２は、候補ブロック１１１が位置しうる探索ブロックを表す。尚、第（ｎ−１）フレーム画像及び第ｎフレーム画像とは、夫々、第（ｎ−１）番目のフレームの撮影によって得られたフレーム画像及び第ｎ番目のフレームの撮影によって得られたフレーム画像を指す。

追跡部２３は、追跡ブロック１０１と候補ブロック１１１との間の相関値を算出する。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動の度に相関値が算出される。相関値は、例えば、追跡ブロック１０１と候補ブロック１１１との間における、各画素の輝度差の絶対値の総和とされる。この相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。勿論、輝度差の２乗和（Sum of Squared Differece）などによって相関値を求めてもよい。

相関値は、追跡ブロック１０１の画像と候補ブロック１１１の画像との間の相関が高いほど小さくなる。従って、相関値が最も小さくなる候補ブロック１１１の位置を求めれば、追跡ブロック１０１が、第ｎフレーム画像内のどこに位置しているかを求めることができる共に、第（ｎ−１）と第ｎフレーム画像間の追跡ブロック１０１の動きベクトルが求まる。隣接するフレーム間で動きベクトルを繰り返し求め、動きベクトルに応じて追跡ブロックを逐次移動させることにより、追跡ブロック内に収まる移動物体を追跡することができる。

ところで上述したように、追跡部２３は、追跡領域を形成する４つの領域（顔上部領域、顔領域、上半身領域及び下半身領域）の夫々を追跡ブロックとして捉える。このため、追跡ブロックごとに、追跡ブロックの追跡を行うための相関値演算を行う。そして、相関値演算の結果に基づいて、各追跡ブロックの有効性を判断するようにしている。例えば、ある期間において鳥が追跡対象人物の顔の前を横切った場合、その期間中、顔領域を追跡ブロックとして算出された相関値の最小値は比較的大きな値をとる（或いは相関値分布が異常となる）。このような場合、顔領域についての追跡ブロックを無効とし、他の有効な追跡ブロックについて算出された動きベクトルから顔領域の位置を推定することにより、追跡領域全体の追跡を継続するようにする。このように処理することにより、追跡対象人物の一部が一時的に他の物体によって遮られるような状況においても、安定した追跡が可能となる。

図１８は、追跡動作中における表示画面５０の表示内容を示す。追跡動作中、表示エリアＡＲ１に、順次生成される各フレーム画像の全体画像が動画像として表示される。表示エリアＡＲ１内に追跡対象を囲むように表示された追跡対象枠６４は、画像内の追跡対象の移動に追従して表示エリアＡＲ１内を移動する。そして、追跡動作中、追跡対象を含む画像、即ち、追跡領域を含む画像が、表示エリアＡＲ２に拡大表示される。

上述したように、図２の追跡部２３は、各フレーム画像において追跡領域がどこに位置しているかを逐次追跡することにより、追跡対象の追跡を行う。従って、追跡対象の所定位置（例えば、上半身領域の追跡基準目印（図７（ａ）においてＭ３））を連続的につなげることによって、追跡動作中における追跡対象の移動軌跡が定まる。この移動軌跡は、図２の移動軌跡記憶部２５に、順次、更新記憶される。図１８の表示エリアＡＲ１内に表示される矢印６５の向きは、この移動軌跡に基づく、直近の数〜数十フレームにおける追跡対象の移動の向きを表す。この矢印６５をも参照しつつ、撮影者がパン操作などを行うことによって、追跡対象人物のフレームアウトが未然に防がれる。

表示エリアＡＲ３は、８つの追跡支援表示エリア１２１〜１２８に分割され、その８つの追跡支援表示エリア１２１〜１２８は、夫々、表示エリアＡＲ２の、上、下、左、右、左斜め上、左斜め下、右斜め上及び右斜め下に配置される。原則として、８つの追跡支援表示エリア１２１〜１２８内の画像は、全て基準色のべた塗り画像とされる。

追跡動作中、追跡対象がフレームアウトしそうになると、追跡部２３は警告報知を実施する。具体的には、図１９に示す如く、追跡部２３は、各フレーム画像１３１内に所定のフレーム警告領域１３２を定義し、追跡領域の一部がフレーム警告領域１３２と重なった場合に、警告報知を実施する。警告報知は、表示部１５による映像出力又は音声出力部（不図示）による音声出力によって行われる。視覚または聴覚等に対する報知を撮影者に与える。これにより、追跡対象のフレームアウトが未然に防止されると共に、フレームアウトを防止するために必要な撮影者の負担を軽減することができる。図１９において、フレーム警告領域１３２は、ロの字状の斜線領域に対応し、それはフレーム画像１３１の周辺部に設けられる。

図２０に、警告報知を実施している最中における、表示画面５０の表示例を示す。警告報知の例として、以下に第１〜第４警告報知を示す。追跡部２３は、警告報知として、第１〜第４警告報知の一部又は全部を実施する。尚、これらの報知手法は、様々に変形可能であることはいうまでもない。

第１警告報知では、画像上における追跡対象の位置及び動きの向きに応じて、何れかの追跡支援表示エリア内の表示内容を変化させる。例えば、追跡対象が撮影画像の左側に向かって移動していて撮影画像の左方向にフレームアウトしそうになったとき、図２０に示す如く、表示エリアＡＲ２の左に位置する追跡支援表示エリア１２３の表示色を、上記の基準色と異ならせる。
第２警告報知では、画像上における追跡対象の位置及び動きの向きに応じて、撮像装置１をパン又はチルトさせるべき方向を表示画面５０上に表示する。例えば、追跡対象が撮影画像の左側に向かって移動していて撮影画像の左方向にフレームアウトしそうになったとき、図２０に示す如く、表示画面５０上に左向きの矢印１４１を表示する。
第３警告報知では、警告報知の実施前との対比において、追跡対象枠６４の表示色を変化させる。
第４警告報知では、撮像装置１に備えられた音声出力部（不図示）から、所定の警告音を出力させる。

［追跡対象探索動作］
追跡動作において追跡していた追跡対象がフレームアウトしてしまうと、追跡対象探索動作が実行される。

追跡対象探索動作において、追跡部２３は、図２の移動軌跡記憶部２５に記憶された、追跡対象の移動軌跡を参照して追跡対象が位置する方向を推測し、その推測結果に応じて、その方向を撮影者に知らしめるための再フレームイン支援報知（以下、単に「支援報知」という）を行う。これにより、再度のフレームインが支援され、撮影者にとって構図の再調整が容易となる。支援報知は、警告報知と同様、表示部１５による映像出力又は音声出力部（不図示）による音声出力によって行われる。

例えば、追跡対象が撮影画像の左側に向かって移動してゆき撮影画像の左方向にフレームアウトした場合、その内容を表す移動軌跡に基づいて、追跡部２３は、追跡対象が撮像装置１の左方向に位置すると推測し、左方向を示す支援報知を行う。

図２１及び図２２の夫々に、追跡対象探索動作を実行している最中における、表示画面５０の表示例を示す。支援報知の例として、以下に第１〜第３支援報知を示す。追跡部２３は、支援報知として、第１〜第３支援報知の一部又は全部を実施する。尚、これらの報知手法は、様々に変形可能であることはいうまでもない。

第１支援報知では、追跡対象の位置の推測方向に応じて、何れかの追跡支援表示エリア内の表示内容を変化させる。例えば、追跡対象が撮像装置１の左方向に位置すると推測した場合、図２１に示す如く、表示エリアＡＲ２の左に位置する追跡支援表示エリア１２３の表示色を、上記の基準色と異ならせる。
第２支援報知では、追跡対象の位置の推測方向に応じて、追跡対象を再度フレームインさせるために撮像装置１をパン又はチルトさせるべき方向を、表示画面５０上に表示する。この方向は、追跡対象の位置の推測方向と一致する。例えば、追跡対象が撮像装置１の左方向に位置すると推測した場合、図２１に示す如く表示画面５０上に左向きの矢印１４２を表示する、或いは、図２２に示す如く追跡支援表示エリア１２３内に左向きの矢印１５１を表示する。
第３支援報知では、撮像装置１に備えられた音声出力部（不図示）から、追跡対象の位置の推測方向を伝えるための音声を出力させる。

尚、図２１又は図２２に示す表示画面５０の表示エリアＡＲ２には、追跡動作中に追跡していた追跡対象の拡大画像が静止画像として表示される。但し、この表示を行わないようにしても構わない。

また、追跡対象探索動作を実行する期間（以下、探索期間という）において、追跡部２３は、各フレーム画像と追跡動作中に記憶した追跡領域の画像との画像マッチングを行うことにより、各フレーム画像内に再度含まれうる追跡対象を探索する。この際、動きベクトルを算出することによって各フレーム画像内の動き領域を特定し、その動き領域内に対してのみ探索を実行するようにしてもよい。

また、探索期間における各フレーム画像に対して、追跡対象の位置の推測方向に応じた探索領域を定義し、その探索領域内のみを探索する（或いは、その探索領域内を重点的に探索する）ようにしてもよい。これにより、探索に必要な演算処理量が軽減される。

これについて、図２３を参照して、より具体的に説明する。図２３において、符号１６１は、探索期間における各フレーム画像を表し、符号１６２が付された矩形領域は、各フレーム画像内に定義された探索領域を表す。探索領域１６２は、フレーム画像１６３の全体領域よりも小さく、追跡対象の位置の推測方向に応じた位置に設けられる。例えば、追跡対象が撮像装置１の左方向に位置すると推測した場合、撮像装置１に対するパン操作などによって、追跡対象はフレーム画像の左側から再度フレームインする可能性が高い。従って、この場合、図２３に示す如く、探索領域１６２はフレーム画像の左側に設けられる。

そして、探索期間において、追跡部２３は、各フレーム画像の探索領域内の画像と追跡動作中に記憶した追跡領域の画像との画像マッチングを行う。即ち、画像マッチングによって、探索領域内に追跡対象が存在するか否かを探索する（探索領域外では探索しない）。画像マッチングの手法としては、図１７を用いて説明した手法と同様の手法を用いればよく、相関演算によって算出した相関値に基づいて探索領域内に追跡対象が存在するか否かの判断を行うと共に、追跡対象が存在する場合は、その相関値に基づいてフレーム画像内における追跡対象の位置を特定する。追跡対象の位置が特定された後は、上述の追跡動作を再開する。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
追跡対象を追跡する際、追跡領域を形成する４つの領域（顔上部領域、顔領域、上半身領域及び下半身領域）の夫々を追跡ブロックとして捉え、追跡ブロックごとに、追跡ブロック（追跡ブロック内の画像）の追跡を行うと述べたが、この際、追跡精度を上げるべく、追跡ブロック外の画像データをも参照して追跡処理を実行するようにしてもよい。例えば、顔領域の近傍に顔領域を挟むように２つの追跡参照領域を設け、これらの追跡参照領域の画像データをも参照して追跡を行うようにする。追跡領域と追跡参照領域との位置関係は、顔の傾きなどに応じて変化しうる。

［注釈２］
図６等に示す追跡対象枠６４は、追跡対象を表す追跡マークとして表示されるものであり、それの形状や表示の仕方を様々に変更することが可能である。例えば、表示エリアＡＲ１内において、追跡対象の表示位置の近傍に矢印などを追跡マークとして表示するようにしてもよい。要は、追跡対象が他の被写体と区別して視認されるように、表示エリアＡＲ１内において、追跡対象の表示位置を基準とした所定位置に何からの追跡マークを表示すればよい。また、追跡マーク（追跡対象枠６４）の表示を、操作部１７に対する所定操作によって消すことも可能である。

［注釈３］
上述の実施形態では、追跡領域内に追跡対象人物の人体の全部が含まれうるが、追跡領域内に追跡対象人物の人体の全部が含まれている必要はない。即ち、追跡領域は、追跡対象人物の全部又は一部を含む。

［注釈４］
追跡領域は、４つの領域（即ち、顔上部領域、顔領域、上半身領域及び下半身領域）から形成されると上述したが、４つの領域の内、１以上の領域を追跡領域から省くこともできる。例えば、下半身領域を省き、顔上部領域、顔領域及び上半身領域によって追跡領域を形成するようにしてもよい。

［注釈５］
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１の顔検出部１４と図２の追跡処理部２０とによって実現される機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図１の顔検出部１４と図２の追跡処理部２０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 本発明の実施形態に係る追跡撮影機能を実現するための追跡処理部の機能ブロック図である。 図２の追跡処理部が有効に機能する追跡撮影モードにおける、動作の流れを示すフローチャートである。 追跡撮影モードにおける、図１の表示部の表示画面の表示エリア分割例を示す図である。 追跡用設定期間における、表示画面の表示例を示す図である。 追跡対象が選択された直後における、表示画面の表示例を示す図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₁）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₁）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータの種類を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₂）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₃）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₄）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₅）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₆）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₇）を説明するための図である。 図２のパラメータ設定部によって設定される追跡用パラメータ（ＰＲ₈）を説明するための図である。 図２の追跡部による画像追跡手法を説明するための図である。 追跡動作中における、表示画面の表示例を示す図である。 各フレーム画像内に定義されるフレーム警告領域を示す図である。 警告報知を実施している最中における、表示画面の表示例を示す図である。 追跡対象探索動作の実行中における、表示画面の表示例を示す図である。 追跡対象探索動作の実行中における、表示画面の表示例を示す図である。 追跡対象探索動作の実行中において各フレーム画像内に定義される探索領域を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 制御部
１４ 顔検出部
１５ 表示部
１６ 記録媒体
１７ 操作部
１８ 傾きセンサ
２０ 追跡処理部
２１ 追跡対象候補検出部
２２ 追跡対象選択部
２３ 追跡部
２４ パラメータ設定部
２５ 移動軌跡記憶部

Claims (10)

1. 順次撮影を行うことによって、時系列で並ぶ撮影画像を得る撮像手段と、
   前記撮影画像を表示可能な表示手段と、
   前記撮影画像の中から１又は２以上の追跡対象候補を検出する追跡対象候補検出手段と、
   ２以上の前記追跡対象候補が検出された際、その２以上の前記追跡対象候補の中の１つを追跡対象として選択する追跡対象選択手段と、
   前記追跡対象の選択後、時系列で並ぶ前記撮影画像間において前記追跡対象を追跡する追跡手段と、を備えた
   ことを特徴とする追跡機能付き撮像装置。
2. 前記表示手段は、表示画面上に全体画像表示エリアを設けて、時系列で並ぶ前記撮影画像の全体画像を動画像として前記全体画像表示エリアに表示すると共に、前記表示画面上に、別途、追跡対象表示エリアを設けて、該追跡対象表示エリアに前記追跡対象を含む画像を拡大表示する
   ことを特徴とする請求項１に記載の追跡機能付き撮像装置。
3. 前記撮影画像の中から人物の顔を検出する顔検出手段を更に備え、
   前記追跡対象候補検出手段は、前記顔検出手段の検出結果を基に、前記撮影画像の中の各人物を前記追跡対象候補として検出し、
   前記追跡対象として選択された人物を、追跡対象人物と呼んだ場合、
   前記追跡手段は、前記追跡対象人物の一部又は全部を含む領域を追跡領域として設定し、前記追跡領域を追跡することによって前記追跡対象を追跡する
   ことを特徴とする請求項１または請求項２に記載の追跡機能付き撮像装置。
4. 前記顔検出手段は、前記撮影画像の中から、前記追跡対象人物の顔を含む領域を顔領域として抽出し、
   前記追跡領域は、第１、第２、・・・及び第ｎの要素追跡領域から形成され（ｎは２以上の整数）、第１の要素追跡領域は、前記顔領域とされ、
   前記追跡手段は、前記追跡対象人物の顔の、前記撮影画像上の大きさ及び位置に基づき、前記第１の要素追跡領域としての前記顔領域を基準として他の要素追跡領域を設定し、これによって前記追跡領域を設定する
   ことを特徴とする請求項３に記載の追跡機能付き撮像装置。
5. 前記追跡手段は、前記大きさ及び位置だけでなく、前記撮影画像内における前記追跡対象人物の顔の傾き、前記撮影画像内における前記追跡対象人物の顔の向き、及び、当該撮像装置の傾き、の少なくとも１つをも参照して、前記追跡領域を設定する
   ことを特徴とする請求項４に記載の追跡機能付き撮像装置。
6. 前記追跡手段は、前記追跡対象の選択後、追跡に必要な追跡用パラメータを自動的に設定して、設定した前記追跡用パラメータに応じた情報を前記表示手段に表示させ、
   当該撮像装置は、外部からの操作を受け付ける操作手段を更に備え、
   前記追跡手段によって自動的に設定された前記追跡用パラメータは、前記操作手段に対する所定操作によって変更可能であり、
   前記追跡手段は、前記所定操作によって変更がなされた場合は、変更後の前記追跡用パラメータに従って前記追跡対象の追跡を行う
   ことを特徴とする請求項１または請求項２に記載の追跡機能付き撮像装置。
7. 前記追跡手段は、前記追跡対象の選択後、追跡に必要な追跡用パラメータを自動的に設定して、設定した前記追跡用パラメータに応じた情報を前記表示手段に表示させ、
   前記追跡用パラメータは、前記追跡領域を定める情報を含み、
   当該撮像装置は、外部からの操作を受け付ける操作手段を更に備え、
   前記追跡手段によって自動的に設定された前記追跡用パラメータは、前記操作手段に対する所定操作によって変更可能であり、
   前記追跡手段は、前記所定操作によって変更がなされた場合は、変更後の前記追跡用パラメータに従って前記追跡対象の追跡を行う
   ことを特徴とする請求項３〜請求項５の何れかに記載の追跡機能付き撮像装置。
8. 前記表示手段は、前記全体画像表示エリアにおいて、前記追跡対象の表示位置を基準とした所定位置に所定の追跡マークを表示する
   ことを特徴とする請求項２に記載の追跡機能付き撮像装置。
9. 前記追跡手段は、各撮影画像から前記追跡対象の移動軌跡を求めて記憶し、前記追跡対象が撮影領域外へ出た場合、前記移動軌跡に基づいて前記追跡対象が位置する方向を推測して、推測した前記方向に応じた報知を行う
   ことを特徴とする請求項１〜請求項８の何れかに記載の追跡機能付き撮像装置。
10. 前記追跡手段は、各撮影画像から前記追跡対象の移動軌跡を求めて記憶し、前記追跡対象が撮影領域外へ出た場合、前記移動軌跡に基づいて前記追跡対象が位置する方向を推測し、その後、推測した前記方向に応じた探索領域を各撮影画像内に定義して、前記探索領域内において前記追跡対象を探索する
    ことを特徴とする請求項１〜請求項９の何れかに記載の追跡機能付き撮像装置。

Images