JP5118590B2 - 被写体追尾方法及び撮像装置 - Google Patents

Description

本発明は、被写体追尾機能を有する撮像装置及びその被写体追尾方法に関する。

従来、デジタルカメラや監視カメラを利用した監視装置において、被写体追尾を行う撮像システムがある。この種の撮像システムでは、被写体追尾機能を利用することで、被写体に対して適切な撮影条件を設定したり、信号処理を行ったりする。

特許文献１には、撮影信号から、被写体の動きベクトルを計算し、被写体の動きに従ってカメラを回転させる被写体自動追跡装置が記載されている。特許文献１の被写体自動追跡装置は、ズームの位置が望遠である場合にはカメラの回転速度を速やかにし、広角である場合にはゆるくして被写体を効果的に追跡して撮影することができるようにしたものである。

また特許文献２には、肌色領域の検出を行い、検出された領域を追尾枠としてWBや露出を制御することで、最適なホワイトバランスや露出制御の性能の向上を行う撮像装置が記載されている。

このように被写体追尾システムや、被写体追尾機能を利用したホワイトバランスや露出の制御等、さまざまな提案がなされている。これら被写体追尾の制御方法としては、動きベクトルが計算される被写体領域におけるフレーム間の画像相関を用いた追尾方法と、画像特徴量をもとに被写体追尾を行なう追尾方法が一般的である。これらのうち、画像相関性を用いた被写体追尾方法では、たとえば、被写体の前を別の移動物体が横切った場合、主要被写体の画像相関が低くなり、横切った被写体を追尾してしまう可能性が高い。また、色味などの画像特徴量による主要被写体追尾方法では、似通った被写体が主要被写体の周りに存在している場合に、主要被写体を追尾し続けることが難しい。

つまり、画像相関性を用いた追尾、画像特徴を用いた追尾のどちらの方法においても、不得意とするシーンが存在するため、これらの手法を組み合わせた追尾方法を用いることが有効である。例えば、基本的に顔検出による追尾（画像特徴を用いた追尾）を行い、顔が横向きになるなど顔検出が不可能になった場合にのみ、画像相関を用いた追尾方法で行うなどの方法で追尾性能を上げることができる。
特開平０６-０５４３２６号公報 特開２００７-１０４２００号公報

しかしながら、上述のような画像特徴と画像相関の組み合わせを用いた被写体の追尾においても、顔検出に失敗してかつ画像相関による追尾中において、主要被写体の画像相関が低くなった場合には追尾続行が不可能になってしまう。例えば、顔検出に失敗した後に画像相関による追尾を行っている最中に、被写体の前を別の移動物体が横切った場合などでは、追尾の続行が不可能となる可能性がある。したがって、画像相関にて追尾を行っている場合において、追尾が成功しているのか侵入物などの影響により追尾が失敗してしまったのかを判断する必要がある。

一般的に、画像相関による追尾が成功しているかを判断する場合、被写体領域の画像相関が小さいとき（フレーム間差分が大きいとき）に被写体追尾に失敗した（被写体をロストした）と判断される。このような判断方法は、例えば監視カメラのような撮影被写体や撮影感度が比較的一定であるような被写体やシーンで追尾を行う場合には十分効果が得られると考えられる。しかしながら、デジタルカメラのように撮影シーンや撮影感度が限定されないような場合には画像相関値のみでの被写体追尾が成功しているかを判断することは困難である。例えば、高感度撮影時でノイズが多く発生しているような場合や、被写体自体に動体が含まれるような、被写体領域に一定値以上の動きがある被写体の場合などでは、画像相関値のみでの被写体追尾が成功しているか判断することは難しい。

本発明は上記課題に鑑みてなされたものであり、多様な撮影シーンや撮影感度において、被写体追尾の成否判断をより正確に行えるようにすることを目的とする。

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
撮像された複数の画像フレームの部分領域における相関度に基づいて、前の画像フレームの追尾対象の部分領域に対応する部分領域を現在の画像フレームにおいて検出することにより、当該画像フレーム間で前記部分領域を追尾する追尾手段と、
前記追尾手段において前記現在の画像フレームにおける前記対応する部分領域に関して取得された相関度を記憶していくことにより、過去の複数の画像フレームの前記対応する部分領域に関する相関度を保存する保存手段と、
前記保存手段で保存された複数の相関度の変化を示す値とあらかじめ定められた閾値との比較により、前記追尾手段による前記部分領域に対する追尾が成功したか否かを判定する判定手段とを備える。

また、上記の目的を達成するための本発明の他の態様による被写体追尾方法は、
追尾手段が、撮像された複数の画像フレームの部分領域における相関度に基づいて、前の画像フレームの追尾対象の部分領域に対応する部分領域を現在の画像フレームにおいて検出することにより、当該画像フレーム間で前記部分領域を追尾する追尾工程と、
保存手段が、前記追尾工程において前記現在の画像フレームにおける前記対応する部分領域に関して取得された相関度をメモリに記憶していくことにより、過去の複数の画像フレームの前記対応する部分領域に関する相関度を保存する保存工程と、
判定手段が、前記メモリに保存された複数の相関度の変化を示す値とあらかじめ定められた閾値との比較により、前記追尾工程による前記部分領域に対する追尾が成功したか否かを判定する判定工程とを有する。

本発明によれば、多様な撮影シーンや撮影感度において、被写体追尾の成否判断をより正確に行えるようになる。

以下、添付の図面を参照して、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態における撮像装置の構成例を示したブロック図である。図１において、ユーザによりユーザインタフェース１０３を介して撮影指示があると、システムコントローラ１０７は、撮影処理を行う。撮影処理において、システムコントローラ１０７は、鏡筒装置１１２の焦点位置や絞り・メカシャッター、ＣＣＤなどのセンサである撮像素子１０１、さらにフラッシュ撮影を行う際の発光装置（不図示）などを制御して撮影を行う。撮影がなされると、撮像素子１０１から画像信号が出力され、ＣＣＤ画像データとしてバッファメモリ１０２に蓄えられる。その後、信号処理回路１１１によって画像生成用の信号処理がなされてＹＵＶ画像が生成され、バッファメモリ１０２に蓄えられる。

画像記録が行われる場合には、バッファメモリ１０２内のＹＵＶ画像は圧縮伸長部１０４に送られる。圧縮伸長部１０４は、ＹＵＶ画像に画像圧縮処理を施してＪＰＥＧファイルを生成する。生成されたＪＰＥＧファイルは記録制御部１０５によって記録媒体１０６に記録される。

また、表示制御部１０８は、バッファメモリ１０２に蓄えられたＹＵＶ画像や、システムコントローラ１０７の指令に応じて表示画像データを生成する。Ｄ／Ａ部１０９は生成された表示画像データをアナログ信号に変換し、モニタ装置１１０に表示する。

また、顔検出部１２０は、バッファメモリ１０２に蓄えられたＹＵＶまたはＣＣＤ画像データから顔検出を行い、画像中の座標位置を含む顔検出情報を出力する。顔検出部１２０にて顔検出が成功した場合には、システムコントローラ１０７は、表示制御部１０８に対して顔位置に顔枠（被写体枠）を表示するように指示する。

また動画撮影や電子ビューファインダ（ＥＶＦ）において被写体追尾を行う場合には、被写体追尾部１２１が、システムコントローラ１０７から被写体枠の画像上の位置を取得する。そして、被写体追尾部１２１は、撮像された画像フレーム間の、被写体枠によって特定される部分領域（被写体領域とも言う）における相関度に基づいて、当該部分領域を追尾することで当該被写体の追尾を実現する。そして、被写体追尾部１２１は、その被写体枠によって示される被写体領域の動きベクトルを算出してシステムコントローラ１０７に出力する。システムコントローラ１０７は、この動きベクトルに基づいて被写体枠の位置を変更して、その変更を表示制御部１０８へ通知する。

システムコントローラ１０７が最初に被写体枠を決定する際は、顔検出部１２０が顔検出した結果（顔検出情報）が用いられてもよいし、ユーザインタフェース１０３により指定されたユーザ指定領域などが用いられてもよい。また、顔検出以外の物体認識結果の位置が用いられてもよい。本実施形態においては、顔検出情報に基づく顔検出結果領域を追尾する手法について説明を行う。

なお、上述した各部の機能の一部もしくは全ては、コンピュータ（ＣＰＵ）が不図示のプログラムメモリに記憶されたプログラムを実行することにより実現されてもよい。

図６は本実施形態の撮像装置における、画像相関による被写体追尾処理を説明するフローチャートである。

ステップＳ２０１において、システムコントローラ１０７は、撮像素子１０１から取得されバッファメモリ１０２に保持された画像（現在フレームの画像）を取得し、不図示の画像メモリ上に展開する。顔検出部１２０は、展開された画像について顔検出処理（図４等により後述）を行う。ステップＳ２０２において、当該画像について顔検出部１２０による顔検出が成功したか否かを判定する。顔検出部１２０による顔検出に成功した場合は、当該顔検出の結果を追尾結果として用いるため、画像相関による追尾を終了する。一方、顔検出が失敗した場合においては、画像相関による追尾処理を行うため、処理をステップＳ２０３へ進める。

ステップＳ２０３において、システムコントローラ１０７は、前フレームにおける被写体領域（被写体枠で特定される部分領域）を取得し、被写体追尾部１２１にセットする。ステップＳ２０４において、被写体追尾部１２１は、前フレームと現在フレームとの部分領域に関する画像相関を計算する。そして、ステップＳ２０５にて、被写体追尾部１２１は、計算された画像相関に基づいて前フレームの被写体領域と追従関係にある部分領域を現在フレームより検出し、その動きベクトルを算出する。ステップＳ２０６において、システムコントローラ１０７は、被写体追尾部１２１によって算出された動きベクトル量分だけ被写体枠を移動した座標を算出し、被写体枠の表示位置を修正する。

ステップＳ２０７において、システムコントローラ１０７は、前フレームの被写体領域の画像と、現在フレームにおける追尾検出後の被写体領域のフレーム間差分値を算出する。なお、このフレーム間差分値はステップＳ２０４で算出された画像相関の逆数を用いてもよい。ステップＳ２０８において、システムコントローラ１０７は、ステップＳ２０７で算出されたフレーム間差分値を複数フレーム分保存する。ステップＳ２０９において、システムコントローラ１０７は、ステップＳ２０８で蓄積された過去のフレーム間差分値から、侵入物検出評価値を算出する。たとえば、評価中のフレーム（現在フレーム）から所定数のフレームの範囲で差分値の最大値と最小値を選択し、その差分を動き評価値として算出し、これを侵入物検出評価値として用いる。

図８は侵入物検出評価値の算出方法の一例を示した図である。具体的な例としては、過去の複数フレーム（図８では２２フレーム分）の被写体領域のフレーム間差分値を算出し、その中から、最大値と最小値を選択する。もちろん、動き評価値は、そのような差分に限られるものではなく、フレーム間差分値の最大値と最小値の倍率値を用いてもよい。なお、図８において、縦軸はフレーム間差分値を用いており、値が小さいほど被写体枠内の画像が類似している（画像相関が高い）ことを示している（図９、図１０においても同様）。

ステップＳ２１０において、システムコントローラ１０７は、ステップＳ２０９で算出される評価値により追尾に失敗したか否か（追尾ロストか否か）を判定するために用いられる検出閾値を決定する。この検出閾値は、カメラの撮影条件や撮影シーンなどに応じて、適応的に設定される。

図９はＩＳＯ１００とＩＳＯ４００でのフレーム間差分値のフレーム毎の推移を示したグラフである。このグラフで示されているように、感度が高くなるに応じて、光ショットノイズや暗電流成分によるランダムノイズが増幅されるため、フレーム間差分値が大きくなる。

この例でもわかるように、感度に応じてノイズ量が変わるため、フレーム間差分値の絶対値での追尾の成否の検出はできない。したがって、最近の過去の所定数の複数のフレーム中における画像差分値の最大値や最低値との差分を検出閾値と比較することで、追尾が失敗しているシーン（画像差分値が大きくなったシーン）を精度高く検出することが可能となる。なお、比較する対象として、追尾開始直後における所定数フレーム分のフレーム間差分値の平均値といった追尾開始直後のフレーム間差分値の定常値と対象フレームにおけるフレーム間差分値との差分を検出閾値と比較するようにしてもよい。

また同様にカメラ（センサ個体）のノイズ量またはそれに順ずるような値に依存して上記の検出閾値が決定されてもよい。例えば、ノイズ量としてはダークノイズや光ノイズが挙げられる。ダークノイズには、例えば、遮光して撮影された画像信号値の標準偏差値を用いることができる。また、光ノイズには、例えば、チャート類を撮影し、そのチャート部分の標準偏差値をノイズ量として用いることができる。これらのノイズ量は、出荷時等においてあらかじめ設定されてもよいし、これらノイズを計測するモードを撮像装置に設けてもよい。更に、例えば、ノイズ量はセンサ出力に対するゲイン量に依存するため、撮像装置の感度を調整するためのゲイン設定値などに上記の閾値が依存しても良い。

また、一般的なカメラにおいて撮影感度は、画像フレーム内から得られた輝度に対して領域別に重み付けをして得られた被写体輝度値（Ｂｖ値）に依存するため、検出閾値をＢｖ値に応じて可変しても良いことは言うまでもない。また、検出閾値は画像フレーム内の被写体領域のみの輝度である画像輝度値（Ｙ値）に応じて設定されてもよい。被写体領域の輝度値が高くなっていると、フレーム間差分値の値も大きくなるため、被写体領域の画像輝度値に応じて検出閾値を可変しても良いことは言うまでもない。逆に、検出閾値を変更せずに、被写体領域の輝度値の平均値で画像差分値を正規化してもよい。またそれ以外にも、例えば焦点距離が長くなると被写体が画角から出る可能性が高いため、検出閾値を低めにしてもよい。また、被写体の追従枠（被写体枠）のサイズが大きくなるほどフレーム間差分値が大きくなるため、被写体枠の画像サイズやピクセル毎に検出閾値を設定してもよいし、フレーム間差分値を被写体枠内の画素数で平均値化してもよい。また、フレームレートをあげるほどフレーム間で被写体が動ける度合いが小さくなるため、フレームレートをあげるほど検出閾値を低く設定してもよい。以上のように、検出閾値は、撮影感度、ゲイン設定値、センサ個体のノイズ量、被写体輝度（Ｂｖ値）、被写体領域の画像輝度値（Ｙ値）、フレームレートの少なくともいずれかによって決定され得る。

図１０は、フレーム数が経過した場合にフレーム間の画像相関が下がっている例（フレーム間差分値が上がっている例）を示している。これは、追尾開始直後は被写体追尾が成功していたとすると、それと比較して画像相関が大幅に低くなっていることを示しており、具体的には被写体追尾が失敗して他の物体や平面的なものに追尾枠が追従している可能性が高い。

これからもわかるように被写体追尾が成功している間は、追尾を開始してから時間の経過とともに、フレーム間差分値が一定レベルにあるか、または小さくなることが予想される。

この例のように、画像差分の最大値と最小値の時間的な関係において最大値のほうが遅くなった場合には、追尾に失敗している可能性が高い。したがって、フレーム間差分値が下降している場合（画像相関が上昇している場合）の検出閾値（図８で用いた検出閾値）よりも小さい検出閾値を設定し、時間的にフレーム間差分値が上昇する場合にはその検出閾値との比較により追尾に失敗していると判断する。

図１１は、前述したような侵入物検出閾値の設定例を示しており、感度が高くなるにつれて検出閾値が高くなっており、また被写体領域の画像輝度値（Ｙ値）に応じて検出閾値が高くなっている様子を示している。図１１では、時系列的にフレーム間差分値が下降しているとき（画像相関が上昇しているとき）の閾値（下降系）と、時系列的にフレーム間差分値が上昇しているとき（画像相関が下降しているとき）の閾値（上昇系）の両方が設定されている。

以上のように、フレーム間差分値の最大値を得た画像フレームが最小値を得た画像フレームよりも時間的に後である場合と、フレーム間差分値の最大値を得た画像フレームが最小値を得た画像フレームよりも時間的に前である場合とで、検出閾値を変える。例えば、時間的に古いフレーム間差分値に対して新しいものが第１の検出閾値より大きくなっていることを、また、時間的に古いものに対して新しいものが第１の検出閾値より大きい第２の検出閾値を超えて小さくなっていることを検出する。たとえば、上りは被写体領域に侵入物が入ってきたことを、下りは被写体領域に入っていた侵入物が出ていった、または被写体領域の動きが止まったことを検出するため、閾値を変えることが好ましい。

図６に戻り、ステップＳ２１２において、システムコントローラ１０７は、ステップＳ２０９で算出された評価値とステップＳ２１０で決定された検出閾値とを比較して、追尾がロストしたか否かを判定する。本実施形態においては、フレーム間差分値の最近の過去２２フレームにおける最大値と最小値との差分と、検出閾値とを比較して、検出閾値よりも大きい場合に侵入物があった、すなわち追尾がロストしたと判定する。以上のようにして、システムコントローラ１０７は、追従領域に関して保存された複数の相関度の変化量に基づいて、被写体に対する追尾を続行するか否か（追尾が成功したか否か）を判定する。

ステップＳ２１３において、追尾が成功したと判定された場合には、処理はステップＳ２０１に戻り、追尾が失敗したと判定された場合には処理はステップＳ２１４に進む。ステップＳ２１４にて、システムコントローラ１０７は、表示制御部１０８に被写体枠を消去するよう指示し、追尾を終了する。表示制御部１０８は、被写体枠を消去する指示に応じてモニタ装置１１０に表示されている被写体枠を消去する。

次に顔検出部１２０による顔検出方法について説明する。顔検出方法としては、
・ニューラルネットワークに代表される学習を用いた方法、
・目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングを用いた手法、
・肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法、
など、多数の方法が提案されており、一般的にはそれらの方法を複数組み合わせて顔認識が行われる。

現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法や、テンプレートマッチング等を組み合わせた方法などが代表的である。

本実施形態においては、顔検出方法としてどのような手法を採用してもかまわないが、その一例を以下に説明する。図４は本実施形態による顔検出処理を示すフローチャートであり、図３は顔検出の具体的内容を説明した図である。図３において顔検出する対象画像を図３の（ａ）とする。ステップＳ１０１において、顔検出部１２０は、画像中の肌色の領域を抽出する肌色領域抽出処理を行う。図２はCIELABのLab色空間における代表色を示した色度図であり、その中の楕円２０１は、肌色である可能性が高い領域である。図３の（ｂ）は、肌色領域の色度である領域を画像中から抽出した様子を示した図である。ステップＳ１０２において、顔検出部１２０は、画像に対してハイパスフィルタを作用させる。図３の（ｃ）は、（ｂ）の画像に対してハイパスフィルタによる処理を施した画像である。このようなハイパスフィルタ処理には、例えば図５に示したような係数を持つ２次元ハイパスフィルタを用いればよい。

ステップＳ１０３において、顔検出部１２０は、テンプレートマッチングを行い画像中における目の検出を行う。ステップＳ１０４において、顔検出部１２０は、検出された目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量抽出を行う。こうして、顔検出部１２０は、画像中から顔の領域を検出し、顔検出情報を生成して出力する。

次に、本実施形態の被写体追尾に用いられるフレーム間差分値の算出方法について説明する。なお、被写体の相関性および動きベクトルを検出する方法は多数提案されており、いずれの方法を用いてもよいが、ここではもっとも単純な方法について説明する。

図７は、本実施形態の被写体追尾部１２１による画像相関を算出する処理を示すフローチャートである。

ステップＳ３０１で、被写体追尾部１２１は、相関をとる元となる基準部分領域の画像データを取得する。本実施形態においては、前フレームの被写体枠において特定される部分領域の画像であり、追尾開始時では顔検出部１２０により検出された顔領域やユーザ指定された領域に対応する被写体枠が、追尾後では動きベクトルにより移動した被写体枠がこれに相当する。次に、ステップＳ３０２において、被写体追尾部１２１は、画像相関をとる現在フレームを取得する。

ステップＳ３０３で、現在フレームにおいて、被写体枠の位置を垂直、水平、斜め方向のいずれかにずらし、現在フレームにおける被写体枠内の画像データを、追尾対象の部分領域（対象部分領域）の画像データとして取得する。ここで被写体枠の位置の移動は、あらかじめ定められた画素数を単位として、あらかじめ定められたベクトル移動量検出範囲で行われる。よって、ベクトル移動量検出範囲を大きく設定することで広範囲を見ることができるが、比較対象が増えることで、検出に時間がかかることになる。また、ベクトル移動量検出範囲を狭くすれば、検出スピードは向上するが検出能力が下がる。

ステップＳ３０４において、被写体追尾部１２１は、画素ずらしを行って得られた対象部分領域の画像と基準部分領域の画像との画像差分値を算出する。そしてステップＳ３０５において、被写体追尾部１２１は、ステップＳ３０４での画像差分の絶対値の積分値を取得する。もちろん画像差分の積分値の絶対値が小さいほど画像相関性が高いことは言うまでもない。

ステップＳ３０６において、被写体追尾部１２１は、ステップＳ３０５で取得された相関値がそれまでに取得された相関値の中で最も高い（画素間の差分値が最も小さい）場合、その相関値およびそのときの被写体枠の位置（ずらし量）を保存する。

ステップＳ３０８において、被写体追尾部１２１は、被写体枠の移動をベクトル移動量検出範囲の全範囲について終了したか判断し、終了していない場合には、処理をステップＳ３０３に戻す。他方、ベクトル移動量検出範囲の全てについて画像相関値が算出されていた場合には、ステップＳ３０９にてもっとも相関性が高かった画像相関値とそのときのずらし量（動きベクトル）を算出する。なお、最も相関性が高かった画像相関値があらかじめ定められた閾値に到達していない場合に当該追尾が失敗したとする判断を加えてもよい。

以上説明したように、本実施形態の被写体追尾機能によれば、被写体や環境、カメラの感度設定によらず、追尾性能および失敗可否判断を正確に行うことができる。即ち、被写体追尾を行う際、高感度時のノイズ成分や被写体の背景の動きによって相関値が大きく変動するため、フレーム間の被写体相関値のみで正確に被写体追尾可否判断を行うことは一般には困難であるという課題を解決する。また、本実施形態の被写体追尾処理では、追尾が成功しているか否かの判定をフレーム間差分値の絶対値のみでなく、複数フレームにおけるフレーム間差分値の変化、シーンや被写体や撮像装置の設定に依存した閾値が用いられる。このため、精度良く被写体侵入がされた事を検出し、追尾の状態が成功しているか否かを判定することができることが可能である。無論、フレーム間差分値ではなく画像相関を用いて判定することも可能である。

また、このような被写体追尾機能を利用した撮像装置では、被写体に最適な撮影設定および信号処理、被写体に追尾していることを示す被写体枠の表示／消去を適切に行うことができる。特に、本実施形態の被写体追尾機能によれば、固定パターンノイズや暗いところの画像相関による追尾の判断が適応的にできるため、撮像装置に置ける撮影条件の設定等を精度良く制御することが可能となる。そのような被写体の場合においても追尾の性能を向上させることができ、ユーザの使い勝手を向上させることができる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

実施形態における撮像装置の構成例を示すブロック図である。 CIELab色空間における代表的な色度図において、顔検出に用いられる肌色の領域を示した図である。 実施形態における顔認識方法を説明する図である。 実施形態における顔検出方法を説明するフローチャートである。 実施形態における顔検出処理に用いられるハイパスフィルタの例を示す図である。 実施形態における、画像相関による被写体追尾を説明するフローチャートである。 実施形態における、画像相関値及び動きベクトル量を算出する処理を示すフローチャートである。 実施形態における侵入物検出評価値の算出を説明する図である。 実施形態におけるＩＳＯ感度別の侵入物検出評価値の例を示す図である。 実施形態における侵入物検出評価値の算出を説明する図である。 実施形態における検出閾値の設定例を示す図である。

Claims (8)

1. 撮像された複数の画像フレームの部分領域における相関度に基づいて、前の画像フレームの追尾対象の部分領域に対応する部分領域を現在の画像フレームにおいて検出することにより、当該画像フレーム間で前記部分領域を追尾する追尾手段と、
   前記追尾手段において前記現在の画像フレームにおける前記対応する部分領域に関して取得された相関度を記憶していくことにより、過去の複数の画像フレームの前記対応する部分領域に関する相関度を保存する保存手段と、
   前記保存手段で保存された複数の相関度の変化を示す値とあらかじめ定められた閾値との比較により、前記追尾手段による前記部分領域に対する追尾が成功したか否かを判定する判定手段とを備えることを特徴とする撮像装置。
2. 前記判定手段は、前記保存手段に保存されている前記複数の相関度の最小値と最大値の差分値が前記あらかじめ定められた閾値以下であれば、前記部分領域に対する追尾が成功したと判定し、前記差分値が前記あらかじめ定められた閾値より大きければ、前記追尾手段による前記部分領域に対する追尾が失敗したと判定することを特徴とする請求項１の撮像装置。
3. 前記判定手段は、前記保存手段に保存されている前記複数の相関度の最小値と最大値の倍率値が前記あらかじめ定められた閾値以下であれば、前記部分領域に対する追尾が成功したと判定し、前記倍率値が前記あらかじめ定められた閾値より大きければ、前記追尾手段による前記部分領域に対する追尾が失敗したと判定するを特徴とする請求項１の撮像装置。
4. 前記判定手段は、前記保存手段に保存された相関度のうちの、相関度の最大値を得た画像フレームが相関度の最小値を得た画像フレームよりも時間的に後である場合と、相関度の最大値を得た画像フレームが相関度の最小値を得た画像フレームよりも時間的に前である場合とで、前記閾値を異ならせることを特徴とする請求項２または３に記載の撮像装置。
5. 前記判定手段において用いられる前記閾値を、センサ出力に対するゲイン設定値、センサ個体のノイズ量、被写体輝度値、部分領域の輝度値、フレームレートの少なくともいずれかに基づいて決定する決定手段を更に備えることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 撮像された画像から顔を検出して、検出された顔の領域に基づいて追尾対象の部分領域を設定する設定手段を更に備えることを特徴とする請求項１に記載の撮像装置。
7. 追尾手段が、撮像された複数の画像フレームの部分領域における相関度に基づいて、前の画像フレームの追尾対象の部分領域に対応する部分領域を現在の画像フレームにおいて検出することにより、当該画像フレーム間で前記部分領域を追尾する追尾工程と、
   保存手段が、前記追尾工程において前記現在の画像フレームにおける前記対応する部分領域に関して取得された相関度をメモリに記憶していくことにより、過去の複数の画像フレームの前記対応する部分領域に関する相関度を保存する保存工程と、
   判定手段が、前記メモリに保存された複数の相関度の変化を示す値とあらかじめ定められた閾値との比較により、前記追尾工程による前記部分領域に対する追尾が成功したか否かを判定する判定工程とを有することを特徴とする被写体追尾方法。
8. 請求項７に記載された被写体追尾方法をコンピュータに実行させるためのプログラム。

Images