JP3768073B2 - 物体追跡方法及び物体追跡装置 - Google Patents
物体追跡方法及び物体追跡装置 Download PDFInfo
- Publication number
- JP3768073B2 JP3768073B2 JP2000180185A JP2000180185A JP3768073B2 JP 3768073 B2 JP3768073 B2 JP 3768073B2 JP 2000180185 A JP2000180185 A JP 2000180185A JP 2000180185 A JP2000180185 A JP 2000180185A JP 3768073 B2 JP3768073 B2 JP 3768073B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- template image
- matching
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出し、検出した物体の動きを自動的に追跡するようにした物体追跡方法と、検出した物体の動きに応じて撮像方向を調節するようにした物体追跡装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、TVカメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。このようにして検出された侵入物体の位置に相当する入力画像の部分画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ広く知られ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP149〜P153で解説されている。
通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。これらの処理を図４〜図７によって説明する。
【０００４】
図４は差分法を用いた侵入物体検出処理の一例を表すフローチャート、図５はテンプレートマッチングを用いた侵入物体追跡の一例を表すフローチャート、図６は、図４と図５で表される侵入物体検出処理から初期のテンプレート画像登録までの流れを画像の例によって説明するための図である。また図７は、図５で表される侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、一定の時間間隔で入力された画像が初期に与えられたテンプレート画像をもとにどのように実行されていくか（初期のテンプレートがどのように変化していくか）を説明する図である。
【０００５】
図６で、601は入力画像、609は入力画像601中の人型の物体、602は基準背景画像、606は差分処理部、603は差分処理部606において差分処理された後の差分画像、610は人型の物体609に相当する差分画像603中の人型の差分画像、607は二値化処理部、604は二値化処理部607によって二値化処理された差分画像603の二値化画像、611は人型の差分画像610に相当する二値化画像604中の人型物体（人型の二値化画像）、612は人型の二値化画像611の外接矩形、608は画像抽出部、605は入力画像601から外接矩形612の囲む領域をテンプレート画像として切出すことを説明する画像、613は入力画像601から切出した初期テンプレート画像である。
【０００６】
図４と図６において、まず、TVカメラから例えば320×240画素の入力画像601を入力する（画像入力ステップ401）。次に、差分処理部606において、入力画像601と、予め作成した基準背景画像602との画素毎の差分を計算し、差分画像603を取得する。この時、入力画像601中の人型の物体609は差分画像603中に、人型の差分画像610として現れる（差分処理ステップ402）。そして、二値化処理部607において、差分画像603の各画素に対しての差分値が所定のしきい値以下の画素の値を“0”、しきい値以上の画素の値を“255”（1画素を8ビットとして）に置換えて、二値化画像604を得る。この時、入力画像601に撮像された人型の物体609は、二値化画像604中の人型物体611として検出され、人型物体611の外接矩形612が生成される（二値化処理ステップ403）。
次に物体存在判定ステップ404では、画像抽出部608において、二値化画像604中で画素値が“255”となった画素のかたまりを検出し、画素値が“255”となる画素のかたまりが存在する場合は物体検出処理を終了し存在したかたまりの外接矩形に相当する入力画像に部分画像を初期テンプレート画像613として後述の画像メモリ305（図３）に登録し、存在しない場合は画像入力ステップ401へ分岐する。
【０００７】
物体追跡処理の流れを図５に従って説明する。図５の物体検出処理ステップ101と初期テンプレート登録ステップ102とにおいて、図４と図６で説明したように物体検出処理と初期テンプレート画像の登録がなされた後の処理について図７を用いて説明する。
図４と図６で説明した物体検出処理が終了した後は、図５に示すフローチャートに従って物体追跡処理がなされる。
図７で、701aは時刻t0-1において更新された物体のテンプレート画像、701は時刻t0-1での入力画像におけるテンプレート画像701aの位置を示す図、702は時刻t0での入力画像、702aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、702bは１フレーム前（t0-1）でのテンプレート画像の位置、702cはテンプレートマッチング処理（例えば、図５のフローチャート）で探索する探索範囲、702dは時刻t0-1からt0まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像702aの中心位置へ向かう矢印）、702eはテンプレートマッチング処理で人型物体を検出した位置、703aは時刻t0で更新された物体のテンプレート画像、703は時刻t0での入力画像におけるテンプレート画像703aの位置を示す図、704は時刻t0+1での入力画像、704aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、704bは１フレーム前（t0）でのテンプレート画像の位置、704cはテンプレートマッチング処理で探索する探索範囲、704dは時刻t0-1からt0+1まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置を経由して704aの中心位置へ向かう矢印）、705aは時刻t0+1で更新された物体のテンプレート画像、705は時刻t0+1での入力画像におけるテンプレート画像705aの位置を示す図、706は時刻t0+2での入力画像、706aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、706bは１フレーム前（t0+1）でのテンプレート画像の位置、706cはテンプレートマッチング処理で探索する探索範囲、706dは時刻t0-1からt0+2まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置を経由して706aの中心位置へ向かう矢印）、707aは時刻t0+2で更新された物体のテンプレート画像、707は時刻t0+2での入力画像におけるテンプレート画像707aの位置を示す図、708は時刻t0+3での入力画像、708aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、708bは１フレーム前（t0+2）でのテンプレート画像の位置、708cはテンプレートマッチング処理で探索する探索範囲、708dは時刻t0-1からt0+3まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置、テンプレート画像707aの中心位置を経由して708aの中心位置へ向かう矢印）である。
【０００８】
即ち、図５と図７において、物体追跡処理が開始され、二値化画像604中に物体が存在すると判定され、物体検出処理ステップ101を終了する（図４）。そして、二値化画像604中の人型の二値化画像のかたまりの外接矩形に相当する入力画像601の部分画像を、初期テンプレート画像613（図７のテンプレート画像701a）として画像メモリ305（図３）に登録する（初期テンプレート登録ステップ102）。続いて、逐次入力される入力画像中の探索範囲702c内でテンプレート画像701aと一致度r(Δx,Δy)が最大となる部分画像702aを検出する（テンプレートマッチッングステップ103）。
即ち、テンプレートマッチッングステップ103では、最大一致度と、その最大一致度が求められた位置とを得る。
【０００９】
この一致度r(Δx,Δy)を算出する方法として、例えば以下の式(1)で得られる正規化相関と呼ばれる指標を用いることができる。
【数１】
【００１０】
ここで、入力画像702に対してテンプレートマッチングを行なった場合、f(x,y)は入力画像702、ft(x,y)はテンプレート画像701a、（x0,y0）は登録したテンプレート画像701aの左上の座標（画像は左上を原点としている）、Dtはテンプレートの探索範囲702cを表し、探索範囲702c内にテンプレート画像701aとまったく同じ画素値を持つ画像が存在した場合には、一致度r(Δx,Δy)は“1.0”となる。テンプレートマッチングステップ103では、この式(1)で表される指標を(Δx,Δy)∈Dで表される探索範囲702cに対して計算し、その中で一致度r(Δx,Δy)が最大となる位置（外接矩形）702aを検出する。この探索範囲702cは、対象物体の見かけの移動量によって決定される。例えば、速度40km/hで移動する物体を、50m離れたTVカメラ（素子サイズ6.5mm×4.8mmのCCD、焦点距離25mmのレンズ、入力画像サイズ320×240画素（pix）。処理間隔0.1frame/sec）で監視する場合、水平方向の物体の見かけの移動量は27.4pix/frame、垂直方向は27.8pix/frameとなり、Dを-30pix＜Δx＜30pix,-30pix＜Δy＜30pix程度に設定すればよい。
尚、一致度の算出方法は上述の正規化相関の指標に限られるものではない。例えば、入力画像とテンプレート画像間で各画素毎の差をとって、その絶対値の累積値の逆数を一致度としてもよい。
【００１１】
次に、最大一致度判定ステップ104では、テンプレートマッチングステップ103において、テンプレート画像701aと一致度が最大となる入力画像702の位置に、物体が移動した（外接矩形702bから外接矩形702aに移動した）と判断したあと、次に、最大一致度が所定値以下に低下した場合（例えば“0.5”未満）、入力画像中に対象物体がいなくなったものとして、物体検出処理ステップ101へ分岐し、最大一致度が所定値以上であった場合（例えば“0.5”以上）は、テンプレート更新ステップ106へ分岐する。
テンプレート更新ステップ106では、入力画像中の探索範囲702c内でテンプレート画像701aと一致度r（△x,△y）が最大となる部分画像702aを使ってテンプレート画像701aをテンプレート画像703aに更新する。ここで、テンプレート画像を更新する理由は、対象物体の姿勢が変化（例えば、対象物体の人が手を上げたり、腰を曲げたり、足を上げたりして画像が変化）し、テンプレート画像を更新しないと一致度が低下してしまい、追跡結果の信頼性が低下するためである。従って、検出された物体の位置の部分画像702eを新たなテンプレート画像703aとして更新し、対象物体が姿勢を変えた場合でも安定な追跡を行なうようにしている。
【００１２】
上述の実施例では、差分法によって検出した侵入物体について作成したテンプレート画像は、検出した画素のかたまりの外接矩形を取り込み、この外接矩形に囲まれた部分画像をテンプレート画像として切出した。
しかし、切出すテンプレート画像のサイズの決定方法はこの方法に限らない。例えば、外接矩形に一定の定数（例えば、0.8、または1.1等）を乗算してもよい。
更に、撮像素子としてCCD（Charge Coupled Device）を使用した場合には、CCDのサイズ、レンズの焦点距離、CCDから検出する物体の距離によって、対象とみなす物体の大きさを予め算出できるので、算出した大きさをテンプレート画像サイズとすることもできる。
【００１３】
次に、カメラ雲台制御ステップ107に移る。
図１０は入力画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図である。図１０に言及して、カメラ雲台制御ステップ107について説明する。
カメラ雲台制御ステップ107では、テンプレートマッチングによって検出された対象物体の位置と入力画像中央との変位、即ち、カメラの光軸（カメラの視野方向）に対して対象物体が存在する方向に基づいてカメラ雲台302のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対象物体の中心位置（x0＋△x＋dx/2,y0＋△y＋dy/2）（（dx,dy）はテンプレート画像の大きさを表す）と入力画像の中心位置（160,120）（画像サイズを320×240とする）とを比較し、検出された対象物体の中心位置が入力画像の中心位置に対して左側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、右側に位置する場合はカメラ雲台のパンモータをカメラの光軸方向が右に移動するように制御する。また、検出された対象物体の中心位置が入力画像の中心位置に対して上側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が上に移動するように制御し、下側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が下に移動するように制御する。
尚、パンモータ、チルトモータは同時に制御可能で、例えば、検出された対象物体の中心位置が入力画像の中心位置に対して左上側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、かつ、チルトモータをカメラの光軸方向が上に移動するように同時に制御する。このようにすることで、カメラの光軸上に対する対象物体を捉えるようにカメラ雲台を制御することが可能となる。
次に、警報・モニタ表示ステップ108では、例えば対象物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに対象物体の画像を表示したりする。
【００１４】
警報・モニタ表示ステップ108が終わると、画像入力ステップ401に戻り、新しい入力画像を得て、この現時刻での入力画像に対して再びテンプレートマッチッング処理を行う。即ち、時刻t0での入力画像702により更新したテンプレート画像703aと、時刻t0+1での入力画像704とによりテンプレートマッチング処理を行う。この時、探索範囲704cは時刻t0で更新されたテンプレート画像704bを中心とした位置に移動しており、新しい探索範囲で検索が行われる。そして、最大の一致度を持った物体が検出され、その検出された物体の位置704aを元に新しいテンプレート画像705aが生成される。
以上のように、対象物体が存在する間は、ステップ401，ステップ103，ステップ104，ステップ106，ステップ107，ステップ108の処理を繰返し、新しいテンプレート画像706a、708aと次々にテンプレート画像が更新されながら、対象物体を追跡し続ける。
【００１５】
前述のテンプレートマッチングを用いた侵入物体の追跡法では、入力画像中でテンプレート画像と一致度が最大となる部分を検出する処理であるため、一時的に対象物体が物陰などに隠れると対象物体を見つけられなくなる。また、視野内に複数の動く物体（動物体）が存在する場合で、対象物体が別の動物体の背後に隠れてしまう場合、テンプレート画像の更新を行うと、対象物体の前面にある物体をテンプレート画像として更新してしまい、対象物体の追跡ができなくなる。
【００１６】
対象物体の追跡ができなくなる一例を図８を用いて説明する。図８は、侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、複数の動物体が重なって撮像された場合の追跡状態を説明する図である。801aは時刻t0-1において更新された物体のテンプレート画像、801は時刻t0-1での入力画像におけるテンプレート画像801aの位置を示す図、802は時刻t0での入力画像、802aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、802bは時刻t0に撮像された別の動物体、803aは時刻t0でのテンプレート画像、803は時刻t0での入力画像におけるテンプレート画像803aの位置を示す図、804は時刻t0+1での入力画像、804aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、804bは時刻t0+1に撮像された別の動物体、805aは時刻t0+1で更新された物体のテンプレート画像、805は時刻t0+1での入力画像におけるテンプレート画像805aの位置を示す図、806は時刻t0+2での入力画像、806aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、806bは時刻t0+2に撮像された別の動物体、807aは時刻t0+2で更新された物体のテンプレート画像、807は時刻t0+2での入力画像におけるテンプレート画像807aの位置を示す図、808は時刻t0+3での入力画像、808aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、808bは時刻t0+3に撮像された別の動物体である。
【００１７】
図８においては、時刻ｔ1-1で差分法によって検出された追跡対象物である人型の物体のテンプレート画像801aをもとに、逆方向から歩いてくる別の人型物体と交差する時の追跡処理がどのように実行されていくかを説明している。時刻t1では、登録したテンプレート画像801aを用いて入力画像802についてマッチング処理を行ない、対象物体の移動した位置802aを検出すると共に、テンプレート画像801aを図803の位置にあるテンプレート画像803aに更新する。この時、別の人型物体802bは離れているのでテンプレートマッチングでの交差の問題は発生しない。しかし、時刻t1+1と時刻t1+2では、別の移動物体804b，806bが対象物体の前を横切り、時刻t1+1の入力画像804では何とか対象物体の位置804aは正しい位置に認識できたが、時刻t1+2の入力画像806では対象物体の位置806aは別の物体806bとほぼ重なっているため、どちらか分らなくなり、テンプレート画像805a，807aと更新していく度に、前を横切った人型物体の画像がテンプレート画像の中に入り込む。即ち、本来の対象物体がテンプレート画像に占める割合より、別の動物体がテンプレート画像に占める割合が大きくなる。そして遂には、時刻t1+3では、前を横切った人型物体808bを対象物体の位置808aとして認識してしまい、以降はこの別の人型物体を追跡してしまうことになる。従って、テンプレートマッチングを用いた物体追跡法は、対象物体の前を別の物体が横切った場合には、対象としている物体を追跡している保証ができず、安定な追跡が行なうことができない。
【００１８】
同様のことは、別の動物体が存在していなくても起る。即ち、対象物体が遮蔽物の陰に隠れてしまう場合である。この場合には、、テンプレート画像に占める対象物体の割合が落ちるため、追跡がその時刻で終了してしまうことになるか、または、テンプレート画像が更新された時点で、対象物体と異なるテンプレート画像に更新されてしまうため、次の時刻での追跡が困難となる。
【００１９】
【発明が解決しようとする課題】
前述の従来技術には、対象物体の前を相対的に別の物体が横切る場合には、正確に追跡できない欠点があった。
本発明の目的は、上記のような欠点を除去し、対象物体の前を相対的に別の物体が横切る場合にも、正確に物体を検出および追跡することができる、信頼性の高い物体追跡方法を提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の物体追跡方法は、撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、検出した物体を追跡する物体追跡方法において、所定数のテンプレート画像を保存及び更新する複数テンプレート保存ステップと、現時刻に取得した入力画像と、所定数のテンプレート画像それぞれとのテンプレートマッチングを行い、所定数のテンプレート画像それぞれについて、最大一致度と、その最大一致度が求められる位置とを取得するマッチングステップと、マッチングステップによって取得した最大一致度の中で、最大一致度が一番大きいテンプレート画像について最大一致度を求められる位置を、検出物体の位置として補正する位置補正ステップと、現時刻に取得した入力画像の中から、位置補正ステップによって補正された位置の部分画像を切出し、複数テンプレート保存ステップによって、所定数のテンプレート画像のいずれかを更新するテンプレート更新ステップとを備えて、検出した物体を追跡する。
【００２１】
また、本発明の物体追跡方法において、所定数のテンプレート画像は、互いに異なった時刻の入力画像から切出され、保持される。
更に、テンプレート更新ステップで更新されるテンプレート画像は、保持された所定数のテンプレート画像のうち、最も古い時刻に切り出されたテンプレート画像であるか、または、一致度が最も低いテンプレート画像である。
【００２２】
更にまた、本発明の物体追跡方法において、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を初期テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
また、位置補正ステップにおいて、取得した最大一致度すべてが所定の値未満であれば、差分法によって、現時刻の入力画像から物体を検出し、検出した物体を追跡対象物体として追跡する。
【００２３】
更に本発明の物体追跡方法において、位置補正ステップによって検出された位置に基づいて、撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、制御信号によって撮像装置の視野方向を検出された位置に常に向けて、検出した物体を追跡する。
また、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を前記テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
【００２４】
また本発明の物体追跡装置は、監視対象範囲を撮像する撮像装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、画像入力インターフェースによって変換された画像信号を処理する画像処理手段と、テンプレート画像として登録された複数の画像を保存する手段とを備え、画像処理手段は、撮像装置から現時刻に入力した画像信号を、あらかじめ保存された複数のテンプレート画像それぞれによってテンプレートマッチングを行ない、テンプレートマッチングによってそれぞれ得られた複数のテンプレート画像それぞれの最大一致度の中で、一番大きな最大一致度を得るテンプレート画像について取得する部分画像の位置を検出物体の位置とし、同時に、検出物体の位置の部分画像を新たなテンプレート画像として更新することにより、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２５】
また、本発明の物体追跡装置は、撮像装置の視野方向を変えるための雲台と、画像処理手段によって撮像装置の視野方向を変えるために雲台を制御するための制御信号を供給する雲台制御インターフェースとを備え、画像処理手段が、物体の現時刻の検出位置に基づいて、物体の方向を検出し、得られた方向から雲台制御インターフェースを介して、撮像装置の視線方向を調節し、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２６】
【発明の実施の形態】
本発明の物体追跡方法では、複数の物体がすれ違うとマッチングの一致度が低くなる特徴を利用し、テンプレートマッチングに使用するテンプレート画像を追跡処理の過程で複数フレーム保持するようにし、異なる時刻に得られた複数のテンプレート画像それぞれに対して独立にマッチングを行ない、最も一致度が高いテンプレート画像に基づいて対象物体を追跡する。
即ち、本発明は、差分法によって物体を検出し、検出物体の画像をテンプレートとして所定フレーム数分保持し、それぞれのテンプレートに対してテンプレートマッチングを行ない、一致度が最大となるテンプレート及びその位置を検出することで、特に対象物体の前を別の物体が横切った場合でも安定に追跡をすることができる。
【００２７】
図３に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。301はTVカメラ、303は画像入力I/F、313はデータバス、305は画像メモリ、306はワークメモリ、307はCPU、308はプログラムメモリ、302はカメラ雲台、304は雲台制御I/F、309は出力I/F、310は画像出力I/F、311は警告灯、312は監視モニタである。TVカメラ301は画像入力I/F303に接続され、カメラ雲台302は雲台制御I/F304に接続され、警告灯311は出力I/F309に接続され、監視モニタ312は画像出力I/F310に接続されている。画像入力I/F303、雲台制御I/F304、画像メモリ305、ワークメモリ306、CPU307、プログラムメモリ308、出力I/F309及び画像出力I/F310は、データバス313に接続されている。また、TVカメラ301はカメラ雲台302に取付けられている。
【００２８】
図３において、TVカメラ301は監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力I/F303からデータバス313を介して画像メモリ305に蓄積される。CPU307はプログラムメモリ308に保存されているプログラムに従って、ワークメモリ306内で画像メモリ305に蓄積された画像の解析を行なう。CPU307は、処理結果に応じてデータバス313から雲台制御I/F304を介してカメラ雲台302を制御してTVカメラ301の撮像視野を変えたり、出力I/F309を介して警告灯311を点灯し、画像出力I/F310を介して監視モニタ312に、例えば侵入物体検出結果画像を表示する。尚、画像メモリ305は、登録されたテンプレート画像を保存しておくためのテンプレート画像保持装置をも備えている。
【００２９】
以降に説明するフローチャートは、すべて上記図３で説明した物体追跡監視装置のハードウエア構成を使って説明する。
本発明の第１の実施例を図１によって説明する。図１は本発明の一実施例の処理プロセスを説明するフローチャートである。図１は図５で示したテンプレートマッチング法の処理プロセスにテンプレート位置補正ステップ105を追加したものである。ステップ101、102、401、103、104、106、107、108については、図４と図５によって説明したものと同じであるので説明を省略する。
【００３０】
本発明の一実施例を図１によって説明する。図１は、本発明の処理プロセスの一実施例を表すフローチャートである。図１は図５で説明した従来のテンプレートマッチング法の処理プロセスにおいて、最大一致度判定ステップ104とテンプレート更新ステップ106の代りに、分岐ステップ201、最大一致度判定ステップ104′、テンプレート位置補正ステップ105、複数テンプレート保存ステップ202とを置いて構成したものである。ステップ101、102、401、103、107、108については、図４と図５によって説明した従来技術のものと同じであるので説明を省略する。
【００３１】
図１において処理が開始されると、既に説明した物体検出処理101からテンプレート登録ステップ102によって、時刻t0-1における入力画像から取得した画像を時刻t0-1のテンプレート画像として登録し、画像入力ステップ401で時刻t0における入力画像を取得した後、テンプレートマッチング処理103に進む。
次に、テンプレートマッチング処理ステップ103では、保存された時刻t0-1のテンプレート画像と、時刻t0における入力画像とテンプレートマッチング処理がなされる。そして、分岐ステップ201を通り、最大一致度判定ステップ104´に進む。
【００３２】
分岐ステップ201では、保存されているすべてのテンプレート画像すべてについてテンプレートマッチング処理がなされているかどうかを調べる。そして、保存しているすべてのテンプレート画像とのテンプレートマッチング処理が終了している場合には最大一致度判定ステップ104′に処理を進め、終了していない場合には、テンプレートマッチッングステップ103に戻る。
【００３３】
そして、再びテンプレートマッチッングステップ103に戻った時、保存されているテンプレートは時刻t0-2のテンプレートと時刻t0-1のテンプレートの２つである（時刻は“+1”進んでいるため“-1”が加えられる）。ここで、テンプレートマッチッングステップ103では時刻t0の入力画像と、先ず時刻t0-1のテンプレートとのテンプレートマッチング処理がなされ、分岐ステップ201に進む。
今、時刻t0-1のテンプレートとのテンプレートマッチング処理がなされたが、まだ時刻t0-2のテンプレートが残っている。従って、この時はステップ103に戻り、時刻t0-2のテンプレートと時刻t0の入力画像とのテンプレートマッチング処理を行う。このようにして、次々と残っているテンプレートとテンプレートマッチング処理を行い、すべてのテンプレートについてテンプレートマッチング処理が終了すれば、分岐ステップ201から処理ステップを最大一致度判定ステップ104´に進める。
【００３４】
最大一致度判定ステップ104´では、テンプレートマッチング処理によって、複数のテンプレート画像それぞれについてに得られた最大一致度の中から一番大きな値を選ぶ。そして、その一番大きな値の最大一致度が所定値以上であった場合にはテンプレート位置補正ステップ105に進み、その一番大きな値の最大一致度が所定値未満であった場合には物体検出処理ステップ101に戻る。
【００３５】
複数テンプレート保存ステップ202では、時刻t0の入力画像で検出された物体の中で、最大一致度判定ステップ104´において一番値の大きい最大一値度を得た位置の部分画像を切出して時刻t0のテンプレートを新たに保存する。
この時、既にテンプレート登録ステップ102において登録された時刻t0-1のテンプレ−ト画像はそのまま保存される。
この複数テンプレート保存ステップ202で保存するテンプレート画像の数は、あらかじめ所定数（例えば、“3”）を定めておき、所定数を超える時は、例えば、一番古い時刻に取得したテンプレートを削除する。
【００３６】
次にカメラ雲台制御ステップ107に処理が進み、カメラ301の視野方向（光軸方向）を対象物体の方向に向ける。
そして次に、警報・モニタ表示ステップ108に処理が移り、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ108が終了すると、画像入力ステップ401に戻り、新しい入力画像を取得し、再びテンプレートマッチッング処理を行う。
【００３７】
上記の本発明の一実施例の効果について、図２を用いて説明する。図２は、侵入物体追跡の流れを、画像の例を用いて説明するための図で、撮像視野内に複数の動物体（人型物体）が重なって撮像された場合の追跡状態を説明する図である。図８で説明した物体追跡方法による物体追跡に比べるために、図８と同じ状況設定である。なお、保存するテンプレートの数は2（“テンプレートマッチングを行うフレーム数”= 2）としている。
【００３８】
901aは時刻t0-1において更新された物体のテンプレート画像、901は時刻t0-1での入力画像におけるテンプレート画像901aの位置を示す図、902は時刻t0での入力画像、902aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、902cは時刻t0に撮像された別の動物体、903aは時刻t0でのテンプレート画像、903は時刻t0での入力画像におけるテンプレート画像903aの位置を示す図、904は時刻t0+1での入力画像、904aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された904bは１つ前の処理時刻（この場合はt0-1）のテンプレート画像がマッチングした位置、904cは時刻t0+1に撮像された別の動物体、905aは時刻t0+1で更新された物体のテンプレート画像、905は時刻t0+1での入力画像におけるテンプレート画像905aの位置を示す図、906は時刻t0+2での入力画像、906aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された906bは１つ前の処理時刻（この場合はt0）のテンプレート画像がマッチングした位置、906cは時刻t0+2に撮像された別の動物体、907aは時刻t0+2で更新された物体のテンプレート画像、907は時刻t0+2での入力画像におけるテンプレート画像907aの位置を示す図、908は時刻t0+3での入力画像、908aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された908bは１つ前の処理時刻（この場合はt0+1）のテンプレート画像がマッチングした位置、908cは時刻t0+3に撮像された別の動物体である。
【００３９】
図８による追跡状況（本発明を適用しない状況）、即ち、対象物体の時々刻々の検出位置の推移は、直前の時刻に（１つ前のフレームで）取得したテンプレート画像によって得られたマッチング位置であるので、図２において各時刻での入力画像902，904，906，908中の実線の矩形画像902a，904a，906a，908aが示していることになる。また、本発明の実施例による追跡状況は、各時刻での入力画像904，906，908中の点線の矩形画像904b，906b，908bである。
【００４０】
入力画像904と906で見るように、複数物体がすれ違った時刻（2つの物体が重なる時刻）にテンプレートの更新を行うと、テンプレート画像中に2つの物体が写込んでしまう。このため、本来の追跡していた物体の画素がテンプレート画像に占める割合が減少する。従って、時刻t0の入力画像902ではまだすれ違っていないため追跡に問題はなく、追跡対象の小さい物体を追跡している。また、時刻to+1における、別の動物体904cと重なり始めた入力画像904では、作成されているテンプレート画像に、まだ別の動物体が写込んでいないため問題とならないので追跡対象をまだ捉えているが、このマッチング位置をもとに作成されるテンプレート画像905aには別の動物体904cが写込んでいる。そしてまた、別の動物体906cとほとんど重なっている入力画像906においても、別の動物体904cが写込んでいる割合が大きいテンプレート画像905aによってマッチングを行った場合の検出位置906aと１フレーム前のテンプレート画像903aを用いてマッチングを行った検出位置906bとは大きな位置ずれはない。しかしこの時点で保存されるテンプレート画像907aは大きい物体906cの画素がテンプレート画像に占める割合が、本来の追跡していた物体の画素がテンプレート画像に占める割合より大きくなるため、大きい物体906cにテンプレート画像が横取りされ、時刻t0+2以降では、大きい物体908cを追跡してしまう。
しかし本発明による結果、以前から保存していたテンプレート画像905aを使ってマッチングを行うため、検出位置908bは本来の追跡対象物体を捉えることができる。
【００４１】
上記のように、図１の実施例によれば、テンプレートマッチングステップ103によって検出された位置をもとに、異なる時刻に得られた所定フレーム数分のテンプレート画像を独立にマッチングさせるため、対象物体の前を別の物体が横切ったり、対象物体が一時的に遮蔽物の影に隠れたとしても、過去の複数のテンプレート画像を対象として、最大の一致度を持つ領域をテンプレートマッチング位置として補正するため、テンプレートの位置が対象物体からずれることがなく、また別の物体を追跡することなく、対象物体を正確に追跡することができる。
【００４２】
次に、本発明の第２の実施例を図９によって説明する。図９は、本発明の処理プロセスの一実施例を表すフローチャートである。図９は、図１で説明した本発明の第１の実施例を表す処理プロセスにおいて、テンプレートマッチングステップ103、分岐ステップ201、最大一致度判定ステップ104′の代わりに、テンプレートカウンタリセットステップ991、テンプレートマッチングステップ992、最大一致度判定ステップ993、カウンタ増加ステップ994、分岐ステップ995とを置いて構成したものである。その他のステップ101、102、401、106、107、108については、図１によって説明した実施例のものと同じであるので説明を省略する。
【００４３】
図９において、処理が開始されると、既に説明した物体検出処理101から初期テンプレート登録ステップ102によって、時刻to-1における入力画像から取得した画像を時刻t0-1のテンプレートとして登録した後、画像入力ステップ401に進み、新しい画像を得る。
次に、テンプレートカウンタリセットステップ991では、ワークメモリ306内に記憶されているテンプレートカウンタの値iを1に変更する。続いて、テンプレートマッチングステップ992では、保存された時刻t0-i（iは整数）のテンプレート画像と、画像入力ステップ401によって得られた時刻t0の入力画像とテンプレートマッチング処理を行なう。
そして、最大一致度判定ステップ993では、テンプレートマッチングステップ992によって得られた最大一致度が所定値以上であった場合には複数テンプレート保存ステップ106に進み、最大一致度が所定値未満であった場合にはカウンタインクリメントステップ994に進む。
【００４４】
カウンタインクリメントステップ994では、ワークメモリ306内に記憶されているテンプレートカウンタの値iに1を加算（ i=i+1 ）してテンプレートカウンタの値を更新する。次に分岐ステップ995では、ワークメモリ306内に記憶されているテンプレートカウンタの値iが所定の値（例えば、5、この値は、何フレーム前までのテンプレート画像が保存されているかを表す）以上になった場合には物体検出処理ステップ101に戻り、所定の値未満であった場合にはテンプレートマッチングステップ992に戻る。
【００４５】
図９の実施例のよれば、入力画像に対して保存した複数のテンプレート画像を新しい順に（入力画像を取得した時刻に近いテンプレート画像の順に）適用して逐次テンプレートマッチング処理を行ない、一致度が、所定の値以上となった場合にそのマッチング位置を対象物体の存在する位置として判定する。従って、保存したすべてのテンプレート画像に対してテンプレートマッチング処理を行なわなくて済むため、テンプレートマッチング処理に要する計算時間を最低限に抑えることができる。
【００４６】
【発明の効果】
以上のように本発明によれば、監視視野内に複数の動物体が存在したり、対象物体が遮蔽物の陰に一時的に隠れる場合でも、安定に物体を追跡することができ、撮像装置を用いた監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の処理動作を説明するためのフローチャート。
【図２】 本発明の物体追跡方法の一実施例を説明する図。
【図３】 本発明が適用された監視装置の一実施例を示すブロック構成図。
【図４】 従来の差分法による物体検出処理の一例を示すフローチャート。
【図５】 従来のテンプレートマッチング法による物体追跡処理の一例を示すフローチャート。
【図６】 従来の差分法による物体検出処理の動作を説明する図。
【図７】 従来のテンプレートマッチング法による物体追跡処理の動作を説明する図。
【図８】 従来のテンプレートマッチング法による物体追跡処理の問題点を説明する図。
【図９】 本発明の処理プロセスの一実施例を表すフローチャート。
【図１０】 画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図。
【符号の説明】
301：TVカメラ、 302：カメラ雲台、 303：画像入力I/F、 304：雲台制御I/F、 305：画像メモリ、 306：ワークメモリ、 307：CPU、 308：プログラムメモリ、 309は出力I/F、 310：画像出力I/F、 311：警告灯、 312：監視モニタ、 313はデータバス、 601：入力画像、 602：基準背景画像、 603：差分処理された後の差分画像、 604：二値化画像、 605：画像、 606：差分処理部、 607：二値化処理部、 608：画像抽出部、 609：人型の物体、 610：人型の差分画像、 611：人型の二値化画像、 612：外接矩形、 613：テンプレート画像、 701，703，705，707：画像、 701a，703a，705a，707a：テンプレート画像、 702，704，706，708：入力画像、 702a，704a，706a，708a：テンプレートマッチング処理によって検出された物体の位置、 702b，704b，706b，708b：１フレーム前でのテンプレート画像の位置、 702c，704c，706c，708c：探索範囲、 702d，704d，706d，708d：移動矢印、 702e：二値化画像、 801：テンプレート画像801aの位置を示す図、 801a：テンプレート画像、 802：入力画像、 802a：テンプレートマッチング処理によって検出された物体の位置、 802b：別の動物体、 803a：テンプレート画像、 803：テンプレート画像803aの位置を示す図、 804：入力画像、 804a：テンプレートマッチング処理によって検出された物体の位置、 804b：別の動物体、 805a：テンプレート画像、 805：テンプレート画像805aの位置を示す図、 806：入力画像、 806a：テンプレートマッチング処理によって検出された物体の位置、 806b：別の動物体、 807a：テンプレート画像、 807：テンプレート画像807aの位置を示す図、 808：入力画像、 808a：テンプレートマッチング処理によって検出された物体の位置、 808b：別の動物体、 901：テンプレート画像901aの位置を示す図、 901a：テンプレート画像、 902：入力画像、 902a：テンプレートマッチング処理によって検出された物体の位置、 902c：別の動物体、 903：テンプレート画像903aの位置を示す図、 903a：テンプレート画像、 904：入力画像、 904a：テンプレートマッチング処理によって検出された物体の位置、 904b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 904c：動物体、 905：テンプレート画像905aの位置を示す図、 905a：テンプレート画像、 906：入力画像、 906a：テンプレートマッチング処理によって検出された物体の位置、 906b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 906c：別の動物体、 907：テンプレート画像907aの位置を示す図、 907a：テンプレート画像、 908：入力画像、 908a：テンプレートマッチング処理によって検出された物体の位置、 908b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 908c：別の動物体、
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出し、検出した物体の動きを自動的に追跡するようにした物体追跡方法と、検出した物体の動きに応じて撮像方向を調節するようにした物体追跡装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、TVカメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。このようにして検出された侵入物体の位置に相当する入力画像の部分画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ広く知られ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP149〜P153で解説されている。
通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。これらの処理を図４〜図７によって説明する。
【０００４】
図４は差分法を用いた侵入物体検出処理の一例を表すフローチャート、図５はテンプレートマッチングを用いた侵入物体追跡の一例を表すフローチャート、図６は、図４と図５で表される侵入物体検出処理から初期のテンプレート画像登録までの流れを画像の例によって説明するための図である。また図７は、図５で表される侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、一定の時間間隔で入力された画像が初期に与えられたテンプレート画像をもとにどのように実行されていくか（初期のテンプレートがどのように変化していくか）を説明する図である。
【０００５】
図６で、601は入力画像、609は入力画像601中の人型の物体、602は基準背景画像、606は差分処理部、603は差分処理部606において差分処理された後の差分画像、610は人型の物体609に相当する差分画像603中の人型の差分画像、607は二値化処理部、604は二値化処理部607によって二値化処理された差分画像603の二値化画像、611は人型の差分画像610に相当する二値化画像604中の人型物体（人型の二値化画像）、612は人型の二値化画像611の外接矩形、608は画像抽出部、605は入力画像601から外接矩形612の囲む領域をテンプレート画像として切出すことを説明する画像、613は入力画像601から切出した初期テンプレート画像である。
【０００６】
図４と図６において、まず、TVカメラから例えば320×240画素の入力画像601を入力する（画像入力ステップ401）。次に、差分処理部606において、入力画像601と、予め作成した基準背景画像602との画素毎の差分を計算し、差分画像603を取得する。この時、入力画像601中の人型の物体609は差分画像603中に、人型の差分画像610として現れる（差分処理ステップ402）。そして、二値化処理部607において、差分画像603の各画素に対しての差分値が所定のしきい値以下の画素の値を“0”、しきい値以上の画素の値を“255”（1画素を8ビットとして）に置換えて、二値化画像604を得る。この時、入力画像601に撮像された人型の物体609は、二値化画像604中の人型物体611として検出され、人型物体611の外接矩形612が生成される（二値化処理ステップ403）。
次に物体存在判定ステップ404では、画像抽出部608において、二値化画像604中で画素値が“255”となった画素のかたまりを検出し、画素値が“255”となる画素のかたまりが存在する場合は物体検出処理を終了し存在したかたまりの外接矩形に相当する入力画像に部分画像を初期テンプレート画像613として後述の画像メモリ305（図３）に登録し、存在しない場合は画像入力ステップ401へ分岐する。
【０００７】
物体追跡処理の流れを図５に従って説明する。図５の物体検出処理ステップ101と初期テンプレート登録ステップ102とにおいて、図４と図６で説明したように物体検出処理と初期テンプレート画像の登録がなされた後の処理について図７を用いて説明する。
図４と図６で説明した物体検出処理が終了した後は、図５に示すフローチャートに従って物体追跡処理がなされる。
図７で、701aは時刻t0-1において更新された物体のテンプレート画像、701は時刻t0-1での入力画像におけるテンプレート画像701aの位置を示す図、702は時刻t0での入力画像、702aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、702bは１フレーム前（t0-1）でのテンプレート画像の位置、702cはテンプレートマッチング処理（例えば、図５のフローチャート）で探索する探索範囲、702dは時刻t0-1からt0まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像702aの中心位置へ向かう矢印）、702eはテンプレートマッチング処理で人型物体を検出した位置、703aは時刻t0で更新された物体のテンプレート画像、703は時刻t0での入力画像におけるテンプレート画像703aの位置を示す図、704は時刻t0+1での入力画像、704aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、704bは１フレーム前（t0）でのテンプレート画像の位置、704cはテンプレートマッチング処理で探索する探索範囲、704dは時刻t0-1からt0+1まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置を経由して704aの中心位置へ向かう矢印）、705aは時刻t0+1で更新された物体のテンプレート画像、705は時刻t0+1での入力画像におけるテンプレート画像705aの位置を示す図、706は時刻t0+2での入力画像、706aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、706bは１フレーム前（t0+1）でのテンプレート画像の位置、706cはテンプレートマッチング処理で探索する探索範囲、706dは時刻t0-1からt0+2まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置を経由して706aの中心位置へ向かう矢印）、707aは時刻t0+2で更新された物体のテンプレート画像、707は時刻t0+2での入力画像におけるテンプレート画像707aの位置を示す図、708は時刻t0+3での入力画像、708aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、708bは１フレーム前（t0+2）でのテンプレート画像の位置、708cはテンプレートマッチング処理で探索する探索範囲、708dは時刻t0-1からt0+3まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置、テンプレート画像707aの中心位置を経由して708aの中心位置へ向かう矢印）である。
【０００８】
即ち、図５と図７において、物体追跡処理が開始され、二値化画像604中に物体が存在すると判定され、物体検出処理ステップ101を終了する（図４）。そして、二値化画像604中の人型の二値化画像のかたまりの外接矩形に相当する入力画像601の部分画像を、初期テンプレート画像613（図７のテンプレート画像701a）として画像メモリ305（図３）に登録する（初期テンプレート登録ステップ102）。続いて、逐次入力される入力画像中の探索範囲702c内でテンプレート画像701aと一致度r(Δx,Δy)が最大となる部分画像702aを検出する（テンプレートマッチッングステップ103）。
即ち、テンプレートマッチッングステップ103では、最大一致度と、その最大一致度が求められた位置とを得る。
【０００９】
この一致度r(Δx,Δy)を算出する方法として、例えば以下の式(1)で得られる正規化相関と呼ばれる指標を用いることができる。
【数１】
ここで、入力画像702に対してテンプレートマッチングを行なった場合、f(x,y)は入力画像702、ft(x,y)はテンプレート画像701a、（x0,y0）は登録したテンプレート画像701aの左上の座標（画像は左上を原点としている）、Dtはテンプレートの探索範囲702cを表し、探索範囲702c内にテンプレート画像701aとまったく同じ画素値を持つ画像が存在した場合には、一致度r(Δx,Δy)は“1.0”となる。テンプレートマッチングステップ103では、この式(1)で表される指標を(Δx,Δy)∈Dで表される探索範囲702cに対して計算し、その中で一致度r(Δx,Δy)が最大となる位置（外接矩形）702aを検出する。この探索範囲702cは、対象物体の見かけの移動量によって決定される。例えば、速度40km/hで移動する物体を、50m離れたTVカメラ（素子サイズ6.5mm×4.8mmのCCD、焦点距離25mmのレンズ、入力画像サイズ320×240画素（pix）。処理間隔0.1frame/sec）で監視する場合、水平方向の物体の見かけの移動量は27.4pix/frame、垂直方向は27.8pix/frameとなり、Dを-30pix＜Δx＜30pix,-30pix＜Δy＜30pix程度に設定すればよい。
尚、一致度の算出方法は上述の正規化相関の指標に限られるものではない。例えば、入力画像とテンプレート画像間で各画素毎の差をとって、その絶対値の累積値の逆数を一致度としてもよい。
【００１１】
次に、最大一致度判定ステップ104では、テンプレートマッチングステップ103において、テンプレート画像701aと一致度が最大となる入力画像702の位置に、物体が移動した（外接矩形702bから外接矩形702aに移動した）と判断したあと、次に、最大一致度が所定値以下に低下した場合（例えば“0.5”未満）、入力画像中に対象物体がいなくなったものとして、物体検出処理ステップ101へ分岐し、最大一致度が所定値以上であった場合（例えば“0.5”以上）は、テンプレート更新ステップ106へ分岐する。
テンプレート更新ステップ106では、入力画像中の探索範囲702c内でテンプレート画像701aと一致度r（△x,△y）が最大となる部分画像702aを使ってテンプレート画像701aをテンプレート画像703aに更新する。ここで、テンプレート画像を更新する理由は、対象物体の姿勢が変化（例えば、対象物体の人が手を上げたり、腰を曲げたり、足を上げたりして画像が変化）し、テンプレート画像を更新しないと一致度が低下してしまい、追跡結果の信頼性が低下するためである。従って、検出された物体の位置の部分画像702eを新たなテンプレート画像703aとして更新し、対象物体が姿勢を変えた場合でも安定な追跡を行なうようにしている。
【００１２】
上述の実施例では、差分法によって検出した侵入物体について作成したテンプレート画像は、検出した画素のかたまりの外接矩形を取り込み、この外接矩形に囲まれた部分画像をテンプレート画像として切出した。
しかし、切出すテンプレート画像のサイズの決定方法はこの方法に限らない。例えば、外接矩形に一定の定数（例えば、0.8、または1.1等）を乗算してもよい。
更に、撮像素子としてCCD（Charge Coupled Device）を使用した場合には、CCDのサイズ、レンズの焦点距離、CCDから検出する物体の距離によって、対象とみなす物体の大きさを予め算出できるので、算出した大きさをテンプレート画像サイズとすることもできる。
【００１３】
次に、カメラ雲台制御ステップ107に移る。
図１０は入力画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図である。図１０に言及して、カメラ雲台制御ステップ107について説明する。
カメラ雲台制御ステップ107では、テンプレートマッチングによって検出された対象物体の位置と入力画像中央との変位、即ち、カメラの光軸（カメラの視野方向）に対して対象物体が存在する方向に基づいてカメラ雲台302のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対象物体の中心位置（x0＋△x＋dx/2,y0＋△y＋dy/2）（（dx,dy）はテンプレート画像の大きさを表す）と入力画像の中心位置（160,120）（画像サイズを320×240とする）とを比較し、検出された対象物体の中心位置が入力画像の中心位置に対して左側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、右側に位置する場合はカメラ雲台のパンモータをカメラの光軸方向が右に移動するように制御する。また、検出された対象物体の中心位置が入力画像の中心位置に対して上側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が上に移動するように制御し、下側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が下に移動するように制御する。
尚、パンモータ、チルトモータは同時に制御可能で、例えば、検出された対象物体の中心位置が入力画像の中心位置に対して左上側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、かつ、チルトモータをカメラの光軸方向が上に移動するように同時に制御する。このようにすることで、カメラの光軸上に対する対象物体を捉えるようにカメラ雲台を制御することが可能となる。
次に、警報・モニタ表示ステップ108では、例えば対象物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに対象物体の画像を表示したりする。
【００１４】
警報・モニタ表示ステップ108が終わると、画像入力ステップ401に戻り、新しい入力画像を得て、この現時刻での入力画像に対して再びテンプレートマッチッング処理を行う。即ち、時刻t0での入力画像702により更新したテンプレート画像703aと、時刻t0+1での入力画像704とによりテンプレートマッチング処理を行う。この時、探索範囲704cは時刻t0で更新されたテンプレート画像704bを中心とした位置に移動しており、新しい探索範囲で検索が行われる。そして、最大の一致度を持った物体が検出され、その検出された物体の位置704aを元に新しいテンプレート画像705aが生成される。
以上のように、対象物体が存在する間は、ステップ401，ステップ103，ステップ104，ステップ106，ステップ107，ステップ108の処理を繰返し、新しいテンプレート画像706a、708aと次々にテンプレート画像が更新されながら、対象物体を追跡し続ける。
【００１５】
前述のテンプレートマッチングを用いた侵入物体の追跡法では、入力画像中でテンプレート画像と一致度が最大となる部分を検出する処理であるため、一時的に対象物体が物陰などに隠れると対象物体を見つけられなくなる。また、視野内に複数の動く物体（動物体）が存在する場合で、対象物体が別の動物体の背後に隠れてしまう場合、テンプレート画像の更新を行うと、対象物体の前面にある物体をテンプレート画像として更新してしまい、対象物体の追跡ができなくなる。
【００１６】
対象物体の追跡ができなくなる一例を図８を用いて説明する。図８は、侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、複数の動物体が重なって撮像された場合の追跡状態を説明する図である。801aは時刻t0-1において更新された物体のテンプレート画像、801は時刻t0-1での入力画像におけるテンプレート画像801aの位置を示す図、802は時刻t0での入力画像、802aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、802bは時刻t0に撮像された別の動物体、803aは時刻t0でのテンプレート画像、803は時刻t0での入力画像におけるテンプレート画像803aの位置を示す図、804は時刻t0+1での入力画像、804aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、804bは時刻t0+1に撮像された別の動物体、805aは時刻t0+1で更新された物体のテンプレート画像、805は時刻t0+1での入力画像におけるテンプレート画像805aの位置を示す図、806は時刻t0+2での入力画像、806aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、806bは時刻t0+2に撮像された別の動物体、807aは時刻t0+2で更新された物体のテンプレート画像、807は時刻t0+2での入力画像におけるテンプレート画像807aの位置を示す図、808は時刻t0+3での入力画像、808aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、808bは時刻t0+3に撮像された別の動物体である。
【００１７】
図８においては、時刻ｔ1-1で差分法によって検出された追跡対象物である人型の物体のテンプレート画像801aをもとに、逆方向から歩いてくる別の人型物体と交差する時の追跡処理がどのように実行されていくかを説明している。時刻t1では、登録したテンプレート画像801aを用いて入力画像802についてマッチング処理を行ない、対象物体の移動した位置802aを検出すると共に、テンプレート画像801aを図803の位置にあるテンプレート画像803aに更新する。この時、別の人型物体802bは離れているのでテンプレートマッチングでの交差の問題は発生しない。しかし、時刻t1+1と時刻t1+2では、別の移動物体804b，806bが対象物体の前を横切り、時刻t1+1の入力画像804では何とか対象物体の位置804aは正しい位置に認識できたが、時刻t1+2の入力画像806では対象物体の位置806aは別の物体806bとほぼ重なっているため、どちらか分らなくなり、テンプレート画像805a，807aと更新していく度に、前を横切った人型物体の画像がテンプレート画像の中に入り込む。即ち、本来の対象物体がテンプレート画像に占める割合より、別の動物体がテンプレート画像に占める割合が大きくなる。そして遂には、時刻t1+3では、前を横切った人型物体808bを対象物体の位置808aとして認識してしまい、以降はこの別の人型物体を追跡してしまうことになる。従って、テンプレートマッチングを用いた物体追跡法は、対象物体の前を別の物体が横切った場合には、対象としている物体を追跡している保証ができず、安定な追跡が行なうことができない。
【００１８】
同様のことは、別の動物体が存在していなくても起る。即ち、対象物体が遮蔽物の陰に隠れてしまう場合である。この場合には、、テンプレート画像に占める対象物体の割合が落ちるため、追跡がその時刻で終了してしまうことになるか、または、テンプレート画像が更新された時点で、対象物体と異なるテンプレート画像に更新されてしまうため、次の時刻での追跡が困難となる。
【００１９】
【発明が解決しようとする課題】
前述の従来技術には、対象物体の前を相対的に別の物体が横切る場合には、正確に追跡できない欠点があった。
本発明の目的は、上記のような欠点を除去し、対象物体の前を相対的に別の物体が横切る場合にも、正確に物体を検出および追跡することができる、信頼性の高い物体追跡方法を提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の物体追跡方法は、撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、検出した物体を追跡する物体追跡方法において、所定数のテンプレート画像を保存及び更新する複数テンプレート保存ステップと、現時刻に取得した入力画像と、所定数のテンプレート画像それぞれとのテンプレートマッチングを行い、所定数のテンプレート画像それぞれについて、最大一致度と、その最大一致度が求められる位置とを取得するマッチングステップと、マッチングステップによって取得した最大一致度の中で、最大一致度が一番大きいテンプレート画像について最大一致度を求められる位置を、検出物体の位置として補正する位置補正ステップと、現時刻に取得した入力画像の中から、位置補正ステップによって補正された位置の部分画像を切出し、複数テンプレート保存ステップによって、所定数のテンプレート画像のいずれかを更新するテンプレート更新ステップとを備えて、検出した物体を追跡する。
【００２１】
また、本発明の物体追跡方法において、所定数のテンプレート画像は、互いに異なった時刻の入力画像から切出され、保持される。
更に、テンプレート更新ステップで更新されるテンプレート画像は、保持された所定数のテンプレート画像のうち、最も古い時刻に切り出されたテンプレート画像であるか、または、一致度が最も低いテンプレート画像である。
【００２２】
更にまた、本発明の物体追跡方法において、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を初期テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
また、位置補正ステップにおいて、取得した最大一致度すべてが所定の値未満であれば、差分法によって、現時刻の入力画像から物体を検出し、検出した物体を追跡対象物体として追跡する。
【００２３】
更に本発明の物体追跡方法において、位置補正ステップによって検出された位置に基づいて、撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、制御信号によって撮像装置の視野方向を検出された位置に常に向けて、検出した物体を追跡する。
また、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を前記テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
【００２４】
また本発明の物体追跡装置は、監視対象範囲を撮像する撮像装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、画像入力インターフェースによって変換された画像信号を処理する画像処理手段と、テンプレート画像として登録された複数の画像を保存する手段とを備え、画像処理手段は、撮像装置から現時刻に入力した画像信号を、あらかじめ保存された複数のテンプレート画像それぞれによってテンプレートマッチングを行ない、テンプレートマッチングによってそれぞれ得られた複数のテンプレート画像それぞれの最大一致度の中で、一番大きな最大一致度を得るテンプレート画像について取得する部分画像の位置を検出物体の位置とし、同時に、検出物体の位置の部分画像を新たなテンプレート画像として更新することにより、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２５】
また、本発明の物体追跡装置は、撮像装置の視野方向を変えるための雲台と、画像処理手段によって撮像装置の視野方向を変えるために雲台を制御するための制御信号を供給する雲台制御インターフェースとを備え、画像処理手段が、物体の現時刻の検出位置に基づいて、物体の方向を検出し、得られた方向から雲台制御インターフェースを介して、撮像装置の視線方向を調節し、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２６】
【発明の実施の形態】
本発明の物体追跡方法では、複数の物体がすれ違うとマッチングの一致度が低くなる特徴を利用し、テンプレートマッチングに使用するテンプレート画像を追跡処理の過程で複数フレーム保持するようにし、異なる時刻に得られた複数のテンプレート画像それぞれに対して独立にマッチングを行ない、最も一致度が高いテンプレート画像に基づいて対象物体を追跡する。
即ち、本発明は、差分法によって物体を検出し、検出物体の画像をテンプレートとして所定フレーム数分保持し、それぞれのテンプレートに対してテンプレートマッチングを行ない、一致度が最大となるテンプレート及びその位置を検出することで、特に対象物体の前を別の物体が横切った場合でも安定に追跡をすることができる。
【００２７】
図３に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。301はTVカメラ、303は画像入力I/F、313はデータバス、305は画像メモリ、306はワークメモリ、307はCPU、308はプログラムメモリ、302はカメラ雲台、304は雲台制御I/F、309は出力I/F、310は画像出力I/F、311は警告灯、312は監視モニタである。TVカメラ301は画像入力I/F303に接続され、カメラ雲台302は雲台制御I/F304に接続され、警告灯311は出力I/F309に接続され、監視モニタ312は画像出力I/F310に接続されている。画像入力I/F303、雲台制御I/F304、画像メモリ305、ワークメモリ306、CPU307、プログラムメモリ308、出力I/F309及び画像出力I/F310は、データバス313に接続されている。また、TVカメラ301はカメラ雲台302に取付けられている。
【００２８】
図３において、TVカメラ301は監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力I/F303からデータバス313を介して画像メモリ305に蓄積される。CPU307はプログラムメモリ308に保存されているプログラムに従って、ワークメモリ306内で画像メモリ305に蓄積された画像の解析を行なう。CPU307は、処理結果に応じてデータバス313から雲台制御I/F304を介してカメラ雲台302を制御してTVカメラ301の撮像視野を変えたり、出力I/F309を介して警告灯311を点灯し、画像出力I/F310を介して監視モニタ312に、例えば侵入物体検出結果画像を表示する。尚、画像メモリ305は、登録されたテンプレート画像を保存しておくためのテンプレート画像保持装置をも備えている。
【００２９】
以降に説明するフローチャートは、すべて上記図３で説明した物体追跡監視装置のハードウエア構成を使って説明する。
本発明の第１の実施例を図１によって説明する。図１は本発明の一実施例の処理プロセスを説明するフローチャートである。図１は図５で示したテンプレートマッチング法の処理プロセスにテンプレート位置補正ステップ105を追加したものである。ステップ101、102、401、103、104、106、107、108については、図４と図５によって説明したものと同じであるので説明を省略する。
【００３０】
本発明の一実施例を図１によって説明する。図１は、本発明の処理プロセスの一実施例を表すフローチャートである。図１は図５で説明した従来のテンプレートマッチング法の処理プロセスにおいて、最大一致度判定ステップ104とテンプレート更新ステップ106の代りに、分岐ステップ201、最大一致度判定ステップ104′、テンプレート位置補正ステップ105、複数テンプレート保存ステップ202とを置いて構成したものである。ステップ101、102、401、103、107、108については、図４と図５によって説明した従来技術のものと同じであるので説明を省略する。
【００３１】
図１において処理が開始されると、既に説明した物体検出処理101からテンプレート登録ステップ102によって、時刻t0-1における入力画像から取得した画像を時刻t0-1のテンプレート画像として登録し、画像入力ステップ401で時刻t0における入力画像を取得した後、テンプレートマッチング処理103に進む。
次に、テンプレートマッチング処理ステップ103では、保存された時刻t0-1のテンプレート画像と、時刻t0における入力画像とテンプレートマッチング処理がなされる。そして、分岐ステップ201を通り、最大一致度判定ステップ104´に進む。
【００３２】
分岐ステップ201では、保存されているすべてのテンプレート画像すべてについてテンプレートマッチング処理がなされているかどうかを調べる。そして、保存しているすべてのテンプレート画像とのテンプレートマッチング処理が終了している場合には最大一致度判定ステップ104′に処理を進め、終了していない場合には、テンプレートマッチッングステップ103に戻る。
【００３３】
そして、再びテンプレートマッチッングステップ103に戻った時、保存されているテンプレートは時刻t0-2のテンプレートと時刻t0-1のテンプレートの２つである（時刻は“+1”進んでいるため“-1”が加えられる）。ここで、テンプレートマッチッングステップ103では時刻t0の入力画像と、先ず時刻t0-1のテンプレートとのテンプレートマッチング処理がなされ、分岐ステップ201に進む。
今、時刻t0-1のテンプレートとのテンプレートマッチング処理がなされたが、まだ時刻t0-2のテンプレートが残っている。従って、この時はステップ103に戻り、時刻t0-2のテンプレートと時刻t0の入力画像とのテンプレートマッチング処理を行う。このようにして、次々と残っているテンプレートとテンプレートマッチング処理を行い、すべてのテンプレートについてテンプレートマッチング処理が終了すれば、分岐ステップ201から処理ステップを最大一致度判定ステップ104´に進める。
【００３４】
最大一致度判定ステップ104´では、テンプレートマッチング処理によって、複数のテンプレート画像それぞれについてに得られた最大一致度の中から一番大きな値を選ぶ。そして、その一番大きな値の最大一致度が所定値以上であった場合にはテンプレート位置補正ステップ105に進み、その一番大きな値の最大一致度が所定値未満であった場合には物体検出処理ステップ101に戻る。
【００３５】
複数テンプレート保存ステップ202では、時刻t0の入力画像で検出された物体の中で、最大一致度判定ステップ104´において一番値の大きい最大一値度を得た位置の部分画像を切出して時刻t0のテンプレートを新たに保存する。
この時、既にテンプレート登録ステップ102において登録された時刻t0-1のテンプレ−ト画像はそのまま保存される。
この複数テンプレート保存ステップ202で保存するテンプレート画像の数は、あらかじめ所定数（例えば、“3”）を定めておき、所定数を超える時は、例えば、一番古い時刻に取得したテンプレートを削除する。
【００３６】
次にカメラ雲台制御ステップ107に処理が進み、カメラ301の視野方向（光軸方向）を対象物体の方向に向ける。
そして次に、警報・モニタ表示ステップ108に処理が移り、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ108が終了すると、画像入力ステップ401に戻り、新しい入力画像を取得し、再びテンプレートマッチッング処理を行う。
【００３７】
上記の本発明の一実施例の効果について、図２を用いて説明する。図２は、侵入物体追跡の流れを、画像の例を用いて説明するための図で、撮像視野内に複数の動物体（人型物体）が重なって撮像された場合の追跡状態を説明する図である。図８で説明した物体追跡方法による物体追跡に比べるために、図８と同じ状況設定である。なお、保存するテンプレートの数は2（“テンプレートマッチングを行うフレーム数”= 2）としている。
【００３８】
901aは時刻t0-1において更新された物体のテンプレート画像、901は時刻t0-1での入力画像におけるテンプレート画像901aの位置を示す図、902は時刻t0での入力画像、902aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、902cは時刻t0に撮像された別の動物体、903aは時刻t0でのテンプレート画像、903は時刻t0での入力画像におけるテンプレート画像903aの位置を示す図、904は時刻t0+1での入力画像、904aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された904bは１つ前の処理時刻（この場合はt0-1）のテンプレート画像がマッチングした位置、904cは時刻t0+1に撮像された別の動物体、905aは時刻t0+1で更新された物体のテンプレート画像、905は時刻t0+1での入力画像におけるテンプレート画像905aの位置を示す図、906は時刻t0+2での入力画像、906aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された906bは１つ前の処理時刻（この場合はt0）のテンプレート画像がマッチングした位置、906cは時刻t0+2に撮像された別の動物体、907aは時刻t0+2で更新された物体のテンプレート画像、907は時刻t0+2での入力画像におけるテンプレート画像907aの位置を示す図、908は時刻t0+3での入力画像、908aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された908bは１つ前の処理時刻（この場合はt0+1）のテンプレート画像がマッチングした位置、908cは時刻t0+3に撮像された別の動物体である。
【００３９】
図８による追跡状況（本発明を適用しない状況）、即ち、対象物体の時々刻々の検出位置の推移は、直前の時刻に（１つ前のフレームで）取得したテンプレート画像によって得られたマッチング位置であるので、図２において各時刻での入力画像902，904，906，908中の実線の矩形画像902a，904a，906a，908aが示していることになる。また、本発明の実施例による追跡状況は、各時刻での入力画像904，906，908中の点線の矩形画像904b，906b，908bである。
【００４０】
入力画像904と906で見るように、複数物体がすれ違った時刻（2つの物体が重なる時刻）にテンプレートの更新を行うと、テンプレート画像中に2つの物体が写込んでしまう。このため、本来の追跡していた物体の画素がテンプレート画像に占める割合が減少する。従って、時刻t0の入力画像902ではまだすれ違っていないため追跡に問題はなく、追跡対象の小さい物体を追跡している。また、時刻to+1における、別の動物体904cと重なり始めた入力画像904では、作成されているテンプレート画像に、まだ別の動物体が写込んでいないため問題とならないので追跡対象をまだ捉えているが、このマッチング位置をもとに作成されるテンプレート画像905aには別の動物体904cが写込んでいる。そしてまた、別の動物体906cとほとんど重なっている入力画像906においても、別の動物体904cが写込んでいる割合が大きいテンプレート画像905aによってマッチングを行った場合の検出位置906aと１フレーム前のテンプレート画像903aを用いてマッチングを行った検出位置906bとは大きな位置ずれはない。しかしこの時点で保存されるテンプレート画像907aは大きい物体906cの画素がテンプレート画像に占める割合が、本来の追跡していた物体の画素がテンプレート画像に占める割合より大きくなるため、大きい物体906cにテンプレート画像が横取りされ、時刻t0+2以降では、大きい物体908cを追跡してしまう。
しかし本発明による結果、以前から保存していたテンプレート画像905aを使ってマッチングを行うため、検出位置908bは本来の追跡対象物体を捉えることができる。
【００４１】
上記のように、図１の実施例によれば、テンプレートマッチングステップ103によって検出された位置をもとに、異なる時刻に得られた所定フレーム数分のテンプレート画像を独立にマッチングさせるため、対象物体の前を別の物体が横切ったり、対象物体が一時的に遮蔽物の影に隠れたとしても、過去の複数のテンプレート画像を対象として、最大の一致度を持つ領域をテンプレートマッチング位置として補正するため、テンプレートの位置が対象物体からずれることがなく、また別の物体を追跡することなく、対象物体を正確に追跡することができる。
【００４２】
次に、本発明の第２の実施例を図９によって説明する。図９は、本発明の処理プロセスの一実施例を表すフローチャートである。図９は、図１で説明した本発明の第１の実施例を表す処理プロセスにおいて、テンプレートマッチングステップ103、分岐ステップ201、最大一致度判定ステップ104′の代わりに、テンプレートカウンタリセットステップ991、テンプレートマッチングステップ992、最大一致度判定ステップ993、カウンタ増加ステップ994、分岐ステップ995とを置いて構成したものである。その他のステップ101、102、401、106、107、108については、図１によって説明した実施例のものと同じであるので説明を省略する。
【００４３】
図９において、処理が開始されると、既に説明した物体検出処理101から初期テンプレート登録ステップ102によって、時刻to-1における入力画像から取得した画像を時刻t0-1のテンプレートとして登録した後、画像入力ステップ401に進み、新しい画像を得る。
次に、テンプレートカウンタリセットステップ991では、ワークメモリ306内に記憶されているテンプレートカウンタの値iを1に変更する。続いて、テンプレートマッチングステップ992では、保存された時刻t0-i（iは整数）のテンプレート画像と、画像入力ステップ401によって得られた時刻t0の入力画像とテンプレートマッチング処理を行なう。
そして、最大一致度判定ステップ993では、テンプレートマッチングステップ992によって得られた最大一致度が所定値以上であった場合には複数テンプレート保存ステップ106に進み、最大一致度が所定値未満であった場合にはカウンタインクリメントステップ994に進む。
【００４４】
カウンタインクリメントステップ994では、ワークメモリ306内に記憶されているテンプレートカウンタの値iに1を加算（ i=i+1 ）してテンプレートカウンタの値を更新する。次に分岐ステップ995では、ワークメモリ306内に記憶されているテンプレートカウンタの値iが所定の値（例えば、5、この値は、何フレーム前までのテンプレート画像が保存されているかを表す）以上になった場合には物体検出処理ステップ101に戻り、所定の値未満であった場合にはテンプレートマッチングステップ992に戻る。
【００４５】
図９の実施例のよれば、入力画像に対して保存した複数のテンプレート画像を新しい順に（入力画像を取得した時刻に近いテンプレート画像の順に）適用して逐次テンプレートマッチング処理を行ない、一致度が、所定の値以上となった場合にそのマッチング位置を対象物体の存在する位置として判定する。従って、保存したすべてのテンプレート画像に対してテンプレートマッチング処理を行なわなくて済むため、テンプレートマッチング処理に要する計算時間を最低限に抑えることができる。
【００４６】
【発明の効果】
以上のように本発明によれば、監視視野内に複数の動物体が存在したり、対象物体が遮蔽物の陰に一時的に隠れる場合でも、安定に物体を追跡することができ、撮像装置を用いた監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の処理動作を説明するためのフローチャート。
【図２】 本発明の物体追跡方法の一実施例を説明する図。
【図３】 本発明が適用された監視装置の一実施例を示すブロック構成図。
【図４】 従来の差分法による物体検出処理の一例を示すフローチャート。
【図５】 従来のテンプレートマッチング法による物体追跡処理の一例を示すフローチャート。
【図６】 従来の差分法による物体検出処理の動作を説明する図。
【図７】 従来のテンプレートマッチング法による物体追跡処理の動作を説明する図。
【図８】 従来のテンプレートマッチング法による物体追跡処理の問題点を説明する図。
【図９】 本発明の処理プロセスの一実施例を表すフローチャート。
【図１０】 画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図。
【符号の説明】
301：TVカメラ、 302：カメラ雲台、 303：画像入力I/F、 304：雲台制御I/F、 305：画像メモリ、 306：ワークメモリ、 307：CPU、 308：プログラムメモリ、 309は出力I/F、 310：画像出力I/F、 311：警告灯、 312：監視モニタ、 313はデータバス、 601：入力画像、 602：基準背景画像、 603：差分処理された後の差分画像、 604：二値化画像、 605：画像、 606：差分処理部、 607：二値化処理部、 608：画像抽出部、 609：人型の物体、 610：人型の差分画像、 611：人型の二値化画像、 612：外接矩形、 613：テンプレート画像、 701，703，705，707：画像、 701a，703a，705a，707a：テンプレート画像、 702，704，706，708：入力画像、 702a，704a，706a，708a：テンプレートマッチング処理によって検出された物体の位置、 702b，704b，706b，708b：１フレーム前でのテンプレート画像の位置、 702c，704c，706c，708c：探索範囲、 702d，704d，706d，708d：移動矢印、 702e：二値化画像、 801：テンプレート画像801aの位置を示す図、 801a：テンプレート画像、 802：入力画像、 802a：テンプレートマッチング処理によって検出された物体の位置、 802b：別の動物体、 803a：テンプレート画像、 803：テンプレート画像803aの位置を示す図、 804：入力画像、 804a：テンプレートマッチング処理によって検出された物体の位置、 804b：別の動物体、 805a：テンプレート画像、 805：テンプレート画像805aの位置を示す図、 806：入力画像、 806a：テンプレートマッチング処理によって検出された物体の位置、 806b：別の動物体、 807a：テンプレート画像、 807：テンプレート画像807aの位置を示す図、 808：入力画像、 808a：テンプレートマッチング処理によって検出された物体の位置、 808b：別の動物体、 901：テンプレート画像901aの位置を示す図、 901a：テンプレート画像、 902：入力画像、 902a：テンプレートマッチング処理によって検出された物体の位置、 902c：別の動物体、 903：テンプレート画像903aの位置を示す図、 903a：テンプレート画像、 904：入力画像、 904a：テンプレートマッチング処理によって検出された物体の位置、 904b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 904c：動物体、 905：テンプレート画像905aの位置を示す図、 905a：テンプレート画像、 906：入力画像、 906a：テンプレートマッチング処理によって検出された物体の位置、 906b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 906c：別の動物体、 907：テンプレート画像907aの位置を示す図、 907a：テンプレート画像、 908：入力画像、 908a：テンプレートマッチング処理によって検出された物体の位置、 908b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 908c：別の動物体、
Claims (6)
- 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された同一物体に対する複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備えることを特徴とする物体追跡方法。 - 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備え、
前記テンプレート画像登録ステップにより新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、最も古い時刻に生成されたテンプレート画像を削除する、
ことを特徴とする物体追跡方法。 - 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備え、
前記テンプレート画像登録ステップにより新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、前記マッチング処理の結果、一致度が最も低いテンプレート画像を削除する、
ことを特徴とする物体追跡方法。 - 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された同一物体に対する複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備えることを特徴とする物体追跡装置。 - 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備え、
前記テンプレート画像登録手段により新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、最も古い時刻に生成されたテンプレート画像を削除する、
ことを特徴とする物体追跡装置。 - 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備え、
前記テンプレート画像登録手段により新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、前記マッチング処理の結果、一致度が最も低いテンプレート画像を削除する、
ことを特徴とする物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000180185A JP3768073B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-167747 | 1999-06-15 | ||
| JP16774799 | 1999-06-15 | ||
| JP2000180185A JP3768073B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001060269A JP2001060269A (ja) | 2001-03-06 |
| JP3768073B2 true JP3768073B2 (ja) | 2006-04-19 |
Family
ID=26491687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000180185A Expired - Lifetime JP3768073B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3768073B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8594371B2 (en) | 2009-04-08 | 2013-11-26 | Nikon Corporation | Subject tracking device and camera |
| JP2015228552A (ja) * | 2014-05-30 | 2015-12-17 | 株式会社ニコン | 追尾装置、カメラ、追尾方法および追尾プログラム |
| US9563967B2 (en) | 2012-07-17 | 2017-02-07 | Nikon Corporation | Photographic subject tracking device and camera |
| US11074695B2 (en) | 2017-01-05 | 2021-07-27 | Nec Corporation | Image processing device, image processing method, and recording medium storing program |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4699056B2 (ja) * | 2005-03-15 | 2011-06-08 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| JP5018767B2 (ja) | 2006-03-01 | 2012-09-05 | 株式会社ニコン | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
| JP4961965B2 (ja) | 2006-11-15 | 2012-06-27 | 株式会社ニコン | 被写体追跡プログラム、被写体追跡装置、およびカメラ |
| WO2008114683A1 (ja) | 2007-03-16 | 2008-09-25 | Nikon Corporation | 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ |
| JP5322416B2 (ja) * | 2007-09-12 | 2013-10-23 | 株式会社メガチップス | ブロックマッチング回路及びデータ更新方法 |
| JP5219795B2 (ja) | 2008-12-26 | 2013-06-26 | キヤノン株式会社 | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| JP4798259B2 (ja) | 2009-06-08 | 2011-10-19 | 株式会社ニコン | 被写体追尾装置、およびカメラ |
| JP5233926B2 (ja) * | 2009-09-10 | 2013-07-10 | 大日本印刷株式会社 | 魚眼監視システム |
| JP5167236B2 (ja) * | 2009-12-21 | 2013-03-21 | キヤノン株式会社 | 被写体追跡装置及びその制御方法 |
| US8509482B2 (en) | 2009-12-21 | 2013-08-13 | Canon Kabushiki Kaisha | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
| DE102011079187A1 (de) * | 2011-07-14 | 2013-01-17 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät |
| JP6099973B2 (ja) * | 2012-12-27 | 2017-03-22 | キヤノン株式会社 | 被写体領域追跡装置、その制御方法及びプログラム |
| JP6521626B2 (ja) | 2014-12-25 | 2019-05-29 | キヤノン株式会社 | 被写体追跡装置、方法およびプログラム |
| JP6509027B2 (ja) | 2015-05-12 | 2019-05-08 | キヤノン株式会社 | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム |
| JP6555940B2 (ja) | 2015-06-12 | 2019-08-07 | キヤノン株式会社 | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 |
| JP6800628B2 (ja) | 2016-06-22 | 2020-12-16 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
| JP6439757B2 (ja) | 2016-07-08 | 2018-12-19 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| JP6390671B2 (ja) | 2016-07-29 | 2018-09-19 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| WO2019144300A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 目标检测方法、装置和可移动平台 |
| CN108229583B (zh) * | 2018-02-02 | 2022-04-29 | 北京邮电大学 | 一种基于主方向差分特征的快速模板匹配的方法及装置 |
| CN111028291B (zh) * | 2019-12-10 | 2024-02-02 | 东莞市盛雄激光先进装备股份有限公司 | 一种元件对位方法及装置 |
| JPWO2023042337A1 (ja) * | 2021-09-16 | 2023-03-23 |
-
2000
- 2000-06-15 JP JP2000180185A patent/JP3768073B2/ja not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8594371B2 (en) | 2009-04-08 | 2013-11-26 | Nikon Corporation | Subject tracking device and camera |
| US9563967B2 (en) | 2012-07-17 | 2017-02-07 | Nikon Corporation | Photographic subject tracking device and camera |
| JP2015228552A (ja) * | 2014-05-30 | 2015-12-17 | 株式会社ニコン | 追尾装置、カメラ、追尾方法および追尾プログラム |
| US11074695B2 (en) | 2017-01-05 | 2021-07-27 | Nec Corporation | Image processing device, image processing method, and recording medium storing program |
| US11074696B2 (en) | 2017-01-05 | 2021-07-27 | Nec Corporation | Image processing device, image processing method, and recording medium storing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001060269A (ja) | 2001-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768073B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| US6687386B1 (en) | Object tracking method and object tracking apparatus | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| US7596240B2 (en) | Object tracking method and object tracking apparatus | |
| CN108447091B (zh) | 目标定位方法、装置、电子设备及存储介质 | |
| US7113616B2 (en) | Object tracking method and apparatus using template matching | |
| WO2007088856A1 (ja) | 自動追尾装置及び自動追尾方法 | |
| JP3560326B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| US20200167959A1 (en) | Method and device for capturing target object and video monitoring device | |
| WO2018086050A1 (zh) | 深度图生成方法和基于该方法的无人机 | |
| CN113744348A (zh) | 一种参数标定方法、装置及雷视融合检测设备 | |
| JP2001076156A (ja) | 画像監視装置 | |
| JP2009288885A (ja) | 車線検出装置、車線検出方法、及び車線検出プログラム | |
| US20170316278A1 (en) | Object Detecting Method and Object Detecting Apparatus | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| US11790628B2 (en) | Apparatus and method for generating map | |
| JP2010124028A (ja) | 監視装置 | |
| JP3857558B2 (ja) | 物体追跡方法及び装置 | |
| CN108881846B (zh) | 信息融合方法、装置及计算机可读存储介质 | |
| JP2004213648A (ja) | 物体追尾方法及び物体追尾装置 | |
| KR20210103865A (ko) | 소실점 추출 장치 및 소실점 추출 방법 | |
| JP3828096B2 (ja) | 物体追跡装置 | |
| JPH11259639A (ja) | 走行路認識装置 | |
| JP6647367B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3768073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |