JP3768073B2 - Object tracking method and object tracking apparatus - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出し、検出した物体の動きを自動的に追跡するようにした物体追跡方法と、検出した物体の動きに応じて撮像方向を調節するようにした物体追跡装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、TVカメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。このようにして検出された侵入物体の位置に相当する入力画像の部分画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ広く知られ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のP149〜P153で解説されている。
通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。これらの処理を図４〜図７によって説明する。
【０００４】
図４は差分法を用いた侵入物体検出処理の一例を表すフローチャート、図５はテンプレートマッチングを用いた侵入物体追跡の一例を表すフローチャート、図６は、図４と図５で表される侵入物体検出処理から初期のテンプレート画像登録までの流れを画像の例によって説明するための図である。また図７は、図５で表される侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、一定の時間間隔で入力された画像が初期に与えられたテンプレート画像をもとにどのように実行されていくか（初期のテンプレートがどのように変化していくか）を説明する図である。
【０００５】
図６で、601は入力画像、609は入力画像601中の人型の物体、602は基準背景画像、606は差分処理部、603は差分処理部606において差分処理された後の差分画像、610は人型の物体609に相当する差分画像603中の人型の差分画像、607は二値化処理部、604は二値化処理部607によって二値化処理された差分画像603の二値化画像、611は人型の差分画像610に相当する二値化画像604中の人型物体（人型の二値化画像）、612は人型の二値化画像611の外接矩形、608は画像抽出部、605は入力画像601から外接矩形612の囲む領域をテンプレート画像として切出すことを説明する画像、613は入力画像601から切出した初期テンプレート画像である。
【０００６】
図４と図６において、まず、TVカメラから例えば320×240画素の入力画像601を入力する（画像入力ステップ401）。次に、差分処理部606において、入力画像601と、予め作成した基準背景画像602との画素毎の差分を計算し、差分画像603を取得する。この時、入力画像601中の人型の物体609は差分画像603中に、人型の差分画像610として現れる（差分処理ステップ402）。そして、二値化処理部607において、差分画像603の各画素に対しての差分値が所定のしきい値以下の画素の値を“0”、しきい値以上の画素の値を“255”（1画素を8ビットとして）に置換えて、二値化画像604を得る。この時、入力画像601に撮像された人型の物体609は、二値化画像604中の人型物体611として検出され、人型物体611の外接矩形612が生成される（二値化処理ステップ403）。
次に物体存在判定ステップ404では、画像抽出部608において、二値化画像604中で画素値が“255”となった画素のかたまりを検出し、画素値が“255”となる画素のかたまりが存在する場合は物体検出処理を終了し存在したかたまりの外接矩形に相当する入力画像に部分画像を初期テンプレート画像613として後述の画像メモリ305（図３）に登録し、存在しない場合は画像入力ステップ401へ分岐する。
【０００７】
物体追跡処理の流れを図５に従って説明する。図５の物体検出処理ステップ101と初期テンプレート登録ステップ102とにおいて、図４と図６で説明したように物体検出処理と初期テンプレート画像の登録がなされた後の処理について図７を用いて説明する。
図４と図６で説明した物体検出処理が終了した後は、図５に示すフローチャートに従って物体追跡処理がなされる。
図７で、701aは時刻t0-1において更新された物体のテンプレート画像、701は時刻t0-1での入力画像におけるテンプレート画像701aの位置を示す図、702は時刻t0での入力画像、702aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、702bは１フレーム前（t0-1）でのテンプレート画像の位置、702cはテンプレートマッチング処理（例えば、図５のフローチャート）で探索する探索範囲、702dは時刻t0-1からt0まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像702aの中心位置へ向かう矢印）、702eはテンプレートマッチング処理で人型物体を検出した位置、703aは時刻t0で更新された物体のテンプレート画像、703は時刻t0での入力画像におけるテンプレート画像703aの位置を示す図、704は時刻t0+1での入力画像、704aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、704bは１フレーム前（t0）でのテンプレート画像の位置、704cはテンプレートマッチング処理で探索する探索範囲、704dは時刻t0-1からt0+1まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置を経由して704aの中心位置へ向かう矢印）、705aは時刻t0+1で更新された物体のテンプレート画像、705は時刻t0+1での入力画像におけるテンプレート画像705aの位置を示す図、706は時刻t0+2での入力画像、706aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、706bは１フレーム前（t0+1）でのテンプレート画像の位置、706cはテンプレートマッチング処理で探索する探索範囲、706dは時刻t0-1からt0+2まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置を経由して706aの中心位置へ向かう矢印）、707aは時刻t0+2で更新された物体のテンプレート画像、707は時刻t0+2での入力画像におけるテンプレート画像707aの位置を示す図、708は時刻t0+3での入力画像、708aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、708bは１フレーム前（t0+2）でのテンプレート画像の位置、708cはテンプレートマッチング処理で探索する探索範囲、708dは時刻t0-1からt0+3まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像701aの中心位置からテンプレート画像703aの中心位置、テンプレート画像705aの中心位置、テンプレート画像707aの中心位置を経由して708aの中心位置へ向かう矢印）である。
【０００８】
即ち、図５と図７において、物体追跡処理が開始され、二値化画像604中に物体が存在すると判定され、物体検出処理ステップ101を終了する（図４）。そして、二値化画像604中の人型の二値化画像のかたまりの外接矩形に相当する入力画像601の部分画像を、初期テンプレート画像613（図７のテンプレート画像701a）として画像メモリ305（図３）に登録する（初期テンプレート登録ステップ102）。続いて、逐次入力される入力画像中の探索範囲702c内でテンプレート画像701aと一致度r(Δx,Δy)が最大となる部分画像702aを検出する（テンプレートマッチッングステップ103）。
即ち、テンプレートマッチッングステップ103では、最大一致度と、その最大一致度が求められた位置とを得る。
【０００９】
この一致度r(Δx,Δy)を算出する方法として、例えば以下の式(1)で得られる正規化相関と呼ばれる指標を用いることができる。
【数１】

【００１０】
ここで、入力画像702に対してテンプレートマッチングを行なった場合、f(x,y)は入力画像702、f_t(x,y)はテンプレート画像701a、（x₀,y₀）は登録したテンプレート画像701aの左上の座標（画像は左上を原点としている）、D_tはテンプレートの探索範囲702cを表し、探索範囲702c内にテンプレート画像701aとまったく同じ画素値を持つ画像が存在した場合には、一致度r(Δx,Δy)は“1.0”となる。テンプレートマッチングステップ103では、この式(1)で表される指標を(Δx,Δy)∈Dで表される探索範囲702cに対して計算し、その中で一致度r(Δx,Δy)が最大となる位置（外接矩形）702aを検出する。この探索範囲702cは、対象物体の見かけの移動量によって決定される。例えば、速度40km/hで移動する物体を、50m離れたTVカメラ（素子サイズ6.5mm×4.8mmのCCD、焦点距離25mmのレンズ、入力画像サイズ320×240画素（pix）。処理間隔0.1frame/sec）で監視する場合、水平方向の物体の見かけの移動量は27.4pix/frame、垂直方向は27.8pix/frameとなり、Dを-30pix＜Δx＜30pix,-30pix＜Δy＜30pix程度に設定すればよい。
尚、一致度の算出方法は上述の正規化相関の指標に限られるものではない。例えば、入力画像とテンプレート画像間で各画素毎の差をとって、その絶対値の累積値の逆数を一致度としてもよい。
【００１１】
次に、最大一致度判定ステップ104では、テンプレートマッチングステップ103において、テンプレート画像701aと一致度が最大となる入力画像702の位置に、物体が移動した（外接矩形702bから外接矩形702aに移動した）と判断したあと、次に、最大一致度が所定値以下に低下した場合（例えば“0.5”未満）、入力画像中に対象物体がいなくなったものとして、物体検出処理ステップ101へ分岐し、最大一致度が所定値以上であった場合（例えば“0.5”以上）は、テンプレート更新ステップ106へ分岐する。
テンプレート更新ステップ106では、入力画像中の探索範囲702c内でテンプレート画像701aと一致度r（△x,△y）が最大となる部分画像702aを使ってテンプレート画像701aをテンプレート画像703aに更新する。ここで、テンプレート画像を更新する理由は、対象物体の姿勢が変化（例えば、対象物体の人が手を上げたり、腰を曲げたり、足を上げたりして画像が変化）し、テンプレート画像を更新しないと一致度が低下してしまい、追跡結果の信頼性が低下するためである。従って、検出された物体の位置の部分画像702eを新たなテンプレート画像703aとして更新し、対象物体が姿勢を変えた場合でも安定な追跡を行なうようにしている。
【００１２】
上述の実施例では、差分法によって検出した侵入物体について作成したテンプレート画像は、検出した画素のかたまりの外接矩形を取り込み、この外接矩形に囲まれた部分画像をテンプレート画像として切出した。
しかし、切出すテンプレート画像のサイズの決定方法はこの方法に限らない。例えば、外接矩形に一定の定数（例えば、0.8、または1.1等）を乗算してもよい。
更に、撮像素子としてCCD（Charge Coupled Device）を使用した場合には、CCDのサイズ、レンズの焦点距離、CCDから検出する物体の距離によって、対象とみなす物体の大きさを予め算出できるので、算出した大きさをテンプレート画像サイズとすることもできる。
【００１３】
次に、カメラ雲台制御ステップ107に移る。
図１０は入力画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図である。図１０に言及して、カメラ雲台制御ステップ107について説明する。
カメラ雲台制御ステップ107では、テンプレートマッチングによって検出された対象物体の位置と入力画像中央との変位、即ち、カメラの光軸（カメラの視野方向）に対して対象物体が存在する方向に基づいてカメラ雲台302のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対象物体の中心位置（x₀＋△x＋dx/2,y₀＋△y＋dy/2）（（dx,dy）はテンプレート画像の大きさを表す）と入力画像の中心位置（160,120）（画像サイズを320×240とする）とを比較し、検出された対象物体の中心位置が入力画像の中心位置に対して左側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、右側に位置する場合はカメラ雲台のパンモータをカメラの光軸方向が右に移動するように制御する。また、検出された対象物体の中心位置が入力画像の中心位置に対して上側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が上に移動するように制御し、下側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が下に移動するように制御する。
尚、パンモータ、チルトモータは同時に制御可能で、例えば、検出された対象物体の中心位置が入力画像の中心位置に対して左上側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、かつ、チルトモータをカメラの光軸方向が上に移動するように同時に制御する。このようにすることで、カメラの光軸上に対する対象物体を捉えるようにカメラ雲台を制御することが可能となる。
次に、警報・モニタ表示ステップ108では、例えば対象物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに対象物体の画像を表示したりする。
【００１４】
警報・モニタ表示ステップ108が終わると、画像入力ステップ401に戻り、新しい入力画像を得て、この現時刻での入力画像に対して再びテンプレートマッチッング処理を行う。即ち、時刻t0での入力画像702により更新したテンプレート画像703aと、時刻t0+1での入力画像704とによりテンプレートマッチング処理を行う。この時、探索範囲704cは時刻t0で更新されたテンプレート画像704bを中心とした位置に移動しており、新しい探索範囲で検索が行われる。そして、最大の一致度を持った物体が検出され、その検出された物体の位置704aを元に新しいテンプレート画像705aが生成される。
以上のように、対象物体が存在する間は、ステップ401，ステップ103，ステップ104，ステップ106，ステップ107，ステップ108の処理を繰返し、新しいテンプレート画像706a、708aと次々にテンプレート画像が更新されながら、対象物体を追跡し続ける。
【００１５】
前述のテンプレートマッチングを用いた侵入物体の追跡法では、入力画像中でテンプレート画像と一致度が最大となる部分を検出する処理であるため、一時的に対象物体が物陰などに隠れると対象物体を見つけられなくなる。また、視野内に複数の動く物体（動物体）が存在する場合で、対象物体が別の動物体の背後に隠れてしまう場合、テンプレート画像の更新を行うと、対象物体の前面にある物体をテンプレート画像として更新してしまい、対象物体の追跡ができなくなる。
【００１６】
対象物体の追跡ができなくなる一例を図８を用いて説明する。図８は、侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、複数の動物体が重なって撮像された場合の追跡状態を説明する図である。801aは時刻t0-1において更新された物体のテンプレート画像、801は時刻t0-1での入力画像におけるテンプレート画像801aの位置を示す図、802は時刻t0での入力画像、802aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、802bは時刻t0に撮像された別の動物体、803aは時刻t0でのテンプレート画像、803は時刻t0での入力画像におけるテンプレート画像803aの位置を示す図、804は時刻t0+1での入力画像、804aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、804bは時刻t0+1に撮像された別の動物体、805aは時刻t0+1で更新された物体のテンプレート画像、805は時刻t0+1での入力画像におけるテンプレート画像805aの位置を示す図、806は時刻t0+2での入力画像、806aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、806bは時刻t0+2に撮像された別の動物体、807aは時刻t0+2で更新された物体のテンプレート画像、807は時刻t0+2での入力画像におけるテンプレート画像807aの位置を示す図、808は時刻t0+3での入力画像、808aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、808bは時刻t0+3に撮像された別の動物体である。
【００１７】
図８においては、時刻ｔ1-1で差分法によって検出された追跡対象物である人型の物体のテンプレート画像801aをもとに、逆方向から歩いてくる別の人型物体と交差する時の追跡処理がどのように実行されていくかを説明している。時刻t1では、登録したテンプレート画像801aを用いて入力画像802についてマッチング処理を行ない、対象物体の移動した位置802aを検出すると共に、テンプレート画像801aを図803の位置にあるテンプレート画像803aに更新する。この時、別の人型物体802bは離れているのでテンプレートマッチングでの交差の問題は発生しない。しかし、時刻t1+1と時刻t1+2では、別の移動物体804b，806bが対象物体の前を横切り、時刻t1+1の入力画像804では何とか対象物体の位置804aは正しい位置に認識できたが、時刻t1+2の入力画像806では対象物体の位置806aは別の物体806bとほぼ重なっているため、どちらか分らなくなり、テンプレート画像805a，807aと更新していく度に、前を横切った人型物体の画像がテンプレート画像の中に入り込む。即ち、本来の対象物体がテンプレート画像に占める割合より、別の動物体がテンプレート画像に占める割合が大きくなる。そして遂には、時刻t1+3では、前を横切った人型物体808bを対象物体の位置808aとして認識してしまい、以降はこの別の人型物体を追跡してしまうことになる。従って、テンプレートマッチングを用いた物体追跡法は、対象物体の前を別の物体が横切った場合には、対象としている物体を追跡している保証ができず、安定な追跡が行なうことができない。
【００１８】
同様のことは、別の動物体が存在していなくても起る。即ち、対象物体が遮蔽物の陰に隠れてしまう場合である。この場合には、、テンプレート画像に占める対象物体の割合が落ちるため、追跡がその時刻で終了してしまうことになるか、または、テンプレート画像が更新された時点で、対象物体と異なるテンプレート画像に更新されてしまうため、次の時刻での追跡が困難となる。
【００１９】
【発明が解決しようとする課題】
前述の従来技術には、対象物体の前を相対的に別の物体が横切る場合には、正確に追跡できない欠点があった。
本発明の目的は、上記のような欠点を除去し、対象物体の前を相対的に別の物体が横切る場合にも、正確に物体を検出および追跡することができる、信頼性の高い物体追跡方法を提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の物体追跡方法は、撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、検出した物体を追跡する物体追跡方法において、所定数のテンプレート画像を保存及び更新する複数テンプレート保存ステップと、現時刻に取得した入力画像と、所定数のテンプレート画像それぞれとのテンプレートマッチングを行い、所定数のテンプレート画像それぞれについて、最大一致度と、その最大一致度が求められる位置とを取得するマッチングステップと、マッチングステップによって取得した最大一致度の中で、最大一致度が一番大きいテンプレート画像について最大一致度を求められる位置を、検出物体の位置として補正する位置補正ステップと、現時刻に取得した入力画像の中から、位置補正ステップによって補正された位置の部分画像を切出し、複数テンプレート保存ステップによって、所定数のテンプレート画像のいずれかを更新するテンプレート更新ステップとを備えて、検出した物体を追跡する。
【００２１】
また、本発明の物体追跡方法において、所定数のテンプレート画像は、互いに異なった時刻の入力画像から切出され、保持される。
更に、テンプレート更新ステップで更新されるテンプレート画像は、保持された所定数のテンプレート画像のうち、最も古い時刻に切り出されたテンプレート画像であるか、または、一致度が最も低いテンプレート画像である。
【００２２】
更にまた、本発明の物体追跡方法において、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を初期テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
また、位置補正ステップにおいて、取得した最大一致度すべてが所定の値未満であれば、差分法によって、現時刻の入力画像から物体を検出し、検出した物体を追跡対象物体として追跡する。
【００２３】
更に本発明の物体追跡方法において、位置補正ステップによって検出された位置に基づいて、撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、制御信号によって撮像装置の視野方向を検出された位置に常に向けて、検出した物体を追跡する。
また、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像を前記テンプレート画像として登録する初期テンプレート登録ステップを備え、差分法によって検出した物体を追跡対象物体として、追跡を行なう。
【００２４】
また本発明の物体追跡装置は、監視対象範囲を撮像する撮像装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、画像入力インターフェースによって変換された画像信号を処理する画像処理手段と、テンプレート画像として登録された複数の画像を保存する手段とを備え、画像処理手段は、撮像装置から現時刻に入力した画像信号を、あらかじめ保存された複数のテンプレート画像それぞれによってテンプレートマッチングを行ない、テンプレートマッチングによってそれぞれ得られた複数のテンプレート画像それぞれの最大一致度の中で、一番大きな最大一致度を得るテンプレート画像について取得する部分画像の位置を検出物体の位置とし、同時に、検出物体の位置の部分画像を新たなテンプレート画像として更新することにより、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２５】
また、本発明の物体追跡装置は、撮像装置の視野方向を変えるための雲台と、画像処理手段によって撮像装置の視野方向を変えるために雲台を制御するための制御信号を供給する雲台制御インターフェースとを備え、画像処理手段が、物体の現時刻の検出位置に基づいて、物体の方向を検出し、得られた方向から雲台制御インターフェースを介して、撮像装置の視線方向を調節し、撮像装置の撮像視野内に侵入した物体を追跡する。
【００２６】
【発明の実施の形態】
本発明の物体追跡方法では、複数の物体がすれ違うとマッチングの一致度が低くなる特徴を利用し、テンプレートマッチングに使用するテンプレート画像を追跡処理の過程で複数フレーム保持するようにし、異なる時刻に得られた複数のテンプレート画像それぞれに対して独立にマッチングを行ない、最も一致度が高いテンプレート画像に基づいて対象物体を追跡する。
即ち、本発明は、差分法によって物体を検出し、検出物体の画像をテンプレートとして所定フレーム数分保持し、それぞれのテンプレートに対してテンプレートマッチングを行ない、一致度が最大となるテンプレート及びその位置を検出することで、特に対象物体の前を別の物体が横切った場合でも安定に追跡をすることができる。
【００２７】
図３に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。301はTVカメラ、303は画像入力I/F、313はデータバス、305は画像メモリ、306はワークメモリ、307はCPU、308はプログラムメモリ、302はカメラ雲台、304は雲台制御I/F、309は出力I/F、310は画像出力I/F、311は警告灯、312は監視モニタである。TVカメラ301は画像入力I/F303に接続され、カメラ雲台302は雲台制御I/F304に接続され、警告灯311は出力I/F309に接続され、監視モニタ312は画像出力I/F310に接続されている。画像入力I/F303、雲台制御I/F304、画像メモリ305、ワークメモリ306、CPU307、プログラムメモリ308、出力I/F309及び画像出力I/F310は、データバス313に接続されている。また、TVカメラ301はカメラ雲台302に取付けられている。
【００２８】
図３において、TVカメラ301は監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力I/F303からデータバス313を介して画像メモリ305に蓄積される。CPU307はプログラムメモリ308に保存されているプログラムに従って、ワークメモリ306内で画像メモリ305に蓄積された画像の解析を行なう。CPU307は、処理結果に応じてデータバス313から雲台制御I/F304を介してカメラ雲台302を制御してTVカメラ301の撮像視野を変えたり、出力I/F309を介して警告灯311を点灯し、画像出力I/F310を介して監視モニタ312に、例えば侵入物体検出結果画像を表示する。尚、画像メモリ305は、登録されたテンプレート画像を保存しておくためのテンプレート画像保持装置をも備えている。
【００２９】
以降に説明するフローチャートは、すべて上記図３で説明した物体追跡監視装置のハードウエア構成を使って説明する。
本発明の第１の実施例を図１によって説明する。図１は本発明の一実施例の処理プロセスを説明するフローチャートである。図１は図５で示したテンプレートマッチング法の処理プロセスにテンプレート位置補正ステップ105を追加したものである。ステップ101、102、401、103、104、106、107、108については、図４と図５によって説明したものと同じであるので説明を省略する。
【００３０】
本発明の一実施例を図１によって説明する。図１は、本発明の処理プロセスの一実施例を表すフローチャートである。図１は図５で説明した従来のテンプレートマッチング法の処理プロセスにおいて、最大一致度判定ステップ104とテンプレート更新ステップ106の代りに、分岐ステップ201、最大一致度判定ステップ104′、テンプレート位置補正ステップ105、複数テンプレート保存ステップ202とを置いて構成したものである。ステップ101、102、401、103、107、108については、図４と図５によって説明した従来技術のものと同じであるので説明を省略する。
【００３１】
図１において処理が開始されると、既に説明した物体検出処理101からテンプレート登録ステップ102によって、時刻t0-1における入力画像から取得した画像を時刻t0-1のテンプレート画像として登録し、画像入力ステップ401で時刻t0における入力画像を取得した後、テンプレートマッチング処理103に進む。
次に、テンプレートマッチング処理ステップ103では、保存された時刻t0-1のテンプレート画像と、時刻t0における入力画像とテンプレートマッチング処理がなされる。そして、分岐ステップ201を通り、最大一致度判定ステップ104´に進む。
【００３２】
分岐ステップ201では、保存されているすべてのテンプレート画像すべてについてテンプレートマッチング処理がなされているかどうかを調べる。そして、保存しているすべてのテンプレート画像とのテンプレートマッチング処理が終了している場合には最大一致度判定ステップ104′に処理を進め、終了していない場合には、テンプレートマッチッングステップ103に戻る。
【００３３】
そして、再びテンプレートマッチッングステップ103に戻った時、保存されているテンプレートは時刻t0-2のテンプレートと時刻t0-1のテンプレートの２つである（時刻は“+1”進んでいるため“-1”が加えられる）。ここで、テンプレートマッチッングステップ103では時刻t0の入力画像と、先ず時刻t0-1のテンプレートとのテンプレートマッチング処理がなされ、分岐ステップ201に進む。
今、時刻t0-1のテンプレートとのテンプレートマッチング処理がなされたが、まだ時刻t0-2のテンプレートが残っている。従って、この時はステップ103に戻り、時刻t0-2のテンプレートと時刻t0の入力画像とのテンプレートマッチング処理を行う。このようにして、次々と残っているテンプレートとテンプレートマッチング処理を行い、すべてのテンプレートについてテンプレートマッチング処理が終了すれば、分岐ステップ201から処理ステップを最大一致度判定ステップ104´に進める。
【００３４】
最大一致度判定ステップ104´では、テンプレートマッチング処理によって、複数のテンプレート画像それぞれについてに得られた最大一致度の中から一番大きな値を選ぶ。そして、その一番大きな値の最大一致度が所定値以上であった場合にはテンプレート位置補正ステップ105に進み、その一番大きな値の最大一致度が所定値未満であった場合には物体検出処理ステップ101に戻る。
【００３５】
複数テンプレート保存ステップ202では、時刻t0の入力画像で検出された物体の中で、最大一致度判定ステップ104´において一番値の大きい最大一値度を得た位置の部分画像を切出して時刻t0のテンプレートを新たに保存する。
この時、既にテンプレート登録ステップ102において登録された時刻t0-1のテンプレ−ト画像はそのまま保存される。
この複数テンプレート保存ステップ202で保存するテンプレート画像の数は、あらかじめ所定数（例えば、“3”）を定めておき、所定数を超える時は、例えば、一番古い時刻に取得したテンプレートを削除する。
【００３６】
次にカメラ雲台制御ステップ107に処理が進み、カメラ301の視野方向（光軸方向）を対象物体の方向に向ける。
そして次に、警報・モニタ表示ステップ108に処理が移り、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ108が終了すると、画像入力ステップ401に戻り、新しい入力画像を取得し、再びテンプレートマッチッング処理を行う。
【００３７】
上記の本発明の一実施例の効果について、図２を用いて説明する。図２は、侵入物体追跡の流れを、画像の例を用いて説明するための図で、撮像視野内に複数の動物体（人型物体）が重なって撮像された場合の追跡状態を説明する図である。図８で説明した物体追跡方法による物体追跡に比べるために、図８と同じ状況設定である。なお、保存するテンプレートの数は2（“テンプレートマッチングを行うフレーム数”= 2）としている。
【００３８】
901aは時刻t0-1において更新された物体のテンプレート画像、901は時刻t0-1での入力画像におけるテンプレート画像901aの位置を示す図、902は時刻t0での入力画像、902aは時刻t0においてテンプレートマッチング処理によって検出された物体の位置、902cは時刻t0に撮像された別の動物体、903aは時刻t0でのテンプレート画像、903は時刻t0での入力画像におけるテンプレート画像903aの位置を示す図、904は時刻t0+1での入力画像、904aは時刻t0+1においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された904bは１つ前の処理時刻（この場合はt0-1）のテンプレート画像がマッチングした位置、904cは時刻t0+1に撮像された別の動物体、905aは時刻t0+1で更新された物体のテンプレート画像、905は時刻t0+1での入力画像におけるテンプレート画像905aの位置を示す図、906は時刻t0+2での入力画像、906aは時刻t0+2においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された906bは１つ前の処理時刻（この場合はt0）のテンプレート画像がマッチングした位置、906cは時刻t0+2に撮像された別の動物体、907aは時刻t0+2で更新された物体のテンプレート画像、907は時刻t0+2での入力画像におけるテンプレート画像907aの位置を示す図、908は時刻t0+3での入力画像、908aは時刻t0+3においてテンプレートマッチング処理によって検出された物体の位置、点線の矩形領域で示された908bは１つ前の処理時刻（この場合はt0+1）のテンプレート画像がマッチングした位置、908cは時刻t0+3に撮像された別の動物体である。
【００３９】
図８による追跡状況（本発明を適用しない状況）、即ち、対象物体の時々刻々の検出位置の推移は、直前の時刻に（１つ前のフレームで）取得したテンプレート画像によって得られたマッチング位置であるので、図２において各時刻での入力画像902，904，906，908中の実線の矩形画像902a，904a，906a，908aが示していることになる。また、本発明の実施例による追跡状況は、各時刻での入力画像904，906，908中の点線の矩形画像904b，906b，908bである。
【００４０】
入力画像904と906で見るように、複数物体がすれ違った時刻（2つの物体が重なる時刻）にテンプレートの更新を行うと、テンプレート画像中に2つの物体が写込んでしまう。このため、本来の追跡していた物体の画素がテンプレート画像に占める割合が減少する。従って、時刻t0の入力画像902ではまだすれ違っていないため追跡に問題はなく、追跡対象の小さい物体を追跡している。また、時刻to+1における、別の動物体904cと重なり始めた入力画像904では、作成されているテンプレート画像に、まだ別の動物体が写込んでいないため問題とならないので追跡対象をまだ捉えているが、このマッチング位置をもとに作成されるテンプレート画像905aには別の動物体904cが写込んでいる。そしてまた、別の動物体906cとほとんど重なっている入力画像906においても、別の動物体904cが写込んでいる割合が大きいテンプレート画像905aによってマッチングを行った場合の検出位置906aと１フレーム前のテンプレート画像903aを用いてマッチングを行った検出位置906bとは大きな位置ずれはない。しかしこの時点で保存されるテンプレート画像907aは大きい物体906cの画素がテンプレート画像に占める割合が、本来の追跡していた物体の画素がテンプレート画像に占める割合より大きくなるため、大きい物体906cにテンプレート画像が横取りされ、時刻t0+2以降では、大きい物体908cを追跡してしまう。
しかし本発明による結果、以前から保存していたテンプレート画像905aを使ってマッチングを行うため、検出位置908bは本来の追跡対象物体を捉えることができる。
【００４１】
上記のように、図１の実施例によれば、テンプレートマッチングステップ103によって検出された位置をもとに、異なる時刻に得られた所定フレーム数分のテンプレート画像を独立にマッチングさせるため、対象物体の前を別の物体が横切ったり、対象物体が一時的に遮蔽物の影に隠れたとしても、過去の複数のテンプレート画像を対象として、最大の一致度を持つ領域をテンプレートマッチング位置として補正するため、テンプレートの位置が対象物体からずれることがなく、また別の物体を追跡することなく、対象物体を正確に追跡することができる。
【００４２】
次に、本発明の第２の実施例を図９によって説明する。図９は、本発明の処理プロセスの一実施例を表すフローチャートである。図９は、図１で説明した本発明の第１の実施例を表す処理プロセスにおいて、テンプレートマッチングステップ103、分岐ステップ201、最大一致度判定ステップ104′の代わりに、テンプレートカウンタリセットステップ991、テンプレートマッチングステップ992、最大一致度判定ステップ993、カウンタ増加ステップ994、分岐ステップ995とを置いて構成したものである。その他のステップ101、102、401、106、107、108については、図１によって説明した実施例のものと同じであるので説明を省略する。
【００４３】
図９において、処理が開始されると、既に説明した物体検出処理101から初期テンプレート登録ステップ102によって、時刻to-1における入力画像から取得した画像を時刻t0-1のテンプレートとして登録した後、画像入力ステップ401に進み、新しい画像を得る。
次に、テンプレートカウンタリセットステップ991では、ワークメモリ306内に記憶されているテンプレートカウンタの値iを1に変更する。続いて、テンプレートマッチングステップ992では、保存された時刻t0-i（iは整数）のテンプレート画像と、画像入力ステップ401によって得られた時刻t0の入力画像とテンプレートマッチング処理を行なう。
そして、最大一致度判定ステップ993では、テンプレートマッチングステップ992によって得られた最大一致度が所定値以上であった場合には複数テンプレート保存ステップ106に進み、最大一致度が所定値未満であった場合にはカウンタインクリメントステップ994に進む。
【００４４】
カウンタインクリメントステップ994では、ワークメモリ306内に記憶されているテンプレートカウンタの値iに1を加算（ i=i+1 ）してテンプレートカウンタの値を更新する。次に分岐ステップ995では、ワークメモリ306内に記憶されているテンプレートカウンタの値iが所定の値（例えば、5、この値は、何フレーム前までのテンプレート画像が保存されているかを表す）以上になった場合には物体検出処理ステップ101に戻り、所定の値未満であった場合にはテンプレートマッチングステップ992に戻る。
【００４５】
図９の実施例のよれば、入力画像に対して保存した複数のテンプレート画像を新しい順に（入力画像を取得した時刻に近いテンプレート画像の順に）適用して逐次テンプレートマッチング処理を行ない、一致度が、所定の値以上となった場合にそのマッチング位置を対象物体の存在する位置として判定する。従って、保存したすべてのテンプレート画像に対してテンプレートマッチング処理を行なわなくて済むため、テンプレートマッチング処理に要する計算時間を最低限に抑えることができる。
【００４６】
【発明の効果】
以上のように本発明によれば、監視視野内に複数の動物体が存在したり、対象物体が遮蔽物の陰に一時的に隠れる場合でも、安定に物体を追跡することができ、撮像装置を用いた監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の処理動作を説明するためのフローチャート。
【図２】 本発明の物体追跡方法の一実施例を説明する図。
【図３】 本発明が適用された監視装置の一実施例を示すブロック構成図。
【図４】 従来の差分法による物体検出処理の一例を示すフローチャート。
【図５】 従来のテンプレートマッチング法による物体追跡処理の一例を示すフローチャート。
【図６】 従来の差分法による物体検出処理の動作を説明する図。
【図７】 従来のテンプレートマッチング法による物体追跡処理の動作を説明する図。
【図８】 従来のテンプレートマッチング法による物体追跡処理の問題点を説明する図。
【図９】 本発明の処理プロセスの一実施例を表すフローチャート。
【図１０】 画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図。
【符号の説明】
301：TVカメラ、 302：カメラ雲台、 303：画像入力I/F、 304：雲台制御I/F、 305：画像メモリ、 306：ワークメモリ、 307：CPU、 308：プログラムメモリ、 309は出力I/F、 310：画像出力I/F、 311：警告灯、 312：監視モニタ、 313はデータバス、 601：入力画像、 602：基準背景画像、 603：差分処理された後の差分画像、 604：二値化画像、 605：画像、 606：差分処理部、 607：二値化処理部、 608：画像抽出部、 609：人型の物体、 610：人型の差分画像、 611：人型の二値化画像、 612：外接矩形、 613：テンプレート画像、 701，703，705，707：画像、 701a，703a，705a，707a：テンプレート画像、 702，704，706，708：入力画像、 702a，704a，706a，708a：テンプレートマッチング処理によって検出された物体の位置、 702b，704b，706b，708b：１フレーム前でのテンプレート画像の位置、 702c，704c，706c，708c：探索範囲、 702d，704d，706d，708d：移動矢印、 702e：二値化画像、 801：テンプレート画像801aの位置を示す図、 801a：テンプレート画像、 802：入力画像、 802a：テンプレートマッチング処理によって検出された物体の位置、 802b：別の動物体、 803a：テンプレート画像、 803：テンプレート画像803aの位置を示す図、 804：入力画像、 804a：テンプレートマッチング処理によって検出された物体の位置、 804b：別の動物体、 805a：テンプレート画像、 805：テンプレート画像805aの位置を示す図、 806：入力画像、 806a：テンプレートマッチング処理によって検出された物体の位置、 806b：別の動物体、 807a：テンプレート画像、 807：テンプレート画像807aの位置を示す図、 808：入力画像、 808a：テンプレートマッチング処理によって検出された物体の位置、 808b：別の動物体、 901：テンプレート画像901aの位置を示す図、 901a：テンプレート画像、 902：入力画像、 902a：テンプレートマッチング処理によって検出された物体の位置、 902c：別の動物体、 903：テンプレート画像903aの位置を示す図、 903a：テンプレート画像、 904：入力画像、 904a：テンプレートマッチング処理によって検出された物体の位置、 904b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 904c：動物体、 905：テンプレート画像905aの位置を示す図、 905a：テンプレート画像、 906：入力画像、 906a：テンプレートマッチング処理によって検出された物体の位置、 906b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 906c：別の動物体、 907：テンプレート画像907aの位置を示す図、 907a：テンプレート画像、 908：入力画像、 908a：テンプレートマッチング処理によって検出された物体の位置、 908b：１つ前の処理時刻のテンプレート画像がマッチングした位置、 908c：別の動物体、[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring device using an imaging device, and in particular, automatically detects an object that has entered the imaging field of view from a video signal input from the imaging device, and automatically tracks the movement of the detected object. The present invention relates to an object tracking method and an object tracking apparatus that adjusts an imaging direction in accordance with a detected movement of an object.
[0002]
[Prior art]
2. Description of the Related Art Image monitoring devices that use imaging devices such as cameras have been widely used. However, in such a monitoring system using a video monitoring device, a manned person detects and tracks an intruding object such as a human being or a car entering the visual field of view while watching an image displayed on the monitor. A system in which an intruding object is automatically detected from an image input from an image input means such as a camera instead of monitoring, and its movement is automatically tracked, so that a predetermined notification or alarm treatment can be obtained. It is becoming required.
[0003]
In order to realize such a system, first, an intruding object in the field of view is detected by a difference method or the like. In the difference method, an input image obtained by an imaging device such as a television camera (hereinafter referred to as a TV camera) is compared with a reference background image created in advance, that is, an image in which an object to be detected is not captured. A difference in luminance value is obtained for each pixel, and a region having a large difference value is detected as an object. A partial image of the input image corresponding to the position of the intruding object detected in this way is registered as a template, and a position where the degree of coincidence with the template image is maximized is detected among the sequentially input images. This method is known as template matching and is widely known. For example, it is described in P149 to P153 of a book entitled “Introduction to Computer Image Processing”, which was published by Soken Publishing in 1985 and supervised by Hideyuki Tamura.
Normally, when tracking a target object using template matching, in order to follow a change in the posture of the target object, an image of the position of the target object detected by the matching process is sequentially updated as a template. These processes will be described with reference to FIGS.
[0004]
4 is a flowchart showing an example of an intruding object detection process using a difference method, FIG. 5 is a flowchart showing an example of an intruding object tracking using template matching, and FIG. 6 is an intruding object shown in FIGS. It is a figure for demonstrating the flow from a detection process to the initial template image registration by the example of an image. FIG. 7 is a diagram for explaining the flow of the intruding object tracking process shown in FIG. 5 using an example of an image. A template image to which an image input at a certain time interval is initially given is shown. It is a figure explaining how it is originally performed (how an initial template changes).
[0005]
In FIG. 6, 601 is an input image, 609 is a humanoid object in the input image 601, 602 is a reference background image, 606 is a difference processing unit, 603 is a difference image after being subjected to difference processing in the difference processing unit 606, 610 Is a humanoid difference image in the difference image 603 corresponding to the humanoid object 609, 607 is a binarization processing unit, 604 is binarization of the difference image 603 binarized by the binarization processing unit 607 611 is a humanoid object (humanoid binarized image) in the binarized image 604 corresponding to the humanoid difference image 610, 612 is a circumscribed rectangle of the humanoid binarized image 611, and 608 is an image An extraction unit 605 is an image explaining that a region surrounded by the circumscribed rectangle 612 is cut out from the input image 601 as a template image, and 613 is an initial template image cut out from the input image 601.
[0006]
4 and 6, first, an input image 601 of 320 × 240 pixels, for example, is input from the TV camera (image input step 401). Next, the difference processing unit 606 calculates a difference for each pixel between the input image 601 and the reference background image 602 created in advance, and obtains a difference image 603. At this time, the humanoid object 609 in the input image 601 appears as a humanoid difference image 610 in the difference image 603 (difference processing step 402). Then, in the binarization processing unit 607, the difference value for each pixel of the difference image 603 is “0” for the pixel value that is not more than the predetermined threshold value, and “255” for the pixel value that is not less than the threshold value. Substituting (one pixel is 8 bits) to obtain a binarized image 604. At this time, the humanoid object 609 captured in the input image 601 is detected as a humanoid object 611 in the binarized image 604, and a circumscribed rectangle 612 of the humanoid object 611 is generated (binarization processing step). 403).
Next, in the object presence determination step 404, the image extraction unit 608 detects a block of pixels having a pixel value “255” in the binarized image 604, and determines the block of pixels having a pixel value “255”. If it exists, the object detection process is terminated, and a partial image is registered as an initial template image 613 in the image memory 305 (FIG. 3), which will be described later, as an initial template image 613. Branch to 401.
[0007]
The flow of the object tracking process will be described with reference to FIG. In the object detection processing step 101 and the initial template registration step 102 in FIG. 5, the processing after the object detection processing and the initial template image registration as described in FIGS. 4 and 6 will be described with reference to FIG. .
After the object detection process described with reference to FIGS. 4 and 6 is completed, the object tracking process is performed according to the flowchart shown in FIG.
In FIG. 7, 701a is a template image of an object updated at time t0-1, 701 is a diagram showing the position of the template image 701a in the input image at time t0-1, 702 is an input image at time t0, and 702a is The position of the object (template image) detected by the template matching process at time t0, 702b is the position of the template image one frame before (t0-1), and 702c is searched by the template matching process (for example, the flowchart of FIG. 5). 702d is a moving arrow (for example, an arrow heading from the center position of the template image 701a to the center position of the template image 702a) indicating the direction and locus of the movement of the humanoid object from time t0-1 to t0, and 702e is the template The position where the humanoid object is detected by the matching process, 703a is the template image of the object updated at time t0, and 703 is the template in the input image at time t0. 704a is the input image at time t0 + 1, 704a is the position of the object detected by the template matching process at time t0 + 1 (template image), and 704b is one frame before (t0) 704c is a search range to be searched by the template matching process, 704d is a moving arrow indicating the direction and locus of the humanoid object from time t0-1 to t0 + 1 (for example, the template image 701a Arrow pointing from the center position to the center position of 704a via the center position of the template image 703a), 705a is the template image of the object updated at time t0 + 1, and 705 is the template image in the input image at time t0 + 1 705a is an input image at time t0 + 2, 706a is an object position (template image) detected by template matching processing at time t0 + 2, and 706b is one frame. 706c is a search range to be searched by the template matching process, 706d is a movement arrow (indicated by a moving arrow representing the direction and trajectory that the humanoid object has moved from time t0-1 to t0 + 2) For example, an arrow pointing from the center position of the template image 701a to the center position of the template image 703a and the center position of the template image 705a to the center position of 706a), 707a is the template image of the object updated at time t0 + 2, 707 is a diagram showing the position of the template image 707a in the input image at time t0 + 2, 708 is the input image at time t0 + 3, 708a is the position of the object detected by the template matching process at time t0 + 3 (template (Image), 708b is the position of the template image one frame before (t0 + 2), 708c is the search range searched by the template matching process, and 708d is a humanoid object moving from time t0-1 to t0 + 3 A moving arrow indicating the direction and locus (for example, an arrow from the center position of the template image 701a to the center position of the template image 703a, the center position of the template image 705a, and the center position of the template image 707a toward the center position of 708a) It is.
[0008]
That is, in FIG. 5 and FIG. 7, object tracking processing is started, it is determined that an object is present in the binarized image 604, and the object detection processing step 101 is ended (FIG. 4). Then, a partial image of the input image 601 corresponding to a circumscribed rectangle of a cluster of humanoid binarized images in the binarized image 604 is used as an initial template image 613 (template image 701a in FIG. 7) as an image memory 305 (FIG. 3) (initial template registration step 102). Subsequently, a partial image 702a having the maximum matching degree r (Δx, Δy) with the template image 701a is detected within the search range 702c in the sequentially input image (template matching step 103).
That is, in the template matching step 103, the maximum matching degree and the position where the maximum matching degree is obtained are obtained.
[0009]
As a method for calculating the degree of coincidence r (Δx, Δy), for example, an index called normalized correlation obtained by the following equation (1) can be used.
[Expression 1]

[0010]
Here, when template matching is performed on the input image 702, f (x, y) is the input image 702, f _t (x, y) is the template image 701a, (x ₀ , y ₀ ) Is the upper left coordinates of the registered template image 701a (the image has the upper left as the origin), D _t Represents a template search range 702c. When an image having exactly the same pixel value as the template image 701a exists in the search range 702c, the matching degree r (Δx, Δy) is “1.0”. In the template matching step 103, the index represented by the equation (1) is calculated for the search range 702c represented by (Δx, Δy) ∈D, and the matching degree r (Δx, Δy) is the largest among them. Is detected (circumscribed rectangle) 702a. This search range 702c is determined by the apparent amount of movement of the target object. For example, an object that moves at a speed of 40km / h, a TV camera 50m away (CCD with element size 6.5mm x 4.8mm, lens with focal length 25mm, input image size 320 x 240 pixels (pix), processing interval 0.1frame / sec), the apparent moving amount of the object in the horizontal direction is 27.4 pix / frame, the vertical direction is 27.8 pix / frame, and D is set to about -30pix <Δx <30pix, -30pix <Δy <30pix. That's fine.
Note that the method for calculating the degree of coincidence is not limited to the above-described normalized correlation index. For example, a difference for each pixel may be taken between the input image and the template image, and the reciprocal of the accumulated value of the absolute values may be used as the degree of coincidence.
[0011]
Next, in the maximum matching score determination step 104, in the template matching step 103, the object has moved to the position of the input image 702 having the maximum matching score with the template image 701a (moved from the circumscribed rectangle 702b to the circumscribed rectangle 702a). Next, when the maximum matching degree falls below a predetermined value (for example, less than “0.5”), it is assumed that there is no target object in the input image, and the process branches to the object detection processing step 101, where the maximum matching is achieved. If the degree is equal to or greater than a predetermined value (for example, “0.5” or greater), the process branches to the template update step 106.
In the template update step 106, the template image 701a is updated to the template image 703a by using the partial image 702a having the highest matching degree r (Δx, Δy) with the template image 701a within the search range 702c in the input image. Here, the reason for updating the template image is that the posture of the target object changes (for example, the image changes when a person of the target object raises his hand, bends his hips or raises his legs) This is because if the update is not performed, the degree of coincidence decreases and the reliability of the tracking result decreases. Therefore, the partial image 702e at the position of the detected object is updated as a new template image 703a, so that stable tracking is performed even when the target object changes its posture.
[0012]
In the above-described embodiment, the template image created for the intruding object detected by the difference method takes in the circumscribed rectangle of the detected cluster of pixels, and cuts out a partial image surrounded by the circumscribed rectangle as the template image.
However, the method for determining the size of the template image to be cut out is not limited to this method. For example, the circumscribed rectangle may be multiplied by a certain constant (for example, 0.8 or 1.1).
In addition, when a CCD (Charge Coupled Device) is used as the image sensor, the size of the object that is considered as the target can be calculated in advance based on the CCD size, the focal length of the lens, and the distance of the object detected from the CCD. The obtained size can also be used as the template image size.
[0013]
Next, the camera pan head control step 107 is performed.
FIG. 10 is a diagram for explaining the relationship between the input image and the position of the target object detected by template matching. The camera pan head control step 107 will be described with reference to FIG.
In the camera pan head control step 107, based on the displacement between the position of the target object detected by template matching and the center of the input image, that is, the direction in which the target object exists with respect to the optical axis of the camera (the viewing direction of the camera). The pan / tilt motor of the camera head 302 is controlled.
In other words, the center position of the target object detected by template matching (x ₀ + △ x + dx / 2, y ₀ + △ y + dy / 2) ((dx, dy) indicates the size of the template image) and the center position of the input image (160,120) (image size is set to 320 × 240), and the detected target object When the center position of the camera is positioned on the left side of the center position of the input image, the pan motor of the camera pan head is controlled so that the optical axis direction of the camera moves to the left. The pan motor is controlled so that the optical axis direction of the camera moves to the right. If the center position of the detected target object is located above the center position of the input image, the tilt motor of the camera platform is controlled so that the optical axis direction of the camera moves upward. In the case of, the tilting motor of the camera platform is controlled so that the optical axis direction of the camera moves downward.
The pan motor and tilt motor can be controlled simultaneously. For example, when the center position of the detected target object is located on the upper left side with respect to the center position of the input image, the pan motor of the camera platform is moved in the direction of the optical axis of the camera. And the tilt motor are simultaneously controlled so that the direction of the optical axis of the camera moves upward. In this way, it is possible to control the camera platform so as to capture the target object on the optical axis of the camera.
Next, in the alarm / monitor display step 108, for example, an alarm is sounded when the target object is within a predetermined alarm range, or an image of the target object is displayed on the monitor monitor.
[0014]
When the alarm / monitor display step 108 is completed, the process returns to the image input step 401, a new input image is obtained, and the template matching process is performed again on the input image at the current time. That is, template matching processing is performed using the template image 703a updated with the input image 702 at time t0 and the input image 704 at time t0 + 1. At this time, the search range 704c has moved to a position centered on the template image 704b updated at time t0, and the search is performed in the new search range. Then, an object having the highest degree of coincidence is detected, and a new template image 705a is generated based on the position 704a of the detected object.
As described above, while the target object exists, the processing of Step 401, Step 103, Step 104, Step 106, Step 107, and Step 108 is repeated, and the template images are updated successively with new template images 706a and 708a. , Keep track of the target object.
[0015]
The intruding object tracking method using template matching described above is a process that detects the portion of the input image that has the highest degree of coincidence with the template image, so if the target object is temporarily hidden behind the object, I can't find it. Also, when there are multiple moving objects (animal bodies) in the field of view and the target object is hidden behind another animal body, updating the template image will cause the object in front of the target object to be The template image is updated, and the target object cannot be tracked.
[0016]
An example in which the target object cannot be tracked will be described with reference to FIG. FIG. 8 is a diagram for explaining the flow of the intruding object tracking process using an example of an image, and is a diagram for explaining the tracking state when a plurality of moving objects are imaged. 801a is the template image of the object updated at time t0-1, 801 is a diagram showing the position of the template image 801a in the input image at time t0-1, 802 is the input image at time t0, and 802a is the template at time t0 The position of the object detected by the matching process, 802b is another moving object imaged at time t0, 803a is a template image at time t0, 803 is a diagram showing the position of the template image 803a in the input image at time t0, 804 is the input image at time t0 + 1, 804a is the position of the object detected by the template matching process at time t0 + 1, 804b is another moving object imaged at time t0 + 1, and 805a is time t0 + 1. 805 is a diagram showing the position of the template image 805a in the input image at time t0 + 1, 806 is the input image at time t0 + 2, and 806a is the template matching process at time t0 + 2. In 806b is another moving object imaged at time t0 + 2, 807a is the template image of the object updated at time t0 + 2, and 807 is the input image at time t0 + 2. The figure showing the position of the template image 807a, 808 is the input image at time t0 + 3, 808a is the position of the object detected by the template matching process at time t0 + 3, 808b is another image captured at time t0 + 3 It is an animal body.
[0017]
In FIG. 8, based on the template image 801a of the humanoid object that is the tracking target detected by the difference method at the time t1-1, it intersects with another humanoid object walking from the opposite direction. It explains how the tracking process is executed. At time t1, matching processing is performed on the input image 802 using the registered template image 801a to detect the position 802a to which the target object has moved, and the template image 801a is updated to the template image 803a at the position in FIG. At this time, since another humanoid object 802b is separated, the problem of intersection in template matching does not occur. However, at time t1 + 1 and time t1 + 2, another moving object 804b, 806b crossed in front of the target object, and in the input image 804 at time t1 + 1, the target object position 804a was somehow recognized as the correct position. However, in the input image 806 at the time t1 + 2, the position 806a of the target object almost overlaps with the other object 806b, so it is not understood either, and every time it is updated with the template images 805a and 807a, it crosses the front. An image of a humanoid object enters the template image. That is, the proportion of another moving object in the template image is larger than the proportion of the original target object in the template image. Finally, at time t1 + 3, the humanoid object 808b crossing the front is recognized as the position 808a of the target object, and thereafter, this other humanoid object is tracked. Therefore, in the object tracking method using template matching, when another object crosses the target object, it cannot be guaranteed that the target object is being tracked, and stable tracking cannot be performed.
[0018]
The same thing happens even if there is no other animal body. That is, the target object is hidden behind the shield. In this case, since the ratio of the target object in the template image decreases, tracking ends at that time, or when the template image is updated, the template image is different from the target object. Since it is updated, tracking at the next time becomes difficult.
[0019]
[Problems to be solved by the invention]
The above-described prior art has a drawback that it cannot be accurately tracked when another object crosses in front of the target object.
The object of the present invention is to remove the above-described drawbacks and to reliably detect and track an object even when another object crosses in front of the target object with high reliability. It is to provide a method.
[0020]
[Means for Solving the Problems]
To achieve the above object, an object tracking method according to the present invention detects an object in an imaging field from an input image sequentially acquired by an imaging device, and tracks a detected object in a predetermined number of templates. Multiple template storage step for storing and updating images, template matching between the input image acquired at the current time and each of a predetermined number of template images, and the maximum matching degree and the maximum matching for each of the predetermined number of template images The matching step for obtaining the position where the degree is required, and the position where the maximum degree of matching is obtained for the template image having the largest maximum degree of matching among the maximum degree of matching obtained by the matching step is corrected as the position of the detected object. Position correction step and position correction from the input image acquired at the current time. Cut out partial image of the corrected position by step, by a plurality template storage step, and a template update step of updating one of the predetermined number of the template image, to track the detected object.
[0021]
In the object tracking method of the present invention, a predetermined number of template images are cut out from input images at different times and held.
Further, the template image updated in the template updating step is a template image cut out at the oldest time among the predetermined number of held template images, or a template image having the lowest degree of coincidence.
[0022]
Furthermore, in the object tracking method of the present invention, an initial template registration step of detecting an object from the input image by a difference method and registering a partial image of a predetermined size of the input image including at least a part of the detected object as an initial template image. And tracking is performed using an object detected by the difference method as a tracking target object.
In the position correction step, if all of the acquired maximum matching degrees are less than a predetermined value, an object is detected from the input image at the current time by the difference method, and the detected object is tracked as a tracking target object.
[0023]
The object tracking method of the present invention further includes a camera head control step for generating a control signal for changing the visual field direction of the image pickup device based on the position detected by the position correction step. The detected object is tracked with the viewing direction always directed to the detected position.
An object detected by the difference method includes an initial template registration step of detecting an object from the input image by a difference method, and registering a partial image of a predetermined size of the input image including at least a part of the detected object as the template image. Tracking is performed using as a tracking target object.
[0024]
In addition, the object tracking device of the present invention processes the image signal converted by the image input interface, the image pickup device that picks up the image to be monitored, the image input interface that sequentially converts the video signal acquired by the image pickup device into the image signal. Image processing means, and means for storing a plurality of images registered as template images, wherein the image processing means generates an image signal input from the imaging device at the current time as a template by each of the plurality of template images stored in advance. Performing matching, among the maximum matching degree of each of the plurality of template images obtained by template matching, the position of the partial image acquired for the template image that obtains the largest maximum matching degree is the position of the detected object, A new template is displayed for the partial image of the position of the detected object. By updating a preparative image tracking objects which has entered the imaging field of the imaging device.
[0025]
In addition, the object tracking device of the present invention includes a pan head for changing the visual field direction of the imaging device and a pan head for supplying a control signal for controlling the pan head to change the visual field direction of the imaging device by the image processing means. A control interface, and the image processing means detects the direction of the object based on the detection position of the current time of the object, and adjusts the line-of-sight direction of the imaging device from the obtained direction via the pan head control interface. Track an object that has entered the imaging field of the imaging device.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
The object tracking method of the present invention uses a feature that the matching degree of matching is low when a plurality of objects pass each other, and holds a plurality of frames of template images used for template matching in the course of tracking processing. Matching is performed independently for each of the plurality of template images, and the target object is tracked based on the template image having the highest degree of matching.
That is, the present invention detects an object by a difference method, holds a predetermined number of frames as an image of the detected object as a template, performs template matching on each template, and determines the template and the position where the matching degree is maximum. By detecting, particularly when another object crosses in front of the target object, the tracking can be stably performed.
[0027]
FIG. 3 shows an example of the hardware configuration of the object tracking apparatus common to the embodiments of the present invention. 301 is a TV camera, 303 is an image input I / F, 313 is a data bus, 305 is an image memory, 306 is a work memory, 307 is a CPU, 308 is a program memory, 302 is a camera head, 304 is a head control I / F F and 309 are output I / Fs, 310 is an image output I / F, 311 is a warning lamp, and 312 is a monitor. The TV camera 301 is connected to the image input I / F 303, the camera head 302 is connected to the head control I / F 304, the warning light 311 is connected to the output I / F 309, and the monitoring monitor 312 is connected to the image output I / F 310. It is connected. The image input I / F 303, pan head control I / F 304, image memory 305, work memory 306, CPU 307, program memory 308, output I / F 309, and image output I / F 310 are connected to a data bus 313. The TV camera 301 is attached to a camera head 302.
[0028]
In FIG. 3, a TV camera 301 captures an image of a monitoring target (field-of-view range). The captured video signal is accumulated in the image memory 305 from the image input I / F 303 via the data bus 313. The CPU 307 analyzes the image stored in the image memory 305 in the work memory 306 according to the program stored in the program memory 308. The CPU 307 controls the camera pan 302 from the data bus 313 via the pan head control I / F 304 according to the processing result to change the imaging field of view of the TV camera 301, or the warning light 311 via the output I / F 309. Illuminates and displays, for example, an intrusion object detection result image on the monitor 312 via the image output I / F 310. Note that the image memory 305 also includes a template image holding device for storing registered template images.
[0029]
All the flowcharts described below will be described using the hardware configuration of the object tracking monitoring apparatus described in FIG.
A first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a flowchart illustrating a processing process according to an embodiment of the present invention. FIG. 1 is obtained by adding a template position correcting step 105 to the processing process of the template matching method shown in FIG. Steps 101, 102, 401, 103, 104, 106, 107, and 108 are the same as those described with reference to FIGS.
[0030]
An embodiment of the present invention will be described with reference to FIG. FIG. 1 is a flowchart showing an embodiment of the processing process of the present invention. FIG. 1 shows a processing process of the conventional template matching method described with reference to FIG. 5, instead of the maximum matching degree determination step 104 and the template update step 106, a branching step 201, a maximum matching degree determination step 104 ′, and a template position correction step 105. And a plurality of template storage steps 202. Steps 101, 102, 401, 103, 107, and 108 are the same as those of the prior art described with reference to FIGS.
[0031]
When the processing is started in FIG. 1, an image acquired from the input image at time t0-1 is registered as a template image at time t0-1 by the template registration step 102 from the object detection processing 101 already described, and the image input step After acquiring the input image at time t0 at 401, the process proceeds to template matching processing 103.
Next, in template matching processing step 103, template matching processing is performed on the saved template image at time t0-1 and the input image at time t0. Then, the process proceeds through the branching step 201 to the maximum matching degree determination step 104 ′.
[0032]
In branching step 201, it is checked whether or not template matching processing has been performed for all the stored template images. If the template matching process with all stored template images has been completed, the process proceeds to the maximum matching degree determination step 104 ′. If not, the process proceeds to the template matching step 103. Return.
[0033]
Then, when returning to the template matching step 103 again, the two stored templates are the template at time t0-2 and the template at time t0-1 (because the time has advanced by “+1”, “ -1 ”is added). Here, in the template matching step 103, template matching processing between the input image at time t0 and the template at time t0-1 is first performed, and the process proceeds to branching step 201.
Now, template matching processing with the template at time t0-1 has been performed, but the template at time t0-2 still remains. Accordingly, at this time, the process returns to step 103 to perform template matching processing between the template at time t0-2 and the input image at time t0. In this way, the template matching process is performed on the remaining templates one after another, and when the template matching process is completed for all templates, the processing step is advanced from the branching step 201 to the maximum matching degree determination step 104 ′.
[0034]
In the maximum matching score determination step 104 ′, the largest value is selected from the maximum matching scores obtained for each of the plurality of template images by the template matching process. If the maximum coincidence of the largest value is equal to or greater than the predetermined value, the process proceeds to template position correction step 105. If the maximum coincidence of the largest value is less than the predetermined value, object detection is performed. Return to process step 101.
[0035]
In the multiple template storage step 202, among the objects detected in the input image at the time t0, the partial image at the position where the maximum single degree value having the largest value is obtained in the maximum matching degree determination step 104 ′ is cut out, and the time t0 is obtained. Save a new template.
At this time, the template image at time t0-1 already registered in the template registration step 102 is stored as it is.
A predetermined number (for example, “3”) is determined in advance as the number of template images to be stored in the multiple template storing step 202. When the number exceeds the predetermined number, for example, the template acquired at the oldest time is deleted. .
[0036]
Next, the process proceeds to the camera head control step 107, and the visual field direction (optical axis direction) of the camera 301 is directed toward the target object.
Then, the process proceeds to the alarm / monitor display step 108, for example, an alarm is sounded or an image of the target object is displayed on the monitor monitor, for example.
When the alarm / monitor display step 108 ends, the process returns to the image input step 401, a new input image is acquired, and the template matching process is performed again.
[0037]
The effect of one embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram for explaining the flow of tracking an intruding object by using an example of an image, and illustrates a tracking state when a plurality of moving objects (humanoid objects) are imaged in an imaging field of view. FIG. In order to compare with the object tracking by the object tracking method described in FIG. 8, the situation setting is the same as in FIG. Note that the number of templates to be stored is 2 (“the number of frames for template matching” = 2).
[0038]
901a is the template image of the object updated at time t0-1, 901 is a diagram showing the position of the template image 901a in the input image at time t0-1, 902 is the input image at time t0, and 902a is the template at time t0 The position of the object detected by the matching process, 902c is another moving object imaged at time t0, 903a is a template image at time t0, 903 is a diagram showing the position of the template image 903a in the input image at time t0, 904 is the input image at time t0 + 1, 904a is the position of the object detected by the template matching process at time t0 + 1, and 904b indicated by the dotted rectangular area is the previous processing time (in this case t0 -1) template image matching position, 904c is another moving object imaged at time t0 + 1, 905a is an object template image updated at time t0 + 1, and 905 is input at time t0 + 1 Temp in images A diagram showing the position of the rate image 905a, 906 is an input image at time t0 + 2, 906a is the position of an object detected by the template matching process at time t0 + 2, and 906b is indicated by a dotted rectangular area. The position where the template image of the previous processing time (in this case t0) matches, 906c is another moving object imaged at time t0 + 2, 907a is the template image of the object updated at time t0 + 2, 907 is The figure which shows the position of the template image 907a in the input image at time t0 + 2, 908 is the input image at time t0 + 3, 908a is the position of the object detected by the template matching process at time t0 + 3, and the dotted rectangle 908b indicated by the area is a position where the template image at the previous processing time (in this case, t0 + 1) matches, and 908c is another moving object imaged at time t0 + 3.
[0039]
The tracking situation (a situation where the present invention is not applied) according to FIG. 8, that is, the transition of the detection position of the target object every moment is the matching position obtained by the template image acquired at the immediately preceding time (in the previous frame). Therefore, in FIG. 2, solid line rectangular images 902a, 904a, 906a, and 908a in the input images 902, 904, 906, and 908 at the respective times are shown. The tracking status according to the embodiment of the present invention is the dotted rectangular images 904b, 906b, and 908b in the input images 904, 906, and 908 at the respective times.
[0040]
As seen in the input images 904 and 906, if a template is updated at a time when two or more objects pass each other (a time when two objects overlap), the two objects will appear in the template image. For this reason, the proportion of pixels of the originally tracked object in the template image decreases. Therefore, the input image 902 at time t0 has not passed yet, so there is no problem in tracking, and an object to be tracked is tracked. In addition, in the input image 904 that has begun to overlap with another moving object 904c at time to + 1, there is no problem because another moving object is not yet captured in the created template image. However, another moving object 904c is shown in the template image 905a created based on this matching position. In addition, in the input image 906 that almost overlaps with another moving object 906c, the detection position 906a and the frame one frame before when the matching is performed using the template image 905a in which another moving object 904c is captured. There is no significant displacement from the detection position 906b that has been matched using the template image 903a. However, in the template image 907a stored at this time, the proportion of pixels of the large object 906c in the template image is larger than the proportion of pixels of the originally tracked object in the template image. Is captured and the large object 908c is tracked after time t0 + 2.
However, as a result of the present invention, since the matching is performed using the template image 905a that has been stored before, the detection position 908b can capture the original tracking target object.
[0041]
As described above, according to the embodiment of FIG. 1, based on the positions detected by the template matching step 103, template images for a predetermined number of frames obtained at different times are matched independently. Even if another object crosses in front of the target object or the target object is temporarily hidden by the shadow of the shield, the region with the highest degree of matching is corrected as the template matching position for multiple template images in the past. Therefore, the position of the template does not deviate from the target object, and the target object can be accurately tracked without tracking another object.
[0042]
Next, a second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a flowchart showing an embodiment of the processing process of the present invention. FIG. 9 is a flowchart showing the process of the first embodiment of the present invention described in FIG. 1, instead of the template matching step 103, the branching step 201, and the maximum matching degree determination step 104 ′. A matching step 992, a maximum matching degree determination step 993, a counter increase step 994, and a branching step 995 are arranged. The other steps 101, 102, 401, 106, 107, 108 are the same as those in the embodiment described with reference to FIG.
[0043]
In FIG. 9, when processing is started, an image acquired from the input image at time to-1 is registered as a template at time t0-1 by the initial template registration step 102 from the object detection processing 101 already described, Proceed to input step 401 to obtain a new image.
Next, in the template counter reset step 991, the value i of the template counter stored in the work memory 306 is changed to 1. Subsequently, in template matching step 992, template matching processing is performed on the saved template image at time t0-i (i is an integer) and the input image at time t0 obtained in image input step 401.
Then, in the maximum coincidence determination step 993, if the maximum coincidence obtained in the template matching step 992 is equal to or greater than a predetermined value, the process proceeds to the multiple template storage step 106, and if the maximum coincidence is less than the predetermined value Then, go to the counter increment step 994.
[0044]
In the counter increment step 994, 1 is added to the template counter value i stored in the work memory 306 (i = i + 1) to update the template counter value. Next, in branching step 995, the value i of the template counter stored in the work memory 306 is equal to or greater than a predetermined value (for example, 5, this value indicates how many frames before the template image is stored). If YES, the process returns to the object detection processing step 101. If it is less than the predetermined value, the process returns to the template matching step 992.
[0045]
According to the embodiment of FIG. 9, a plurality of template images stored for an input image are applied in the new order (in the order of the template image close to the time when the input image was acquired), and the template matching process is sequentially performed. When the predetermined value is exceeded, the matching position is determined as the position where the target object exists. Accordingly, since it is not necessary to perform the template matching process for all stored template images, the calculation time required for the template matching process can be minimized.
[0046]
【The invention's effect】
As described above, according to the present invention, even when there are a plurality of moving objects in the monitoring visual field or the target object is temporarily hidden behind the shielding object, the object can be stably tracked, and the imaging apparatus The applicability of the monitoring device using can be greatly expanded.
[Brief description of the drawings]
FIG. 1 is a flowchart for explaining a processing operation according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an embodiment of the object tracking method of the present invention.
FIG. 3 is a block diagram showing an embodiment of a monitoring device to which the present invention is applied.
FIG. 4 is a flowchart illustrating an example of a conventional object detection process using a difference method.
FIG. 5 is a flowchart showing an example of an object tracking process by a conventional template matching method.
FIG. 6 is a diagram for explaining the operation of object detection processing by a conventional difference method.
FIG. 7 is a diagram for explaining an operation of object tracking processing by a conventional template matching method.
FIG. 8 is a diagram for explaining problems of object tracking processing by a conventional template matching method.
FIG. 9 is a flowchart showing an embodiment of the processing process of the present invention.
FIG. 10 is a diagram for explaining a relationship between an image and a position of a target object detected by template matching.
[Explanation of symbols]
301: TV camera, 302: Camera head, 303: Image input I / F, 304: Head control I / F, 305: Image memory, 306: Work memory, 307: CPU, 308: Program memory, 309 is output I / F, 310: Image output I / F, 311: Warning light, 312: Monitoring monitor, 313: Data bus, 601: Input image, 602: Reference background image, 603: Difference image after differential processing, 604 : Binary image, 605: Image, 606: Difference processing unit, 607: Binarization processing unit, 608: Image extraction unit, 609: Humanoid object, 610: Humanoid difference image, 611: Humanoid Binary image, 612: circumscribed rectangle, 613: template image, 701, 703, 705, 707: image, 701a, 703a, 705a, 707a: template image, 702, 704, 706, 708: input image, 702a, 704a , 706a, 708a: the position of the object detected by the template matching process, 702b, 704b, 706b, 708b: the position of the template image before one frame 702c, 704c, 706c, 708c: search range, 702d, 704d, 706d, 708d: moving arrow, 702e: binarized image, 801: diagram showing the position of the template image 801a, 801a: template image, 802: input image 802a: the position of the object detected by the template matching process, 802b: another moving object, 803a: the template image, 803: a diagram showing the position of the template image 803a, 804: the input image, 804a: detected by the template matching process 804b: Another moving object, 805a: Template image, 805: Diagram showing the position of template image 805a, 806: Input image, 806a: Object position detected by template matching processing, 806b: Another Moving object, 807a: template image, 807: diagram showing the position of template image 807a, 808: input image, 808a: detected by template matching processing 808b: Another moving object, 901: Diagram showing the position of the template image 901a, 901a: Template image, 902: Input image, 902a: Position of the object detected by template matching processing, 902c: Another 903: diagram showing the position of the template image 903a, 903a: template image, 904: input image, 904a: position of the object detected by the template matching process, 904b: template image at the previous processing time Matched position, 904c: moving object, 905: diagram showing the position of template image 905a, 905a: template image, 906: input image, 906a: position of object detected by template matching process, 906b: previous process The position where the template image of the time matches, 906c: another moving object, 907: the position of the template image 907a, 907a Template image, 908: input image, 908a: position of the object detected by the template matching process, 908b: 1 single position the template image is matched in the previous processing time, 908c: another animal body,

Claims (6)

撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された同一物体に対する複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備えることを特徴とする物体追跡方法。An object tracking method for detecting an object in an image based on an image signal obtained by an imaging unit, registering the detected object as a template image, and tracking the object in the image based on a registered template image,
A matching processing step for performing matching processing with the current input image using a plurality of template images for the same object registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration step to be registered;
An object tracking method comprising: 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備え、
前記テンプレート画像登録ステップにより新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、最も古い時刻に生成されたテンプレート画像を削除する、
ことを特徴とする物体追跡方法。 An object tracking method for detecting an object in an image based on an image signal obtained by an imaging unit, registering the detected object as a template image, and tracking the object in the image based on a registered template image,
A matching processing step for performing matching processing with the current input image using a plurality of template images registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration step to be registered;
With
Instead of the template image newly registered by the template image registration step, the template image generated at the oldest time is deleted from the plurality of template images.
An object tracking method characterized by the above. 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡方法であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理ステップと、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録ステップと、
を備え、
前記テンプレート画像登録ステップにより新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、前記マッチング処理の結果、一致度が最も低いテンプレート画像を削除する、
ことを特徴とする物体追跡方法。 An object tracking method for detecting an object in an image based on an image signal obtained by an imaging unit, registering the detected object as a template image, and tracking the object in the image based on a registered template image,
A matching processing step for performing matching processing with the current input image using a plurality of template images registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration step to be registered;
With
Instead of the template image newly registered by the template image registration step, the template image having the lowest matching degree as a result of the matching process is deleted from the plurality of template images.
An object tracking method characterized by the above. 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された同一物体に対する複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備えることを特徴とする物体追跡装置。An object tracking device that detects an object in an image based on an image signal obtained by an imaging unit, registers the detected object as a template image, and tracks the object in the image based on a registered template image,
Matching processing means for performing matching processing with a current input image using a plurality of template images for the same object registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration means to be registered;
An object tracking device comprising: 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備え、
前記テンプレート画像登録手段により新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、最も古い時刻に生成されたテンプレート画像を削除する、
ことを特徴とする物体追跡装置。 An object tracking device that detects an object in an image based on an image signal obtained by an imaging unit, registers the detected object as a template image, and tracks the object in the image based on a registered template image,
Matching processing means for performing matching processing with the current input image using a plurality of template images registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration means to be registered;
With
Instead of the template image newly registered by the template image registration means, the template image generated at the oldest time among the plurality of template images is deleted.
An object tracking device. 撮像手段により得られる画像信号に基づいて画像中の物体を検出し、検出した物体をテンプレート画像として登録し、登録されたテンプレート画像に基づいて画像中の物体を追跡する物体追跡装置であって、
それぞれ異なる時刻の過去の入力画像に基づいて登録された複数のテンプレート画像を用いて、現在の入力画像とのマッチング処理を行うマッチング処理手段と、
前記マッチング処理の結果、前記入力画像のうち、一致度が最も高い位置、或いは、一致度が所定の値以上となる位置を現在の物***置とすると共に、当該位置の画像を新たなテンプレート画像として登録するテンプレート画像登録手段と、
を備え、
前記テンプレート画像登録手段により新たに登録するテンプレート画像の代わりに、前記複数のテンプレート画像のうち、前記マッチング処理の結果、一致度が最も低いテンプレート画像を削除する、
ことを特徴とする物体追跡装置。 An object tracking device that detects an object in an image based on an image signal obtained by an imaging unit, registers the detected object as a template image, and tracks the object in the image based on a registered template image,
Matching processing means for performing matching processing with the current input image using a plurality of template images registered based on past input images at different times,
As a result of the matching process, a position having the highest matching degree among the input images or a position where the matching degree is a predetermined value or more is set as the current object position, and the image at the position is set as a new template image. A template image registration means to be registered;
With
Instead of the template image newly registered by the template image registration means, the template image having the lowest matching degree as a result of the matching process is deleted from the plurality of template images.
An object tracking device.

Images