JP3560326B2 - 物体追跡方法及び物体追跡装置 - Google Patents
物体追跡方法及び物体追跡装置 Download PDFInfo
- Publication number
- JP3560326B2 JP3560326B2 JP2000180186A JP2000180186A JP3560326B2 JP 3560326 B2 JP3560326 B2 JP 3560326B2 JP 2000180186 A JP2000180186 A JP 2000180186A JP 2000180186 A JP2000180186 A JP 2000180186A JP 3560326 B2 JP3560326 B2 JP 3560326B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- detected
- matching
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出し、検出した物体の動きを自動的に追跡するようにした物体追跡方法と、検出した物体の動きに応じて視野方向（撮像中心方向）を調節するようにした物体追跡装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、ＴＶカメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。このようにして検出された侵入物体の位置に相当する入力画像の部分画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ広く知られ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１４９〜Ｐ１５３で解説されている。
通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。これらの処理を図４〜図７によって説明する。
【０００４】
図４は差分法を用いた侵入物体検出処理の一例を表すフローチャート、図５はテンプレートマッチングを用いた侵入物体追跡の一例を表すフローチャート、図６は、図４と図５で表される侵入物体検出処理から初期のテンプレート画像登録までの流れを画像の例によって説明するための図である。また図７は、図５で表される侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、一定の時間間隔で入力された画像が初期に与えられたテンプレート画像をもとにどのように実行されていくか（初期のテンプレートがどのように変化していくか）を説明する図である。
【０００５】
図６で、６０１は入力画像、６０９は入力画像６０１中の人型の物体、６０２は基準背景画像、６０６は差分処理部、６０３は差分処理部６０６において差分処理された後の差分画像、６１０は人型の物体６０９に相当する差分画像６０３中の人型の差分画像、６０７は二値化処理部、６０４は二値化処理部６０７によって二値化処理された差分画像６０３の二値化画像、６１１は人型の差分画像６１０に相当する二値化画像６０４中の人型物体（人型の二値化画像）、６１２は人型の二値化画像６１１の外接矩形、６０８は画像抽出部、６０５は入力画像６０１から外接矩形６１２の囲む領域をテンプレート画像として切出すことを説明する画像、６１３は入力画像６０１から切出した初期テンプレート画像である。
【０００６】
図４と図６において、まず、ＴＶカメラから例えば３２０×２４０画素の入力画像６０１を入力する（画像入力ステップ４０１）。次に、差分処理部６０６において、入力画像６０１と、予め作成した基準背景画像６０２との画素毎の差分を計算し、差分画像６０３を取得する。この時、入力画像６０１中の人型の物体６０９は差分画像６０３中に、人型の差分画像６１０として現れる（差分処理ステップ４０２）。そして、二値化処理部６０７において、差分画像６０３の各画素に対しての差分値が所定のしきい値以下の画素の値を“０”、しきい値以上の画素の値を“２５５”（１画素を８ビットとして）に置換えて、二値化画像６０４を得る。この時、入力画像６０１に撮像された人型の物体６０９は、二値化画像６０４中の人型物体６１１として検出され、人型物体６１１の外接矩形６１２が生成される（二値化処理ステップ４０３）。
次に物体存在判定ステップ４０４では、画像抽出部６０８において、二値化画像６０４中で画素値が“２５５”となった画素のかたまりを検出し、画素値が“２５５”となる画素のかたまりが存在する場合は物体検出処理を終了し、存在したかたまりの外接矩形に相当する入力画像に部分画像を初期テンプレート画像６１３として後述の画像メモリ３０５（図３）に登録する。また、画素値が“２５５”となる画素のかたまりが存在しない場合は画像入力ステップ４０１へ分岐する。
【０００７】
物体追跡処理の流れを図５に従って説明する。図５の物体検出処理ステップ１０１と初期テンプレート登録ステップ１０２とにおいて、図４と図６で説明したように物体検出処理と初期テンプレート画像の登録がなされた後の処理について図７を用いて説明する。
図４と図６で説明した物体検出処理が終了した後は、図５に示すフローチャートに従って物体追跡処理がなされる。
【０００８】
図７で、７０１ａは時刻ｔ０−１において更新された物体のテンプレート画像、７０１は時刻ｔ０−１での入力画像におけるテンプレート画像７０１ａの位置を示す図、７０２は時刻ｔ０での入力画像、７０２ａは時刻ｔ０においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０２ｂは１フレーム前（ｔ０−１）でのテンプレート画像の位置、７０２ｃはテンプレートマッチング処理（例えば、図５のフローチャート）で探索する探索範囲、７０２ｄは時刻ｔ０−１からｔ０まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０２ａの中心位置へ向かう矢印）、７０２ｅはテンプレートマッチング処理で人型物体を検出した位置、７０３ａは時刻ｔ０で更新された物体のテンプレート画像、７０３は時刻ｔ０での入力画像におけるテンプレート画像７０３ａの位置を示す図、７０４は時刻ｔ０＋１での入力画像、７０４ａは時刻ｔ０＋１においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０４ｂは１フレーム前（ｔ０）でのテンプレート画像の位置、７０４ｃはテンプレートマッチング処理で探索する探索範囲、７０４ｄは時刻ｔ０−１からｔ０＋１まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置を経由して７０４ａの中心位置へ向かう矢印）、７０５ａは時刻ｔ０＋１で更新された物体のテンプレート画像、７０５は時刻ｔ０＋１での入力画像におけるテンプレート画像７０５ａの位置を示す図、７０６は時刻ｔ０＋２での入力画像、７０６ａは時刻ｔ０＋２においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０６ｂは１フレーム前（ｔ０＋１）でのテンプレート画像の位置、７０６ｃはテンプレートマッチング処理で探索する探索範囲、７０６ｄは時刻ｔ０−１からｔ０＋２まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置、テンプレート画像７０５ａの中心位置を経由して７０６ａの中心位置へ向かう矢印）、７０７ａは時刻ｔ０＋２で更新された物体のテンプレート画像、７０７は時刻ｔ０＋２での入力画像におけるテンプレート画像７０７ａの位置を示す図、７０８は時刻ｔ０＋３での入力画像、７０８ａは時刻ｔ０＋３においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０８ｂは１フレーム前（ｔ０＋２）でのテンプレート画像の位置、７０８ｃはテンプレートマッチング処理で探索する探索範囲、７０８ｄは時刻ｔ０−１からｔ０＋３まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置、テンプレート画像７０５ａの中心位置、テンプレート画像７０７ａの中心位置を経由して７０８ａの中心位置へ向かう矢印）である。
【０００９】
即ち、図５と図７において、物体追跡処理が開始され、二値化画像６０４中に物体が存在すると判定され、物体検出処理ステップ１０１を終了する（図４）。そして、二値化画像６０４中の人型の二値化画像のかたまりの外接矩形に相当する入力画像６０１の部分画像を、初期テンプレート画像６１３（図７のテンプレート画像７０１ａ）として画像メモリ３０５（図３）に登録する（初期テンプレート登録ステップ１０２）。続いて、逐次入力される入力画像中の探索範囲７０２ｃ内でテンプレート画像７０１ａと一致度ｒ（Δｘ，Δｙ）が最大となる部分画像７０２ａを検出する（テンプレートマッチッングステップ１０３）。
即ち、テンプレートマッチッングステップ１０３では、最大一致度と、その最大一致度が求められた位置とを得る。
【００１０】
この一致度ｒ（Δｘ，Δｙ）を算出する方法として、例えば以下の式（１）で得られる正規化相関と呼ばれる指標を用いることができる。
【数１】
【００１１】
ここで、入力画像７０２に対してテンプレートマッチングを行なった場合、ｆ（ｘ，ｙ）は入力画像７０２、ｆｔ（ｘ，ｙ）はテンプレート画像７０１ａ、（ｘ０，ｙ０）は登録したテンプレート画像７０１ａの左上の座標（画像は左上を原点としている）、Ｄｔはテンプレートの探索範囲７０２ｃを表し、探索範囲７０２ｃ内にテンプレート画像７０１ａとまったく同じ画素値を持つ画像が存在した場合には、一致度ｒ（Δｘ，Δｙ）は“１．０”となる。テンプレートマッチングステップ１０３では、この式（１）で表される指標を（Δｘ，Δｙ）∈Ｄで表される探索範囲７０２ｃに対して計算し、その中で一致度ｒ（Δｘ，Δｙ）が最大となる位置（外接矩形）７０２ａを検出する。この探索範囲７０２ｃは、対象物体の見かけの移動量によって決定される。例えば、速度４０ｋｍ／ｈで移動する物体を、５０ｍ離れたＴＶカメラ（素子サイズ６．５ｍｍ×４．８ｍｍのＣＣＤ、焦点距離２５ｍｍのレンズ、入力画像サイズ３２０×２４０画素（ｐｉｘ）。処理間隔０．１ｆｒａｍｅ／ｓｅｃ）で監視する場合、水平方向の物体の見かけの移動量は２７．４ｐｉｘ／ｆｒａｍｅ、垂直方向は２７．８ｐｉｘ／ｆｒａｍｅとなり、Ｄを−３０ｐｉｘ＜Δｘ＜３０ｐｉｘ，−３０ｐｉｘ＜Δｙ＜３０ｐｉｘ程度に設定すればよい。
尚、一致度の算出方法は上述の正規化相関の指標に限られるものではない。例えば、入力画像とテンプレート画像間で各画素毎の差をとって、その絶対値の累積値の逆数を一致度としてもよい。
【００１２】
次に、最大一致度判定ステップ１０４では、テンプレートマッチングステップ１０３において、テンプレート画像７０１ａと一致度が最大となる入力画像７０２の位置に、物体が移動した（外接矩形７０２ｂから外接矩形７０２ａに移動した）と判断したあと、次に、最大一致度が所定値以下に低下した場合（例えば“０．５”未満）、入力画像中に対象物体がいなくなったものとして、物体検出処理ステップ１０１へ分岐し、最大一致度が所定値以上であった場合（例えば“０．５”以上）は、テンプレート更新ステップ１０６へ分岐する。
テンプレート更新ステップ１０６では、入力画像中の探索範囲７０２ｃ内でテンプレート画像７０１ａと一致度ｒ（△ｘ，△ｙ）が最大となる部分画像７０２ａを使ってテンプレート画像７０１ａをテンプレート画像７０３ａに更新する。ここで、テンプレート画像を更新する理由は、対象物体の姿勢が変化（例えば、対象物体の人が手を上げたり、腰を曲げたり、足を上げたりして画像が変化）し、テンプレート画像を更新しないと一致度が低下してしまい、追跡結果の信頼性が低下するためである。従って、検出された物体の位置の部分画像７０２ｅを新たなテンプレート画像７０３ａとして更新し、対象物体が姿勢を変えた場合でも安定な追跡を行なうようにしている。
【００１３】
上述の実施例では、差分法によって検出した侵入物体について作成したテンプレート画像は、検出した画素のかたまりの外接矩形を取り込み、この外接矩形に囲まれた部分画像をテンプレート画像として切出した。
しかし、切出すテンプレート画像のサイズの決定方法はこの方法に限らない。例えば、外接矩形に一定の定数（例えば、０．８、または１．１等）を乗算してもよい。
更に、撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用した場合には、ＣＣＤのサイズ、レンズの焦点距離、ＣＣＤから検出する物体の距離によって、対象とみなす物体の大きさを予め算出できるので、算出した大きさをテンプレート画像サイズとすることもできる。
【００１４】
次に、カメラ雲台制御ステップ１０７に移る。
図１１は入力画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図である。図１１に言及して、カメラ雲台制御ステップ１０７について説明する。
カメラ雲台制御ステップ１０７では、テンプレートマッチングによって検出された対象物体の位置と入力画像中央との変位、即ち、カメラの光軸（カメラの視野方向）に対して対象物体が存在する方向に基づいてカメラ雲台３０２のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対象物体の中心位置（ｘ０＋△ｘ＋ｄｘ／２，ｙ０＋△ｙ＋ｄｙ／２）（（ｄｘ，ｄｙ）はテンプレート画像の大きさを表す）と入力画像の中心位置（１６０，１２０）（画像サイズを３２０×２４０とする）とを比較し、検出された対象物体の中心位置が入力画像の中心位置に対して左側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、右側に位置する場合はカメラ雲台のパンモータをカメラの光軸方向が右に移動するように制御する。また、検出された対象物体の中心位置が入力画像の中心位置に対して上側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が上に移動するように制御し、下側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が下に移動するように制御する。
尚、パンモータ、チルトモータは同時に制御可能で、例えば、検出された対象物体の中心位置が入力画像の中心位置に対して左上側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、かつ、チルトモータをカメラの光軸方向が上に移動するように同時に制御する。このようにすることで、カメラの光軸上に対する対象物体を捉えるようにカメラ雲台を制御することが可能となる。
次に、警報・モニタ表示ステップ１０８では、例えば対象物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに対象物体の画像を表示したりする。
【００１５】
警報・モニタ表示ステップ１０８が終わると、画像入力ステップ４０１に戻り、新しい入力画像を得て、この現時刻での入力画像に対して再びテンプレートマッチッング処理を行う。即ち、時刻ｔ０での入力画像７０２により更新したテンプレート画像７０３ａと、時刻ｔ０＋１での入力画像７０４とによりテンプレートマッチング処理を行う。この時、探索範囲７０４ｃは時刻ｔ０で更新されたテンプレート画像７０４ｂを中心とした位置に移動しており、新しい探索範囲で検索が行われる。そして、最大の一致度を持った物体が検出され、その検出された物体の位置７０４ａを元に新しいテンプレート画像７０５ａが生成される。
以上のように、対象物体が存在する間は、ステップ４０１，ステップ１０３，ステップ１０４，ステップ１０６，ステップ１０７，ステップ１０８の処理を繰返し、新しいテンプレート画像７０６ａ、７０８ａ，‥‥‥へと次々にテンプレート画像を更新しながら、対象物体を追跡し続ける。
【００１６】
前述のテンプレートマッチングを用いた侵入物体の追跡法では、対象物体の向きが変化（例えば、対象物体の人が右を向いたり、後ろを向いたり）すると、対象物体とマッチング位置とのズレが大きくなり、正確かつ安定したな追跡ができないという問題がある。
即ち、テンプレートマッチングは、テンプレート内の高いコントラストの模様部分が一致するようにマッチングされるという性質がある。例えば、対象物体が車輌である場合において、はじめは正面を向いていて、車輌のほとんどすべてがマッチング対象となっていた場合（図８の入力画像８０２）と、その後進行方向（向き）が変わり横向きになってしまった車輌の前面部分だけがマッチング対象となり、車輌全体がマッチング対象となっていた時に比べて、マッチング中心が車両の中心から車輌の前部に移動するため、検出位置ズレが生ずる。
【００１７】
これを図８を用いて説明する。図８は、侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図である。８０１ａ，８０３ａ，８０５ａ，８０７ａはそれぞれ時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２のテンプレート画像、８０１，８０３，８０５，８０７はそれぞれテンプレート画像８０１ａ，８０３ａ，８０５ａ，８０７ａの更新時の位置を示す画像、８０２，８０４，８０６，８０８はそれぞれ時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３の入力画像、８０２ａ，８０４ａ，８０６ａ，８０９ａは時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３においてそれぞれテンプレートマッチング処理によって検出された物体の位置、８０２ｂ，８０４ｂ，８０６ｂ，８０８ｂはそれぞれ１フレーム前でのテンプレート画像（時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２でのそれぞれのテンプレート画像）の位置である。
図８において、時刻ｔ１−１で登録されたテンプレート画像８０１ａは、移動車輌のフロント部がほぼ正面を向いている画像である。時刻ｔ１では、このテンプレート画像８０１ａを用いてテンプレートマッチングを行ない、対象物体の移動した位置を検出すると共に、テンプレート画像８０１ａをテンプレート画像８０３ａに更新する。続いて、時刻ｔ１＋１ではテンプレート画像８０５ａに更新され、更に時刻ｔ１＋２ではテンプレート画像８０７ａに更新され、この処理を時刻ｔ１＋３まで行なうと、追跡開始時刻ｔ１で車輌のライトなどがあるフロント部分をテンプレートマッチングしていたものが、時刻ｔ１＋３では、車輌の左側にずれてマッチングされてしまう。
【００１８】
この現象は、テンプレートマッチングが対象とする入力画像とテンプレート画像中のコントラストが高い画像部分の位置のズレを小さくする様にマッチングが行われるように働くためで、この例では車輌のライト部分がそれにあたる。そのため、図８のように、対象物体が向かって右から左に向きを変えるような場合には左側にずれ、向って左側から右側に向きを変えるような場合には右側にずれる。
更に、時刻ｔ１では、テンプレート画像８０１ａ中には車輌の画像だけが入っていたが、対象物体が向きを変えてテンプレート位置がずれたことによって、テンプレート画像８０７ａ中に対象物体以外の背景部分の画像が入り込んでしまう。このテンプレート画像８０７ａのような対象物体以外の画像を多く含んだテンプレート画像を用いて追跡を続けた場合には、対象物体とマッチングできずに、テンプレートに入り込んだ背景部分とマッチングしてしまう。従って、テンプレートマッチングを用いた物体追跡法は、対象物体の向きが変化するような場合には、対象物体の模様が見かけ上移動し、それに引張られてテンプレートの位置がずれるため、対象としている物体を追跡している保証ができず、安定な追跡を行うことができない。
【００１９】
【発明が解決しようとする課題】
前述の従来技術には、対象物体の向きの変化が大きい場合には安定な追跡を行うことができない欠点があった。
本発明の目的は、上記のような欠点を除去し、対象物体の向きの変化が大きい場合にも、正確に物体を検出および追跡することができる、信頼性の高く安定に動作する物体追跡方法及び装置を提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の物体追跡方法は、撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、検出した物体を追跡する物体追跡方法において、現時刻に取得した入力画像と、テンプレート画像とのテンプレートマッチングを行い、現時刻に取得した入力画像の中からテンプレート画像と一致度が最大となる部分画像の位置を検出するマッチングステップと、マッチングステップによって検出した位置の部分画像を包含し、かつ検出した位置の部分画像より所定サイズ大きい拡張部分画像の領域についてエッジ検出を行い、エッジ検出によって検出した部分画像の位置を物体の現時刻の検出位置に補正するマッチング位置補正ステップと、マッチング位置補正ステップによって補正された位置の部分画像を新たなテンプレートとして更新するテンプレート更新ステップとを設け、撮像視野内の物体を追跡するものである。
また、本発明の物体追跡方法において、位置補正ステップは、現時刻の入力画像の拡張部分画像の領域内で、エッジの密度が最大になる部分画像の位置を検出したものである。
【００２１】
更に本発明の物体追跡方法において、位置補正ステップは、拡張部分画像の領域内に含まれるエッジ成分を抽出し、ｘ軸及びｙ軸上にそれぞれ、ｙ軸方向及びｘ軸方向のエッジ成分量を累積表示し、ｘ軸及びｙ軸上の累積エッジ成分量から最大エッジ密度範囲を検出したものである。
また更に本発明の物体追跡方法において、テンプレート画像のサイズは、物体の撮像視野内での見かけの移動量に基づき決定することができる。
【００２２】
本発明の物体追跡方法はまた、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像をテンプレート画像として登録する初期テンプレート登録ステップを備え、記差分法によって検出した物体を追跡対象物体として、追跡を行なう。
更にまた、別の方法として、位置補正ステップにおいて、取得した最大一致度が所定の値未満であれば、差分法によって、現時刻の入力画像から物体を検出し、検出した物体を追跡対象物体として追跡する。
【００２３】
また更に、本発明の物体追跡方法においては、位置補正ステップによって検出された位置に基づいて、撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、その制御信号によって撮像装置の視野方向を、出された位置に常に向け、検出した物体を追跡するものである。
【００２４】
本発明の物体追跡装置は、監視対象範囲を逐次撮像する撮像装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、画像入力インターフェースによって変換された画像信号を処理する画像処理手段と、登録されたテンプレート画像を格納する記憶装置とを備え、記画像処理手段は、撮像装置から現時刻に入力した画像信号を記憶装置にあらかじめ登録されたテンプレート画像によってテンプレートマッチングを行ない、現時刻に入力した画像信号の中から、テンプレート画像と最大の一致度を持つ部分画像の位置を検出し、検出した位置の部分画像を包含する、現時刻に入力した画像信号内の部分画像より所定サイズ大きい拡張部分画像の領域について、エッジの密度が最大となる部分画像の位置を検出し、エッジの密度が最大となる部分画像の位置を、物体の現時刻における検出位置とし、現時刻の検出位置の部分画像をを新たなテンプレートマッチング位置と更新することによって撮像装置の撮像視野内に侵入した物体を追跡するものである。
【００２５】
また本発明の物体追跡装置は、撮像装置の視野方向を変えるための雲台と、画像処理手段によって撮像装置の視野方向を変えるために雲台を制御するための制御信号を供給する雲台制御インターフェースとを更に備え、画像処理手段が、物体の現時刻における検出位置に基づいて、物体の方向を検出し、得られた方向から雲台制御インターフェースを介して、撮像装置の視野方向を調節し、撮像装置の撮像視野内に侵入した物体を追跡するものである。
【００２６】
【発明の実施の形態】
本発明の物体追跡方法では、従来からの対象物体の模様が見かけ上移動し、それに引張られてテンプレートの位置がずれる問題を解決するため、対象物体は背景部分に比べてエッジ成分が多いという特徴を利用して、追跡処理の過程で更新するテンプレート画像の位置を入力画像のエッジ画像の密度に基いて補正する。即ち本発明は、差分法によって物体を検出し、検出物体の画像をテンプレートとして保持し、検出位置の周辺でエッジ画像の密度が最大となる位置に検出位置を補正しながら対象物体を追跡することで、特に対象物体の向きの変化が起こった場合でも安定に追跡を行うことができる。
【００２７】
図３に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。３０１はＴＶカメラ、３０３は画像入力Ｉ／Ｆ、３１３はデータバス、３０５は画像メモリ、３０６はワークメモリ、３０７はＣＰＵ、３０８はプログラムメモリ、３０２はカメラ雲台、３０４は雲台制御Ｉ／Ｆ、３０９は出力Ｉ／Ｆ、３１０は画像出力Ｉ／Ｆ、３１１は警告灯、３１２は監視モニタである。ＴＶカメラ３０１は画像入力Ｉ／Ｆ３０３に接続され、カメラ雲台３０２は雲台制御Ｉ／Ｆ３０４に接続され、警告灯３１１は出力Ｉ／Ｆ３０９に接続され、監視モニタ３１２は画像出力Ｉ／Ｆ３１０に接続されている。画像入力Ｉ／Ｆ３０３、雲台制御Ｉ／Ｆ３０４、画像メモリ３０５、ワークメモリ３０６、ＣＰＵ３０７、プログラムメモリ３０８、出力Ｉ／Ｆ３０９及び画像出力Ｉ／Ｆ３１０は、データバス３１３に接続されている。また、ＴＶカメラ３０１はカメラ雲台３０２に取付けられている。
【００２８】
図３において、ＴＶカメラ３０１は監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力Ｉ／Ｆ３０３からデータバス３１３を介して画像メモリ３０５に蓄積される。ＣＰＵ３０７はプログラムメモリ３０８に保存されているプログラムに従って、ワークメモリ３０６内で画像メモリ３０５に蓄積された画像の解析を行なう。ＣＰＵ３０７は、処理結果に応じてデータバス３１３から雲台制御Ｉ／Ｆ３０４を介してカメラ雲台３０２を制御してＴＶカメラ３０１の撮像視野を変えたり、出力Ｉ／Ｆ３０９を介して警告灯３１１を点灯し、画像出力Ｉ／Ｆ３１０を介して監視モニタ３１２に、例えば侵入物体検出結果画像を表示する。尚、画像メモリ３０５は、登録されたテンプレート画像を保存しておくためのテンプレート画像保持装置をも備えている。
【００２９】
以降に説明するフローチャートは、すべて上記図３で説明した物体追跡監視装置のハードウエア構成を使って説明する。
本発明の第１の実施例を図１によって説明する。図１は本発明の一実施例の処理プロセスを説明するフローチャートである。図１は図５で示したテンプレートマッチング法の処理プロセスにテンプレート位置補正ステップ１０５を追加したものである。ステップ１０１、１０２、４０１、１０３、１０４、１０６、１０７、１０８については、図４と図５によって説明したものと同じであるので説明を省略する。
【００３０】
さて、最大一致度判定ステップ１０４において、最大一致度が所定値以上であった場合、テンプレート位置補正ステップ１０５へ進む。テンプレート位置補正ステップ１０５での処理の内容を、図８において時刻ｔ１＋１に得られた入力画像８０４と図９を用いて説明する。図９は侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図で、図８の入力画像８０４について処理を行った場合の一例ある。９０１は入力画像で図８の入力画像８０４と同じ画像が入力したもの、９０２は入力画像９０１から微分フィルタ（図示しない）を使って抽出したエッジ画像、９０３ａは探索領域、９０３ｂは水平方向（ｘ軸）への投影像、９０３ｃは垂直方向（ｙ軸）への投影像、９０３は説明のために領域９０３ａで切出したエッジ画像に投影像９０３ｂと９０３ｃとを重ねて表示した図、８０４ａは図８で既に示したテンプレートマッチングで得られた検出位置を表す範囲、９０４はｘ軸への投影像９０３ｂを表すグラフ、９０４ａはテンプレートマッチングによって得られた検出位置を表す範囲、９０４ｂは累積投影値が最大となる範囲、９０５はｙ軸への投影像９０３ｃを表す図、９０５ａはテンプレートマッチングによって得られた検出位置を表す範囲、９０５ｂは累積投影位置が最大となる範囲である。
【００３１】
図９において、テンプレート位置補正ステップ１０５では、入力画像９０１に対してエッジ抽出処理を施し、エッジ画像９０２を得る。このエッジ抽出処理は、例えば、入力画像９０１に対してＳｏｂｅｌ，Ｒｏｂｅｒｔｓ等の微分フィルタを掛け、得られた画像を二値化する（エッジ部分を“２５５”、それ以外を“０”とする）ことによって行われる。この例については、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１１８〜１２５に解説されている。
【００３２】
次にエッジ画像９０２をテンプレートマッチングステップ１０３によって得られた検出位置８０４ａの範囲（図９０３の実線枠部分：左上の座標（ｘ０，ｙ０）、大きさ（ｄｘ，ｄｙ））から上下左右を所定画素ｄ分（ｄは対象物体の向きの変化に伴うマッチング位置のズレの許容値、例えばｄ＝ ５ ｐｉｘ）拡げた探索領域９０３ａ（図９０３の点線枠部分：左上の座標（ｘ０−ｄ，ｙ０−ｄ）、大きさ（ｄｘ＋２ｄ，ｄｙ＋２ｄ））で切出し、ｘ軸方向に対するエッジ画像の投影像９０３ｂと、ｙ軸方向に対するエッジ画像の投影像９０４ｃを求める。従って、探索領域９０３ａは、上記検出位置８０４ａの範囲を包含する拡張部分画像である。
【００３３】
グラフ９０４において、横軸は水平（ｘ軸）方向、縦軸はｘ軸方向の各画素（ｐｉｘ）毎のエッジ画像の投影像９０３ｂの値ｈｘ（ｘ）であり、グラフ９０５において、横軸は垂直（ｙ軸）方向、縦軸はｙ軸方向の各画素（ｐｉｘ）毎のエッジ画像の投影像９０３ｃの値ｈｙ（ｙ）である。
ｘ軸方向の投影像９０３ｂのｘ＝ｘ０における投影値ｘ（ｘ０）は、探索領域９０３ａで切出したエッジ画像に対し、（ｘ，ｙ） を、ｘ＝ｘ０において、ｙ０−ｄ＜ｙ＜ｙ０＋ｄｙ＋ｄ と変化させ、画素値が“２５５”となる画素数を計数して得る。また、ｙ軸方向の投影像９０３ｃのｙ＝ｙ０における投影値ｙ（ｙ０）は、探索領域９０３ａで切出したエッジ画像に対し、（ｘ，ｙ） を、ｙ＝ｙ０において、ｘ０−ｄ＜ｘ＜ｘ０＋ｄｘ＋ｄ と変化させ画素値が“２５５”となる画素数を計数して得る。次に、図９０４はｘ軸への投影像９０３ｂを表すグラフであり、範囲９０４ａはテンプレートマッチングによって得られた検出位置を表す。また、範囲９０４ｂはその範囲の累積投影値が最大となる範囲、すなわちエッジの密度が最大となる範囲（ｘ１＜ｘ＜ｘ１＋ｄｘ）を示しており、この位置は、次の式（２）によって得られる。
【００３４】
【数２】
【００３５】
この式(2) は、x1 をx0-d＜x1＜x0+d と変化させた場合に、x1＜x＜x1+dx において hx(x) の累積値が最も大きくなる x1 を求めることを表している。また同様にｙ軸に対する投影像に対してもエッジの累積値が最大となる範囲（ y1＜y＜y1+dy ）を得る。従って、テンプレートマッチングステップ103によって検出された対象物体の位置（左上の座標（ x0 ，y0 ））は、テンプレート位置補正ステップ 105 によって補正された位置（左上の座標（ x1 ，y1 ））に修正される。
なお、本実施例では、式 (2) で表される通り、 x1 を x0 − d ＜ x1 ＜ x0 + d と変化させた場合に、 x1 ＜ x ＜ x1 + dx において hx(x) の累積値が最も大きくなる x1 を求めているが、 x0 − d ＜ x1 ＜ x0 + d と変化させる過程で式 (2) の中カッコ内の値が所定のしきい値を超えた場合に式 (2) の計算を中止し、その時の x1 をテンプレートの補正位置としても良い。この場合、所定のしきい値とは、例えば累積値の最大値 255 ×（ dy + 2d ）（ｙ軸に対しては 255 ×（ dx + 2d ））の 30 ％の値を設定し、求められる位置はエッジの最大累積値の 30% 以上のエッジを含む部分となり、式 (2) の計算量を減らすことができる。
【００３６】
上記本発明の一実施例の効果について、図１０を用いて説明する。図１０は、侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図で、図８と同じ条件設定であり、図８で示したマッチング処理の後に位置ズレ補正処理を追加したものである。１００１ａ，１００３ａ，１００５ａ，１００７ａはそれぞれ時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２のテンプレート画像、１００１，１００３，１００５，１００７はそれぞれテンプレート画像１００１ａ，１００３ａ，１００５ａ，１００７ａの更新時の位置を示す画像、１００２，１００４，１００６，１００８はそれぞれ時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３の入力画像、１００２ａ，１００４ａ，１００６ａ，１００９ａは時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３においてそれぞれテンプレートマッチング処理によって検出された物体の位置、１００２ｂ，１００４ｂ，１００６ｂ，１００８ｂはそれぞれ１フレーム前でのテンプレート画像（時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２でのそれぞれのテンプレート画像）の位置である。
【００３７】
図８で示された方法では、テンプレートマッチングが対象とする入力画像と、テンプレート画像の中のコントラストが高い画像部分（図８の例では、車両のフロント部分）の位置のズレを小さくするようにテンプレートマッチングが行われるため、対象物体の向きの変化が起る場面では、テンプレート画像中の車両フロント部分の位置は変らないが、追跡処理を繰返す度に対象物体以外の画像（背景画像）の画素が含まれる割合が大きくなってしまう。
【００３８】
それに対し、本発明の実施例を適用した図１０の場合には、テンプレートマッチング処理後にテンプレート画像の位置をエッジが多く含まれる画素部分、即ち、対象物体の画素部分に逐次位置補正するため、図８の方法によるテンプレート画像に比べて、対象物体以外の画素分が含まれる割合を小さくすることができる。従って、図８と図１０の同時刻のテンプレート位置、例えば、８０９ａと１００９ａとを比較すると、位置８０９ａの場合には、テンプレート画像中に含まれる背景部分の画素の割合が半分以上となっているが、位置１００９ａの場合には、テンプレート画像のほとんどの部分が対象物体の画素となっている。
【００３９】
上述のテンプレート位置補正ステップ１０５の次に、テンプレート更新ステップ１０６の処理がなされ、位置補正された対象物体の位置を新しいテンプレート画像として更新する。以降、図５と同様な処理がなされる。
【００４０】
上記のように本発明の実施例によれば、テンプレートマッチングステップ１０３によって検出された位置を対象物体に存在するエッジを検出し、そのエッジの密度が最大となる位置に検出位置を補正するため、対象物体が向きを変えたとしてもテンプレートの位置が対象物体からずれることがなく、正確に対象物体を追跡することができる。
【００４１】
本発明の第２の実施例を図２を用いて説明する。図２は本発明の処理プロセスの一実施例を表すフローチャートである。図２は図１で表される第１の実施例を表すフローチャートの最大一致度判定ステップ１０４の代わりに分岐ステップ２０１と最大一致度判定ステップ１０４´を置き、テンプレート更新ステップ１０６の代わりに複数テンプレート保存ステップ２０２を置いて構成したものである。
【００４２】
図２において処理が開始されると、既に説明した物体検出処理１０１から初期テンプレート登録ステップ１０２によって、時刻ｔ０−１における入力画像から取得した画像を時刻ｔ０−１のテンプレート画像として登録した後、画像入力ステップ４０１に進む。画像入力ステップ４０１で、時刻ｔ０における入力画像を取得する。
次に、テンプレートマッチング処理ステップ１０３では、保存された時刻ｔ０−１のテンプレート画像と、時刻ｔ０における入力画像とテンプレートマッチング処理がなされる。そして、分岐ステップ２０１（後述する）を通り、最大一致度判定ステップ１０４´に進む。
最大一致度判定ステップ１０４´では、最大一致度が所定値以上であった場合にはテンプレート位置補正ステップ１０５に進み、最大一致度が所定値未満であった場合には物体検出処理ステップ１０１に戻る。
【００４３】
テンプレート位置補正ステップ１０５では、最大一致度判定ステップ１０４´において抽出した位置を時刻ｔ０での検出位置として補正する。そして、次の複数テンプレート保存ステップ２０２では、位置補正した時刻ｔ０の検出位置をもとに時刻ｔ０のテンプレートが新たに保存される。この時、既に初期テンプレート登録ステップ１０２において登録された時刻ｔ０−１のテンプレ−ト画像はそのまま保存される。次に、カメラ雲台制御ステップ１０７に進み、カメラの視野（光軸方向）を時刻ｔ０における検出位置に基づき対象物体の方向に向ける。
次に、警報・モニタ表示ステップ１０８に処理を移し、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ１０８が終了すると、画像入力ステップ４０１に戻り、新しい入力画像を取得し、再びテンプレートマッチッング処理を行う。
【００４４】
再びテンプレートマッチッングステップ１０３に戻った時、保存されているテンプレートは時刻ｔ０−２のテンプレートと時刻ｔ０−１のテンプレートの２つである（時刻は“１”進んでいるため“−１”が加えられる）。ここで、テンプレートマッチッングステップ１０３では時刻ｔ０の入力画像と、先ず時刻ｔ０−１のテンプレートとのテンプレートマッチング処理がなされ、分岐ステップ２０１に進む。
分岐ステップ２０１では、保存されているすべてのテンプレート画像すべてについてテンプレートマッチング処理がなされているかどうかを調べる。今、時刻ｔ０−１のテンプレートとのテンプレートマッチング処理がなされたが、まだ時刻ｔ０−２のテンプレートが残っている。従って、この時はステップ１０３に戻り、時刻ｔ０−２のテンプレートと時刻ｔ０の入力画像とのテンプレートマッチング処理を行う。このようにして、次々と残っているテンプレートとテンプレートマッチング処理を行い、すべてのテンプレートについてテンプレートマッチング処理が終了すれば、分岐ステップ２０１から処理ステップを最大一致度判定ステップ１０４´に進む。
【００４５】
最大一致度判定ステップ１０４´では、テンプレートマッチング処理によって、複数のテンプレート画像それぞれについてに得られた最大一致度の中から一番大きな値を選ぶ。そして、その一番大きな値の最大一致度が所定値（例えば、０．５）以上であった場合にはテンプレート位置補正ステップ１０５に進み、その一番大きな値の最大一致度が所定値未満であった場合には、入力画像中に対象物体が存在しなくなったものとして、物体検出処理ステップ１０１に戻る。
【００４６】
テンプレート位置補正ステップ１０５では、最大一致度判定ステップ１０４´において一番値の大きい最大一値度を得たテンプレート画像について入力画像のエッジ処理を行い、得られたエッジ画像から対象物体の位置を補正する。
そして、次の複数テンプレート保存ステップ２０２では、位置補正した時刻ｔ０の検出位置をもとに時刻ｔ０のテンプレートが新たに保存される。この時、既に初期テンプレート登録ステップ１０２において登録された時刻ｔ０−１のテンプレ−ト画像はそのまま保存される。
この複数テンプレート保存ステップ２０２で保存するテンプレート画像の数は、あらかじめ所定数（例えば、“３”）を定めておき、所定数を超える時は、一番古い時刻に取得したテンプレートを削除する。次にカメラ雲台制御ステップ１０７に進み、カメラの視野方向（光軸方向）を制御する。
そして次に、警報・モニタ表示ステップ１０８に進み、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ１０８が終わると、画像入力ステップ４０１に戻り、新しい入力画像を得、再びテンプレートマッチッング処理を続ける。
上述の場合には、一番古い時刻に取得したテンプレートを削除したが、テンプレートマッチングステップ１０３において算出した中で、最小の一致度が得られたテンプレートを削除することでもよい。
【００４７】
この第２の実施例によれば、テンプレートマッチングステップ１０３によって検出された位置をもとに、対象物体に存在するエッジを検出し、そのエッジの密度が最大となる位置に検出位置を補正し、異なる時刻に得られた所定フレーム数分のテンプレート画像を独立にマッチングさせるため、対象物体が向きを変えたり、対象物体の前を別の物体が横切ったとしても、過去の複数のテンプレート画像を対象として、最大の一致度を持つ領域をテンプレートマッチング位置として補正するため、テンプレートの位置が対象物体からずれることがなく、また別の物体を追跡することなく、対象物体を正確に追跡することができる。
【００４８】
【発明の効果】
以上のように本発明によれば、対象物体の向きが変化する物体を追跡安定に物体を追跡することができ、撮像装置を用いた監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理動作を説明するためのフローチャート。
【図２】本発明の一実施例の処理動作を説明するためのフローチャート。
【図３】本発明が適用された監視装置の一実施例を示すブロック構成図。
【図４】従来の差分法による物体検出処理の一例を示すフローチャート。
【図５】従来のテンプレートマッチング法による物体追跡処理の一例を示すフローチャート。
【図６】従来の差分法による物体検出処理の動作を説明する図。
【図７】従来のテンプレートマッチング法による物体追跡処理の動作を説明する図。
【図８】従来のテンプレートマッチング法による物体追跡処理の問題点を説明する図。
【図９】本発明の物体追跡方法の一実施例を説明する図。
【図１０】本発明の物体追跡方法の一実施例を説明する図。
【図１１】画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図。
【符号の説明】
３０１：ＴＶカメラ、 ３０２：カメラ雲台、 ３０３：画像入力Ｉ／Ｆ、 ３０４：雲台制御Ｉ／Ｆ、 ３０５：画像メモリ、 ３０６：ワークメモリ、 ３０７：ＣＰＵ、 ３０８：プログラムメモリ、 ３０９は出力Ｉ／Ｆ、 ３１０：画像出力Ｉ／Ｆ、 ３１１：警告灯、 ３１２：監視モニタ、 ３１３はデータバス、 ６０１：入力画像、 ６０２：基準背景画像、 ６０３：差分処理された後の差分画像、 ６０４：二値化画像、 ６０５：画像、 ６０６：差分処理部、 ６０７：二値化処理部、 ６０８：画像抽出部、 ６０９：人型の物体、 ６１０：人型の差分画像、 ６１１：人型の二値化画像、 ６１２：外接矩形、 ６１３：初期テンプレート画像、 ７０１，７０３，７０５，７０７：画像、 ７０１ａ，７０３ａ，７０５ａ，７０７ａ：テンプレート画像、 ７０２，７０４，７０６，７０８：入力画像、 ７０２ａ，７０４ａ，７０６ａ，７０８ａ：テンプレートマッチング処理によって検出された物体の位置、 ７０２ｂ，７０４ｂ，７０６ｂ，７０８ｂ：１フレーム前でのテンプレート画像の位置、 ７０２ｃ，７０４ｃ，７０６ｃ，７０８ｃ：探索範囲、 ７０２ｄ，７０４ｄ，７０６ｄ，７０８ｄ：移動矢印、 ７０２ｅ：二値化画像、 ８０１，８０３，８０５，８０７：画像、 ８０１ａ，８０３ａ，８０５ａ，８０７ａ：テンプレート画像、 ８０２，８０４，８０６，８０８：入力画像、 ８０２ａ，８０４ａ，８０６ａ，８０９ａ：テンプレートマッチング処理によって検出された物体の位置、 ８０２ｂ，８０４ｂ，８０６ｂ，８０８ｂ：１フレーム前でのテンプレート画像の位置、 ９０１：入力画像、 ９０２：エッジ画像、 ９０３ａ：領域、 ９０３ｂ，９０３ｃ：投影像、 ９０３：説明のために領域９０３ａで切出したエッジ画像に投影像９０３ｂと９０３ｃとを重ねて表示した図、 ９０４：ｘ軸への投影像９０３ｂを表す図、 ９０４ａ：テンプレートマッチングによって得られた検出位置を表す範囲、 ９０４ｂ：累積投影位置が最大となる範囲、 ９０５：ｙ軸への投影像９０３ｃを表す図、 ９０５ａ：テンプレートマッチングによって得られた検出位置を表す範囲、 ９０５ｂ：累積投影位置が最大となる範囲、 １００１，１００３，１００５，１００７：画像、 １００１ａ，１００３ａ，１００５ａ，１００７ａ：テンプレート画像、 １００２，１００４，１００６，１００８：入力画像、 １００２ａ，１００４ａ，１００６ａ，１００９ａ：テンプレートマッチング処理によって検出された物体の位置、 １００２ｂ，１００４ｂ，１００６ｂ，１００８ｂ：１フレーム前でのテンプレート画像の位置。
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出し、検出した物体の動きを自動的に追跡するようにした物体追跡方法と、検出した物体の動きに応じて視野方向（撮像中心方向）を調節するようにした物体追跡装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視装置は、従来から広く用いられている。しかし、このような映像監視装置を用いた監視システムにおいて、その監視視野内に入り込んでくる人間や自動車などの侵入物体の検出及び追跡を、監視員がモニタに表示される画像を見ながら行なう有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、その動きを自動的に追跡するようにし、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
【０００３】
このようなシステムを実現するためには、まず、差分法などによって視野内の侵入物体を検出する。差分法とは、テレビジョンカメラ（以下、ＴＶカメラと称する）等の撮像装置により得られた入力画像と、予め作成した基準背景画像、即ち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。このようにして検出された侵入物体の位置に相当する入力画像の部分画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と一致度が最大となる位置を検出する。この方法は、テンプレートマッチングと呼ばれ広く知られ、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１４９〜Ｐ１５３で解説されている。
通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。これらの処理を図４〜図７によって説明する。
【０００４】
図４は差分法を用いた侵入物体検出処理の一例を表すフローチャート、図５はテンプレートマッチングを用いた侵入物体追跡の一例を表すフローチャート、図６は、図４と図５で表される侵入物体検出処理から初期のテンプレート画像登録までの流れを画像の例によって説明するための図である。また図７は、図５で表される侵入物体追跡処理の流れを画像の例を用いて説明するための図であり、一定の時間間隔で入力された画像が初期に与えられたテンプレート画像をもとにどのように実行されていくか（初期のテンプレートがどのように変化していくか）を説明する図である。
【０００５】
図６で、６０１は入力画像、６０９は入力画像６０１中の人型の物体、６０２は基準背景画像、６０６は差分処理部、６０３は差分処理部６０６において差分処理された後の差分画像、６１０は人型の物体６０９に相当する差分画像６０３中の人型の差分画像、６０７は二値化処理部、６０４は二値化処理部６０７によって二値化処理された差分画像６０３の二値化画像、６１１は人型の差分画像６１０に相当する二値化画像６０４中の人型物体（人型の二値化画像）、６１２は人型の二値化画像６１１の外接矩形、６０８は画像抽出部、６０５は入力画像６０１から外接矩形６１２の囲む領域をテンプレート画像として切出すことを説明する画像、６１３は入力画像６０１から切出した初期テンプレート画像である。
【０００６】
図４と図６において、まず、ＴＶカメラから例えば３２０×２４０画素の入力画像６０１を入力する（画像入力ステップ４０１）。次に、差分処理部６０６において、入力画像６０１と、予め作成した基準背景画像６０２との画素毎の差分を計算し、差分画像６０３を取得する。この時、入力画像６０１中の人型の物体６０９は差分画像６０３中に、人型の差分画像６１０として現れる（差分処理ステップ４０２）。そして、二値化処理部６０７において、差分画像６０３の各画素に対しての差分値が所定のしきい値以下の画素の値を“０”、しきい値以上の画素の値を“２５５”（１画素を８ビットとして）に置換えて、二値化画像６０４を得る。この時、入力画像６０１に撮像された人型の物体６０９は、二値化画像６０４中の人型物体６１１として検出され、人型物体６１１の外接矩形６１２が生成される（二値化処理ステップ４０３）。
次に物体存在判定ステップ４０４では、画像抽出部６０８において、二値化画像６０４中で画素値が“２５５”となった画素のかたまりを検出し、画素値が“２５５”となる画素のかたまりが存在する場合は物体検出処理を終了し、存在したかたまりの外接矩形に相当する入力画像に部分画像を初期テンプレート画像６１３として後述の画像メモリ３０５（図３）に登録する。また、画素値が“２５５”となる画素のかたまりが存在しない場合は画像入力ステップ４０１へ分岐する。
【０００７】
物体追跡処理の流れを図５に従って説明する。図５の物体検出処理ステップ１０１と初期テンプレート登録ステップ１０２とにおいて、図４と図６で説明したように物体検出処理と初期テンプレート画像の登録がなされた後の処理について図７を用いて説明する。
図４と図６で説明した物体検出処理が終了した後は、図５に示すフローチャートに従って物体追跡処理がなされる。
【０００８】
図７で、７０１ａは時刻ｔ０−１において更新された物体のテンプレート画像、７０１は時刻ｔ０−１での入力画像におけるテンプレート画像７０１ａの位置を示す図、７０２は時刻ｔ０での入力画像、７０２ａは時刻ｔ０においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０２ｂは１フレーム前（ｔ０−１）でのテンプレート画像の位置、７０２ｃはテンプレートマッチング処理（例えば、図５のフローチャート）で探索する探索範囲、７０２ｄは時刻ｔ０−１からｔ０まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０２ａの中心位置へ向かう矢印）、７０２ｅはテンプレートマッチング処理で人型物体を検出した位置、７０３ａは時刻ｔ０で更新された物体のテンプレート画像、７０３は時刻ｔ０での入力画像におけるテンプレート画像７０３ａの位置を示す図、７０４は時刻ｔ０＋１での入力画像、７０４ａは時刻ｔ０＋１においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０４ｂは１フレーム前（ｔ０）でのテンプレート画像の位置、７０４ｃはテンプレートマッチング処理で探索する探索範囲、７０４ｄは時刻ｔ０−１からｔ０＋１まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置を経由して７０４ａの中心位置へ向かう矢印）、７０５ａは時刻ｔ０＋１で更新された物体のテンプレート画像、７０５は時刻ｔ０＋１での入力画像におけるテンプレート画像７０５ａの位置を示す図、７０６は時刻ｔ０＋２での入力画像、７０６ａは時刻ｔ０＋２においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０６ｂは１フレーム前（ｔ０＋１）でのテンプレート画像の位置、７０６ｃはテンプレートマッチング処理で探索する探索範囲、７０６ｄは時刻ｔ０−１からｔ０＋２まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置、テンプレート画像７０５ａの中心位置を経由して７０６ａの中心位置へ向かう矢印）、７０７ａは時刻ｔ０＋２で更新された物体のテンプレート画像、７０７は時刻ｔ０＋２での入力画像におけるテンプレート画像７０７ａの位置を示す図、７０８は時刻ｔ０＋３での入力画像、７０８ａは時刻ｔ０＋３においてテンプレートマッチング処理によって検出された物体の位置（テンプレート画像）、７０８ｂは１フレーム前（ｔ０＋２）でのテンプレート画像の位置、７０８ｃはテンプレートマッチング処理で探索する探索範囲、７０８ｄは時刻ｔ０−１からｔ０＋３まで人型物体が移動した方向と軌跡を表す移動矢印（例えば、テンプレート画像７０１ａの中心位置からテンプレート画像７０３ａの中心位置、テンプレート画像７０５ａの中心位置、テンプレート画像７０７ａの中心位置を経由して７０８ａの中心位置へ向かう矢印）である。
【０００９】
即ち、図５と図７において、物体追跡処理が開始され、二値化画像６０４中に物体が存在すると判定され、物体検出処理ステップ１０１を終了する（図４）。そして、二値化画像６０４中の人型の二値化画像のかたまりの外接矩形に相当する入力画像６０１の部分画像を、初期テンプレート画像６１３（図７のテンプレート画像７０１ａ）として画像メモリ３０５（図３）に登録する（初期テンプレート登録ステップ１０２）。続いて、逐次入力される入力画像中の探索範囲７０２ｃ内でテンプレート画像７０１ａと一致度ｒ（Δｘ，Δｙ）が最大となる部分画像７０２ａを検出する（テンプレートマッチッングステップ１０３）。
即ち、テンプレートマッチッングステップ１０３では、最大一致度と、その最大一致度が求められた位置とを得る。
【００１０】
この一致度ｒ（Δｘ，Δｙ）を算出する方法として、例えば以下の式（１）で得られる正規化相関と呼ばれる指標を用いることができる。
【数１】
ここで、入力画像７０２に対してテンプレートマッチングを行なった場合、ｆ（ｘ，ｙ）は入力画像７０２、ｆｔ（ｘ，ｙ）はテンプレート画像７０１ａ、（ｘ０，ｙ０）は登録したテンプレート画像７０１ａの左上の座標（画像は左上を原点としている）、Ｄｔはテンプレートの探索範囲７０２ｃを表し、探索範囲７０２ｃ内にテンプレート画像７０１ａとまったく同じ画素値を持つ画像が存在した場合には、一致度ｒ（Δｘ，Δｙ）は“１．０”となる。テンプレートマッチングステップ１０３では、この式（１）で表される指標を（Δｘ，Δｙ）∈Ｄで表される探索範囲７０２ｃに対して計算し、その中で一致度ｒ（Δｘ，Δｙ）が最大となる位置（外接矩形）７０２ａを検出する。この探索範囲７０２ｃは、対象物体の見かけの移動量によって決定される。例えば、速度４０ｋｍ／ｈで移動する物体を、５０ｍ離れたＴＶカメラ（素子サイズ６．５ｍｍ×４．８ｍｍのＣＣＤ、焦点距離２５ｍｍのレンズ、入力画像サイズ３２０×２４０画素（ｐｉｘ）。処理間隔０．１ｆｒａｍｅ／ｓｅｃ）で監視する場合、水平方向の物体の見かけの移動量は２７．４ｐｉｘ／ｆｒａｍｅ、垂直方向は２７．８ｐｉｘ／ｆｒａｍｅとなり、Ｄを−３０ｐｉｘ＜Δｘ＜３０ｐｉｘ，−３０ｐｉｘ＜Δｙ＜３０ｐｉｘ程度に設定すればよい。
尚、一致度の算出方法は上述の正規化相関の指標に限られるものではない。例えば、入力画像とテンプレート画像間で各画素毎の差をとって、その絶対値の累積値の逆数を一致度としてもよい。
【００１２】
次に、最大一致度判定ステップ１０４では、テンプレートマッチングステップ１０３において、テンプレート画像７０１ａと一致度が最大となる入力画像７０２の位置に、物体が移動した（外接矩形７０２ｂから外接矩形７０２ａに移動した）と判断したあと、次に、最大一致度が所定値以下に低下した場合（例えば“０．５”未満）、入力画像中に対象物体がいなくなったものとして、物体検出処理ステップ１０１へ分岐し、最大一致度が所定値以上であった場合（例えば“０．５”以上）は、テンプレート更新ステップ１０６へ分岐する。
テンプレート更新ステップ１０６では、入力画像中の探索範囲７０２ｃ内でテンプレート画像７０１ａと一致度ｒ（△ｘ，△ｙ）が最大となる部分画像７０２ａを使ってテンプレート画像７０１ａをテンプレート画像７０３ａに更新する。ここで、テンプレート画像を更新する理由は、対象物体の姿勢が変化（例えば、対象物体の人が手を上げたり、腰を曲げたり、足を上げたりして画像が変化）し、テンプレート画像を更新しないと一致度が低下してしまい、追跡結果の信頼性が低下するためである。従って、検出された物体の位置の部分画像７０２ｅを新たなテンプレート画像７０３ａとして更新し、対象物体が姿勢を変えた場合でも安定な追跡を行なうようにしている。
【００１３】
上述の実施例では、差分法によって検出した侵入物体について作成したテンプレート画像は、検出した画素のかたまりの外接矩形を取り込み、この外接矩形に囲まれた部分画像をテンプレート画像として切出した。
しかし、切出すテンプレート画像のサイズの決定方法はこの方法に限らない。例えば、外接矩形に一定の定数（例えば、０．８、または１．１等）を乗算してもよい。
更に、撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用した場合には、ＣＣＤのサイズ、レンズの焦点距離、ＣＣＤから検出する物体の距離によって、対象とみなす物体の大きさを予め算出できるので、算出した大きさをテンプレート画像サイズとすることもできる。
【００１４】
次に、カメラ雲台制御ステップ１０７に移る。
図１１は入力画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図である。図１１に言及して、カメラ雲台制御ステップ１０７について説明する。
カメラ雲台制御ステップ１０７では、テンプレートマッチングによって検出された対象物体の位置と入力画像中央との変位、即ち、カメラの光軸（カメラの視野方向）に対して対象物体が存在する方向に基づいてカメラ雲台３０２のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対象物体の中心位置（ｘ０＋△ｘ＋ｄｘ／２，ｙ０＋△ｙ＋ｄｙ／２）（（ｄｘ，ｄｙ）はテンプレート画像の大きさを表す）と入力画像の中心位置（１６０，１２０）（画像サイズを３２０×２４０とする）とを比較し、検出された対象物体の中心位置が入力画像の中心位置に対して左側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、右側に位置する場合はカメラ雲台のパンモータをカメラの光軸方向が右に移動するように制御する。また、検出された対象物体の中心位置が入力画像の中心位置に対して上側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が上に移動するように制御し、下側に位置する場合は、カメラ雲台のチルトモータをカメラの光軸方向が下に移動するように制御する。
尚、パンモータ、チルトモータは同時に制御可能で、例えば、検出された対象物体の中心位置が入力画像の中心位置に対して左上側に位置する場合は、カメラ雲台のパンモータをカメラの光軸方向が左に移動するように制御し、かつ、チルトモータをカメラの光軸方向が上に移動するように同時に制御する。このようにすることで、カメラの光軸上に対する対象物体を捉えるようにカメラ雲台を制御することが可能となる。
次に、警報・モニタ表示ステップ１０８では、例えば対象物体が所定の警報を出す範囲に存在する場合に警報を鳴らしたり、監視モニタに対象物体の画像を表示したりする。
【００１５】
警報・モニタ表示ステップ１０８が終わると、画像入力ステップ４０１に戻り、新しい入力画像を得て、この現時刻での入力画像に対して再びテンプレートマッチッング処理を行う。即ち、時刻ｔ０での入力画像７０２により更新したテンプレート画像７０３ａと、時刻ｔ０＋１での入力画像７０４とによりテンプレートマッチング処理を行う。この時、探索範囲７０４ｃは時刻ｔ０で更新されたテンプレート画像７０４ｂを中心とした位置に移動しており、新しい探索範囲で検索が行われる。そして、最大の一致度を持った物体が検出され、その検出された物体の位置７０４ａを元に新しいテンプレート画像７０５ａが生成される。
以上のように、対象物体が存在する間は、ステップ４０１，ステップ１０３，ステップ１０４，ステップ１０６，ステップ１０７，ステップ１０８の処理を繰返し、新しいテンプレート画像７０６ａ、７０８ａ，‥‥‥へと次々にテンプレート画像を更新しながら、対象物体を追跡し続ける。
【００１６】
前述のテンプレートマッチングを用いた侵入物体の追跡法では、対象物体の向きが変化（例えば、対象物体の人が右を向いたり、後ろを向いたり）すると、対象物体とマッチング位置とのズレが大きくなり、正確かつ安定したな追跡ができないという問題がある。
即ち、テンプレートマッチングは、テンプレート内の高いコントラストの模様部分が一致するようにマッチングされるという性質がある。例えば、対象物体が車輌である場合において、はじめは正面を向いていて、車輌のほとんどすべてがマッチング対象となっていた場合（図８の入力画像８０２）と、その後進行方向（向き）が変わり横向きになってしまった車輌の前面部分だけがマッチング対象となり、車輌全体がマッチング対象となっていた時に比べて、マッチング中心が車両の中心から車輌の前部に移動するため、検出位置ズレが生ずる。
【００１７】
これを図８を用いて説明する。図８は、侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図である。８０１ａ，８０３ａ，８０５ａ，８０７ａはそれぞれ時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２のテンプレート画像、８０１，８０３，８０５，８０７はそれぞれテンプレート画像８０１ａ，８０３ａ，８０５ａ，８０７ａの更新時の位置を示す画像、８０２，８０４，８０６，８０８はそれぞれ時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３の入力画像、８０２ａ，８０４ａ，８０６ａ，８０９ａは時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３においてそれぞれテンプレートマッチング処理によって検出された物体の位置、８０２ｂ，８０４ｂ，８０６ｂ，８０８ｂはそれぞれ１フレーム前でのテンプレート画像（時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２でのそれぞれのテンプレート画像）の位置である。
図８において、時刻ｔ１−１で登録されたテンプレート画像８０１ａは、移動車輌のフロント部がほぼ正面を向いている画像である。時刻ｔ１では、このテンプレート画像８０１ａを用いてテンプレートマッチングを行ない、対象物体の移動した位置を検出すると共に、テンプレート画像８０１ａをテンプレート画像８０３ａに更新する。続いて、時刻ｔ１＋１ではテンプレート画像８０５ａに更新され、更に時刻ｔ１＋２ではテンプレート画像８０７ａに更新され、この処理を時刻ｔ１＋３まで行なうと、追跡開始時刻ｔ１で車輌のライトなどがあるフロント部分をテンプレートマッチングしていたものが、時刻ｔ１＋３では、車輌の左側にずれてマッチングされてしまう。
【００１８】
この現象は、テンプレートマッチングが対象とする入力画像とテンプレート画像中のコントラストが高い画像部分の位置のズレを小さくする様にマッチングが行われるように働くためで、この例では車輌のライト部分がそれにあたる。そのため、図８のように、対象物体が向かって右から左に向きを変えるような場合には左側にずれ、向って左側から右側に向きを変えるような場合には右側にずれる。
更に、時刻ｔ１では、テンプレート画像８０１ａ中には車輌の画像だけが入っていたが、対象物体が向きを変えてテンプレート位置がずれたことによって、テンプレート画像８０７ａ中に対象物体以外の背景部分の画像が入り込んでしまう。このテンプレート画像８０７ａのような対象物体以外の画像を多く含んだテンプレート画像を用いて追跡を続けた場合には、対象物体とマッチングできずに、テンプレートに入り込んだ背景部分とマッチングしてしまう。従って、テンプレートマッチングを用いた物体追跡法は、対象物体の向きが変化するような場合には、対象物体の模様が見かけ上移動し、それに引張られてテンプレートの位置がずれるため、対象としている物体を追跡している保証ができず、安定な追跡を行うことができない。
【００１９】
【発明が解決しようとする課題】
前述の従来技術には、対象物体の向きの変化が大きい場合には安定な追跡を行うことができない欠点があった。
本発明の目的は、上記のような欠点を除去し、対象物体の向きの変化が大きい場合にも、正確に物体を検出および追跡することができる、信頼性の高く安定に動作する物体追跡方法及び装置を提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明の物体追跡方法は、撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、検出した物体を追跡する物体追跡方法において、現時刻に取得した入力画像と、テンプレート画像とのテンプレートマッチングを行い、現時刻に取得した入力画像の中からテンプレート画像と一致度が最大となる部分画像の位置を検出するマッチングステップと、マッチングステップによって検出した位置の部分画像を包含し、かつ検出した位置の部分画像より所定サイズ大きい拡張部分画像の領域についてエッジ検出を行い、エッジ検出によって検出した部分画像の位置を物体の現時刻の検出位置に補正するマッチング位置補正ステップと、マッチング位置補正ステップによって補正された位置の部分画像を新たなテンプレートとして更新するテンプレート更新ステップとを設け、撮像視野内の物体を追跡するものである。
また、本発明の物体追跡方法において、位置補正ステップは、現時刻の入力画像の拡張部分画像の領域内で、エッジの密度が最大になる部分画像の位置を検出したものである。
【００２１】
更に本発明の物体追跡方法において、位置補正ステップは、拡張部分画像の領域内に含まれるエッジ成分を抽出し、ｘ軸及びｙ軸上にそれぞれ、ｙ軸方向及びｘ軸方向のエッジ成分量を累積表示し、ｘ軸及びｙ軸上の累積エッジ成分量から最大エッジ密度範囲を検出したものである。
また更に本発明の物体追跡方法において、テンプレート画像のサイズは、物体の撮像視野内での見かけの移動量に基づき決定することができる。
【００２２】
本発明の物体追跡方法はまた、入力画像から差分法によって物体を検出し、検出した物体の少なくとも一部を含む入力画像の所定サイズの部分画像をテンプレート画像として登録する初期テンプレート登録ステップを備え、記差分法によって検出した物体を追跡対象物体として、追跡を行なう。
更にまた、別の方法として、位置補正ステップにおいて、取得した最大一致度が所定の値未満であれば、差分法によって、現時刻の入力画像から物体を検出し、検出した物体を追跡対象物体として追跡する。
【００２３】
また更に、本発明の物体追跡方法においては、位置補正ステップによって検出された位置に基づいて、撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、その制御信号によって撮像装置の視野方向を、出された位置に常に向け、検出した物体を追跡するものである。
【００２４】
本発明の物体追跡装置は、監視対象範囲を逐次撮像する撮像装置と、撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、画像入力インターフェースによって変換された画像信号を処理する画像処理手段と、登録されたテンプレート画像を格納する記憶装置とを備え、記画像処理手段は、撮像装置から現時刻に入力した画像信号を記憶装置にあらかじめ登録されたテンプレート画像によってテンプレートマッチングを行ない、現時刻に入力した画像信号の中から、テンプレート画像と最大の一致度を持つ部分画像の位置を検出し、検出した位置の部分画像を包含する、現時刻に入力した画像信号内の部分画像より所定サイズ大きい拡張部分画像の領域について、エッジの密度が最大となる部分画像の位置を検出し、エッジの密度が最大となる部分画像の位置を、物体の現時刻における検出位置とし、現時刻の検出位置の部分画像をを新たなテンプレートマッチング位置と更新することによって撮像装置の撮像視野内に侵入した物体を追跡するものである。
【００２５】
また本発明の物体追跡装置は、撮像装置の視野方向を変えるための雲台と、画像処理手段によって撮像装置の視野方向を変えるために雲台を制御するための制御信号を供給する雲台制御インターフェースとを更に備え、画像処理手段が、物体の現時刻における検出位置に基づいて、物体の方向を検出し、得られた方向から雲台制御インターフェースを介して、撮像装置の視野方向を調節し、撮像装置の撮像視野内に侵入した物体を追跡するものである。
【００２６】
【発明の実施の形態】
本発明の物体追跡方法では、従来からの対象物体の模様が見かけ上移動し、それに引張られてテンプレートの位置がずれる問題を解決するため、対象物体は背景部分に比べてエッジ成分が多いという特徴を利用して、追跡処理の過程で更新するテンプレート画像の位置を入力画像のエッジ画像の密度に基いて補正する。即ち本発明は、差分法によって物体を検出し、検出物体の画像をテンプレートとして保持し、検出位置の周辺でエッジ画像の密度が最大となる位置に検出位置を補正しながら対象物体を追跡することで、特に対象物体の向きの変化が起こった場合でも安定に追跡を行うことができる。
【００２７】
図３に、本発明の各実施例に共通する物体追跡装置のハードウエア構成の一例を示す。３０１はＴＶカメラ、３０３は画像入力Ｉ／Ｆ、３１３はデータバス、３０５は画像メモリ、３０６はワークメモリ、３０７はＣＰＵ、３０８はプログラムメモリ、３０２はカメラ雲台、３０４は雲台制御Ｉ／Ｆ、３０９は出力Ｉ／Ｆ、３１０は画像出力Ｉ／Ｆ、３１１は警告灯、３１２は監視モニタである。ＴＶカメラ３０１は画像入力Ｉ／Ｆ３０３に接続され、カメラ雲台３０２は雲台制御Ｉ／Ｆ３０４に接続され、警告灯３１１は出力Ｉ／Ｆ３０９に接続され、監視モニタ３１２は画像出力Ｉ／Ｆ３１０に接続されている。画像入力Ｉ／Ｆ３０３、雲台制御Ｉ／Ｆ３０４、画像メモリ３０５、ワークメモリ３０６、ＣＰＵ３０７、プログラムメモリ３０８、出力Ｉ／Ｆ３０９及び画像出力Ｉ／Ｆ３１０は、データバス３１３に接続されている。また、ＴＶカメラ３０１はカメラ雲台３０２に取付けられている。
【００２８】
図３において、ＴＶカメラ３０１は監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力Ｉ／Ｆ３０３からデータバス３１３を介して画像メモリ３０５に蓄積される。ＣＰＵ３０７はプログラムメモリ３０８に保存されているプログラムに従って、ワークメモリ３０６内で画像メモリ３０５に蓄積された画像の解析を行なう。ＣＰＵ３０７は、処理結果に応じてデータバス３１３から雲台制御Ｉ／Ｆ３０４を介してカメラ雲台３０２を制御してＴＶカメラ３０１の撮像視野を変えたり、出力Ｉ／Ｆ３０９を介して警告灯３１１を点灯し、画像出力Ｉ／Ｆ３１０を介して監視モニタ３１２に、例えば侵入物体検出結果画像を表示する。尚、画像メモリ３０５は、登録されたテンプレート画像を保存しておくためのテンプレート画像保持装置をも備えている。
【００２９】
以降に説明するフローチャートは、すべて上記図３で説明した物体追跡監視装置のハードウエア構成を使って説明する。
本発明の第１の実施例を図１によって説明する。図１は本発明の一実施例の処理プロセスを説明するフローチャートである。図１は図５で示したテンプレートマッチング法の処理プロセスにテンプレート位置補正ステップ１０５を追加したものである。ステップ１０１、１０２、４０１、１０３、１０４、１０６、１０７、１０８については、図４と図５によって説明したものと同じであるので説明を省略する。
【００３０】
さて、最大一致度判定ステップ１０４において、最大一致度が所定値以上であった場合、テンプレート位置補正ステップ１０５へ進む。テンプレート位置補正ステップ１０５での処理の内容を、図８において時刻ｔ１＋１に得られた入力画像８０４と図９を用いて説明する。図９は侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図で、図８の入力画像８０４について処理を行った場合の一例ある。９０１は入力画像で図８の入力画像８０４と同じ画像が入力したもの、９０２は入力画像９０１から微分フィルタ（図示しない）を使って抽出したエッジ画像、９０３ａは探索領域、９０３ｂは水平方向（ｘ軸）への投影像、９０３ｃは垂直方向（ｙ軸）への投影像、９０３は説明のために領域９０３ａで切出したエッジ画像に投影像９０３ｂと９０３ｃとを重ねて表示した図、８０４ａは図８で既に示したテンプレートマッチングで得られた検出位置を表す範囲、９０４はｘ軸への投影像９０３ｂを表すグラフ、９０４ａはテンプレートマッチングによって得られた検出位置を表す範囲、９０４ｂは累積投影値が最大となる範囲、９０５はｙ軸への投影像９０３ｃを表す図、９０５ａはテンプレートマッチングによって得られた検出位置を表す範囲、９０５ｂは累積投影位置が最大となる範囲である。
【００３１】
図９において、テンプレート位置補正ステップ１０５では、入力画像９０１に対してエッジ抽出処理を施し、エッジ画像９０２を得る。このエッジ抽出処理は、例えば、入力画像９０１に対してＳｏｂｅｌ，Ｒｏｂｅｒｔｓ等の微分フィルタを掛け、得られた画像を二値化する（エッジ部分を“２５５”、それ以外を“０”とする）ことによって行われる。この例については、例えば、１９８５年に総研出版より出版された田村秀行氏監修による『コンピュータ画像処理入門』と題する書籍のＰ１１８〜１２５に解説されている。
【００３２】
次にエッジ画像９０２をテンプレートマッチングステップ１０３によって得られた検出位置８０４ａの範囲（図９０３の実線枠部分：左上の座標（ｘ０，ｙ０）、大きさ（ｄｘ，ｄｙ））から上下左右を所定画素ｄ分（ｄは対象物体の向きの変化に伴うマッチング位置のズレの許容値、例えばｄ＝ ５ ｐｉｘ）拡げた探索領域９０３ａ（図９０３の点線枠部分：左上の座標（ｘ０−ｄ，ｙ０−ｄ）、大きさ（ｄｘ＋２ｄ，ｄｙ＋２ｄ））で切出し、ｘ軸方向に対するエッジ画像の投影像９０３ｂと、ｙ軸方向に対するエッジ画像の投影像９０４ｃを求める。従って、探索領域９０３ａは、上記検出位置８０４ａの範囲を包含する拡張部分画像である。
【００３３】
グラフ９０４において、横軸は水平（ｘ軸）方向、縦軸はｘ軸方向の各画素（ｐｉｘ）毎のエッジ画像の投影像９０３ｂの値ｈｘ（ｘ）であり、グラフ９０５において、横軸は垂直（ｙ軸）方向、縦軸はｙ軸方向の各画素（ｐｉｘ）毎のエッジ画像の投影像９０３ｃの値ｈｙ（ｙ）である。
ｘ軸方向の投影像９０３ｂのｘ＝ｘ０における投影値ｘ（ｘ０）は、探索領域９０３ａで切出したエッジ画像に対し、（ｘ，ｙ） を、ｘ＝ｘ０において、ｙ０−ｄ＜ｙ＜ｙ０＋ｄｙ＋ｄ と変化させ、画素値が“２５５”となる画素数を計数して得る。また、ｙ軸方向の投影像９０３ｃのｙ＝ｙ０における投影値ｙ（ｙ０）は、探索領域９０３ａで切出したエッジ画像に対し、（ｘ，ｙ） を、ｙ＝ｙ０において、ｘ０−ｄ＜ｘ＜ｘ０＋ｄｘ＋ｄ と変化させ画素値が“２５５”となる画素数を計数して得る。次に、図９０４はｘ軸への投影像９０３ｂを表すグラフであり、範囲９０４ａはテンプレートマッチングによって得られた検出位置を表す。また、範囲９０４ｂはその範囲の累積投影値が最大となる範囲、すなわちエッジの密度が最大となる範囲（ｘ１＜ｘ＜ｘ１＋ｄｘ）を示しており、この位置は、次の式（２）によって得られる。
【００３４】
【数２】
この式(2) は、x1 をx0-d＜x1＜x0+d と変化させた場合に、x1＜x＜x1+dx において hx(x) の累積値が最も大きくなる x1 を求めることを表している。また同様にｙ軸に対する投影像に対してもエッジの累積値が最大となる範囲（ y1＜y＜y1+dy ）を得る。従って、テンプレートマッチングステップ103によって検出された対象物体の位置（左上の座標（ x0 ，y0 ））は、テンプレート位置補正ステップ 105 によって補正された位置（左上の座標（ x1 ，y1 ））に修正される。
なお、本実施例では、式 (2) で表される通り、 x1 を x0 − d ＜ x1 ＜ x0 + d と変化させた場合に、 x1 ＜ x ＜ x1 + dx において hx(x) の累積値が最も大きくなる x1 を求めているが、 x0 − d ＜ x1 ＜ x0 + d と変化させる過程で式 (2) の中カッコ内の値が所定のしきい値を超えた場合に式 (2) の計算を中止し、その時の x1 をテンプレートの補正位置としても良い。この場合、所定のしきい値とは、例えば累積値の最大値 255 ×（ dy + 2d ）（ｙ軸に対しては 255 ×（ dx + 2d ））の 30 ％の値を設定し、求められる位置はエッジの最大累積値の 30% 以上のエッジを含む部分となり、式 (2) の計算量を減らすことができる。
【００３６】
上記本発明の一実施例の効果について、図１０を用いて説明する。図１０は、侵入物体追跡処理の流れを画像の例を用いて説明するために、撮像視野内での曲線を描く車道内を通過する車輌を侵入物体とした場合の図で、図８と同じ条件設定であり、図８で示したマッチング処理の後に位置ズレ補正処理を追加したものである。１００１ａ，１００３ａ，１００５ａ，１００７ａはそれぞれ時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２のテンプレート画像、１００１，１００３，１００５，１００７はそれぞれテンプレート画像１００１ａ，１００３ａ，１００５ａ，１００７ａの更新時の位置を示す画像、１００２，１００４，１００６，１００８はそれぞれ時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３の入力画像、１００２ａ，１００４ａ，１００６ａ，１００９ａは時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２，時刻ｔ１＋３においてそれぞれテンプレートマッチング処理によって検出された物体の位置、１００２ｂ，１００４ｂ，１００６ｂ，１００８ｂはそれぞれ１フレーム前でのテンプレート画像（時刻ｔ１−１，時刻ｔ１，時刻ｔ１＋１，時刻ｔ１＋２でのそれぞれのテンプレート画像）の位置である。
【００３７】
図８で示された方法では、テンプレートマッチングが対象とする入力画像と、テンプレート画像の中のコントラストが高い画像部分（図８の例では、車両のフロント部分）の位置のズレを小さくするようにテンプレートマッチングが行われるため、対象物体の向きの変化が起る場面では、テンプレート画像中の車両フロント部分の位置は変らないが、追跡処理を繰返す度に対象物体以外の画像（背景画像）の画素が含まれる割合が大きくなってしまう。
【００３８】
それに対し、本発明の実施例を適用した図１０の場合には、テンプレートマッチング処理後にテンプレート画像の位置をエッジが多く含まれる画素部分、即ち、対象物体の画素部分に逐次位置補正するため、図８の方法によるテンプレート画像に比べて、対象物体以外の画素分が含まれる割合を小さくすることができる。従って、図８と図１０の同時刻のテンプレート位置、例えば、８０９ａと１００９ａとを比較すると、位置８０９ａの場合には、テンプレート画像中に含まれる背景部分の画素の割合が半分以上となっているが、位置１００９ａの場合には、テンプレート画像のほとんどの部分が対象物体の画素となっている。
【００３９】
上述のテンプレート位置補正ステップ１０５の次に、テンプレート更新ステップ１０６の処理がなされ、位置補正された対象物体の位置を新しいテンプレート画像として更新する。以降、図５と同様な処理がなされる。
【００４０】
上記のように本発明の実施例によれば、テンプレートマッチングステップ１０３によって検出された位置を対象物体に存在するエッジを検出し、そのエッジの密度が最大となる位置に検出位置を補正するため、対象物体が向きを変えたとしてもテンプレートの位置が対象物体からずれることがなく、正確に対象物体を追跡することができる。
【００４１】
本発明の第２の実施例を図２を用いて説明する。図２は本発明の処理プロセスの一実施例を表すフローチャートである。図２は図１で表される第１の実施例を表すフローチャートの最大一致度判定ステップ１０４の代わりに分岐ステップ２０１と最大一致度判定ステップ１０４´を置き、テンプレート更新ステップ１０６の代わりに複数テンプレート保存ステップ２０２を置いて構成したものである。
【００４２】
図２において処理が開始されると、既に説明した物体検出処理１０１から初期テンプレート登録ステップ１０２によって、時刻ｔ０−１における入力画像から取得した画像を時刻ｔ０−１のテンプレート画像として登録した後、画像入力ステップ４０１に進む。画像入力ステップ４０１で、時刻ｔ０における入力画像を取得する。
次に、テンプレートマッチング処理ステップ１０３では、保存された時刻ｔ０−１のテンプレート画像と、時刻ｔ０における入力画像とテンプレートマッチング処理がなされる。そして、分岐ステップ２０１（後述する）を通り、最大一致度判定ステップ１０４´に進む。
最大一致度判定ステップ１０４´では、最大一致度が所定値以上であった場合にはテンプレート位置補正ステップ１０５に進み、最大一致度が所定値未満であった場合には物体検出処理ステップ１０１に戻る。
【００４３】
テンプレート位置補正ステップ１０５では、最大一致度判定ステップ１０４´において抽出した位置を時刻ｔ０での検出位置として補正する。そして、次の複数テンプレート保存ステップ２０２では、位置補正した時刻ｔ０の検出位置をもとに時刻ｔ０のテンプレートが新たに保存される。この時、既に初期テンプレート登録ステップ１０２において登録された時刻ｔ０−１のテンプレ−ト画像はそのまま保存される。次に、カメラ雲台制御ステップ１０７に進み、カメラの視野（光軸方向）を時刻ｔ０における検出位置に基づき対象物体の方向に向ける。
次に、警報・モニタ表示ステップ１０８に処理を移し、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ１０８が終了すると、画像入力ステップ４０１に戻り、新しい入力画像を取得し、再びテンプレートマッチッング処理を行う。
【００４４】
再びテンプレートマッチッングステップ１０３に戻った時、保存されているテンプレートは時刻ｔ０−２のテンプレートと時刻ｔ０−１のテンプレートの２つである（時刻は“１”進んでいるため“−１”が加えられる）。ここで、テンプレートマッチッングステップ１０３では時刻ｔ０の入力画像と、先ず時刻ｔ０−１のテンプレートとのテンプレートマッチング処理がなされ、分岐ステップ２０１に進む。
分岐ステップ２０１では、保存されているすべてのテンプレート画像すべてについてテンプレートマッチング処理がなされているかどうかを調べる。今、時刻ｔ０−１のテンプレートとのテンプレートマッチング処理がなされたが、まだ時刻ｔ０−２のテンプレートが残っている。従って、この時はステップ１０３に戻り、時刻ｔ０−２のテンプレートと時刻ｔ０の入力画像とのテンプレートマッチング処理を行う。このようにして、次々と残っているテンプレートとテンプレートマッチング処理を行い、すべてのテンプレートについてテンプレートマッチング処理が終了すれば、分岐ステップ２０１から処理ステップを最大一致度判定ステップ１０４´に進む。
【００４５】
最大一致度判定ステップ１０４´では、テンプレートマッチング処理によって、複数のテンプレート画像それぞれについてに得られた最大一致度の中から一番大きな値を選ぶ。そして、その一番大きな値の最大一致度が所定値（例えば、０．５）以上であった場合にはテンプレート位置補正ステップ１０５に進み、その一番大きな値の最大一致度が所定値未満であった場合には、入力画像中に対象物体が存在しなくなったものとして、物体検出処理ステップ１０１に戻る。
【００４６】
テンプレート位置補正ステップ１０５では、最大一致度判定ステップ１０４´において一番値の大きい最大一値度を得たテンプレート画像について入力画像のエッジ処理を行い、得られたエッジ画像から対象物体の位置を補正する。
そして、次の複数テンプレート保存ステップ２０２では、位置補正した時刻ｔ０の検出位置をもとに時刻ｔ０のテンプレートが新たに保存される。この時、既に初期テンプレート登録ステップ１０２において登録された時刻ｔ０−１のテンプレ−ト画像はそのまま保存される。
この複数テンプレート保存ステップ２０２で保存するテンプレート画像の数は、あらかじめ所定数（例えば、“３”）を定めておき、所定数を超える時は、一番古い時刻に取得したテンプレートを削除する。次にカメラ雲台制御ステップ１０７に進み、カメラの視野方向（光軸方向）を制御する。
そして次に、警報・モニタ表示ステップ１０８に進み、例えば警報を鳴らしたり、例えば監視モニタに対象物体の画像を表示したりする。
警報・モニタ表示ステップ１０８が終わると、画像入力ステップ４０１に戻り、新しい入力画像を得、再びテンプレートマッチッング処理を続ける。
上述の場合には、一番古い時刻に取得したテンプレートを削除したが、テンプレートマッチングステップ１０３において算出した中で、最小の一致度が得られたテンプレートを削除することでもよい。
【００４７】
この第２の実施例によれば、テンプレートマッチングステップ１０３によって検出された位置をもとに、対象物体に存在するエッジを検出し、そのエッジの密度が最大となる位置に検出位置を補正し、異なる時刻に得られた所定フレーム数分のテンプレート画像を独立にマッチングさせるため、対象物体が向きを変えたり、対象物体の前を別の物体が横切ったとしても、過去の複数のテンプレート画像を対象として、最大の一致度を持つ領域をテンプレートマッチング位置として補正するため、テンプレートの位置が対象物体からずれることがなく、また別の物体を追跡することなく、対象物体を正確に追跡することができる。
【００４８】
【発明の効果】
以上のように本発明によれば、対象物体の向きが変化する物体を追跡安定に物体を追跡することができ、撮像装置を用いた監視装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理動作を説明するためのフローチャート。
【図２】本発明の一実施例の処理動作を説明するためのフローチャート。
【図３】本発明が適用された監視装置の一実施例を示すブロック構成図。
【図４】従来の差分法による物体検出処理の一例を示すフローチャート。
【図５】従来のテンプレートマッチング法による物体追跡処理の一例を示すフローチャート。
【図６】従来の差分法による物体検出処理の動作を説明する図。
【図７】従来のテンプレートマッチング法による物体追跡処理の動作を説明する図。
【図８】従来のテンプレートマッチング法による物体追跡処理の問題点を説明する図。
【図９】本発明の物体追跡方法の一実施例を説明する図。
【図１０】本発明の物体追跡方法の一実施例を説明する図。
【図１１】画像とテンプレートマッチングで検出された対象物体の位置との関係を説明するための図。
【符号の説明】
３０１：ＴＶカメラ、 ３０２：カメラ雲台、 ３０３：画像入力Ｉ／Ｆ、 ３０４：雲台制御Ｉ／Ｆ、 ３０５：画像メモリ、 ３０６：ワークメモリ、 ３０７：ＣＰＵ、 ３０８：プログラムメモリ、 ３０９は出力Ｉ／Ｆ、 ３１０：画像出力Ｉ／Ｆ、 ３１１：警告灯、 ３１２：監視モニタ、 ３１３はデータバス、 ６０１：入力画像、 ６０２：基準背景画像、 ６０３：差分処理された後の差分画像、 ６０４：二値化画像、 ６０５：画像、 ６０６：差分処理部、 ６０７：二値化処理部、 ６０８：画像抽出部、 ６０９：人型の物体、 ６１０：人型の差分画像、 ６１１：人型の二値化画像、 ６１２：外接矩形、 ６１３：初期テンプレート画像、 ７０１，７０３，７０５，７０７：画像、 ７０１ａ，７０３ａ，７０５ａ，７０７ａ：テンプレート画像、 ７０２，７０４，７０６，７０８：入力画像、 ７０２ａ，７０４ａ，７０６ａ，７０８ａ：テンプレートマッチング処理によって検出された物体の位置、 ７０２ｂ，７０４ｂ，７０６ｂ，７０８ｂ：１フレーム前でのテンプレート画像の位置、 ７０２ｃ，７０４ｃ，７０６ｃ，７０８ｃ：探索範囲、 ７０２ｄ，７０４ｄ，７０６ｄ，７０８ｄ：移動矢印、 ７０２ｅ：二値化画像、 ８０１，８０３，８０５，８０７：画像、 ８０１ａ，８０３ａ，８０５ａ，８０７ａ：テンプレート画像、 ８０２，８０４，８０６，８０８：入力画像、 ８０２ａ，８０４ａ，８０６ａ，８０９ａ：テンプレートマッチング処理によって検出された物体の位置、 ８０２ｂ，８０４ｂ，８０６ｂ，８０８ｂ：１フレーム前でのテンプレート画像の位置、 ９０１：入力画像、 ９０２：エッジ画像、 ９０３ａ：領域、 ９０３ｂ，９０３ｃ：投影像、 ９０３：説明のために領域９０３ａで切出したエッジ画像に投影像９０３ｂと９０３ｃとを重ねて表示した図、 ９０４：ｘ軸への投影像９０３ｂを表す図、 ９０４ａ：テンプレートマッチングによって得られた検出位置を表す範囲、 ９０４ｂ：累積投影位置が最大となる範囲、 ９０５：ｙ軸への投影像９０３ｃを表す図、 ９０５ａ：テンプレートマッチングによって得られた検出位置を表す範囲、 ９０５ｂ：累積投影位置が最大となる範囲、 １００１，１００３，１００５，１００７：画像、 １００１ａ，１００３ａ，１００５ａ，１００７ａ：テンプレート画像、 １００２，１００４，１００６，１００８：入力画像、 １００２ａ，１００４ａ，１００６ａ，１００９ａ：テンプレートマッチング処理によって検出された物体の位置、 １００２ｂ，１００４ｂ，１００６ｂ，１００８ｂ：１フレーム前でのテンプレート画像の位置。
Claims (9)
- 撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、該検出した物体を追跡する物体追跡方法において、
現時刻に取得した前記入力画像と、テンプレート画像とのテンプレートマッチングを行い、前記現時刻に取得した入力画像の中から前記テンプレート画像と一致度が最大となる部分画像の位置を検出するマッチングステップと、
前記マッチングステップによって検出した位置の部分画像を包含し、かつ前記検出した位置の部分画像より所定サイズ大きい拡張部分画像の領域についてエッジの密度が最大になる部分画像の位置を検出し、該検出した部分画像の位置を物体の現時刻の検出位置に補正するマッチング位置補正ステップと、
該マッチング位置補正ステップによって補正された位置の部分画像を新たなテンプレートとして更新するテンプレート更新ステップとを設け、
前記撮像視野内の物体を追跡することを特徴とする物体追跡方法。 - 撮像装置によって逐次取得する入力画像から撮像視野内の物体を検出し、該検出した物体を追跡する物体追跡方法において、
現時刻に取得した前記入力画像と、テンプレート画像とのテンプレートマッチングを行い、前記現時刻に取得した入力画像の中から前記テンプレート画像と一致度が最大となる部分画像の位置を検出するマッチングステップと、
前記マッチングステップによって検出した位置の部分画像を包含し、かつ前記検出した位置の部分画像より所定サイズ大きい拡張部分画像の領域についてエッジの密度が所定のしきい値以上になる部分画像の位置を検出し、該検出した部分画像の位置を物体の現時刻の検出位置に補正するマッチング位置補正ステップと、
該マッチング位置補正ステップによって補正された位置の部分画像を新たなテンプレートとして更新するテンプレート更新ステップとを設け、
前記撮像視野内の物体を追跡することを特徴とする物体追跡方法。 - 請求項１または請求項２のいずれかに記載の物体追跡方法において、 前記位置補正ステップは、前記拡張部分画像の領域内に含まれるエッジ成分を抽出し、ｘ軸及びｙ軸上にそれぞれ、ｙ軸方向及びｘ軸方向のエッジ成分量を累積表示し、該ｘ軸及びｙ軸上の累積エッジ成分量から前記最大エッジ密度範囲を検出することを特徴とする物体追跡方法。
- 請求項１乃至請求項３記載のいずれかの物体追跡方法において、前記所定サイズは前記物体の前記撮像視野内での見かけの移動量に基づき決定することを特徴とする物体追跡方法。
- 請求項１乃至請求項４のいずれかに記載の物体追跡方法において、
前記入力画像から差分法によって物体を検出し、該検出した物体の少なくとも一部を含む前記入力画像の所定サイズの部分画像を前記テンプレート画像として登録する初期テンプレート登録ステップを備え、
前記差分法によって検出した物体を追跡対象物体として、追跡を行なうことを特徴とする物体追跡方法。 - 請求項５記載の物体追跡方法において、
前記位置補正ステップにおいて、取得した最大一致度が所定の値未満であれば、前記差分法によって、現時刻の入力画像から物体を検出し、該検出した物体を追跡対象物体として追跡することを特徴とする物体追跡方法。 - 請求項１乃至請求項６のいずれかに記載の物体追跡方法において、
前記位置補正ステップによって検出された位置に基づいて、前記撮像装置の視野方向を変えるための制御信号を発生するカメラ雲台制御ステップを有し、
該制御信号によって前記撮像装置の視野方向を前記検出された位置に常に向けて、前記検出した物体を追跡することを特徴とする物体追跡方法。 - 撮像視野内の物体を検出し、該検出した物体を追跡する物体追跡方法において、
監視対象範囲を逐次撮像する撮像装置と、
該撮像装置が取得した映像信号を逐次画像信号に変換する画像入力インターフェースと、
該画像入力インターフェースによって変換された前記画像信号を処理する画像処理手段と、
テンプレート画像として登録された画像を格納する記憶装置とを備え、
前記画像処理手段は、前記撮像装置から現時刻に入力した画像信号を前記記憶装置にあらかじめ登録されたテンプレート画像によってテンプレートマッチングを行ない、
前記現時刻に入力した画像信号の中から、前記テンプレート画像と最大の一致度を持つ部分画像の位置を検出し、
前記検出した位置の前記部分画像を包含する、前記現時刻に入力した画像信号内の前記部分画像より所定サイズ大きい拡張部分画像の領域について、エッジの密度が最大となる部分画像の位置を検出し、
該エッジの密度が最大となる部分画像の位置を、物体の現時刻における検出位置とし、
該現時刻の検出位置の部分画像を新たなテンプレートマッチング位置と更新することによって前記撮像装置の撮像視野内に侵入した物体を追跡することを特徴とする物体追跡装置。 - 請求項８の物体追跡装置において、
前記撮像装置の視野方向を変えるための雲台と、
前記画像処理手段によって前記撮像装置の視野方向を変えるために前記雲台を制御するための制御信号を供給する雲台制御インターフェースとを更に備え、
前記画像処理手段が、前記物体の現時刻における検出位置に基づいて、前記物体の方向を検出し、得られた方向から前記雲台制御インターフェースを介して、前記撮像装置の視野方向を調節し、前記撮像装置の撮像視野内に侵入した物体を追跡することを特徴とする物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000180186A JP3560326B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-167746 | 1999-06-15 | ||
| JP16774699 | 1999-06-15 | ||
| JP2000180186A JP3560326B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001060263A JP2001060263A (ja) | 2001-03-06 |
| JP3560326B2 true JP3560326B2 (ja) | 2004-09-02 |
Family
ID=26491685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000180186A Expired - Fee Related JP3560326B2 (ja) | 1999-06-15 | 2000-06-15 | 物体追跡方法及び物体追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3560326B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006267220A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
| JP2006267221A (ja) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | オートフォーカスシステム |
| JP2006258943A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
| JP5219795B2 (ja) * | 2008-12-26 | 2013-06-26 | キヤノン株式会社 | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| JP5193944B2 (ja) * | 2009-05-20 | 2013-05-08 | 株式会社日立国際電気 | 画像処理方法 |
| WO2012063468A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2012208887A (ja) * | 2011-03-30 | 2012-10-25 | Denso Corp | 対象物追跡装置および対象物追跡システム |
| JP5709255B2 (ja) * | 2011-04-05 | 2015-04-30 | 株式会社日立国際電気 | 画像処理方法および監視装置 |
| CN103473542B (zh) * | 2013-09-16 | 2017-01-11 | 清华大学 | 多线索融合的目标跟踪方法 |
| JP6390671B2 (ja) | 2016-07-29 | 2018-09-19 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| JP7047362B2 (ja) * | 2017-12-11 | 2022-04-05 | 株式会社デンソー | 画像処理装置、制御システム、及び画像処理方法 |
| JP6977667B2 (ja) * | 2018-06-01 | 2021-12-08 | 日本電信電話株式会社 | 物体らしさ推定装置、方法、およびプログラム |
| JP7136222B2 (ja) * | 2018-10-18 | 2022-09-13 | 日本電気株式会社 | 物体追跡装置、物体追跡方法、およびプログラム |
| CN112070084B (zh) * | 2020-09-04 | 2024-01-12 | 北京百度网讯科技有限公司 | 重复图像单元的位置确定方法和装置 |
-
2000
- 2000-06-15 JP JP2000180186A patent/JP3560326B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001060263A (ja) | 2001-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6687386B1 (en) | Object tracking method and object tracking apparatus | |
| JP3768073B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| JP3560326B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| US7113616B2 (en) | Object tracking method and apparatus using template matching | |
| US7860276B2 (en) | Image processing device and method | |
| JP3064928B2 (ja) | 被写体抽出方式 | |
| KR100676232B1 (ko) | 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| JP3644668B2 (ja) | 画像監視装置 | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| JP2002197444A (ja) | 車両の走行路認識装置 | |
| JP2001216520A (ja) | 車両用周辺監視装置 | |
| JP6570904B2 (ja) | 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| JP5086824B2 (ja) | 追尾装置及び追尾方法 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| JPH1023322A (ja) | カメラ揺れ補正方法および画像監視システム | |
| CN111210386A (zh) | 图像拍摄拼接方法及*** | |
| JP2002342762A (ja) | 物体追跡方法 | |
| JP2002104113A (ja) | 後方監視装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP2004213648A (ja) | 物体追尾方法及び物体追尾装置 | |
| JP6184447B2 (ja) | 推定装置及び推定プログラム | |
| EP3389015A1 (en) | Roll angle calibration method and roll angle calibration device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3560326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080604 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110604 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120604 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140604 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |