JP2005045383A - 物体追跡装置 - Google Patents

Abstract

【課題】撮像手段１により得られる画像信号に基づいて画像中の物体を追跡する物体追跡装置で、撮像手段１の撮像レンズ１２を効果的に制御する。
【解決手段】画像中物体移動量検出手段２が画像中における物体の移動量を検出し、撮像レンズ制御手段２が画像中物体移動量検出手段２による検出結果に基づいて撮像手段１の撮像レンズ１２を制御する。撮像レンズ制御手段２は、画像中物体移動量検出手段２による検出結果に基づいて撮像手段１の撮像レンズ１２のズーム倍率を算出し、当該算出結果に基づいて撮像手段１の撮像レンズ１２を制御する。撮像レンズ制御手段２は、画像中物体移動量検出手段２による検出結果に基づいて、画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段１の撮像レンズ１２のズーム倍率を算出する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像される画像中の物体を追跡する物体追跡装置に関し、特に、撮像を行う撮像レンズを効果的に制御する技術に関する。
【０００２】
【従来の技術】
例えば、ＴＶカメラ（テレビジョンカメラ）などの撮像装置を用いた遠隔モニタ方式の監視システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行う、いわゆる有人監視方式の監視システムである。有人監視方式の監視システムでは、監視員が常時モニタに表示される画像を見ていて、監視対象となる領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。
【０００３】
すなわち、人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入物体の見逃しの発生が無視できず、信頼性の面で問題がある。また、監視カメラの爆発的な普及によって、監視員一人が数多くのＴＶカメラ画像を複数のモニタで監視する場面も多くなっており、複数のＴＶカメラで同時に侵入物体を捉えた場合にも侵入物体の見逃しが発生する可能性がある。
【０００４】
そこで、このような人による監視ではなく、ＴＶカメラで撮像された画像から画像処理により侵入物体を自動的に検出し、当該侵入物体の画像を捉えるようにＴＶカメラを搭載するカメラ雲台（旋回台）を制御して視野方向及び画角を自動的に調節し、所定の報知や警報処置が得られるようにした、いわゆる自動追跡方式の監視システムが、近年、強く要求されるようになってきている。
【０００５】
ところで、このようなシステムの実現には、所定の監視方式を用い、侵入物体と見なすべき監視対象となる物体を画像信号から検出し、当該侵入物体の動きを検出する機能が必要となる。
このような侵入物体検出を行う監視方式の一例に差分法と呼ばれる方法があり、従来から広く用いられている。差分法とは、ＴＶカメラにより得られた入力画像と予め作成した基準背景画像、すなわち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。また、差分法の応用例も検討されている（例えば、特許文献１参照。）。
【０００６】
更に、侵入物体の移動量検出を行う監視方式の一例にテンプレートマッチング法と呼ばれる方法があり、差分法と同様に従来から広く用いられている。テンプレートマッチング法とは、差分法などによって検出された侵入物体の画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像と最も似ている位置を検出する（例えば、非特許文献１参照。）。通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。
【０００７】
【特許文献１】
特開平９−７３５４１号公報
【非特許文献１】
田村秀行監修、「コンピュータ画像処理入門」、総研出版、１９８５年、ｐ．１４９−１５３
【０００８】
【発明が解決しようとする課題】
ところで、対象物体を監視する場合には、侵入物体をできるだけズームアップすることが要求される。しかしながら、対象物体をズームアップして（つまり、撮像レンズの焦点距離を長くして）監視すると、表示される画像中における対象物体の移動量が大きくなって、逐次入力する画像の領域内から対象物体が外れてしまい、安定な侵入物体の追跡が行えなくなってしまうといった問題が発生する。従って、一例としては、侵入物体の追跡性能を低下させることなく、できるだけ侵入物体をズームアップするように撮像レンズの焦点距離を設定することが、信頼性の高い物体追跡装置を提供する上で重要になる。
【０００９】
このように、自動追跡方式の監視システムでは、物体追跡機能の信頼性を低下させることなく監視する対象物体をできるだけ大きくズームアップして監視することが重要となるが、例えば、撮像レンズの適切な焦点距離は、撮像素子のサイズによって異なるためその設定には熟練性を要し、更には、ＴＶカメラと対象物体との距離が変化してしまうと、それに応じてズーム倍率も変化させなければならないといった問題がある。
【００１０】
本発明は、このような従来の事情に鑑み為されたもので、撮像される画像中の物体を追跡するに際して、撮像を行う撮像レンズを効果的に制御することができる物体追跡装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る物体追跡装置では、撮像手段により得られる画像信号に基づいて画像中の物体を追跡するに際して、次のような処理を行う。
すなわち、画像中物体移動量検出手段が、画像中における物体の移動量を検出し、そして、撮像レンズ制御手段が、画像中物体移動量検出手段による検出結果に基づいて、撮像手段の撮像レンズを制御する。
従って、画像中における物体の移動量に基づいて撮像手段の撮像レンズを制御することにより、撮像手段の撮像レンズを効果的に制御することができる。
【００１２】
なお、本明細書では、「追跡」という語を用いて説明を行うが、例えば、「追尾」といった語についても、同様な用語であり、本発明に包含される。
また、本明細書では、「画像」という語を用いて説明を行うが、例えば、「映像」といった語についても、同様な用語であり、本発明に包含される。また、本明細書に言う画像は、例えば、時間的に連続したものについては動画像のことを言い、例えば、静止した画像については、動画像の中の１フレームの画像や、当該１フレーム中の一部の画像や、動画像とは無関係な静止した画像のことを言っている。
【００１３】
ここで、撮像手段としては、種々なものが用いられてもよく、例えば、カメラなどを用いることができる。
また、画像信号としては、種々なものが用いられてもよい。
また、物体としては、種々なものが用いられてもよい。
また、画像中の物体としては、例えば、画像の中に存在する対象となる物体の画像部分に相当する。
【００１４】
また、画像中の物体を追跡する態様としては、種々な態様が用いられてもよく、例えば、対象となる物体が動く場合に当該物体が画像中に含まれるようにするような態様を用いることができる。
また、画像中物体移動量検出手段としては、例えば、画像中の物体の検出結果に基づいて、テンプレートマッチングによる処理を用いる手段などを用いることができる。
【００１５】
また、画像中物体移動量検出手段により検出される画像中における物体の移動量としては、例えば、現実の世界における物体の移動量ではなく、画像の中において物体が移動する量が用いられる。例えば、現実の世界における物体の移動量が同一であっても、画像の取り方によって、画像中における物体の移動量は異なり得る。反対に、例えば、現実の世界における物体の移動量が異なっていても、画像の取り方によって、画像中における物体の移動量は同一となり得る。
【００１６】
また、撮像手段の撮像レンズとしては、種々なものが用いられてもよく、例えば、ズームレンズなどを用いることができる。
また、画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズを制御する態様としては、種々な態様が用いられてもよい。
【００１７】
本発明に係る物体追跡装置では、一構成例として、撮像レンズ制御手段は、画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズのズーム倍率を算出し、当該算出結果に基づいて撮像手段の撮像レンズを制御する。
従って、画像中における物体の移動量に基づいて算出されるズーム倍率に基づいて撮像手段の撮像レンズを制御することにより、撮像手段の撮像レンズを効果的に制御することができる。
【００１８】
ここで、ズーム倍率としては、種々なものが用いられてもよく、例えば、画像の１フレームに映される現実の領域の大きさを特定するような値が用いられる。
また、画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズのズーム倍率を算出する仕方としては、種々な仕方が用いられてもよい。
また、ズーム倍率の算出結果に基づいて撮像手段の撮像レンズを制御する仕方としては、種々な仕方が用いられてもよく、例えば、算出されるズーム倍率を実現するように撮像手段の撮像レンズを動かすような仕方を用いることができる。
【００１９】
本発明に係る物体追跡装置では、一構成例として、撮像レンズ制御手段は、画像中物体移動量検出手段による検出結果に基づいて、画像中における物体の移動量が所定の値（以下で、所定の値Ｐと言う）以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出する。
従って、画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出することにより、撮像手段の撮像レンズを効果的に制御することができる。
【００２０】
ここで、画像中における物体の移動量が所定の値以下又は未満となるようにする態様としては、例えば、画像中における物体の移動量が所定の値以下となるようにする態様が用いられてもよく、或いは、画像中における物体の移動量が所定の値未満となるようにする態様が用いられてもよい。
【００２１】
また、画像中における物体の移動量としては、例えば、画像のフレーム中において物体が移動する量に相当し、一例として、フレームを構成する画素の数を基準として検出することが可能である。
また、画像中における物体の移動量に関する所定の値（所定の値Ｐ）としては、種々な値が用いられてもよく、例えば、フレームにおいて物体の移動速度が速すぎないようにすることなどを考慮して設定することができる。
【００２２】
本発明に係る物体追跡装置では、一構成例として、画像表示出力手段が、撮像手段により得られる画像信号により画像を表示出力する。また、一構成例として、撮像レンズ制御手段は、画像中物体移動量検出手段による検出結果に基づいて、画像表示出力手段により表示出力される画像中における物体の移動量が所定の値（以下で、所定の値Ｑと言う）以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出する。
【００２３】
従って、表示出力される画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出することにより、撮像手段の撮像レンズを効果的に制御することができ、例えば、表示出力される画像を見る人にとって見易い画像とすることができる。
【００２４】
ここで、表示出力される画像中における物体の移動量が所定の値以下又は未満となるようにする態様としては、例えば、表示出力される画像中における物体の移動量が所定の値以下となるようにする態様が用いられてもよく、或いは、表示出力される画像中における物体の移動量が所定の値未満となるようにする態様が用いられてもよい。
【００２５】
また、表示出力される画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出することは、必ずしも画像が表示出力されながら行われなくともよい。例えば、実際には画像が表示出力されないが、画像が表示出力される場合を想定して表示出力される画像中における物体の移動量が所定の値以下又は未満となるように撮像手段の撮像レンズのズーム倍率を算出するような構成を用いることも可能であり、この構成では、必ずしも画像表示出力手段は備えられなくともよい。
【００２６】
また、画像表示出力手段としては、種々なものが用いられてもよく、例えば、画像信号に対応する画像を画面に表示出力する表示装置などを用いることができる。このような表示装置が用いられる場合、表示出力される画像中における物体の移動量としては、例えば、画面上における物体の移動量に相当する。
また、表示出力される画像中における物体の移動量に関する所定の値（所定の値Ｑ）としては、種々な値が用いられてもよく、例えば、画像の見易さの点で物体の移動速度が速すぎないようにすることなどを考慮して設定することができる。
【００２７】
以下で、更に、本発明に係る構成例を示す。
本発明に係る物体追跡装置では、一構成例として、画像中の物体を検出する画像中物体検出手段を備え、一構成例として、画像中における物体の移動方向を検出する画像中物体移動方向検出手段を備え、一構成例として、画像中物体移動方向検出手段による検出結果に基づいて撮像手段による撮像方向を制御する撮像方向制御手段を備える。
【００２８】
ここで、画像中物体検出手段としては、例えば、差分法による処理を用いる手段などを用いることができる。
また、画像中物体移動方向検出手段としては、例えば、画像中の物体の検出結果に基づいて、テンプレートマッチングによる処理を用いる手段などを用いることができる。
また、撮像方向制御手段としては、種々なものが用いられてもよく、例えば、撮像手段の向きを制御する雲台などを用いることができる。
【００２９】
本発明に係る物体追跡装置では、一構成例として、ズーム倍率に上限値や下限値を設ける態様を用いることが可能であり、例えば、画像の１フレーム中の所定の割合の領域内に物体が納まるようにズームアップ時のズーム倍率の上限値を設ける態様などを用いることができる。
【００３０】
本発明に係る物体追跡装置では、一構成例として、テンプレートマッチングによる処理を行う場合に、ズーム倍率の変化に応じて、テンプレートの大きさを調整する態様を用いることが可能である。
本発明に係る物体追跡装置では、一例として、撮像レンズの制御の態様と撮像方向の制御の態様との間に所定の関係が設定されるような態様を用いることが可能である。
【００３１】
以下で、更に、本発明に係る構成例（１）〜（４）を示す。
（１）撮像手段により得られる画像信号に基づいて画像中の物体を追跡する物体追跡装置において、
画像中における物体の位置を検出する画像中物***置検出手段と、
画像中における物体の移動量を検出する画像中物体移動量検出手段と、
画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズを制御する撮像レンズ制御手段と、
を備えたことを特徴とする物体追跡装置。
【００３２】
（２）上記（１）に記載の物体追跡装置において、
撮像レンズ制御手段は、画像中物***置検出手段による検出結果及び画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズのズーム倍率を算出し、当該算出結果に基づいて撮像手段の撮像レンズを制御する、
ことを特徴とする物体追跡装置。
【００３３】
（３）上記（２）に記載の物体追跡装置において、
撮像レンズ制御手段は、画像中物***置検出手段による検出結果に基づいて物体の位置と画像の上端、下端、左端、右端との距離が所定の値以上又はより大きくなるようにし、且つ、画像中物体移動量検出手段による検出結果に基づき画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出する、
ことを特徴とする物体追跡装置。
【００３４】
（４）上記（３）に記載の物体追跡装置において、
撮像レンズ制御手段は、画像中物***置検出手段による検出結果及び画像中物体移動量検出手段による検出結果に基づいて物体の位置と画像の上端、下端、左端、右端との距離が所定の値以上又はより大きくなるようにし、且つ、画像中物体移動量検出手段による検出結果に基づき画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出する、
ことを特徴とする物体追跡装置。
【００３５】
【発明の実施の形態】
本発明に係る一実施例を図面を参照して説明する。
図１には、本発明に係る物体追跡装置を適用した画像監視装置のハードウエアの構成例を示してある。
本例の画像監視装置は、撮像装置１と、処理装置２と、操作装置３と、外部記憶装置４と、画像モニタ５と、警告灯６を備えて構成されている。
【００３６】
撮像装置１は、ＴＶカメラ１１と、例えばズームレンズから構成された撮像レンズ１２と、例えば旋回台から構成されたカメラ雲台１３から構成されている。
処理装置２は、画像入力部２１と、雲台制御部２２と、レンズ制御部２３と、操作入力部２４と、画像メモリ２５と、マイクロプロセッシングユニット（ＭＰＵ：Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６と、ワークメモリ２７と、外部入出力部２８と、画像出力部２９と、警報出力部３０と、データバス３１から構成されている。
【００３７】
操作装置３は、ジョイスティック４１と、第１のボタン４２と、第２のボタン４３から構成されている。
なお、処理装置２に備えられた画像入力部２１と、雲台制御部２２と、レンズ制御部２３と、操作入力部２４と、外部入出力部２８と、画像出力部２９と、警報出力部３０は、それぞれ、インタフェース（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）である。
【００３８】
具体的には、ＴＶカメラ１１の出力は画像入力部２１を介してデータバス３１と接続されており、撮像レンズ１２の制御部はレンズ制御部２３を介してデータバス３１と接続されており、ＴＶカメラ１１を搭載するカメラ雲台１３は雲台制御部２２を介してデータバス３１と接続され、操作装置３の出力は操作入力部２４を介してデータバス３１と接続されている。
【００３９】
また、外部記憶装置４は外部入出力部２８を介してデータバス３１と接続されており、監視用の画像モニタ５は画像出力部２９を介してデータバス３１と接続されており、警告灯６は警報出力部３１を介してデータバス３１と接続されている。
なお、画像メモリ２５とＭＰＵ２６とワークメモリ２７は、直接的に、データバス３１と接続されている。
【００４０】
ここで、ＴＶカメラ１１は、監視の対象となる領域を所定の視野内に捉え、監視対象領域を撮像して画像信号を出力する。このため、ＴＶカメラ１１は、撮像レンズ１２を備え、カメラ雲台１３に搭載されている。そして、ＴＶカメラ１１により撮像された画像信号は、画像入力部２１からデータバス３１を介して画像メモリ２５に蓄積される。
【００４１】
外部記憶装置４は、プログラムやデータなどを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部２８を介してワークメモリ２７に読み込まれ、また、反対に、プログラムやデータなどがワークメモリ２７から外部記憶装置４に保存される。
【００４２】
ＭＰＵ２６は、外部記憶装置４に保存されて処理装置２の動作時にワークメモリ２７に読み込まれたプログラムに従って処理を実行し、ワークメモリ２７内で、画像メモリ２５に蓄積された画像の解析を行う。そして、ＭＰＵ２６は、当該処理結果に応じて、撮像レンズ１２を制御することやカメラ雲台１３を制御することを行い、ＴＶカメラ１１の撮像視野を変えるとともに、必要に応じて画像モニタ５に侵入物体を検出した結果の画像を表示し、警告灯６を点灯させる働きをする。
【００４３】
本例の画像監視装置により行われる、差分法及びテンプレートマッチング法を用いた物体追跡処理の手順の一例を示す。
図２には、このような処理の手順の一例を示してある。
まず、初期化処理では、物体追跡方式を実行するための外部機器、変数、画像メモリ２５等の初期化を行う（ステップＳ１）。
【００４４】
次に、差分法による侵入物体の検出処理Ｔ１（ステップＳ２〜ステップＳ６）を行う。
すなわち、第１の画像入力処理では、ＴＶカメラ１１から、例えば横３２０画素、高さ２４０画素の入力画像を得る（ステップＳ２）。
差分処理では、第１の画像入力処理で得た入力画像と予め作成しておいた侵入物体の映っていない基準背景画像との間で各画素毎の輝度値の差分を計算する（ステップＳ３）。
【００４５】
二値化処理では、差分処理で得られた差分画像の画素値（差分値）が所定の閾値Ｔｈ未満である画素の画素値を“０”とし、当該所定の閾値Ｔｈ以上である画素の画素値を“２５５”として二値化画像を得る（ステップＳ４）。ここで、所定の閾値Ｔｈとしては、例えば、Ｔｈ＝２０を用いている。また、１画素の画素値を８ビット（“０”〜“２５５”）で計算している。
【００４６】
ラベリング処理では、二値化処理で得られた二値化画像中の画素値“２５５”となる画素のかたまりを検出して各々に番号を付けて区別できるようにする（ステップＳ５）。
侵入物体存在判定処理では、ラベリング処理で番号付けされた画素値“２５５”となる画素のかたまりが所定の条件を満たした場合に、監視対象領域内に侵入物体が存在すると判定する（ステップＳ６）。ここで、所定の条件としては、例えば、横が２０画素以上で高さが５０画素以上の大きさであるといった条件が用いられる。
【００４７】
そして、侵入物体存在判定処理で侵入物体が存在すると判定された場合には、警報・検出情報表示処理（ステップＳ７）へ移行し、侵入物体が存在しないと判定された場合には、再び上記した第１の画像入力処理（ステップＳ２）へ移行して再び差分法による処理を実行する。
【００４８】
ここで、図３を参照して、上記した侵入物体の検出処理を具体的に説明する。同図には、上記した差分法を用いて侵入物体を検出する処理の一例の概略と、後述する当該侵入物体の画像をテンプレートに登録する処理の一例の概略を示してある。
同図（ａ）には、第１の画像入力処理（ステップＳ２）で得られた入力画像５１を示してあり、同図（ｂ）には、予め作成して画像メモリ２５に記録しておいた基準背景画像５２を示してある。また、差分処理（ステップＳ３）を表す減算器７１を示してある。
【００４９】
同図（ｃ）には、差分処理で得られた差分画像５３を示してある。また、二値化処理（ステップＳ４）を表す二値化器７２を示してある。
同図（ｄ）には、二値化処理で得られた二値化画像５４を示してある。
【００５０】
そして、減算器７１は、入力画像５１と基準背景画像５２との間における画素毎の輝度値の差分を計算して、差分画像５３を出力する。次に、二値化器７２は、差分画像５３を閾値Ｔｈで閾値処理し、閾値Ｔｈ未満の画素の画素値を“０”とし、閾値Ｔｈ以上の画素の画素値を“２５５”として、二値化画像５４を得る。これにより、例えば、入力画像５１に映った人型の物体６１は、減算器７１によって差分が生じた領域（画像信号の変化領域）６２として計算され、二値化器７２によって侵入物体の画像６３として検出される。
【００５１】
次に、上記図２に示した処理手順の続きを説明する。
警報・検出情報表示処理では、例えば、侵入物体を発見したことを表す警報を監視員に伝えるために、画像出力部２９を介して監視用の画像モニタ５に侵入物体の情報を表示することや、警報出力部３０を介して警告灯６を点灯させることなどを行う（ステップＳ７）。ここで、侵入物体の情報としては、例えば、位置や人数などの情報を用いることができる。
【００５２】
次に、テンプレートマッチング法による侵入物体の移動量の検出処理Ｔ２（ステップＳ８〜ステップＳ１３）を行う。
すなわち、テンプレート登録処理では、上記したラベリング処理（ステップＳ５）で番号付けされた画素値“２５５”となる画素のかたまりの外接矩形に基づいて、入力画像中の侵入物体の画像を切り出し、テンプレートとして登録する（ステップＳ８）。
【００５３】
第２の画像入力処理では、上記した第１の画像入力処理（ステップＳ２）と同様に、ＴＶカメラ１１から、例えば横３２０画素、高さ２４０画素の入力画像を得る（ステップＳ９）。その際、ＴＶカメラ１１の撮像レンズ１２の焦点距離をｆとし、ワークメモリ２７に記録する。
テンプレート拡大・縮小処理では、ワークメモリ２７に記録した焦点距離ｆ’、すなわち例えば前回における後述するテンプレート更新処理（ステップＳ１３）の実行時におけるＴＶカメラ１１の撮像レンズ１２の焦点距離とワークメモリ２７に記録した現在における焦点距離ｆとの比に応じて、撮像レンズ１２の焦点距離を変更することによって生じる入力画像とテンプレートに映る追跡対象物体の大きさの違いを補正する（ステップＳ１０）。なお、本例では、後述する撮像レンズ制御処理（ステップＳ１７）により、撮像レンズ１２が制御されて、焦点距離が変化する。
【００５４】
テンプレートマッチング処理では、第２の画像入力処理で得た入力画像の中でテンプレートと最も一致度が高い画像を検出する。通常、テンプレートと入力画像全体とを比較すると計算時間がかかるため、テンプレートに対して所定の範囲を探索領域として、当該探索領域内でテンプレートと最も一致度が高い画像を検出する（ステップＳ１１）。
【００５５】
なお、前フレームのテンプレートマッチング処理の結果を記録するようにし、該結果に基づいて探索領域を設定するようにすることで探索領域の範囲を狭くし、計算量を少なくすることができる。すなわち、追尾の対象となる侵入者や車両は急に移動方向を変えることは少なく、前フレームのテンプレートマッチング処理で対象物体の移動量が求められた場合、次のフレームでも同程度の移動量であることが予測される。よって、テンプレートの位置（ｘ０、ｙ０）と前フレームのテンプレートマッチング処理で検出した後述する対象物体の移動量（Δｘ、Δｙ）を用い、（ｘ０＋Δｘ、ｙ０＋Δｙ）を中心に所定の範囲を探索領域とすることで（移動量予測）、対象物体の動きを予測したテンプレートマッチング処理を行うことができる。
【００５６】
一致度判定処理では、後述する一致度ｒ（Δｘ，Δｙ）を判定し、後述する式１で表される正規化相関値を用いた場合、例えば、一致度が０．７以上であれば一致度が高いと判定してテンプレート更新処理（ステップＳ１３）へ移行し、一致度が０．７未満であれば上記した第１の画像入力処理（ステップＳ２）へ移行する（ステップＳ１２）。
【００５７】
ここで、一致度が大きいということは、入力画像中でテンプレートに似た画像がある、すなわち監視対象領域内に侵入物体が存在し、その位置が後述するテンプレートの位置（ｘ０、ｙ０）から見て相対的に（Δｘ，Δｙ）の位置であることを意味し、この場合には、引き続いて侵入物体の移動量を検出する。また、一致度が小さいということは、入力画像中でテンプレートに似た画像がない、すなわち監視対象領域内に侵入物体が存在しないことを意味し、この場合には、第１の画像入力処理へ移行して、再び、差分法により侵入物体を検出する。
【００５８】
テンプレート更新処理では、新たに求められた侵入物体の位置に基づいて上記した第２の画像入力処理（ステップＳ９）で得られた入力画像を切り出し、新たなテンプレート画像とする（ステップＳ１３）。このように、テンプレートを逐次更新することで、テンプレートには最新の侵入物体の画像が記録され、侵入物体が姿勢変化を起こした場合においても、安定に侵入物体の移動量を検出することができる。
【００５９】
ここで、図４を参照して、上記したテンプレート拡大・縮小処理（ステップＳ１０）について具体的に説明する。なお、同図の例では、テンプレートを拡大する場合を示すが、テンプレートを縮小する場合についても同様である。
同図（ａ）には、テンプレートの拡大前の画像８１の一例を示してあり、同図（ｂ）には、テンプレートの拡大後の画像８３の一例を示してある。
テンプレートのズーム倍率ｒは、式１のように表される。
【００６０】
【数１】

【００６１】
例えば、テンプレート更新処理（ステップＳ１３）の実行時におけるＴＶカメラ１１の撮像レンズ１２の焦点距離ｆ’が２０ｍｍであり、現在における焦点距離ｆが２４ｍｍであるとすると、ｒ＝２４／２０＝１．２となり、撮像レンズ１２の焦点距離の変化によって対象物体の見かけの大きさが１．２倍になったことになる。すなわち、拡大前と拡大後とでテンプレートの中心位置８２、８４を一致させるようにして、テンプレート８１を１．２倍し、この結果を新たなテンプレート８３にすれば、入力画像中の侵入物体の大きさとテンプレートの侵入物体の大きさとを一致させることができる。
【００６２】
なお、同図の例では、Ｘ−Ｙ直交座標系において、拡大前のテンプレート８１のＸ軸方向の長さＴｘをズーム倍率ｒ倍した結果である（ｒ×Ｔｘ）の長さを拡大後のテンプレート８３のＸ軸方向の長さとしており、同様に、拡大前のテンプレート８１のＹ軸方向の長さＴｙをズーム倍率ｒ倍した結果である（ｒ×Ｔｙ）の長さを拡大後のテンプレート８３のＹ軸方向の長さとしている。また、これに際して、テンプレート８１、８３の中心位置８２、８４が不変であるようにしている。
【００６３】
また、上記した侵入物体の検出処理Ｔ１で侵入物体を検出した直後においては、テンプレート更新処理（ステップＳ１３）が実行されていないことから、テンプレート更新時におけるＴＶカメラ１１の撮像レンズ１２の焦点距離ｆ’が取得されていないため、この場合には、テンプレートの拡大・縮小処理（ステップＳ１０）は実行されない。
【００６４】
また、本例のようにテンプレート拡大・縮小処理（ステップＳ１０）が行われる場合には、テンプレート更新処理（ステップＳ１３）では、処理の実行時に、ワークメモリ２７に記録した焦点距離ｆ’を現在におけるＴＶカメラ１１の撮像レンズ１２の焦点距離ｆを用いて更新するようにする。
【００６５】
ここで、上記図３及び図５を参照して、上記した侵入物体の移動量の検出処理について具体的に説明する。
上記図３には、切り出し器７３を示してある。また、同図（ｅ）には、テンプレート画像５５を示してある。
【００６６】
そして、入力画像５１中に映る侵入物体は、上記したラベリング処理（ステップＳ５）により二値化画像内の画素値“２５５”のかたまりとして得られた侵入物体６３の外接矩形６４に基づいて切り出し器７３で切り出され、これにより、テンプレート画像５５が得られる。テンプレート画像５５中には、侵入物体６１のテンプレート６５が含まれており、これがテンプレートマッチング法による侵入物体の移動量の検出処理における初期のテンプレートとなる。次いで、当該初期テンプレートに基づいて、テンプレートマッチングが実行される。
【００６７】
図５には、テンプレートマッチング法による侵入物体の移動量の検出処理を逐次実行して侵入物体を追跡する処理の流れの一例を示してある。
同図では、テンプレート画像９１を取得した時刻をｔ０と表し、所定の時間間隔（例えば、１００ｍｓ）で逐次入力する入力画像の取得時刻を、入力順に（ｔ０＋１）、（ｔ０＋２）、・・・と表す。
【００６８】
同図（ａ）には、時刻ｔ０におけるテンプレート画像９１を示してある。当該テンプレート画像９１中に、時刻ｔ０におけるテンプレート１０１がある。なお、これらは、それぞれ、上記図３（ｅ）に示したテンプレート画像５５、テンプレート６５と同一のものである。
【００６９】
同図（ｂ）には、時刻（ｔ０＋１）における入力画像９２を示してある。当該入力画像９２において、矩形領域１０２は時刻ｔ０における侵入物体の位置（テンプレート１０１の位置）を表しており、矩形領域１０３はテンプレートマッチングの対象となる領域（探索領域）を表している。
なお、図５（ｂ）では説明を簡単にするため、前述の対象物体の移動量予測に基づいた探索領域の設定方法は用いていないが、移動量予測を用いた場合でも同様に侵入物体の追跡が行える。
【００７０】
そして、テンプレートマッチング処理（ステップＳ１１）１４１を実行すると、テンプレートマッチングの探索領域 １０３の中でテンプレート１０１に最も一致する画像１０４で一致度が最も大きくなり、侵入物体は時刻（ｔ０＋１）において画像１０４の位置に存在していることが分かる。この位置は、時刻ｔ０におけるテンプレート１０１の位置（ｘ０、ｙ０）から見て相対位置（Δｘ、Δｙ）で表される。すなわち、侵入物体は矢印１０５により示される分だけ移動したことが分かる。
【００７１】
そこで、テンプレート更新処理（ステップＳ１３）１４２により、テンプレート１０１に最も一致した画像１０４を時刻（ｔ０＋１）における新たなテンプレートとして更新する。すなわち、同図（ｃ）に示されるように、入力画像９２から侵入物体の位置１０４を切り出し、これをテンプレート画像９３とし、侵入物体の画像１０４を時刻（ｔ０＋１）における新たなテンプレート１１１として更新する。
【００７２】
この処理をＴＶカメラ１１から逐次入力される入力画像に対して適用する。
具体的には、同図（ｄ）に示されるように、時刻（ｔ０＋２）における入力画像９４中にテンプレート１１１の位置１１２に基づいて探索領域１１３を設定し、時刻（ｔ０＋１）におけるテンプレート画像９３中のテンプレート１１１を用いてテンプレートマッチング処理（ステップＳ１１）１４３によって侵入物体の位置１１４を検出する。すると、侵入物体は矢印１１５で示されるように移動したことが分かる。
【００７３】
更に、同図（ｅ）に示されるように、テンプレート更新処理（ステップＳ１３）１４４によって、時刻（ｔ０＋２）におけるテンプレート画像９５及び侵入物体のテンプレート１２１を更新する。
また、同図（ｆ）に示されるように、時刻（ｔ０＋３）における入力画像９６中にテンプレート１２１の位置１２２に基づいて探索領域１２３を設定し、時刻（ｔ０＋２）におけるテンプレート画像９５中のテンプレート１２１を用いてテンプレートマッチング処理（ステップＳ１１）１４５によって侵入物体の位置１２４を検出する。すると、侵入物体は矢印１２５で示されるように移動したことが分かる。
【００７４】
更に、同図（ｇ）に示されるように、テンプレート更新処理（ステップＳ１３）１４６によって、時刻（ｔ０＋３）におけるテンプレート画像９７及び侵入物体のテンプレート１３１を更新する。
そして、同図（ｈ）に示されるように、時刻（ｔ０＋４）における入力画像９８中にテンプレート１３１の位置１３２に基づいて探索領域１３３を設定し、時刻（ｔ０＋３）におけるテンプレート画像９７中のテンプレート１３１を用いてテンプレートマッチング処理（ステップＳ１１）１４７によって侵入物体の位置１３４を検出する。すると、侵入物体は矢印１３５で示されるように移動したことが分かる。
このように、テンプレートマッチングを逐次実行することで、侵入物体を追跡することができる。
【００７５】
ここで、上記したテンプレートマッチング処理（ステップＳ１１）における探索領域や一致度について具体的に説明する。
上記した探索領域の範囲は、例えば、テンプレートに登録された対象物体の入力画像上での動きによって決定される。
具体例として、撮像装置１として１／３インチＣＣＤ（撮像素子サイズ ４．８ｍｍ×３．６ｍｍ）が用いられ、撮像レンズ１２の焦点距離が３２ｍｍであり、対象物体までの距離が３０ｍであるといった条件で撮像すると、ＴＶカメラ１１の横方向の視野は、３０×４．８÷３２＝４．５ｍとなる。このＴＶカメラ１１で、移動速度が時速５ｋｍ／ｈ（約１．３９ｍ／ｓ）の対象物体を、画像サイズ ３２０×２４０画素、入力間隔０．１ｓ（１００ｍｓ）で撮像すると、対象物体の入力画像毎の画像上での移動量は、横方向３２０×１．３９×０．１／４．５≒９．８８画素となる。
【００７６】
また、対象物体がＴＶカメラ１１の方向に向かって移動すると画像上での移動量も大きくなるため、実際の探索領域の範囲は、上記で算出した値の５倍程度の余裕をもって設定する。すなわち、探索領域の横方向の大きさＭｘを５０画素とする。探索領域の縦方向の大きさＭｙは、ＴＶカメラ１１の仰角に依存して、ＴＶカメラ１１の取り付け位置によって変化するため、横方向の大きさのおよそ４０％程度の値とする。従って、探索範囲は、この例では、テンプレートに対して左右Ｍｘ＝５０画素、上下Ｍｙ＝２０画素だけ広げた領域とすればよい。
【００７７】
また、一致度としては、例えば正規化相関値ｒ（Δｘ，Δｙ）を適用することができ、式２のように表される。
【００７８】
【数２】

【００７９】
ここで、ｆ（ｘ，ｙ）は入力画像を表している。また、後述する図６を参照して、ｇ（ｘ，ｙ）はテンプレート画像１５１を表しており、（ｘ０，ｙ０）はテンプレート１６１の左上の座標を表しており、Ｄはテンプレート１６１の大きさを表している。本例では、画像の座標軸としては、画像の左上を原点（０，０）としている。また、上記図３（ｄ）を参照して、Ｄは二値化画像５４で検出された侵入物体の外接矩形６４の大きさに相当し、本例では横５０画素、縦２０画素に相当する。
【００８０】
正規化相関値ｒ（Δｘ，Δｙ）は、−１≦ｒ（Δｘ，Δｙ）≦１の値を取り、入力画像とテンプレートとが全く一致した場合には、“１”となる。
テンプレートマッチングでは、Δｘ、Δｙを探索範囲内で走査させた場合に、すなわち上記した例では−Ｍｘ≦Δｘ≦Ｍｘ、−Ｍｙ≦Δｙ≦Ｍｙと変化させた場合に、正規化相関値ｒ（Δｘ，Δｙ）が最も大きくなる位置（Δｘ，Δｙ）（すなわち、対象物体の移動量）を検出する処理が行われる。
また、前述した対象物体の移動量の予測を行う場合には、Δｘ、ΔｙをΔｘ’―Ｍｘ≦Δｘ≦Δｘ’＋Ｍｘ、Δｙ’―Ｍｙ≦Δｙ≦Δｙ’＋Ｍｙと変化させる。ここで、Δｘ’、Δｙ’は前フレームの対象物体の移動量を表す。
【００８１】
次に、上記図２に示した処理手順の続きを説明する。
カメラ雲台制御処理では、上記した侵入物体の移動量の検出処理Ｔ２におけるテンプレートマッチング処理（ステップＳ１１）によって検出された侵入物体の位置と、入力画像の中心との変位に応じて、カメラ雲台１３の制御を行う（ステップＳ１４）。
【００８２】
ここで、図６を参照して、上記したカメラ雲台制御処理（ステップＳ１４）を具体的に説明する。
一例として、テンプレート画像１５１において、同図に示されるような位置１６１に侵入物体が検出されたとする。この場合、侵入物体の中心位置をテンプレートの中心１６２とすると、テンプレート画像１５１の中心１６３からのＸ軸方向の変位ｄｘ、Ｙ軸方向の変位ｄｙが算出される。
【００８３】
そして、テンプレートの中心位置１６２が入力画像の中心１６３と比べて、所定量Ｓ以上左側（ｄｘ＜−Ｓ）であればカメラ雲台１３を左に回転（パン）させ、所定量Ｓ以上右側（ｄｘ＞Ｓ）であればカメラ雲台１３を右に回転（パン）させる。また、テンプレートの中心位置１６２が入力画像の中心１６３と比べて、所定量Ｓ以上上側（ｄｙ＜−Ｓ）であればカメラ雲台１３を上に傾け（チルト）させ、所定量Ｓ以上下側（ｄｙ＞Ｓ）であれば下に傾け（チルト）させる。
【００８４】
このような所定量Ｓを用いると、侵入物体が画像の中心付近に存在する場合には、カメラ雲台１３を制御する必要がなく、このため、所定量Ｓによってカメラ雲台１３の制御を開始する侵入物体の位置を指定することができる。
なお、左、右、上、下のそれぞれについての所定量Ｓとしては、種々な値が用いられてもよく、例えば、左右上下で同一の値が用いられてもよく、或いは、左右上下でそれぞれ任意な値が用いられてもよい。
【００８５】
一例として、左右上下の所定量Ｓ＝５０という値を用いることができる。
また、例えば、所定量Ｓが小さいほど、侵入物体が少しでも中心から外れたらカメラ雲台１３が制御されてしまって画像が見づらくなってしまう可能性はあるが、上記した所定量Ｓ＝０といった値や、所定量Ｓとして小さい値を用いることも可能である。
【００８６】
また、テンプレート画像１５１の中心１６３に対する侵入物体のＸ軸方向の変位ｄｘ、Ｙ軸方向の変位ｄｙの絶対値に応じてパンや、チルトモータの制御速度を変化させるような制御を行うことも可能である。この場合、例えば、Ｘ軸方向の変位ｄｘ、或いは、Ｙ軸方向の変位ｄｙの絶対値が大きいほど、制御速度を大きくする。
【００８７】
また、本例では、侵入物体の追跡として、カメラ雲台１３の制御を伴った侵入物体の追跡を行っている。これにより、侵入物体をＴＶカメラ１１の視野内に捉えながら、カメラ雲台１３を自動的に制御して、侵入物体を追跡することができる。
【００８８】
次に、上記図２に示した処理手順の続きを説明する。
焦点距離情報取得処理では、ワークメモリ２７に記録した現在の入力画像を取得した時点の撮像レンズ１２の焦点距離ｆを取得する（ステップＳ１５）。
次に、ズーム倍率算出処理では、テンプレートマッチング処理（ステップＳ１１）で得られた侵入物体の移動量（Δｘ，Δｙ）に基づいて、式３によりズーム倍率ｒｆを算出する（ステップＳ１６）。
【００８９】
【数３】

【００９０】
上記した式３において、Ｍｘ、Ｍｙは、テンプレートマッチング法における探索範囲を表している。また、Ｓｘ、Ｓｙは、安定に追跡することが可能な侵入物体の画像上での最大移動量を表しており、例えば、探索範囲の半分程度、すなわち、上記した例ではＳｘ＝２５、Ｓｙ＝１０とする。なお、ＳｘやＳｙの値は、例えば、物体が探索範囲から外れないように探索範囲の半分程度で余裕をもたせるといった程度で、実験などにより設定される。
また、上記した式３では、侵入物体の移動量（Δｘ，Δｙ）＝（０，０）である場合には、つまり侵入物体の移動量がゼロである場合には、ズーム倍率ｒｆ＝１．５としている。
【００９１】
なお、例えば、ズーム倍率ｒｆが所定の値以上になった場合には、ズーム倍率ｒｆを当該所定の値にして、急激にズームアップしないようにすることも可能である。当該所定の値としては、例えば、１．５を用いることができる。この場合、１回のズームアップで最大５０％のズームアップまでが可能となる。
このように、１回のズームアップにおける最大のズーム倍率ｒｆ（上限値）を設定すると、例えば、画像の端近くで検出された物体はズームアップによって画像上の視野の外側に飛び出してしまうといった問題を抑制することができる。
【００９２】
また、例えば、ズーム倍率ｒｆの上限値（ＭＡＸ値）を可変とするような構成を用いることも可能である。このような構成では、例えば、画像の画面のサイズと比べてテンプレートが十分に小さい場合には、ズーム倍率ｒｆの上限値を１．５より大きい値とするようなことが可能である。
【００９３】
また、例えば、ズームアップに上限を設けるような構成を用いることも可能である。具体的には、一例として、画像の画面の高さがテンプレートの高さの１２０％以上となる範囲でしかズームアップを行わないようなことや、画像の画面の幅がテンプレートの幅の１２０％以上となる範囲でしかズームアップを行わないようなことが可能である。これにより、侵入物体の移動量（Δｘ，Δｙ）が小さくて多数回のズームアップが為されてテンプレートが画像の画面のサイズを超えてしまうようなことを防ぐことができ、画像を見易くして、安定した動作を確保することができる。
【００９４】
また、テンプレートと画像の上端、下端、左端、右端までのそれぞれの距離に基づいてズームアップに上限を設けるような構成にすることも可能である。具体的には、一例として、図７に示すようにテンプレート１７２と画像１７１の上端、下端、左端、右端までの距離をそれぞれｄｕ、ｄｂ、ｄｌ、ｄｒとし、テンプレート１７２の上辺、下辺、左辺、右辺がズームアップによって画面の外に超える倍率１２０／（１２０−ｄｕ）、１２０／（１２０−ｄｂ）、１６０／（１６０−ｄｌ）、１６０／（１６０−ｄｒ）の中で負の値を除いて最も小さい倍率をズームアップの倍率の上限とする。ここで、画像サイズとして、幅３２０画素、高さ２４０画素を想定した。
【００９５】
また、対象物体の移動量の予測を行う場合には、前フレームでの対象物体の移動量を（Δｘ’、Δｙ’）とした場合、１２０／｛１２０−（ｄｕ＋Δｙ’）｝、１２０／｛１２０−（ｄｂ−Δｙ’）｝、１６０／｛１６０−（ｄｌ＋Δｘ’）｝、１６０／｛１６０−（ｄｒ−Δｘ’）｝として、上記と同様にして、テンプレートの上辺、下辺、左辺、右辺がズームアップによって画面の外に超える倍率（ズームアップの倍率の上限）を算出する。
【００９６】
なお、例えば、テンプレート１７２と画像１７１の上端、下端までの距離ｄｕ、ｄｂのうちで短い方のみを採用して考慮してズームアップの倍率の上限を算出してもよく、また、テンプレート１７２と画像１７１の左端、右端までの距離ｄｌ、ｄｒのうちで短い方のみを採用して考慮してズームアップの倍率の上限を算出してもよい。
【００９７】
次に、撮像レンズ制御処理では、ズーム後の焦点距離ｆ×ｒｆによって、レンズ制御部２３を介して撮像レンズ１２の焦点距離をｆ×ｒｆに調整する（ステップＳ１７）。これにより、追跡する対象の侵入物体の画像上での移動速度が所定の値以下に抑えられるように、撮像レンズ１２を自動的に調節することができる。当該所定の値としては、上記した例では、横方向が２５であり、縦方向が１０である。
【００９８】
すなわち、追跡する対象の侵入物体の画像上での移動速度が所定の値以上である（又は、所定の値を超える）場合には、撮像レンズ１２の焦点距離を小さくし（つまり、ズーム倍率を小さくする、すなわちズームアウトし）、侵入物体の画像上での移動速度を所定の値未満（又は、所定の値以下）にする。また、追跡する対象の侵入物体の画像上での移動速度が所定の値未満である（又は、所定の値以下である）場合には、撮像レンズ１２の焦点距離を大きくし（つまり、ズーム倍率を大きくする、すなわちズームアップし）、侵入物体の画像上での移動速度が所定の値になるまで侵入物体をズームアップすることができる。
【００９９】
次に、警報・追跡情報表示処理では、例えば、侵入物体を追跡中であることを表す警報を監視員に伝えるため、画像出力部２９を介して監視用の画像モニタ５に侵入物体の情報を表示することや、警報出力部３０を介して警告灯６を点灯させることなどを行う（ステップＳ１８）。ここで、侵入物体の情報としては、例えば、移動量や、移動経路などの情報を用いることができる。
【０１００】
なお、本例では、カメラ雲台１３を制御する処理（ステップＳ１４）と、撮像レンズ１２を制御する処理（ステップＳ１７）の両方が行われており、上記したカメラ雲台制御に関する所定量Ｓと、ズーム倍率ｒｆの上限値などとは、例えば、互いに考慮されて実験などにより設定されるのが好ましい。これにより、例えば、カメラ雲台１３の制御とズーム倍率ｒｆによるズームアップとが同時に両方為されたような場合に、物体が画像の画面の外に出てしまうようなことを抑制することが可能である。
【０１０１】
また、本例では、上記図２に示した処理手順を用いたが、他の例として、カメラ雲台制御処理（ステップＳ１４）をズーム倍率算出処理（ステップＳ１６）と撮像レンズ制御処理（ステップＳ１７）との間に設けて実行するような処理手順を用いることも可能である。このような処理手順では、例えば、ズーム倍率算出処理（ステップＳ１６）で算出されたズーム倍率ｒｆを考慮して、ズーム後の侵入物体の位置をズーム倍率ｒｆから予測して、当該予測結果に基づいて、カメラ雲台１３の制御処理（ステップＳ１４）を行うようなことが可能である。
【０１０２】
以上のように、本例の画像監視装置では、撮像装置１によって得られる画像信号に基づいて監視対象領域内の侵入物体を検出し、当該侵入物体の画像信号上での移動方向及び移動量を検出し、当該移動方向及び当該移動量に基づいて当該撮像装置１を搭載する雲台１３及び当該撮像装置１の撮像レンズ１２を制御しながら当該侵入物体を追跡する物体追跡方法及び物体追跡装置において、当該移動量に基づいて当該撮像装置１の撮像レンズ１２を制御する。
【０１０３】
また、本例の画像監視装置では、上記のような構成において、侵入物体の画像信号上での移動量に基づいて撮像装置１の撮像レンズ１２のズーム倍率ｒｆを算出するズーム倍率算出処理（ステップＳ１６）と、当該ズーム倍率算出処理によって算出されたズーム倍率に基づいて当該撮像装置１の撮像レンズ１２を制御する撮像レンズ制御処理（ステップＳ１７）を備え、これら少なくとも２種の処理が、侵入物体の移動方向及び移動量を検出するための処理手順に備えられている。
【０１０４】
また、本例の画像監視装置では、上記のような構成において、ズーム倍率算出処理（ステップＳ１６）では、侵入物体の画像信号上での移動量を所定の値以下に抑えるようにズーム倍率ｒｆを算出する。
【０１０５】
具体的な一例に係る画像監視装置（以下で、画像監視装置Ａ１と言う）では、少なくとも監視対象とする範囲を撮像する撮像装置１と、当該撮像装置１の視野方向を変えるための当該撮像装置１を搭載する外部信号により制御可能なカメラ雲台１３と、当該撮像装置１の画角を変えるための当該撮像装置１に取り付けられた外部信号により制御可能な撮像レンズ１２と、当該撮像装置１からの画像信号をデジタルの画像信号に変換する画像入力部（インタフェース）２１と、当該画像入力部２１からの画像信号を処理する機能を有して例えば少なくともＭＰＵ２６と画像メモリ２５とプログラムメモリ４とワークメモリ２７を有する画像処理部と、当該画像処理部からのカメラ雲台１３を制御するための制御信号を供給する雲台制御部（インタフェース）２２と、当該画像処理部からの撮像レンズ１２を制御するための制御信号を供給する撮像レンズ制御部（インタフェース）２３を備える。
【０１０６】
そして、当該画像監視装置（画像監視装置Ａ１）では、画像処理部は、撮像装置１により撮像された画像信号から監視対象領域内の侵入物体を検出し、当該侵入物体の画像信号上での移動方向及び移動量を検出し、当該移動方向に基づいて雲台制御部２２を介してカメラ雲台１３を制御して撮像装置１の視野方向を調整し、当該移動量に基づいて撮像レンズ１２のズーム倍率ｒｆの値を算出し、当該ズーム倍率ｒｆの値に基づいて撮像レンズ制御部２３を介して撮像レンズ１２を制御して撮像装置１の画角を調整し、これにより、撮像装置１の撮像視野内に侵入した物体を追跡する。
【０１０７】
また、更に具体的な一例に係る画像監視装置（以下で、画像監視装置Ａ２と言う）では、例えば監視対象とする監視範囲を撮像するＴＶカメラ１１等の画像入力機能１と、当該ＴＶカメラ１１等の画像入力機能１が撮像した画像を入力する画像入力部（インタフェース）２１と、当該画像入力部２１から入力された画像を記憶する画像メモリ２５と、物体認識を行う物体追跡装置の動作のプログラムを記憶しているプログラムメモリ４と、当該プログラムメモリ４に保持されているプログラムにしたがって物体追跡装置を動作させる処理装置２６と、画像メモリ２５に記憶された画像の解析を行うためのワークメモリ２７と、音、可視光、振動、回転運動、上下運動等の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告表示機能６と、監視用の画像モニタ６を備える。
【０１０８】
また、当該画像監視装置（画像監視装置Ａ２）では、ワークメモリ２７による解析結果に対応して処理装置２６の指示によって警告表示機能６に警告を表示させる信号を伝達する警報出力部（インタフェース）３０と、ワークメモリ２７による解析結果に対応して処理装置２６の指示によって監視用の画像モニタ５への画像を送る画像出力部（インタフェース）２９と、ワークメモリ２７による解析結果に対応して処理装置２６の指示によってＴＶカメラ１１等の視野方向を制御するカメラ雲台１３と、ワークメモリ２７による解析結果に対応して処理装置２６の指示によってＴＶカメラ１１等の視野方向を制御させる信号を伝達する雲台制御部（インタフェース）２２と、ワークメモリ２７による解析結果に対応して処理装置２６の指示によってＴＶカメラ１１等の画角を制御する撮像レンズ１２と、ワークメモリ２７による解析結果に対応して処理装置２６の指示によってＴＶカメラ１１等の画角を制御させる信号を伝達する撮像レンズ制御部（インタフェース）２３を備える。
【０１０９】
また、当該画像監視装置（画像監視装置Ａ２）では、プログラムメモリに保持されているプログラムが、画像処理機能１により取得され画像メモリ２５に記憶された画像に映る物体を検出する機能と、当該侵入物体の画像信号上での移動方向及び移動量を検出する機能と、当該移動量に基づいて撮像レンズ１２のズーム倍率ｒｆの値を算出する機能と、当該移動方向に基づいて雲台制御部２２を介してカメラ雲台１２を制御して撮像装置１の視野方向を調整する機能と、当該ズーム倍率ｒｆの値に基づいて撮像レンズ制御部２３を介して撮像レンズ１２を制御して撮像装置１の画角を調整する機能を設け、これにより、ＴＶカメラ１１等の撮像視野内に侵入した物体の安定な追跡を実現する。
【０１１０】
従って、本例の画像監視装置では、撮像装置１を用いた監視装置において、撮像装置１の撮像視野内の侵入物体を当該撮像装置１の画像信号の中から自動的に検出し、当該侵入物体の動きを自動的に検出し、当該侵入物体の動きに応じて当該撮像装置１の撮像方向及び画角を調節することができる。
【０１１１】
具体的には、本例の画像監視装置では、撮像レンズ１２の適切なズーム倍率ｒｆを自動的に調整し、監視領域内に侵入した物体を正確に検出して追跡することができ、これにより、信頼性の高い物体追跡を実現することができる。本例の画像監視装置では、例えば、物体追跡処理によって得られた侵入物体の（表示）画像上での移動量に応じて撮像レンズ１２のズーム倍率ｒｆ（撮像レンズ１２の焦点距離）を自動的に調整することで、侵入物体の（表示）画像上での移動量を所定の値以下に抑えながら（所定の値以上としないように）侵入物体をズームアップして追跡することができる。
【０１１２】
このように、本例の画像監視装置では、撮像レンズ１２の適切な焦点距離を自動的に調整することにより、監視領域内に侵入した物体を適切なズーム倍率ｒｆで正確にかつ安定して検出や追跡することができ、画像監視装置の適用範囲を大きく広げることができる。例えば、対象物体をズームアップして撮像する際などに、対象物体の画像上での移動量が大きくなったような場合においても、安定に追跡動作が実行されるように撮像レンズ１２の焦点距離を自動的に調整することができ、信頼性の高い監視システムを簡易に構築することができる。
【０１１３】
ここで、本例では、画像から物体を検出する方法として差分法を例として用い、また、物体の移動量を検出する方法としてテンプレートマッチング法を例として用いたが、例えば、本例と同様に侵入物体の移動量を検出しながら追跡することが可能な方法であれば、撮像レンズ１２のズーム倍率ｒｆを算出して焦点距離を適切に調節することができるため、種々な方法が用いられてもよい。
【０１１４】
なお、本例の画像監視装置では、撮像装置１の機能により撮像手段が構成されており、処理装置２の機能により画像中物体移動量検出手段が構成されており、処理装置２の機能により撮像レンズ制御手段が構成されており、画像モニタ５の機能により画像表示出力手段が構成されている。
【０１１５】
次に、本発明に関する比較例を示す。なお、ここで記載する事項は、必ずしも全てが従来技術であるとは限らない。
本比較例に係る画像監視装置の構成としては、概略的には、上記した本発明の実施例に係る上記図１に示される画像監視装置の構成と同様である。
図８には、差分法やテンプレートマッチング法を用いる本比較例に係る画像監視装置により行われる物体追跡処理の手順の一例を示してある。
同図に示した処理手順は、概略的には、例えば、上記した本発明の実施例に係る上記図２に示される処理手順と比べて、テンプレートマッチング法による侵入物体の移動量の検出処理Ｔ３においてテンプレート拡大・縮小処理（上記図２のステップＳ１０）が行われず、また、焦点距離情報取得処理（上記図２のステップＳ１５）やズーム倍率算出処理（上記図２のステップＳ１６）や撮像レンズ制御処理（上記図２のステップＳ１７）が行われない点を除いては、上記図２に示される処理手順と同様である。
【０１１６】
ここで、本発明に係る物体追跡装置や画像監視装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。なお、本発明は、例えば本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムなどとして提供することも可能であり、また、例えば物体監視装置や物体検出装置などの種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
【０１１７】
また、本発明に係る物体追跡装置や画像監視装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【０１１８】
【発明の効果】
以上説明したように、本発明に係る物体追跡装置によると、撮像により得られる画像信号に基づいて画像中の物体を追跡するに際して、画像中における物体の移動量を検出し、当該検出結果に基づいて、撮像を行う撮像レンズを制御するようにしたため、当該撮像レンズを効果的に制御することができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る画像監視装置の構成例を示す図である。
【図２】本発明の一実施例に係る画像監視装置により行われる物体追跡処理の手順の一例を示す図である。
【図３】差分法を用いて侵入物体を検出する処理の一例の概略と、当該侵入物体の画像をテンプレートに登録する処理の一例の概略を示す図である。
【図４】テンプレートの拡大・縮小の様子の一例を示す図である。
【図５】テンプレートマッチング法による侵入物体の移動量の検出処理を逐次実行して侵入物体を追跡する処理の流れの一例を示す図である。
【図６】検出物体の位置に基づいてカメラ雲台を制御する動作の一例を示す図である。
【図７】テンプレートと画像の上端、下端、左端、右端までのそれぞれの距離に基づいてズームアップに上限を設ける処理の一例を説明するための図である。
【図８】画像監視装置により行われる物体追跡処理の手順の一例を示す図である。
【符号の説明】
１・・撮像装置、 ２・・処理装置、 ３・・操作装置、
４・・外部記憶装置、 ５・・画像モニタ、 ６・・警告灯、
１１・・ＴＶカメラ、 １２・・撮像レンズ、 １３・・カメラ雲台、
２１・・画像入力部、 ２２・・雲台制御部、 ２３・・レンズ制御部、
２４・・操作入力部、 ２５・・画像メモリ、 ２６・・ＭＰＵ、
２７・・ワークメモリ、 ２８・・外部入出力部、 ２９・・画像出力部、
３０・・警報出力部、 ４１・・ジョイスティック、 ４２、４３・・ボタン、
５１、９２、９４、９６、９８・・入力画像、 ５２・・基準背景画像、
５３・・差分画像、 ５４・・二値化画像、
５５、９１、９３、９５、９７、１５１・・テンプレート画像、
６１、６３・・物体、 ６２・・変化領域、 ６４・・外接矩形、
６５、８１、８３、１０１、１１１、１２１、１３１、１６１、１７２・・テンプレート、
７１・・減算器、 ７２・・二値化器、 ７３・・切り出し器、
８２、８４、１６２・・テンプレートの中心位置、
１０２、１１２、１２２、１３２・・矩形領域、
１０３、１１３、１２３、１３３・・探索領域、
１０４、１１４、１２４、１３４・・物体の位置、
１０５、１１５、１２５、１３５・・矢印、
１４１、１４３、１４５、１４７・・テンプレートマッチング処理、
１４２、１４４、１４６・・テンプレート更新処理、
１６３・・画像の中心位置、 １７１・・画像、

Claims (3)

1. 撮像手段により得られる画像信号に基づいて画像中の物体を追跡する物体追跡装置において、
   画像中における物体の移動量を検出する画像中物体移動量検出手段と、
   画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズを制御する撮像レンズ制御手段と、
   を備えたことを特徴とする物体追跡装置。
2. 請求項１に記載の物体追跡装置において、
   撮像レンズ制御手段は、画像中物体移動量検出手段による検出結果に基づいて撮像手段の撮像レンズのズーム倍率を算出し、当該算出結果に基づいて撮像手段の撮像レンズを制御する、
   ことを特徴とする物体追跡装置。
3. 請求項２に記載の物体追跡装置において、
   撮像レンズ制御手段は、画像中物体移動量検出手段による検出結果に基づいて、画像中における物体の移動量が所定の値以下又は未満となるように、撮像手段の撮像レンズのズーム倍率を算出する、
   ことを特徴とする物体追跡装置。

Images