JP2001076156A - 画像監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 テンプレートに登録した対象に近い画像を探
して追尾する画像監視装置においては、対象に輝度分布
の偏りがある場合や、背景部分に対象よりもコントラス
トが高くその輝度分布の偏りが大きいものがある場合な
どには、テンプレートとして切り出す領域が対象の中心
からずれ、逐次テンプレートを更新しながら追尾処理を
続けると、いずれは追尾対象を外してしまう。 【解決手段】 連続する画像間で差分処理を行うことに
より移動物体を抽出する画像差分抽出手段７、テンプレ
ート探索手段５、前記両手段の信頼度を評価して、追尾
モードをその信頼度に応じて、テンプレート探索手段５
の結果を用いる第１の追尾モード、画像差分抽出手段７
の結果を用いる第２の追尾モード、その両方の結果を用
いる第３の追尾モードのいずれかを選択する追尾モード
選択手段９、各追尾モードに応じて追尾点を決定する追
尾点決定手段１０を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、プラント機器や
公共システム、ビル、住居等への人や不審物体の侵入を
カメラから得られる画像を用いて自動的に監視し、自動
的に追尾する画像監視装置に関するものである。

【０００２】

【従来の技術】重要施設などさまざまな場所で、防犯、
防災を目的として監視カメラが設置され、その画像を人
が監視し、カメラを操作する監視業務が行われている。
そしてこの監視業務の省力化を目的としてその自動化が
試みられている。例えば、第５回画像センシングシンポ
ジウム講演論文集（１９９９／０６）の第１３頁〜１８
頁、伊藤／上田「画像認識ハードウェア内蔵カメラを用
いた自律移動物体追尾監視カメラ」には、カメラから得
られる画像をいわゆるテンプレートマッチング処理を行
って対象を抽出し、自動追尾する上での問題点と、その
対処方法が示されている。

【０００３】ここで、まず、公知のいわゆるテンプレー
トマッチングによる移動物体の追尾処理方法について説
明する。図９〜１２は、テンプレートマッチングによる
移動物体の追尾処理を説明する画面の図である。監視カ
メラからの出力画像は言うまでもなく連続した画像（以
下フレームと言う）で構成されている。以下の説明で
は、現時点に得られた画像を「現フレームの画像」１
６、この現フレームの画像１６の一フレーム前の画像を
「前フレームの画像」１５という。図９において、６７
は前フレームの画像１５中から公知の差分処理などによ
り切り出したテンプレート、６８は入力された現フレー
ムの画像１６の画像上でテンプレートマッチングを計算
する動作の説明図である。図１０において、６９は説明
の都合上、平面的に表したテンプレートマッチングの一
致の度合いを色の濃さで表した平面的結果スコア、７０
はテンプレートマッチングの平面的結果スコア６９を立
体的に表示した立体的結果スコアである。図１１は連続
する画像フレーム間でテンプレートを逐次更新しながら
トラッキングを行う動作の説明図である。

【０００４】次に図９〜１１によりテンプレートマッチ
ング動作について説明する。まず前回の追尾点を中心に
前フレームの画像１５から切り出されたテンプレート６
７と、現フレームの画像１６内で最も類似度が高い画像
小領域を探索する。その方法は図９の６８に示すよう
に、現フレームの画像１６にテンプレート６７を1 画素
づつずらしながら重ね合わせ、テンプレート６７と同じ
サイズの画像小領域の各1 点1 点について、輝度値の差
の絶対値を合計する。このようにして得られる一致の程
度を表す平面的結果スコア６９は立体的に表示すると７
０のようになる。ここで、結果スコア６９は必ずゼロま
たは正の値であり完全に一致した場合はゼロで、一致度
が低い程スコア値が大きくなる。したがって結果スコア
の立体表示７０では、理解を助けるためＺ軸は上側を負
にして表している点に注意が必要である。以後、本明細
書では立体表示はＺ軸の上側が負になるように表してい
る。結果スコアが極大となる点が最も一致度の高い点で
あるとして追尾点が求められる。連続する画像間でテン
プレートを逐次更新しながら前述の一致の程度を順次調
べるトラッキングを行うと、図１１の７１のようにな
る。テンプレート６７は毎フレーム毎に最も類似度の高
かった小領域とそのまま入れ換え６７、６７’、６７”
のように更新される。

【０００５】前述の予稿集では、前記のような従来のテ
ンプレートマッチング技術を用いた場合の問題として、 （１）奥行きのある対象物体（例えば車両）の向きが変
化した場合に、得られるテンプレートが、徐々に対象物
体の中心からずれてしまい、やがて対象から外れてしま
う。 （２）対象物体の手前を他のものが横切った場合に、対
象のすり替えが起こってしまう。の２点が示され、この
ような現象に対する対応手段が開示されている。

【０００６】前述の予稿集には、装置の構成は示されて
いないが、記載されている内容（対象物体とテンプレー
トの位置ずれに対しては、エッジ累積分布計算手段を、
また、対象物体のすれ違いに対しては複数のテンプレー
ト間の一致度の比較によって対処する）から予想される
装置の構成は図１２に示す様なものであろうと推定され
る。図において、１は監視カメラ、２は画像入力手段、
３は画像記憶手段、４はテンプレート設定手段、５はテ
ンプレート探索手段、６は最一致点抽出手段、５２はエ
ッジ累積分布計算手段、８は重心抽出手段、１０は追尾
点決定手段、１１は追尾点情報記憶手段、１２はカメラ
制御判定手段、１３は雲台制御手段である。

【０００７】次に図１２のものの動作について説明す
る。監視カメラ１は監視対象を撮像する。画像入力手段
２はカメラ１が撮像した画像をランダムアクセス可能な
メモリー（図示しない）に入力して、現フレームの画像
１６とする。画像記憶手段３は、現フレームの画像１６
を、設定したフレーム間隔数に相当する時間だけ遅らせ
てランダムアクセス可能なメモリーに送出し、前フレー
ムの画像１５とする。

【０００８】テンプレート設定手段４は、前フレームの
画像１５から前回の追尾点の周辺の画像小領域をテンプ
レート６７として読みだし、テンプレート用メモリ（図
示しない）に登録する。テンプレート探索手段５は、現
フレームの画像１６中の各点を中心とする画像領域の各
々と前述のテンプレート６７との類似度を計算し、類似
度（又は一致度）を表す結果スコア６９としてランダム
アクセス可能なメモリーに書き込む。最一致点抽出手段
６は、テンプレート探索結果により得られた結果スコア
６９の中で、前回の追尾点の周辺で最も一致度の高い点
を抽出する。以後、説明の都合上、この処理をテンプレ
ートマッチングと呼ぶ。

【０００９】次にエッジ累積分布計算手段５２はテンプ
レートマッチングにより求められた追尾点の周辺でＸ、
Ｙ各方向の輝度微分値であるエッジの累積分布を計算
し、重心抽出手段８は、Ｘ、Ｙ各方向のエッジ累積分布
を用いて追尾対象の重心を求める。この場合テンプレー
トマッチングを用いないでエッジ累積分布を用いて対象
の重心を求めているので対象の向きが変わるなどの変化
があっても重心位置を間違って求める恐れが少なくなっ
ている。

【００１０】そして、追尾点決定手段１０は、テンプレ
ートマッチングにより求められた追尾点を、エッジ累積
分布を用いて求めた追尾対象の重心を用いて補正し新た
な追尾点を決定する。

【００１１】追尾点情報記憶手段１１は、決定された最
新の追尾点情報を一時記憶する。この追尾点情報は次回
フレームで、テンプレート設定手段４、最一致点抽出手
段６に入力される。

【００１２】カメラ制御判定手段１２は、最新の追尾点
情報に基づいてカメラの変位制御（カメラの首振り動
作、ズーム制御など）を実行する。

【００１３】雲台制御手段１３は、カメラ制御判定手段
１２の判定結果に基づいて、カメラ雲台の方向や移動速
度を制御する。

【００１４】このように、テンプレートマッチングによ
りテンプレート６７を逐次更新しながら対象を追尾し、
追尾対象が変形する場合でも安定な追尾を可能としよう
とするものである。また、テンプレートマッチングによ
って求められた追尾点を、その周囲から求められる輝度
の累積分布を用いて補正することにより、常に追尾対象
の中心をテンプレートの中心として設定し、安定な追尾
を行おうとするものである。

【００１５】以上に説明した従来のテンプレートマッチ
ング技術を用いた画像監視装置の問題点を説明するた
め、図１３にテンプレート６７の内部の追尾対象以外の
背景部分に、例えば地面に描かれた白線等、追尾対象よ
りもコントラストが高く、その輝度分布の偏りが大きい
ものがある場合について説明する。

【００１６】図１３に於いて、７２〜７９はこの符号の
順に変化するフレームを示しており、符号の番号順に画
像が変化しているものとする。７２１〜７９１はそれぞ
れフレーム７２〜７９のフレームにおいて抽出されたテ
ンプレートを示している。８０は各フレーム７２〜７９
の中に写っているコントラストが極めて高い背景、例え
ば床面の白線、床と壁の区切り線などである。コントラ
ストが極めて高い背景８０のコントラストは、監視すべ
き対象（ここでは人の像）のコントラストよりも高いの
で、最初のテンプレート７２１の中では、輝度の中心が
人の像の中心から若干外側へ移動する。そしてテンプレ
ート７３１の中では同じことが再度生じて、輝度中心が
更に外側へ移動する。このような動作が繰り返されるこ
とによって、テンプレート７９１ではついにテンプレー
トが監視すべき対象から外れてしまう。

【００１７】また、例えば上半身は背景と同様な色、下
半身は背景に対してコントラストのある色といったよう
に、追尾対象自身に輝度分布の偏りがある場合にも、テ
ンプレートが更新されるたびに輝度の中心が少しづつ移
動し、ついには外れてしまう現象が生じやすい。

【００１８】

【発明が解決しようとする課題】以上に説明したよう
に、従来の画像監視装置は、それ以前のものに比して相
当程度改善されているとはいえ、追尾対象自身に輝度分
布の偏りがある場合や、背景部分に追尾対象よりもコン
トラストがいちじるしく高くその輝度分布の偏りが大き
いものがある場合などには、テンプレートとして切り出
す領域が対象の中心からずれ、逐次テンプレートを更新
しながら追尾処理を続けると、いずれは追尾対象を外し
てしまうという現象が生じることが多い。

【００１９】即ち、従来の画像監視装置は常にテンプレ
ート探索によって追尾点を求め、更にその追尾点周辺の
輝度のＸ軸、Ｙ軸の累積分布を用いて補正するという方
法を繰り返し行う為、例えばテンプレート探索の信頼
性、あるいはその補正手段である追尾点周辺の輝度のＸ
軸、Ｙ軸の累積分布の信頼性のいずれか一方が低い場合
は、低い方の信頼性に伴う誤差が累積して、やがて誤っ
た追尾点を追尾してしまうという問題点があった。

【００２０】この発明は、以上のような課題を解決する
ためになされたもので、テンプレート探索の信頼性、補
正手段の信頼性のいずれか一方が低い場合でも、常に安
定して追尾対象の中心がテンプレートの領域の中心に来
るようにテンプレート位置を補正することができる画像
処理装置を得ようとするものである。

【００２１】

【課題を解決するための手段】本発明の画像監視装置
は、連続して画像を取り込み可能でかつ変位可能なカメ
ラと、画像を処理して移動物体を発見する画像処理部
と、移動物体の移動に応じてカメラを変位させるカメラ
制御手段とを有する画像監視装置であって、画像処理部
は、連続する画像の前フレームの画像における移動物体
を含む画像領域をテンプレートとして記憶するテンプレ
ート設定手段と、現フレームの画像中でテンプレートと
類似する画像領域を探索し、テンプレートに代わる新た
なテンプレートとして更新記憶するテンプレート探索手
段と、連続する画像間で差分処理を行うことにより、移
動物体を抽出する画像差分抽出手段と、テンプレート探
索手段の探索結果と、画像差分抽出手段の差分結果の信
頼度を評価して、その信頼度に応じてカメラの追尾モー
ドをテンプレート探索手段の結果を用いる第１の追尾モ
ード、画像差分抽出手段の結果を用いる第２の追尾モー
ド、その両方の結果を用いる第３の追尾モードのいずれ
とするかを選択する追尾モード選択手段と、選択した追
尾モードに応じて追尾点を決定する追尾点決定手段とを
備えるものである。

【００２２】また、カメラ制御手段は、追尾点決定手段
が決定した追尾点が画像内に設けたカメラ制御不要領域
内に位置するようにカメラを制御するものである。

【００２３】また、追尾モード選択手段が、第３の追尾
モードを選択したとき、追尾点決定手段は画像差分抽出
手段の結果から求めた追尾点の位置に、テンプレート探
索手段により得られる追尾点の移動ベクトルの半分の大
きさのベクトルを加えた位置を新しい追尾点とするもの
である。

【００２４】また、追尾モード選択手段は、画像差分抽
出手段の差分出力画像のエッジ部の画面占有率があらか
じめ定めた所定のレベルより大きいときはカメラが変位
動作している途中に得られた画像であると判定して第１
の追尾モードを選択するようにしたものである。

【００２５】また、追尾モード選択手段は、テンプレー
ト探索手段のスコアがあらかじめ定めた所定のレベルよ
り大きいときはテンプレート探索の信頼度が低いとして
第２の追尾モードを選択するようにしたものである。

【００２６】また、カメラ制御手段はこのカメラの画面
内の外側に接する範囲にカメラ制御必要領域を設定し、
追尾点決定手段が決定した追尾点がカメラ制御必要領域
内にあるとき、前記カメラを制御して前記追尾点がほぼ
画面の中心位置に来るよう制御するようにしたものであ
る。

【００２７】また、追尾モード選択手段は、追尾対象を
見失ったとき、見失う直前の追尾対象の方向を中心に、
あらかじめ定めた所定の角度幅でカメラを左右又は上下
に変位させる発見モードを備えたものである。

【００２８】

【発明の実施の形態】本発明の実施の形態について説明
する前に、その理解を助けるため、画像監視装置により
得られる画像の状態がさまざまであることを図８により
説明する。図において、５８はあらかじめ取り込んだ背
景画像（前フレームの画像１５に相当）、５９は入力さ
れた画像（現フレームの画像１６に相当）、６０は背景
画像５８と入力された画像５９の差分から抽出された侵
入物体、６１、６２、６３は発見された侵入物体をカメ
ラ固定のまま追尾している情景、６４、６５、６６は追
尾対象が視野内におさまるようにカメラ１を（あるいは
雲台を）旋回しながら（変位させながら）追尾している
情景である。このように、画面内の変化は、監視する対
象物体の移動によって生じる場合と、変位、ズーム制御
などカメラ１の側の撮影条件の変化によって生じる場合
と、それらが同時に起こる場合とがあるので、画像監視
装置はこれらのいずれの場合にも安定して動作するもの
とする必要がある。

【００２９】実施の形態１．本発明の画像監視装置につ
いて、図１に基づいて説明する.図１は本発明の画像監
視装置の構成図である。なお、以下の図に於いて従来の
ものと同一又は相当部分には同じ符号を付してその詳細
な説明を省略する。図１において, １は連続して画像を
取込み可能で、かつ、変位可能な首振りあるいはズーム
機能を有する監視用のテレビカメラ（以下単にカメラと
いう）、2 はカメラ１の出力画像を入力して現フレーム
の画像１６とする画像入力手段、3 は現フレームの画像
１６を設定したフレーム数に相当する時間だけ遅らせ
て、前フレームの画像１５として送出する画像記憶手
段、4 は前フレームの画像１５において追尾点の周辺の
画像小領域をテンプレート１７として登録するテンプレ
ート設定手段、5 は前述のテンプレート１７と現フレー
ムの画像１６中の各画像領域との類似度を計算するテン
プレート探索手段、6 はテンプレート探索手段５の出力
結果から前回の追尾点の周辺で最も一致度の高い点を抽
出する最一致点抽出手段である。以上は従来の図１２の
ものと同じである。

【００３０】7 は現フレームの画像１６と前フレームの
画像１５との差分を計算する画像差分抽出手段、8 は画
像差分抽出手段７により得られた差分結果について前回
の追尾点の周辺でモーメントを計算することによって重
心位置を求める重心抽出手段、9 はテンプレート探索手
段５により得られたテンプレート探索結果と、画像差分
抽出手段７により得られた画像差分結果と、追尾点情報
記憶手段１１が記憶している前回の追尾点の情報とか
ら、追尾モードを選択する追尾モード選択手段、１０は
追尾モード選択手段９の結果にもとづいて最一致点抽出
手段６と重心抽出手段８の結果を追尾モードに応じて単
独で使用したり融合して使用したりして（具体的な融合
の方法は後述する）、最新の追尾点を決定する追尾点決
定手段である。画像入力手段２〜追尾点決定手段１０に
至る構成は画像処理部を構成している。１１は決定され
た最新の追尾点情報を一時記憶する追尾点情報記憶手
段、１２は最新の追尾点情報に基づいてカメラの制御方
法を決定するカメラ制御手段、１３はカメラ制御手段１
２の結果に基づいてカメラ雲台を制御する雲台制御手
段、１４はカメラ制御手段１２の結果に基づいて、ズー
ム率を制御するズーム手段である。

【００３１】次に図１のものの動作を図２を用いて説明
する。図２において, １５は前フレームの画像、１６は
現フレームの画像、１７は前フレームの画像１５から前
回の追尾点位置を中心に切り出したテンプレート、１８
は現フレームの画像１６上でテンプレート１７の位置を
変化させて、一致する位置を見いだすことにより抽出し
た（即ち、テンプレートマッチングにより抽出した）追
尾点、１９は前回の追尾点（図示しない）とテンプレー
トマッチングにより抽出した追尾点１８との間の移動ベ
クトル、２０は前フレームの画像１５と現フレームの画
像１６との差分結果、２１は差分結果２０から求めた重
心位置を示している。ここで、追尾点１８は新しいテン
プレートの中心にあるが、重心位置２１は旧いテンプレ
ートと新しいテンプレートとの中間点にあることに注意
する必要がある。

【００３２】カメラ１は図示しない雲台に搭載されて監
視対象の方向を撮像する。画像入力手段２はカメラ１が
撮像した画像を図示しないランダムアクセス可能なメモ
リーに入力して現フレームの画像１６とする。画像記憶
手段３は現フレームの画像１６を、設定したフレーム間
隔数に相当する時間だけ遅らせてランダムアクセス可能
なメモリーに送出し、前フレームの画像１５とする。

【００３３】テンプレート設定手段４は前フレームの画
像１５から前回の追尾点（図示しないが前フレームの画
像１５内の人物像付近にある）の周辺の画像小領域をテ
ンプレート１７として読み出しテンプレート用メモリに
登録する。テンプレート探索手段５は現フレームの画像
１６中の各点を中心とする画像領域の各々と前述のテン
プレート１７との類似度を計算し、類似度を表す結果ス
コアとしてランダムアクセス可能なメモリーに書き込
む。最一致点抽出手段６はテンプレート探索手段５の結
果により得られた結果スコアの中で、前回の追尾点の周
辺で最も一致度の高い点を追尾点１８として抽出する。

【００３４】次に画像差分抽出手段７は、現フレームの
画像１６と前フレームの画像１５との差分２０を計算す
る。重心抽出手段８は画像差分抽出手段７により得られ
た差分結果２０について、前回の追尾点の周辺でモーメ
ントを計算することによって重心位置２１を求める。以
後この処理をフレーム間差分の重心抽出と呼ぶ。

【００３５】そして、追尾モード選択手段９は、前述の
テンプレート探索手段５により得られたテンプレート探
索結果と、前述の画像差分抽出手段７により得られた画
像差分結果と、前回の追尾点の情報から下記の３つの追
尾モード中のいずれかを選択する（具体的な選択方法に
ついては後述する）。即ち、第１の追尾モード「テンプ
レートマッチングにより得た追尾点をそのまま用い
る。」第２の追尾モード「差分処理により得た追尾点
（重心点）をそのまま用いる。」第３の追尾モード「テ
ンプレートマッチングにより得た追尾点と差分処理によ
り得た追尾点（重心点）を融合して用いる。」追尾点決
定手段１０は追尾モード選択手段９の結果にもとづい
て、最一致点抽出手段６の抽出結果１８と重心抽出手段
８の抽出結果２１とを融合し（具体的な融合方法につい
ては以下の実施の形態で順次説明する）最新の追尾点を
決定する。

【００３６】追尾点情報記憶手段１１は決定された最新
の追尾点情報を一時記憶する。この追尾点情報は次回の
フレームでテンプレート設定手段４、最一致点抽出手段
６、重心抽出手段８、追尾モード選択手段９に入力され
る。

【００３７】カメラ制御手段１２は最新の追尾点情報に
基づいてカメラの制御方法を判定する。雲台制御手段１
３はカメラ制御手段１２の結果に基づいて、カメラ雲台
を制御する。ズーム手段１４はカメラ制御手段１２の結
果に基づいてズーム率を制御する。なお、以上の説明に
おいて、雲台が首振り動作することをカメラが変位する
という表現をしている場合があるが同じ意味である。

【００３８】実施の形態２．図３は本発明の実施の形態
２による画像監視装置の動作、特に前述の第３の追尾モ
ードの詳細について説明するための画像の図である。図
３において, １５は前フレームの画像、１６は現フレー
ムの画像、１７は前フレームの画像から前回の追尾点位
置を中心に切り出したテンプレート、１８はテンプレー
トマッチングにより抽出した追尾点、１９は前回の追尾
点とテンプレートマッチングにより抽出した追尾点１８
との間の移動ベクトル、２０は前フレームの画像１５と
現フレームの画像１６との差分結果、２１は前フレーム
の画像１５と現フレームの画像１６との差分結果２０か
ら求めた重心位置、２２は移動ベクトル１９の大きさを
半分にしたベクトル、２３は前フレームの画像１５と現
フレームの画像１６との差分結果２０から求めた重心位
置２１に、移動ベクトル１９を半分にしたベクトル２２
を加えた点である。

【００３９】次に動作について説明する。前フレームの
画像１５から、前回の追尾点位置を中心に切り出したテ
ンプレート１７を、現フレームの画像１６中でテンプレ
ートマッチングにより抽出し追尾点１８を得る。一方、
前フレームの画像１５と現フレームの画像１６との差分
結果２０において、テンプレートマッチングにより抽出
した追尾点１８の周辺でモーメント計算を行い重心位置
２１を求める。前回の追尾点とテンプレートマッチング
により抽出した追尾点１８との間の移動ベクトル１９を
半分にしたベクトル２２を、前フレームの画像１５と現
フレームの画像１６との差分結果から求めた重心位置２
１に加え追尾点２３を得る。

【００４０】ここで、重心抽出は追尾点周辺の限定され
た領域内で、画像差分結果２０をあるしきい値で２値化
したものについて、0 次と1 次のモーメントを計算する
方法としてもよい。

【００４１】あるいはまた、重心抽出は、追尾点周辺の
限定された領域内で、画像差分結果の絶対値を、重み付
け値として、0 次と1 次のモーメントを計算する方法と
してもよい。

【００４２】また、テンプレートマッチングにより得ら
れた追尾点１８と、テンプレートマッチングにより得ら
れた移動ベクトル１９と、フレーム間差分の重心２１と
により得られた追尾点とを比較し、両者のＸ、Ｙ各成分
の差があるしきい値以下ならば、後者をそのまま補正後
の追尾点とし、両者のＸ、Ｙ各成分の差分があるしきい
より大きければ、それぞれの差をそのしきい値でリミッ
トし、テンプレートマッチング探索結果の追尾点に差分
のしきい値を加えたものを補正後の追尾点とする方法と
してもよい。

【００４３】実施の形態３．図４、５は本発明の実施の
形態３による画像監視装置の動作を説明する図である。
図４において, ２４はカメラ揺れのない（カメラが変位
していない）場合の前フレームの画像、２５はカメラ揺
れのない場合の現フレームの画像、２６はカメラ揺れの
ない場合の前フレームの画像２４と現フレームの画像２
５との差分結果、２６Ａは差分結果２６のＹ軸方向につ
いてエッジ抽出を行ったデータを示すものである。ここ
でエッジ抽出はＸ、Ｙ両軸について行うのがよいが説明
の都合上、図にはＹ軸についてのみ示している。２７は
カメラ揺れのある（カメラが変位している途中）場合の
前フレームの画像、２８はカメラ揺れのある場合の現フ
レームの画像、２９はカメラ揺れのある場合の前フレー
ムの画像２７と現フレームの画像２８との差分結果、２
９Ａは差分結果２９のＹ軸方向のエッジ抽出データを示
す。ここでもエッジ抽出データは説明の都合上、Ｙ軸に
ついてのみ示している。

【００４４】図５に於いて、３０は追尾対象が明瞭な場
合の前フレームの画像から切り出したテンプレート、３
１は追尾対象が明瞭な場合の現フレームの画像、３２は
追尾対象が明瞭な場合のテンプレートマッチングの結果
スコア、３３はテンプレートマッチングの有効性を検証
する為の、スコアデータの最一致点からの離し量、３４
はテンプレートマッチングの有効性を評価する為の、ス
コアデータの最一致点におけるスコア値と最一致点から
のある一定距離離れた点におけるスコア値との差、３５
は追尾対象が不明瞭な場合の前フレームの画像から切り
出したテンプレート、３６は追尾対象が不明瞭な場合の
現フレームの画像、３７は追尾対象が不明瞭な場合のテ
ンプレートマッチングの結果スコア、３８はテンプレー
トマッチングの有効性を検証する為の、スコアデータの
最一致点からの離し量、３９はテンプレートマッチング
の有効性を評価する為の、スコアデータの最一致点にお
けるスコア値と最一致点からのある一定距離離れた点に
おけるスコア値との差である。

【００４５】次に動作について説明する。まず、カメラ
雲台又は変位させる機構が静止しており、ズーム率も変
化していないとき、エッジ抽出データ２６Ａは占有率が
低く、差分が一か所に集中しているので、その信頼性が
高く、画像差分抽出手段７の結果２６から得られる重心
位置は追尾対象の移動前後の重心位置であると判断して
間違いがない。よってテンプレートマッチングにより求
まった前回の追尾点から、今回の追尾点までの移動ベク
トルの半分を、画像差分の重心抽出結果に加えて、追尾
対象の中心がテンプレートの中心となるように補正され
た新しい追尾点を決定することができる。

【００４６】次に、画像差分抽出手段７の結果がゼロと
なるときは、対象が静止しており、カメラ雲台も静止し
ている。従って、テンプレートマッチングにより得られ
た追尾点をそのまま用い、追尾点の補正を行わない。

【００４７】あるいは、画像差分抽出手段７の結果がゼ
ロとなるときは、ターゲットの移動が無いものとして、
テンプレートマッチングにより得られた追尾点を破棄
し、前回の追尾点をそのまま用いるという方法としても
よい。

【００４８】一方、カメラ又は雲台が変位動作中であ
る、あるいはズーム率が移動（変動）中もしくは安定し
ていないとき、エッジ抽出結果２９Ａは占有率が高く画
像中のあらゆる場所で大きな値を示すので信頼性が低
く、画像間差分の結果２９も画像中のあらゆる場所に表
れ、画像差分抽出手段７の結果から追尾対象の移動前後
の重心位置を正確に求めることができない。このような
場合はテンプレートマッチングのみで追尾を行えばよ
い。カメラの移動が収まった後、再びテンプレートマッ
チングとフレーム間差分とを併用した追尾を行う。

【００４９】また、追尾対象が明瞭な場合、テンプレー
トマッチングの結果スコア３２は最一致点付近で急峻で
あり、スコアデータの最一致点におけるスコア値と最一
致点からのある一定距離３３だけ離れた点におけるスコ
ア値との差３４は、大きな値となる。

【００５０】一方、追尾対象が不明瞭な場合、テンプレ
ートマッチングの結果スコア３７は最一致点付近でなだ
らかであり、スコアデータの最一致点におけるスコア値
と最一致点からのある一定距離３３だけ離れた点におけ
るスコア値との差３９は、小さな値となる。

【００５１】このように、テンプレートマッチングのス
コア結果３４、３９からテンプレートマッチングの有効
性を評価し、例えば、テンプレートマッチングのスコア
結果が最一致点の付近でほぼ同じ値（なだらか）である
等、テンプレートマッチングが有効ではない場合、対象
の移動ベクトルを前回までの移動ベクトルから推定し、
その半分をフレーム間差分結果の重心位置に加えて新し
い追尾点とし、その追尾点を中心とする画像小領域を用
いてテンプレートを更新しながら画像差分抽出手段７の
みで追尾を行い、テンプレートマッチングが有効になっ
た後、再びテンプレートマッチングと画像差分抽出手段
７とを併用した追尾を行う。

【００５２】さらに、差分結果が２９Ａの状態が続くと
き、あるいはテンプレートマッチングの結果が３９の状
態が続くときは、追尾対象の見失いと判定して、カメラ
を、対象を見失う直前のカメラの方向を中心に、あらか
じめ定めた所定の角度幅でカメラを左右又は上下に変位
させる発見モードで制御する。また、テンプレート更新
の要不要、カメラ制御の可、不可を判断することも可能
である。

【００５３】実施の形態４．図６、７は本発明の実施の
形態４による画像監視装置の動作の説明図である。図６
において, ４０Ａは画面内に設けたカメラ制御不要領域
（点線の内側）、４０Ｂはカメラ制御必要領域を示し、
４０は追尾対象がカメラ制御不要領域４０Ａ内に存在す
る場合のカメラ画像である。４１は追尾対象がカメラ制
御不要領域４０Ａから外に出た場合のカメラ画像であ
る。常にカメラ制御不要領域４０Ａの外側にカメラ制御
必要領域４０Ｂがある。４２は追尾対象がカメラ制御必
要領域４０Ｂ内に入った場合にカメラのパン、チルト操
作を行って画像をカメラ制御不要領域４０Ａ内あるい
は、画面のほぼ中央に移動させた画像である。また、図
７に於いて、４３はカメラ１のズームがワイド端の場合
の監視カメラ画像である。４４はカメラのズームをワイ
ド端から望遠側に移動した場合の監視カメラ画像であ
る。４５はカメラのズームをさらに望遠側に移動した場
合の監視カメラ画像である。

【００５４】次に動作について説明する。カメラ視野の
内部にカメラ制御不要領域４０Ａ、とその外側のカメラ
制御必要領域４０Ｂを設定し、追尾対象がカメラ制御不
要領域４０Ａ内に存在する場合はカメラ雲台の制御は行
わず、カメラを固定したトラッキングを行う。また４１
のように、追尾対象がカメラ制御必要領域４０Ｂ内に入
った場合、監視カメラの雲台を追尾対象がカメラ制御不
要領域４０Ａ内に、好ましくは対象が画面のほぼ中央に
なるように制御し、図６の４２のような画像を得る。

【００５５】対象を画面の中央に移動するようにカメラ
制御するとき、カメラ雲台への制御命令は、結果的に連
続的ではなく間欠的に行われる。また、制御命令の判定
しきい値に増加側と減少側とでヒステリシスを設け、カ
メラ雲台の機構部への負担を軽減すると共に、画像差分
抽出手段７の情報を追尾に用いるフレーム数を増加さ
せ、安定な対象の追尾を可能にする。追尾点をカメラ制
御不要領域４０Ｂ内に位置するようにカメラを制御する
場合、カメラ１の動きが必要最小限に制約され、無駄な
動きが少なくなる。

【００５６】また、図７の４３のように、カメラ１のズ
ームがワイド端の場合、追尾対象の識別が困難である。
このとき、カメラ制御手段１２によって追尾対象の識別
が可能な解像度になるまで図７の４４、４５のようにズ
ームの制御をする。

【００５７】ここで、追尾対象の詳細が識別可能な解像
度を得る為にカメラズーム比を制御する際に、ズーム制
御手段１４への制御命令を連続的ではなく、間欠的に行
い、また、制御命令の判定しきい値に増加側と減少側と
でヒステリシスを設け、ズーム制御手段１４の機構部へ
の負担を軽減すると共に、画像差分抽出手段７が有効に
使えるフレームを増加させ、安定な対象の追尾を可能に
する。

【００５８】

【発明の効果】以上に説明したように、本発明の画像監
視装置は、テンプレート探索手段の探索結果と、画像差
分抽出手段の結果の信頼度を評価して、その信頼度に応
じてカメラの追尾モードをテンプレート探索手段の結果
を用いる第１の追尾モード、フレーム間処理部の結果を
用いる第２の追尾モード、その両方の結果を用いる第３
の追尾モードのいずれとするかを選択する追尾モード選
択手段を備えているので、安定な追尾対象の追尾ができ
るという効果がある。

【００５９】また、カメラ制御手段は決定された追尾点
を画像内に設けたカメラ制御不要領域内に位置するよう
にカメラを制御するので、カメラの動きが必要最小限に
制約され、無駄な動きが少なくなるという効果がある。

【００６０】また、追尾モード選択手段が、第３の追尾
モードを選択したとき、追尾点決定手段は画像差分抽出
手段の結果から求めた追尾点の位置に、テンプレート探
索手段により得られる追尾点の移動ベクトルの半分の大
きさのベクトルを加えた位置を新しい追尾点とするの
で、撮影条件の変化に影響されない安定した追尾が可能
であるという効果が得られる。

【００６１】また、追尾モード選択手段は、画像差分抽
出手段の差分出力画像のエッジ部の画面占有率があらか
じめ定めた所定のレベルより大きいときはカメラの向き
が移動中に得られた画像であると判定して画像差分抽出
手段の出力を無視する第１の追尾モードを選択するよう
にしたので、撮影条件の変化に影響されない安定した追
尾が可能であるという効果が得られる。

【００６２】また、追尾モード選択手段は、テンプレー
ト探索手段のスコアがあらかじめ定めた所定のレベルよ
り大きいときはテンプレート探索の信頼度が低いとして
テンプレート探索手段の出力を無視する第２の追尾モー
ドを選択するようにしたので、撮影条件の変化に影響さ
れない安定した追尾が可能であるという効果が得られ
る。

【００６３】また、カメラ制御手段はこのカメラの画面
内の外側に接する範囲にカメラ制御必要領域を設定し、
追尾点決定手段が決定した追尾点が前記カメラ制御必要
領域内にあるとき、前記カメラを制御して前記追尾点が
ほぼ前記画面の中心位置に来るよう制御するようにした
ので、撮影条件の変化に影響されない安定した追尾が可
能であるという効果が得られる。

【００６４】また、追尾モード選択手段は、追尾対象を
見失ったとき、見失う直前の追尾対象の方向を中心に、
あらかじめ定めた所定の角度幅でカメラを左右又は上下
に変位させる発見モードを備えるようにしたので、撮影
条件の変化に影響されない安定した追尾が可能であると
いう効果が得られる。

【図面の簡単な説明】

【図１】 本発明の実施の形態１による画像監視装置の
構成図である。

【図２】 図１の画像監視装置の動作を説明する図であ
る。

【図３】 本発明の実施の形態２による画像監視装置の
動作を説明する図である。

【図４】 本発明の実施の形態３による画像監視装置の
動作を説明する図である。

【図５】 本発明の実施の形態３による画像監視装置の
動作を説明する図である。

【図６】 本発明の実施の形態４による画像監視装置の
動作を説明する図である。

【図７】 本発明の実施の形態４による画像監視装置の
動作を説明する図である。

【図８】 画像監視装置により得られる画像の状態を説
明するための図である。

【図９】 従来のテンプレートマッチングについて説明
する図である。

【図１０】 図９のマッチングスコアの説明図である。

【図１１】 従来のテンプレートマッチングによる画像
監視の動作について説明する図である。

【図１２】 従来の画像監視装置の構成を示す図であ
る。

【図１３】 従来のテンプレートマッチング動作の失敗
を説明する動作説明図である。

【符号の説明】

１ 監視カメラ、 ２ 画像入力手段、
３ 画像記憶手段、４ テンプレート設定手段、
５ テンプレート探索手段、６ 最一致点抽出手段、
７ 画像差分抽出手段、８ 重心抽出手
段、 ９ 追尾モード選択手段、１０
追尾点決定手段、 １１ 追尾点情報記憶手
段、１２ カメラ制御手段、 １５ 前フレーム
の画像、１６ 現フレームの画像、 １７ テンプ
レート、１９ 移動ベクトル、 ２０ 差分結
果、２１ 重心位置、 ２２ 移動ベクト
ルを半分にしたベクトル、２３ 重心位置に追尾点の移
動ベクトルの半分を加えたもの、３０ 対象が明瞭な場
合のテンプレート、３２ テンプレートマッチングのス
コア結果、３５ 対象が不明瞭な場合のテンプレート、
３７ テンプレートマッチングのスコア結果、４０Ａ
カメラ制御不要領域、 ４０Ｂ カメラ制御必要領域、
４３ ズームワイド端の画像、 ４５ ズームが望遠端
の画像、５８ 予め取り込んだ背景画像、 ５９ 現画
像、６０ 差分画像、 ６１〜６３：カメラ固定の追尾
画像、６４〜６６：カメラ変位による追尾画像。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鷲見 和彦 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 AA19 BA02 CH18 DA07 DC06 DC32 5C054 CF06 CG01 CG04 CG06 FC01 FC12 FC13 FC14 GB01 GB12 HA18 HA31 5L096 BA02 CA02 FA60 GA08 HA05 JA09

Claims (7)

【特許請求の範囲】
1. 【請求項１】 連続して画像を取り込み可能で、かつ変
   位可能なカメラと、前記画像を処理して移動物体を発見
   する画像処理部と、前記移動物体の移動に応じて前記カ
   メラを変位させるカメラ制御手段とを有する画像監視装
   置であって、 前記画像処理部は、 前記連続する画像の前フレームの画像における前記移動
   物体を含む画像領域をテンプレートとして記憶するテン
   プレート設定手段と、 現フレームの画像中で前記テンプレートと類似する画像
   領域を探索し、前記テンプレートに代わる新たなテンプ
   レートとして更新記憶するテンプレート探索手段と、 前記連続する画像間で差分処理を行うことにより、移動
   物体を抽出する画像差分抽出手段と、 前記テンプレート探索手段の探索結果と、前記画像差分
   抽出手段の差分結果の信頼度を評価して、その信頼度に
   応じて前記カメラの追尾モードを前記テンプレート探索
   手段の結果を用いる第１の追尾モード、前記画像差分抽
   出手段の結果を用いる第２の追尾モード、その両方の結
   果を用いる第３のモードのいずれとするかを選択する追
   尾モード選択手段と、 前記選択した追尾モードに応じて追尾点を決定する追尾
   点決定手段とを備えるものであることを特徴とする画像
   監視装置。
2. 【請求項２】 カメラ制御手段は、追尾点決定手段が決
   定した追尾点が前記画像内に設けたカメラ制御不要領域
   内に位置するようにカメラを制御するものであることを
   特徴とする請求項１に記載の画像監視装置。
3. 【請求項３】 追尾モード選択手段が、第３の追尾モー
   ドを選択したとき、 追尾点決定手段は画像差分抽出手段の結果から求めた追
   尾点の位置に、テンプレート探索手段により得られる追
   尾点の移動ベクトルの半分の大きさのベクトルを加えた
   位置を新しい追尾点とすることを特徴とする請求項１に
   記載の画像監視装置。
4. 【請求項４】 追尾モード選択手段は、画像差分抽出手
   段の差分出力画像のエッジ部の画面占有率があらかじめ
   定めた所定のレベルより大きいときはカメラが変位中に
   得られた画像であると判定して第１の追尾モードを選択
   するようにしたことを特徴とする請求項１に記載の画像
   監視装置。
5. 【請求項５】 追尾モード選択手段は、テンプレート探
   索手段のスコアがあらかじめ定めた所定のレベルより大
   きいときはテンプレート探索の信頼度が低いとして第２
   の追尾モードを選択するようにしたことを特徴とする請
   求項１に記載の画像監視装置。
6. 【請求項６】 カメラ制御手段はこのカメラの画面内の
   外側に接する範囲にカメラ制御必要領域を設定し、追尾
   点決定手段が決定した追尾点が前記カメラ制御必要領域
   内にあるとき、前記カメラを変位して前記追尾点がほぼ
   前記画面の中心位置に来るよう制御することを特徴とす
   る請求項１に記載の画像監視装置。
7. 【請求項７】 追尾モード選択手段は、追尾対象を見失
   ったとき、見失う直前の追尾対象の方向を中心に、あら
   かじめ定めた所定の角度幅でカメラを左右又は上下に変
   位させる発見モードを備えたことを特徴とする請求項１
   〜４のいずれかに記載の画像監視装置。