JPH0546771A - 運動物体検出装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、検出領域内に人間などの複雑な運動
をする侵入物体が多数存在しても、これらの追跡と同時
に結果の解釈を行なうことでこれら複数の侵入物体の運
動を検出可能にしたものである。 【構成】ＴＶカメラ１により撮像された画像から変化検
出部２により変化領域を検出し、この検出された変化領
域を追跡部３の少なくとも２個の追跡装置３１により追
跡し、候補抽出部４２により各変化領域を追跡する追跡
装置３１の間の仮想的な結合強度を求め、この結合強度
が所定値以上の追跡要素の集合を運動物体の候補として
分離抽出し、これら抽出結果を結果解釈部４３で解釈し
運動物体候補の移動経路を生成するようになっている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、監視領域内の侵入者等
の運動物体を検出する運動物体検出装置に関するもので
ある。

【０００２】

【従来の技術】最近、ビルやオフィスの防犯などに対す
る安全対策として、種々の方策が考えられているが、例
えばＴＶカメラなどの撮像装置を使って監視領域への侵
入者や侵入物体等の移動物体を自動的に検出するように
した運動物体検出装置が実用化されている。

【０００３】しかして、従来、この種の運動物体検出装
置では、連続して撮像された複数の画像間の差分、ある
いは侵入者等のない背景画像と現時点の画像との差分を
求めることにより運動物体を検出する方法が多く用いら
れている。

【０００４】しかし、この方法では、侵入物体以外の雑
音、例えば撮像範囲内の照明強度の変動や、水面などの
光の反射、木のそよぎなど一定の領域で明るさが変化す
るもの、あるいは撮像装置自体の撮像時の雑音による影
響等を侵入者等と同時に検出してしまうことから侵入者
等と雑音を明確に分離すること、言い替えれば１人の侵
入者を画像中の１つの領域として検出することが非常に
難しかった。

【０００５】そこで、従来、このような問題点を解決す
る方法としてブロック統合処理方式（特開平2- 59977号
公報、特開平2- 59978号公報）が提案されている。この
方法は、連続する２時点で検出された変化領域の間で領
域の属性値を用いることにより対応する変化領域を求
め、さらにその推定された移動経路から検出された複数
の変化領域を統合して運動物体を抽出しようとするもの
である。

【０００６】しかし、この方法によっても検出された変
化領域には、前述の雑音が多数含まれている他、１つの
運動物体が予測不能の不特定複数の領域に分割されて検
出されるため、依然として根本的な解決に至っていな
い。

【０００７】これを解決する方法として、運動物体を追
跡できるような追跡手段を用いることがある。この方法
によれば運動物体を追跡することになるので、領域間で
対応づけをする必要がなくなる。ところが、この手段に
用いられる追跡手段は人間の運動解析などに多く用いら
れ、その方法としては、被測定物（人間の手足など）に
取り付けられるマーカー（目標物）など、予め追跡すべ
き箇所を決定する必要があるため、監視領域中の不特定
多数の侵入者を逐次発見し、これを追跡することは不可
能である。

【０００８】一方、監視領域内の不特定の対象を追跡す
る方法として、侵入者などの運動物体の移動により変化
する変化領域を検出する変化検出手段を設けるととも
に、この変化検出手段で検出される変化領域に対して追
跡手段を設け、変化領域にあると思われる運動物体を追
跡するようなものも考えられている。

【０００９】そして、この時の追跡手段の追跡方法とし
ては、追跡用領域内の明るさ（画素輝度）の変化を追跡
するもの、追跡用領域内の特定形状を追跡するもの、追
跡領域とその周囲の領域との間で相互相関値を算出して
移動方向を決定するものなどがある。また、ある追跡手
段では運動物体の一部分のみしか追跡できないことか
ら、追跡が終了した後に、その結果を解析して追跡手段
を各運動物体ごとの集合に分割する（追跡手段の移動方
向と相互の位置関係から追跡手段を集合にまとめる）方
法も考えられ、さらに監視領域内の不特定多数の運動物
体を同時に検出するものとして、複数の追跡手段を使用
する方法もある。

【００１０】これらの方法によれば、追跡手段群のうち
一部の追跡が雑音や物体による遮蔽等の外因によって追
跡が失敗した場合でも対応は可能である。しかし、運動
物体が複雑に交差して移動するような場合、追跡終了後
に結果を解釈するのではその解釈が非常に困難なものと
なり、また、人間の手足などのように同じ運動物体のも
のであっても別々の方向に移動しているものをそれぞれ
の追跡手段で追跡しようとすると、これらの追跡手段を
同じ集合にまとめることができず運動物体を検出するの
が不可能になる欠点があった。

【００１１】

【発明が解決しようとする課題】このように従来の運動
物体検出装置にあっては、複数の追跡手段を用いて侵入
者などの運動物体を追跡し検出する場合に、人間のよう
に複雑な運動をする物体が検出領域内に複数が同時に存
在すると、各々の侵入者を同時に検出することが不可能
になる問題点があった。

【００１２】本発明は上記事情に鑑みてなされたもの
で、検出領域内に人間などの複雑な運動をする侵入物体
が不特定多数存在しても、これらの追跡と同時に結果の
解釈を行なうことで複数の侵入者の運動を検出すること
ができる運動物体検出装置を提供することを目的とす
る。

【００１３】

【課題を解決するための手段】本発明は、撮像画像から
変化領域を検出する変化検出手段、変化検出手段により
検出された変化領域を追跡する少なくとも２個の追跡要
素を有する追跡手段、変化領域を追跡する各追跡要素間
の仮想的な結合強度を求めるとともに該結合強度が所定
値以上の追跡要素の集合を運動物体の候補として分割し
抽出する候補抽出手段、候補抽出手段による抽出結果を
解釈し前記運動物体候補の移動経路を生成する結果解釈
手段により構成している。

【００１４】

【作用】この結果、本発明によれば、所定値以上の強度
を持つ仮想的な結合で結ばれた追跡要素の集合を運動物
体の候補として抽出するとともに、これら抽出結果から
運動物体の移動経路を解釈するようにできるので、監視
領域内の侵入者が複数存在し、かつ交差するなどの複雑
な運動に対しても、あるいは人間等の同一の運動物体で
も各々別々の動きをするような場合においても運動物体
の移動経路を追跡と同時に検出できるようになる。

【００１５】

【実施例】以下、本発明の一実施例の運動物体検出装置
を図面に従い説明する。

【００１６】図１は同実施例の概略構成を示している。
この場合、運動物体検出装置は、画像を撮影するＴＶカ
メラ１、撮像画像の変化領域を検出する変化検出部２、
変化領域の追跡を行なう追跡部３、この追跡部３の制御
および追跡結果の解釈などを行うホストコンピュータ
４、ＴＶカメラ１の画像と追跡部４での追跡領域を視覚
化するＣＲＴからなる表示装置５、追跡結果を解釈する
ホストコンピュータ４の解釈結果を視覚化するＣＲＴか
らなる表示装置６により構成している。そして、ＴＶカ
メラ１で撮像された画像は、Ａ／Ｄ変換器７に送られデ
ィジタル化され、変化検出部２および追跡部３に送られ
る。

【００１７】変化検出部２は、参照画像メモリ２１、差
分回路２２、２値化回路２３、ラベリング回路２４によ
り構成している。ここで、参照画像メモリ２１は、侵入
物体のない時点での背景画像をＴＶカメラ１で撮像して
蓄えておくものである。差分回路２２は、ＴＶカメラ１
より入力された現時点の画像と参照画像メモリ２１に蓄
えられた画像との差分を求めるようにしている。２値化
回路２３は、差分回路２２の差分結果を適当なしきい値
に基づいて変化部分か否か２値化して参照画像に対して
大きく変化している部分を抽出するようにしている。ラ
ベリング回路２４は、２値化の結果である差分画像中で
の変化領域として連結した成分ごとに異なるラベルを与
えるようにしている。また、各連結成分ごとに面積、重
心位置、外接長方形座標値も求めるようにしている。
（なお、これ以後、「連結成分」を「変化領域」と同意
語として使用する。）

【００１８】追跡部３は、ラベリング回路２４で既定面
積以上の連結成分が検出された場合に、ホストコンピュ
ータ４の追跡装置制御部４１より、その連結成分の追跡
を行なう指令が与えられるようになっている。本実施例
では、追跡部３はマルチプロセッサよりなり、このマル
チプロセッサの個々のプロセッサ部分をそれぞれ追跡装
置３１に構成し、１つの追跡装置３１が１つの連結成分
を追跡するようにしている。なお、追跡装置３１の数が
少ない時は、１つの追跡装置３１で複数の連結成分を追
跡するようにすることもできる。

【００１９】各追跡装置３１は、ホストコンピュータ４
と制御バス３２で結ばれ、これを通じてホストコンピュ
ータ４からの命令を受けるとともに、追跡の結果をホス
トコンピュータ４に転送するようにしている。また、追
跡装置３１は、画像バス３３を通じてＡ／Ｄ変換器７か
ら動画像の任意の部分を入力するようにしている。そし
て、追跡装置３１自身は、追跡装置制御部４１から指定
された追跡すべき連結成分の外接長方形を中心に含む適
当な大きさの矩形領域を追跡用領域として設定するとと
もに、その追跡用領域内の変化部分を追跡し、侵入者な
どの運動物体の少なくとも一部分を追跡するようにして
いる。

【００２０】ここで、追跡装置３１の追跡方法として
は、例えば、追跡用領域内の画素輝度の時間変化を用い
て変化領域を追跡する方法が用いられる。この場合、追
跡用領域内の画素輝度に変化が検出されない時や運動物
体の移動量が０である時などは、追跡に失敗したものと
判断して追跡を中止するようになっている。一方、追跡
装置３１を制御する追跡装置制御部４１は、各追跡装置
３１の状態を記録するためのテーブルメモリ（図示せ
ず）が用意されていて、追跡装置３１が現在どのような
状態にあるか（追跡中、停止中など）を記録するように
している。例えば、追跡装置３１が途中で追跡を中止し
た場合などは、その追跡装置３１の状態を示す箇所の記
述が追跡中から停止中へと変化するようになる。

【００２１】ホストコンピュータ４は、追跡装置制御部
４１の他に、候補抽出部４２、結果解析部４３、知識提
供部４４を有している。そして、追跡装置制御部４１
は、各追跡装置３１の制御を行うもので、この場合、変
化検出部２を常に作動させておき、変化領域が検出され
たらその位置に追跡装置３１のうち追跡を行なっていな
いものを割り当て追跡を開始させるようにしている。た
だし、侵入物体が検出領域内に存在すると、その侵入物
体に起因する変化領域が変化検出部２において検出され
るので、すでに別の追跡装置３１が追跡している部分を
新たに別の追跡装置３１で追跡させないようにする必要
がある。このため変化検出部２から変化領域の重心・外
接長方形の位置を受け取った後、現在追跡処理を行なっ
ている追跡装置３１の結果を調べ、変化領域の位置に近
い追跡部分がある場合にはその変化領域に対し追跡処理
を起動しないようにしている。この場合、追跡処理を行
なっている追跡装置３１は、自らの移動経路の時系列デ
ータ（追跡結果）を逐次あるいは既定量蓄積された後に
追跡装置制御部４１へ送るようになる。また、追跡装置
制御部４１では、全ての追跡装置３１の結果をまとめ
て、これを逐次あるいは既定量が蓄積された後に、運動
物体の候補を抽出する処理を行なっている候補抽出部４
２に転送するようにしている。（以降、「候補」を「運
動物体の候補」と同意語として使用する。）

【００２２】表示装置５は、追跡部３の動作を可視化す
るようにしている。ここでの表示装置５は、各追跡装置
３１において設定された追跡用領域をディスプレイコン
トローラ８により例えば枠として出力し、この枠とＴＶ
カメラ１から入力された画像とを同時に表示するように
している。

【００２３】図２は、表示装置５の画面での表示例を示
すものである。この図では、異なる２時点での画面を同
一画面上に表している。そして、図中の人物形状の２つ
の破線は、２時点での同一の侵入者の位置を表してお
り、右側の破線は、左側のものから追跡処理が数時点行
なわれた後を表している。また、同図では、同一の侵入
者を追跡している追跡装置（３１−１、３１−２、３１
−３）のうち、途中で追跡処理が失敗して追跡を中止し
たもの（３１−３）や、その後変化領域が検出されるこ
とにより新たに配置され追跡を開始したもの（３１−
４）や、また他の物体に由来した変化領域に配置された
もの（３１−５）がある。

【００２４】ところで、これまで考えられているものに
おいても、追跡結果判定処理として１つの運動物体を追
跡している追跡装置を集合として分離する方法が挙げら
れており、これは追跡装置が同じ向きに運動しているも
のを１つの集合と見倣すというものである。この方法で
も、他の物体に由来した変化領域に配置された追跡装置
（３１−５）など、ある程度一定の運動に由来しない変
化領域に配置されたものは、集合に含まれないようにす
ることは可能である。しかし、一般に人間などの非剛体
が運動する場合において、その物体の各部分は別々の運
動をすることがほとんどであり、同一人物を追跡してい
る追跡装置（３１−１、３１−２、３１−３）が各時点
において別々の運動をしているような場合に、上記の方
法では対応できない。

【００２５】それに対し、本実施例においては、追跡装
置の移動方向と相互の位置関係を同時に参照することに
より侵入者であると判定され得る運動物体の候補を追跡
処理の結果が送られると同時に抽出し、その後この候補
の移動経路において常時解釈を行ない、候補の正当性を
検証することによって複雑な運動をする対象物体に対し
ても安定に検出できるようにしている。次に、図３はホ
ストコンピュータ４による候補抽出処理のフローチャー
トを示すものである。

【００２６】この場合、ホストコンピュータ４の候補抽
出部４２では、追跡装置３１より追跡情報が出力され
（ステップ３０１）、この結果を追跡装置制御部４１か
ら受け取ると（ステップ３０２）、２つの追跡装置３１
間に仮想的な結合を想定する（ステップ３０３）。この
場合、追跡処理を行なっていない追跡装置３１は除く。

【００２７】次に、結合の強度を算出する（ステップ３
０４）。この結合の強度は追跡装置３１の移動経路がよ
く似ている（運動の向き、速度の大きさが近い）場合に
大きくなるような値を取る評価関数を用いて算出され
る。この評価関数は候補抽出部４２の中に予め用意され
ており、その例として次式のようなものが挙げられる。 ｓ ＝ Ｋp(t)・Ｆ( ｐ1(t), ｐ2(t)) ＋ Ｋv(t)・Ｇ( ｖ1(t), ｖ２
（ｔ））

【００２８】この式において、ｓは結合強度、ｔ は時
間、ｐ1(t)、ｐ2(t)、ｖ1(t)、ｖ2(t)はそれぞれ時間t
における追跡装置３１−１の位置、追跡装置３１−２の
位置、追跡装置３１−１の速度、追跡装置３１−２の速
度を表す。また、ＦおよびＧはそれぞれ追跡装置３１の
位置と速度を引数とする既定の関数で、Ｋp(t)およびＫ
v(t)は関数ＦおよびＧの時間により変化し得る係数であ
る。このようにして連結強度が算出されると、既定のし
きい値以上の強度を持つ連結のみが残され、その他の結
合は抹消される（ステップ３０５）。

【００２９】次に、候補抽出部４２では、残された連結
によって継っている追跡装置群を１つの集合として各集
合ごとに分離する処理を行ない（ステップ３０６）、そ
れぞれの集合を運動物体の候補とする現時点での候補リ
ストを作成する（ステップ３０７）。ここで、複数の侵
入者が監視領域内に存在し、各々の侵入者を追跡装置３
１が追跡している場合は、各々の侵入者に対する運動物
体候補が抽出されるとともに、候補リストは追跡結果の
得られている各々の時点において作成され、この候補リ
ストがホストコンピュータ４内に記憶蓄積され、候補リ
スト時系列が作成される。また、処理すべき追跡結果の
時間範囲が現時点のみであれば、候補リストの時系列に
は現時点のもののみが含まれており、追跡処理が行なわ
れた後に候補リストが逐次作成されて結果解釈部４３に
送られていくことになる。さらに、処理すべき時間範囲
が複数時点を含んでいるものであれば、候補リストの時
系列を作成する処理（ステップ３０８）において複数時
点の候補リストが蓄積された後、時系列データとして結
果解釈部４３に送られる。この場合、表示装置６に対し
ても結果を転送する処理を行なう。

【００３０】そして、処理すべき時間範囲の処理が終了
すれば、処理はステップ３０２へと戻って、上述したと
同様の処理を繰り返す。（以降、「候補リスト列」を
「候補リストの時間連続の時系列データ」と同意語とし
て使用する。）

【００３１】ところで、追跡部３による追跡処理は常に
成功するとは限らず、極端な場合には追跡しているもの
が途中で入れ変わってしまうことがある。このようなこ
とが、ある時間範囲で起こると、この時間範囲の追跡結
果から得られた候補リストの時系列データは、１つの候
補に含まれる追跡装置３１の中で、あるものは途中で追
跡に失敗して候補から除外され、また新たに配置された
追跡装置３１が途中から候補に加わるという形で記録さ
れることになる。このような場合、候補抽出部４２から
出力される候補リストの時系列データは、そのままの形
では運動物体の移動経路を表していない。

【００３２】本実施例においては、候補リスト列を結果
解釈部４３に送り、ここで知識提供部４４から提供され
る知識を参照することにより、候補リスト列を運動物体
の移動経路を表すようなデータ列に変換する処理を行な
うようにしている。この場合、候補抽出部４２と並行し
て結果解釈部４３を作動し、これらと並行して知識提供
部４４を作動して、結果解釈部４３や、場合によっては
候補抽出部４２から知識の参照を要請された場合に即座
に知識を提供できるようになっている。次に、図４は、
結果解釈部４３で行なわれる結果解釈処理のフローチャ
ートを示している。

【００３３】この場合、候補抽出部４２において作成さ
れた候補リスト列を受け取り（ステップ４０２）、先頭
のものを現時点での候補リストとする（ステップ４０
３）。次に、現時点と次時点での候補リストの間で各候
補の対応づけを行なう（ステップ４０４）。現時点の候
補リストの中には、後述するような条件で処理を保留さ
れている前時点より前の候補が含まれていてもよい。こ
こでの対応づけ方法としては、例えば共通に含まれてい
る追跡装置３１の数が最も多いものと対応づける方法
が、最も簡略な方法として挙げられる。さらには、候補
内に含まれている追跡装置３１群が時間によってどのよ
うに変化しているか（追跡装置の連続性）、追跡装置３
１や候補の移動経路が滑らかであるかどうか（運動の連
続性）、候補内の追跡装置３１の相互の位置関係が時間
によりどのように変化しているか（構造の連続性）など
の情報を候補中から抽出し、より連続であると解釈され
るものが対応づけられるという方法を用いてもよい。

【００３４】これらの候補の対応づけに用いる知識は、
結果解釈部４３の中に記録しておかなくても知識提供部
４４に記録しておき逐次参照するようにしてもよい。こ
のようにすれば、追跡結果の解釈が進み、その間に得ら
れた侵入物体に関する知識を新たに知識提供部４４に登
録することも可能で、さらにこの新たな知識を必要であ
れば候補抽出部４２に提供することも可能になる。

【００３５】連続する２時点の候補の間で対応が取れた
ものについてはステップ４０５でＹＥＳと判断され、そ
の２つの候補が同じものであることをその候補リストの
中に記録する（ステップ４０６）。一方、２時点の候補
の間で対応の取れないものについてはステップ４０５で
ＮＯと判断され、、さらに知識提供部４４に記録されて
いる候補の種類などについての知識を参照して（ステッ
プ４０７）、最も当てはまるものとして記録する（ステ
ップ４０８）。例えば監視領域の境界付近や、あるいは
出入口として記録されている領域において候補の対応が
取れなくなった場合、その候補は監視領域の外に出てし
まったものとして記録することができる。また、上記以
外の場所で対応が取れなくなった候補については一時的
に見えなくなった（物影に入った、他の運動物体と交差
した）ものとして記録し一旦保留することにより、次時
点以降の候補と対応を取ることが可能となる。さらに知
識提供部４４に登録されているけれども解釈できないも
のについては、解釈不能として記録しておく。

【００３６】現在処理している時点での候補リスト全て
について処理が終了し、ステップ４０９でＹＥＳと判定
されると、現時点が候補リスト列の最後の時点でない場
合、次時点を現時点と見直し、ステップ４１０でＮＯと
判断されると、上述の処理を繰り返す。

【００３７】候補リスト列のすべての時点について対応
づけが終了しステップ４０９でＹＥＳと判断されると、
時間連続に対応づけられ同じ候補であると記録されてい
る複数の候補を、同じ１つの運動物体の候補として記録
しなおした後（ステップ４１１）、結果表示など次の処
理が存在する場合には、表示装置６に対し結果を転送す
る処理も行なう（ステップ４１２）。全てのデータにつ
いて行なうべき処理が終了すれば、ステップ４０２にも
どり、新たな候補リスト列を受け入れて上述の処理を繰
り返す。

【００３８】このような候補抽出部４２と結果解釈部４
３での処理によって得られる結果を摸式的に示すと図５
のように表すことができる。この図を用いて処理の流れ
をさらに説明する。

【００３９】この場合、図では、２人の侵入者が検出領
域に存在する場合の追跡処理の行なわれている合計４時
点での表示装置６の画面の様子（５１−ａ〜５４−ａ）
と、それぞれの時点での追跡装置３１間に想定されてい
る結合を摸式的に示している（５１−ｂ〜５４−ｂおよ
び５２−ｃ〜５４−ｃ）。

【００４０】まず、５１−ｂ〜５４−ｂにおける処理に
ついて説明を行なう。この場合、追跡処理を行なう追跡
装置３１は全部で３つあり、これら追跡装置３１のうち
の１つ（５１−ａ〜５４−ａ図中ｍ1 ）は、検出領域中
の遠方を通行している侵入者を追跡しており、残り２つ
の追跡装置３１（５１−ａ〜５４−ａ図中ｍ2 、ｍ3）
は、他方のＴＶカメラの近くを通行する侵入者を同時に
追跡している。

【００４１】そして、候補抽出部４２での候補抽出処理
は、上述したように評価関数に含まれている関数Ｆおよ
びＧが、それぞれ２つの追跡装置３１の位置および速度
（向きと大きさ）が近い時に大きな値を返すような結合
強度を算出する関数で、また、関数Ｆの係数であるＫp
(t)は、追跡の初期では１に近い値であるが、追跡処理
が進むと急激に小さくなり、０に近付くように変化し、
逆に関数Ｇの係数であるＫv(t)は、追跡の初期では０だ
が、処理が進むごとに大きくなって１に近付くように設
定している。

【００４２】このようにすると、追跡の初期で、各追跡
装置３１間の距離によって結合強度が決定されることに
なる。追跡の初期の状態を示す５１−ｂ中には、追跡装
置３１が配置された時点のそれぞれの追跡装置３１の位
置（追跡用領域を５１−ｂ中の矩形）と、追跡装置３１
間に想定された結合のうちの既定しきい値以上の強度を
持つもの（５１−ｂ中ｓ1 、以降、線分の太さが強度を
表しているものとする）が示されている。つまり、この
ような追跡の初期においては、追跡装置３１から運動情
報が得られていないので、各追跡装置３１間の距離のみ
によって結合強度が算出される。この例では、互いに距
離の近いｍ2 とｍ3 の間の結合のみが既定のしきい値を
越える大きな強度であると算出され、ｓ1 のみが結合さ
れている。

【００４３】したがって、この時点での候補抽出処理結
果としては、追跡装置ｍ1 のみを含むものと結合ｓ1 で
結ばれたｍ2 とｍ3 を含むものの、合計２つの運動物体
の候補が出力される。これらの各候補は侵入者に対応し
ており、正しい運動物体の候補が抽出されている。

【００４４】次に、時点（５２−ｂ）に示すように追跡
装置３１での追跡処理が進むと、追跡装置ｍ1 と他のｍ
2 、ｍ3 との距離は短くなっている。ここで、評価関数
の係数が追跡初期の状態のものと同じであるならば、こ
れらの追跡装置３１間の結合強度も、しきい値以上の大
きなものと算出され、各々が結合されるはずである。と
ころが、これと同時に評価関数の係数Ｋp は小さな値
に、Ｋv は大きな値に変化しているので、結合強度の算
出には追跡装置３１間の距離よりも運動の向きや大きさ
が近いか否かが大きく効いてくる。したがって、この例
（５２−ｂ）では、前時点と同じｓ1 のみが、しきい値
以上の大きな値を持つ結合と判定され、前時点と同様に
侵入者に対応した正しい運動物体の候補が抽出される。

【００４５】これ以降の時点（５３−ｂ、５４−ｂ）に
おいても同様であり、各追跡装置３１間の距離がさらに
小さくなっても、正しい運動物体の候補が抽出されてい
る。この場合、Ｋv がさらに大きな値になっていくの
で、追跡装置３１が同じ運動を継続している場合には、
すでに結ばれている結合の強度が、追跡処理が進むに伴
って大きな値となっていく。

【００４６】次に、結果解釈部４３では、候補抽出処理
より得られた結果を時系列のリストとして受け取り、同
じ追跡装置３１からなる時間連続の候補を対応づけ、さ
らに対応づけられた候補を同じ運動物体を示していると
して解釈し直し、最終的には検出領域内での運動物体の
移動経路を得るような処理を行なう。

【００４７】前述した例では、結果解釈部４３に知識が
記録されていなくても、あるいは知識提供部４４がなく
ても正しく運動物体を検出することが可能なものである
が、次に知識を用いて正しく運動物体を検出できる例を
図５の５２−ｃ〜５４−ｃを用いて説明する。

【００４８】この例では、前述した５２−ａの時点から
追跡処理が開始された場合で、例えば、遠方の侵入者が
検出された箇所に出入口が存在し、検出の時点におい
て、２人の侵入者の距離が近いといったような場合であ
る。この場合、追跡装置３１が配置された時点の５２−
ａにおいては、ｍ1 とｍ2 、ｍ2 とｍ3 の間のそれぞれ
の追跡装置３１間の距離が略等しいことから、各々の追
跡装置３１の連結強度もしきい値を越えるほぼ同じ値に
算出される（５２−ｃ図中ｓ2 、ｓ3 ）。この時、３つ
の追跡装置３１が連結されているので、候補抽出処理の
結果、３つ全ての追跡装置３１を含む集合が運動物体の
候補として１つだけ出力され、運動物体の候補抽出は誤
ってしまったと言える。

【００４９】次に示されている時点（５３−ｃ）では、
追跡処理が進んで追跡装置３１の位置は変化しているも
のの、前述の時点で結合されていた各々の追跡装置３１
間の距離はあまり変化していない。さらにこの時、Ｆの
係数Ｋp は小さく、逆にＧの係数Ｋv は大きくなってお
り、各追跡装置３１間の距離ががあまり変化していなく
ても結合強度は、同じような運動をしている追跡装置３
１間の結合が強くなるように変化している（５３−ｃ図
中ｓ2 、ｓ3：ｓ2 の強度は小さく、ｓ3 の強度は大き
く変化している）。しかし、まだ３つ全ての追跡装置３
１が結合されているため、抽出される候補は１つだけで
あり、誤ったままである。さらに追跡処理の進んだ次の
時点（５４−ｃ）では、さらにＫv が大きくなり、速度
の近い追跡装置３１のみが結合されるため（５３−ｃ図
中ｓ3 ）、運動物体の候補としては、ｍ1 のみを含むも
のと、ｍ2 とｍ3 を含むものの２つが出力され、運動物
体に対応した正しい候補が出力される。

【００５０】以上の候補抽出処理による候補リストは、
始めは１つしか候補が存在しないが、途中でこれが***
し最後には２つの候補が挙げられる、という形になって
おり、このままでは正しく運動物体が検出されていな
い。しかし、結果解釈部４３内に「強度が一定に小さく
なり、しきい値を下回るような結合は、誤った結合であ
る」といった結合に関する条件が知識として記録されて
いるならば、この知識から結合ｓ2 は誤った結合である
と解釈することができ、候補を各々の運動物体に対応し
た正しいものに分割し直すことが可能となる。なお、こ
のような知識を知識提供部４４に記録しておき、結果解
釈部４３からの参照要請にあった知識のみを提供するよ
うにしてもよい。なお、本発明は上記実施例にのみ限定
されず、要旨を変更しない範囲で適宜変形して実施でき
る。

【００５１】上述した実施例では、変化検出の部分は専
用回路、追跡の部分はマルチプロセッサシステム、追跡
装置制御・候補抽出・結果解釈・知識提供の各々の部分
はホストコンピュータで実現している。これは高速処理
が可能で、対象物体が速く動く場合にも対応できる。た
だし、応用によっては全部を、あるいは一部をＤＳＰ
（Digital Signal Processor）、マイクロプロセッサや
他のディジタル計算機で行なうようにしてもよい。

【００５２】例えば、変化検出部２について上記の実施
例では、予め作っておいた参照画像との差分により変化
領域を抽出しているが、これは連続する２ないしそれ以
上の数の画像間の微分（差分）演算で行なってもよい。
この場合には環境変動による誤った変化領域抽出のおそ
れが小さくなる。ただしこの場合は、物体の輪郭部分が
変化領域として検出されるので、検出された変化領域を
適当に分割して、追跡手段の配置箇所を設定する必要が
ある。参照画像を用いる場合にも、環境変動による変化
を誤って検出することを防止するため、参照画像を適当
な時間ごとに作り直すようにしてもよい。また、上記実
施例では差分画像を２値化するしきい値を変化させずに
固定の値にしているが、このしきい値を画像各部の濃度
に応じて可変にするようにすれば、より確実な変化が検
出できる。

【００５３】また、候補抽出部４２で行なわれる候補抽
出処理についても、かかる候補抽出処理で用いられてい
る評価関数には、各々の追跡装置の画像内での位置や速
度などの追跡装置の移動経路に関するの情報しか用いら
れていないが、追跡装置の追跡用領域から得られる色や
形などの特徴量などが加味されてもよい。例えば、赤い
服を着ている侵入者の胴体部分を複数の追跡装置が同時
に追跡している場合を考えると、この時、各々の追跡装
置の追跡用領域から色情報を抽出した後に、これが同じ
であるかどうかを判断する処理を付け加えれば、追跡装
置をまとめて候補を抽出するのが容易になる。

【００５４】候補抽出処理における追跡装置間の結合強
度を算出するのに用いている評価関数を、追跡装置の位
置、速度、追跡している変化領域の色や形などの属性
値、予め記録されている侵入者の形や運動形態などに関
する知識を用いて運動物体の候補を抽出する処理に置き
換えてもよい。このような処理の一例として、２つの追
跡装置の間で上に挙げた各々の情報ごとに近い（似てい
る、同じ運動物体を追跡している）か否かを数値に置き
換える処理モジュールを用意しておき、これらの処理モ
ジュールの出力結果を単純に加算するか、あるいは各情
報ごとに優先順位を設けておき、その優先度に応じた重
みを付けて加重加算した値を結合の強度とする方法が挙
げられる。例えば、侵入者の形態に関する情報を用いる
ことによっては、運動物体の候補が真に侵入者である確
率が高くなる。さらに、結合強度という数値として表さ
れ得るものを用いなくても、上記の各処理モジュールに
おいて各々の追跡装置が同じ候補に含まれ得るか否かを
判断し、その結果を優先度順に合わせて解釈するような
ルールベースの処理形態を用いてもよい。さらに、上述
の知識は候補抽出部内に記録されているのではなく、知
識提供部４４に予め記録されていて、候補抽出処理から
の要請に応じて提供されるようになっていても、勿論よ
い。

【００５５】また、候補抽出部４２で作成される候補リ
ストの各々は、追跡装置の集合のみで成っているのでは
なく、候補全体の位置情報や追跡装置の配置されている
領域から得られる色や形の情報などの属性値を含んでい
てもよい。候補抽出処理の中に特徴抽出処理を新たに付
け加え、この処理に候補が抽出されると同時に候補が存
在する画像中の領域から上記の情報を抽出させ、候補に
付け加えて候補リストを作成するようにすればよい。候
補内に付加的な属性値が存在すれば、結果解釈部４３で
行なわれる候補間の対応づけ処理に属性値が近いか否か
を判断する処理を付加すれば、対応づけ処理が容易で、
その結果の信頼性は高いものになる。また上記の特徴抽
出処理は、候補抽出処理に含まれていなくても、別の処
理として並行して動作させ、候補抽出処理からの要請に
応じて逐次処理が開始されるようにしてもよい。

【００５６】上述の実施例において、候補抽出部４２、
結果解釈部４３および知識提供部４４は、同じホストコ
ンピュータ４において同時に動作しているが、これらの
内の１つ、あるいは全てが予め用意されている別々のホ
ストコンピュータにおいて同時に動作していてもよい。
この場合には複数のコンピュータによって処理が分割さ
れるため、各々の処理を速く実行することができ、より
短い時間間隔での追跡・結果解釈処理が行なえるため、
侵入物体に関する情報をより密に抽出することができる
他、分割処理をした場合に比べてより速く移動する侵入
物体も検出することが可能となる。

【００５７】

【発明の効果】本発明によれば、所定値以上の強度を持
つ仮想的な結合で結ばれた追跡要素の集合を運動物体の
候補として抽出するとともに、これら抽出結果から運動
物体の移動経路を解釈するようにしたので、検出領域内
に人間などの複雑な運動をする侵入物体が不特定多数存
在しても、これらの追跡と同時に結果の解釈を行なうこ
とで複数の侵入者の運動を検出することができる。つま
り、監視領域内の侵入者が複数存在し、互いが交差する
などの複雑な運動をし、追跡終了後に追跡結果を解釈す
るのが非常に困難であるような場合でも、各々の侵入者
の移動経路の検出を可能にすることができるなど、実用
上多大なる効果が奏せられる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示す図。

【図２】図１に示す実施例に用いられる表示装置での表
示例を説明するための図。

【図３】図１に示す実施例の動作を説明するためのフロ
ーチャート。

【図４】図１に示す実施例の動作を説明するためのフロ
ーチャート。

【図５】図１に示す実施例の動作を模式的に説明するた
めの図。

【符号の説明】

１…ＴＶカメラ、２…変化検出部、２１…参照画像メモ
リ、２２…差分回路、２３…２値化回路、２４…ラベリ
ング回路、３…追跡部、３１…追跡装置、３２…制御バ
ス、３３…画像バス、４…ホストコンピュータ、４１…
追跡装置制御部、４２…候補抽出部、４３…結果解釈
部、４４…知識提供部、５、６…表示装置、７…Ａ／Ｄ
変換器、８…ディスプレイコントローラ。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 撮像画像から変化領域を検出する変化検
   出手段と、 この変化検出手段により検出された変化領域を追跡する
   少なくとも２個の追跡要素を有する追跡手段と、 前記変化領域を追跡する各追跡要素間の仮想的な結合強
   度を求めるとともに該結合強度が所定値以上の追跡要素
   の集合を運動物体の候補として分割し抽出する候補抽出
   手段と、 この候補抽出手段による抽出結果を解釈し前記運動物体
   候補の移動経路を生成する結果解釈手段とを具備したこ
   とを特徴とする運動物体検出装置。
2. 【請求項２】 候補抽出手段は各追跡要素間の仮想的な
   結合強度を各追跡要素の移動経路が似ている場合に大き
   な値を取る評価関数を用いて算出することを特徴とする
   請求項１記載の運動物体検出装置。
3. 【請求項３】 候補抽出手段は追跡手段で変化領域の追
   跡が行なわれる全ての時点において結合強度が所定値以
   上の追跡要素の集合を運動物体候補として抽出する処理
   を行うことを特徴とする請求項１記載の運動物体検出装
   置。
4. 【請求項４】 候補抽出手段により追跡要素の集合を運
   動物体候補とする各時点での候補リストを作成し、結果
   解釈手段により前記候補リスト列を運動物体の移動経路
   を表すデータ列に変換処理することを特徴とする請求項
   １記載の運動物体検出装置。
5. 【請求項５】 候補抽出手段および結果解釈手段から要
   請される知識を提供することのできる知識提供手段を合
   わせて具備することを特徴する請求項１記載の運動物体
   検出装置。
6. 【請求項６】 結果解釈手段は候補抽出手段の連続する
   複数時点の候補抽出結果から同一と判定できる運動物体
   の候補を対応づける処理を行なうことを特徴とする請求
   項１記載の運動物体検出装置。