JPH0546771A - 運動物体検出装置 - Google Patents
運動物体検出装置Info
- Publication number
- JPH0546771A JPH0546771A JP3206004A JP20600491A JPH0546771A JP H0546771 A JPH0546771 A JP H0546771A JP 3206004 A JP3206004 A JP 3206004A JP 20600491 A JP20600491 A JP 20600491A JP H0546771 A JPH0546771 A JP H0546771A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- candidate
- moving object
- change
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】本発明は、検出領域内に人間などの複雑な運動
をする侵入物体が多数存在しても、これらの追跡と同時
に結果の解釈を行なうことでこれら複数の侵入物体の運
動を検出可能にしたものである。 【構成】TVカメラ1により撮像された画像から変化検
出部2により変化領域を検出し、この検出された変化領
域を追跡部3の少なくとも2個の追跡装置31により追
跡し、候補抽出部42により各変化領域を追跡する追跡
装置31の間の仮想的な結合強度を求め、この結合強度
が所定値以上の追跡要素の集合を運動物体の候補として
分離抽出し、これら抽出結果を結果解釈部43で解釈し
運動物体候補の移動経路を生成するようになっている。
をする侵入物体が多数存在しても、これらの追跡と同時
に結果の解釈を行なうことでこれら複数の侵入物体の運
動を検出可能にしたものである。 【構成】TVカメラ1により撮像された画像から変化検
出部2により変化領域を検出し、この検出された変化領
域を追跡部3の少なくとも2個の追跡装置31により追
跡し、候補抽出部42により各変化領域を追跡する追跡
装置31の間の仮想的な結合強度を求め、この結合強度
が所定値以上の追跡要素の集合を運動物体の候補として
分離抽出し、これら抽出結果を結果解釈部43で解釈し
運動物体候補の移動経路を生成するようになっている。
Description
【0001】
【産業上の利用分野】本発明は、監視領域内の侵入者等
の運動物体を検出する運動物体検出装置に関するもので
ある。
の運動物体を検出する運動物体検出装置に関するもので
ある。
【0002】
【従来の技術】最近、ビルやオフィスの防犯などに対す
る安全対策として、種々の方策が考えられているが、例
えばTVカメラなどの撮像装置を使って監視領域への侵
入者や侵入物体等の移動物体を自動的に検出するように
した運動物体検出装置が実用化されている。
る安全対策として、種々の方策が考えられているが、例
えばTVカメラなどの撮像装置を使って監視領域への侵
入者や侵入物体等の移動物体を自動的に検出するように
した運動物体検出装置が実用化されている。
【0003】しかして、従来、この種の運動物体検出装
置では、連続して撮像された複数の画像間の差分、ある
いは侵入者等のない背景画像と現時点の画像との差分を
求めることにより運動物体を検出する方法が多く用いら
れている。
置では、連続して撮像された複数の画像間の差分、ある
いは侵入者等のない背景画像と現時点の画像との差分を
求めることにより運動物体を検出する方法が多く用いら
れている。
【0004】しかし、この方法では、侵入物体以外の雑
音、例えば撮像範囲内の照明強度の変動や、水面などの
光の反射、木のそよぎなど一定の領域で明るさが変化す
るもの、あるいは撮像装置自体の撮像時の雑音による影
響等を侵入者等と同時に検出してしまうことから侵入者
等と雑音を明確に分離すること、言い替えれば1人の侵
入者を画像中の1つの領域として検出することが非常に
難しかった。
音、例えば撮像範囲内の照明強度の変動や、水面などの
光の反射、木のそよぎなど一定の領域で明るさが変化す
るもの、あるいは撮像装置自体の撮像時の雑音による影
響等を侵入者等と同時に検出してしまうことから侵入者
等と雑音を明確に分離すること、言い替えれば1人の侵
入者を画像中の1つの領域として検出することが非常に
難しかった。
【0005】そこで、従来、このような問題点を解決す
る方法としてブロック統合処理方式(特開平2- 59977号
公報、特開平2- 59978号公報)が提案されている。この
方法は、連続する2時点で検出された変化領域の間で領
域の属性値を用いることにより対応する変化領域を求
め、さらにその推定された移動経路から検出された複数
の変化領域を統合して運動物体を抽出しようとするもの
である。
る方法としてブロック統合処理方式(特開平2- 59977号
公報、特開平2- 59978号公報)が提案されている。この
方法は、連続する2時点で検出された変化領域の間で領
域の属性値を用いることにより対応する変化領域を求
め、さらにその推定された移動経路から検出された複数
の変化領域を統合して運動物体を抽出しようとするもの
である。
【0006】しかし、この方法によっても検出された変
化領域には、前述の雑音が多数含まれている他、1つの
運動物体が予測不能の不特定複数の領域に分割されて検
出されるため、依然として根本的な解決に至っていな
い。
化領域には、前述の雑音が多数含まれている他、1つの
運動物体が予測不能の不特定複数の領域に分割されて検
出されるため、依然として根本的な解決に至っていな
い。
【0007】これを解決する方法として、運動物体を追
跡できるような追跡手段を用いることがある。この方法
によれば運動物体を追跡することになるので、領域間で
対応づけをする必要がなくなる。ところが、この手段に
用いられる追跡手段は人間の運動解析などに多く用いら
れ、その方法としては、被測定物(人間の手足など)に
取り付けられるマーカー(目標物)など、予め追跡すべ
き箇所を決定する必要があるため、監視領域中の不特定
多数の侵入者を逐次発見し、これを追跡することは不可
能である。
跡できるような追跡手段を用いることがある。この方法
によれば運動物体を追跡することになるので、領域間で
対応づけをする必要がなくなる。ところが、この手段に
用いられる追跡手段は人間の運動解析などに多く用いら
れ、その方法としては、被測定物(人間の手足など)に
取り付けられるマーカー(目標物)など、予め追跡すべ
き箇所を決定する必要があるため、監視領域中の不特定
多数の侵入者を逐次発見し、これを追跡することは不可
能である。
【0008】一方、監視領域内の不特定の対象を追跡す
る方法として、侵入者などの運動物体の移動により変化
する変化領域を検出する変化検出手段を設けるととも
に、この変化検出手段で検出される変化領域に対して追
跡手段を設け、変化領域にあると思われる運動物体を追
跡するようなものも考えられている。
る方法として、侵入者などの運動物体の移動により変化
する変化領域を検出する変化検出手段を設けるととも
に、この変化検出手段で検出される変化領域に対して追
跡手段を設け、変化領域にあると思われる運動物体を追
跡するようなものも考えられている。
【0009】そして、この時の追跡手段の追跡方法とし
ては、追跡用領域内の明るさ(画素輝度)の変化を追跡
するもの、追跡用領域内の特定形状を追跡するもの、追
跡領域とその周囲の領域との間で相互相関値を算出して
移動方向を決定するものなどがある。また、ある追跡手
段では運動物体の一部分のみしか追跡できないことか
ら、追跡が終了した後に、その結果を解析して追跡手段
を各運動物体ごとの集合に分割する(追跡手段の移動方
向と相互の位置関係から追跡手段を集合にまとめる)方
法も考えられ、さらに監視領域内の不特定多数の運動物
体を同時に検出するものとして、複数の追跡手段を使用
する方法もある。
ては、追跡用領域内の明るさ(画素輝度)の変化を追跡
するもの、追跡用領域内の特定形状を追跡するもの、追
跡領域とその周囲の領域との間で相互相関値を算出して
移動方向を決定するものなどがある。また、ある追跡手
段では運動物体の一部分のみしか追跡できないことか
ら、追跡が終了した後に、その結果を解析して追跡手段
を各運動物体ごとの集合に分割する(追跡手段の移動方
向と相互の位置関係から追跡手段を集合にまとめる)方
法も考えられ、さらに監視領域内の不特定多数の運動物
体を同時に検出するものとして、複数の追跡手段を使用
する方法もある。
【0010】これらの方法によれば、追跡手段群のうち
一部の追跡が雑音や物体による遮蔽等の外因によって追
跡が失敗した場合でも対応は可能である。しかし、運動
物体が複雑に交差して移動するような場合、追跡終了後
に結果を解釈するのではその解釈が非常に困難なものと
なり、また、人間の手足などのように同じ運動物体のも
のであっても別々の方向に移動しているものをそれぞれ
の追跡手段で追跡しようとすると、これらの追跡手段を
同じ集合にまとめることができず運動物体を検出するの
が不可能になる欠点があった。
一部の追跡が雑音や物体による遮蔽等の外因によって追
跡が失敗した場合でも対応は可能である。しかし、運動
物体が複雑に交差して移動するような場合、追跡終了後
に結果を解釈するのではその解釈が非常に困難なものと
なり、また、人間の手足などのように同じ運動物体のも
のであっても別々の方向に移動しているものをそれぞれ
の追跡手段で追跡しようとすると、これらの追跡手段を
同じ集合にまとめることができず運動物体を検出するの
が不可能になる欠点があった。
【0011】
【発明が解決しようとする課題】このように従来の運動
物体検出装置にあっては、複数の追跡手段を用いて侵入
者などの運動物体を追跡し検出する場合に、人間のよう
に複雑な運動をする物体が検出領域内に複数が同時に存
在すると、各々の侵入者を同時に検出することが不可能
になる問題点があった。
物体検出装置にあっては、複数の追跡手段を用いて侵入
者などの運動物体を追跡し検出する場合に、人間のよう
に複雑な運動をする物体が検出領域内に複数が同時に存
在すると、各々の侵入者を同時に検出することが不可能
になる問題点があった。
【0012】本発明は上記事情に鑑みてなされたもの
で、検出領域内に人間などの複雑な運動をする侵入物体
が不特定多数存在しても、これらの追跡と同時に結果の
解釈を行なうことで複数の侵入者の運動を検出すること
ができる運動物体検出装置を提供することを目的とす
る。
で、検出領域内に人間などの複雑な運動をする侵入物体
が不特定多数存在しても、これらの追跡と同時に結果の
解釈を行なうことで複数の侵入者の運動を検出すること
ができる運動物体検出装置を提供することを目的とす
る。
【0013】
【課題を解決するための手段】本発明は、撮像画像から
変化領域を検出する変化検出手段、変化検出手段により
検出された変化領域を追跡する少なくとも2個の追跡要
素を有する追跡手段、変化領域を追跡する各追跡要素間
の仮想的な結合強度を求めるとともに該結合強度が所定
値以上の追跡要素の集合を運動物体の候補として分割し
抽出する候補抽出手段、候補抽出手段による抽出結果を
解釈し前記運動物体候補の移動経路を生成する結果解釈
手段により構成している。
変化領域を検出する変化検出手段、変化検出手段により
検出された変化領域を追跡する少なくとも2個の追跡要
素を有する追跡手段、変化領域を追跡する各追跡要素間
の仮想的な結合強度を求めるとともに該結合強度が所定
値以上の追跡要素の集合を運動物体の候補として分割し
抽出する候補抽出手段、候補抽出手段による抽出結果を
解釈し前記運動物体候補の移動経路を生成する結果解釈
手段により構成している。
【0014】
【作用】この結果、本発明によれば、所定値以上の強度
を持つ仮想的な結合で結ばれた追跡要素の集合を運動物
体の候補として抽出するとともに、これら抽出結果から
運動物体の移動経路を解釈するようにできるので、監視
領域内の侵入者が複数存在し、かつ交差するなどの複雑
な運動に対しても、あるいは人間等の同一の運動物体で
も各々別々の動きをするような場合においても運動物体
の移動経路を追跡と同時に検出できるようになる。
を持つ仮想的な結合で結ばれた追跡要素の集合を運動物
体の候補として抽出するとともに、これら抽出結果から
運動物体の移動経路を解釈するようにできるので、監視
領域内の侵入者が複数存在し、かつ交差するなどの複雑
な運動に対しても、あるいは人間等の同一の運動物体で
も各々別々の動きをするような場合においても運動物体
の移動経路を追跡と同時に検出できるようになる。
【0015】
【実施例】以下、本発明の一実施例の運動物体検出装置
を図面に従い説明する。
を図面に従い説明する。
【0016】図1は同実施例の概略構成を示している。
この場合、運動物体検出装置は、画像を撮影するTVカ
メラ1、撮像画像の変化領域を検出する変化検出部2、
変化領域の追跡を行なう追跡部3、この追跡部3の制御
および追跡結果の解釈などを行うホストコンピュータ
4、TVカメラ1の画像と追跡部4での追跡領域を視覚
化するCRTからなる表示装置5、追跡結果を解釈する
ホストコンピュータ4の解釈結果を視覚化するCRTか
らなる表示装置6により構成している。そして、TVカ
メラ1で撮像された画像は、A/D変換器7に送られデ
ィジタル化され、変化検出部2および追跡部3に送られ
る。
この場合、運動物体検出装置は、画像を撮影するTVカ
メラ1、撮像画像の変化領域を検出する変化検出部2、
変化領域の追跡を行なう追跡部3、この追跡部3の制御
および追跡結果の解釈などを行うホストコンピュータ
4、TVカメラ1の画像と追跡部4での追跡領域を視覚
化するCRTからなる表示装置5、追跡結果を解釈する
ホストコンピュータ4の解釈結果を視覚化するCRTか
らなる表示装置6により構成している。そして、TVカ
メラ1で撮像された画像は、A/D変換器7に送られデ
ィジタル化され、変化検出部2および追跡部3に送られ
る。
【0017】変化検出部2は、参照画像メモリ21、差
分回路22、2値化回路23、ラベリング回路24によ
り構成している。ここで、参照画像メモリ21は、侵入
物体のない時点での背景画像をTVカメラ1で撮像して
蓄えておくものである。差分回路22は、TVカメラ1
より入力された現時点の画像と参照画像メモリ21に蓄
えられた画像との差分を求めるようにしている。2値化
回路23は、差分回路22の差分結果を適当なしきい値
に基づいて変化部分か否か2値化して参照画像に対して
大きく変化している部分を抽出するようにしている。ラ
ベリング回路24は、2値化の結果である差分画像中で
の変化領域として連結した成分ごとに異なるラベルを与
えるようにしている。また、各連結成分ごとに面積、重
心位置、外接長方形座標値も求めるようにしている。
(なお、これ以後、「連結成分」を「変化領域」と同意
語として使用する。)
分回路22、2値化回路23、ラベリング回路24によ
り構成している。ここで、参照画像メモリ21は、侵入
物体のない時点での背景画像をTVカメラ1で撮像して
蓄えておくものである。差分回路22は、TVカメラ1
より入力された現時点の画像と参照画像メモリ21に蓄
えられた画像との差分を求めるようにしている。2値化
回路23は、差分回路22の差分結果を適当なしきい値
に基づいて変化部分か否か2値化して参照画像に対して
大きく変化している部分を抽出するようにしている。ラ
ベリング回路24は、2値化の結果である差分画像中で
の変化領域として連結した成分ごとに異なるラベルを与
えるようにしている。また、各連結成分ごとに面積、重
心位置、外接長方形座標値も求めるようにしている。
(なお、これ以後、「連結成分」を「変化領域」と同意
語として使用する。)
【0018】追跡部3は、ラベリング回路24で既定面
積以上の連結成分が検出された場合に、ホストコンピュ
ータ4の追跡装置制御部41より、その連結成分の追跡
を行なう指令が与えられるようになっている。本実施例
では、追跡部3はマルチプロセッサよりなり、このマル
チプロセッサの個々のプロセッサ部分をそれぞれ追跡装
置31に構成し、1つの追跡装置31が1つの連結成分
を追跡するようにしている。なお、追跡装置31の数が
少ない時は、1つの追跡装置31で複数の連結成分を追
跡するようにすることもできる。
積以上の連結成分が検出された場合に、ホストコンピュ
ータ4の追跡装置制御部41より、その連結成分の追跡
を行なう指令が与えられるようになっている。本実施例
では、追跡部3はマルチプロセッサよりなり、このマル
チプロセッサの個々のプロセッサ部分をそれぞれ追跡装
置31に構成し、1つの追跡装置31が1つの連結成分
を追跡するようにしている。なお、追跡装置31の数が
少ない時は、1つの追跡装置31で複数の連結成分を追
跡するようにすることもできる。
【0019】各追跡装置31は、ホストコンピュータ4
と制御バス32で結ばれ、これを通じてホストコンピュ
ータ4からの命令を受けるとともに、追跡の結果をホス
トコンピュータ4に転送するようにしている。また、追
跡装置31は、画像バス33を通じてA/D変換器7か
ら動画像の任意の部分を入力するようにしている。そし
て、追跡装置31自身は、追跡装置制御部41から指定
された追跡すべき連結成分の外接長方形を中心に含む適
当な大きさの矩形領域を追跡用領域として設定するとと
もに、その追跡用領域内の変化部分を追跡し、侵入者な
どの運動物体の少なくとも一部分を追跡するようにして
いる。
と制御バス32で結ばれ、これを通じてホストコンピュ
ータ4からの命令を受けるとともに、追跡の結果をホス
トコンピュータ4に転送するようにしている。また、追
跡装置31は、画像バス33を通じてA/D変換器7か
ら動画像の任意の部分を入力するようにしている。そし
て、追跡装置31自身は、追跡装置制御部41から指定
された追跡すべき連結成分の外接長方形を中心に含む適
当な大きさの矩形領域を追跡用領域として設定するとと
もに、その追跡用領域内の変化部分を追跡し、侵入者な
どの運動物体の少なくとも一部分を追跡するようにして
いる。
【0020】ここで、追跡装置31の追跡方法として
は、例えば、追跡用領域内の画素輝度の時間変化を用い
て変化領域を追跡する方法が用いられる。この場合、追
跡用領域内の画素輝度に変化が検出されない時や運動物
体の移動量が0である時などは、追跡に失敗したものと
判断して追跡を中止するようになっている。一方、追跡
装置31を制御する追跡装置制御部41は、各追跡装置
31の状態を記録するためのテーブルメモリ(図示せ
ず)が用意されていて、追跡装置31が現在どのような
状態にあるか(追跡中、停止中など)を記録するように
している。例えば、追跡装置31が途中で追跡を中止し
た場合などは、その追跡装置31の状態を示す箇所の記
述が追跡中から停止中へと変化するようになる。
は、例えば、追跡用領域内の画素輝度の時間変化を用い
て変化領域を追跡する方法が用いられる。この場合、追
跡用領域内の画素輝度に変化が検出されない時や運動物
体の移動量が0である時などは、追跡に失敗したものと
判断して追跡を中止するようになっている。一方、追跡
装置31を制御する追跡装置制御部41は、各追跡装置
31の状態を記録するためのテーブルメモリ(図示せ
ず)が用意されていて、追跡装置31が現在どのような
状態にあるか(追跡中、停止中など)を記録するように
している。例えば、追跡装置31が途中で追跡を中止し
た場合などは、その追跡装置31の状態を示す箇所の記
述が追跡中から停止中へと変化するようになる。
【0021】ホストコンピュータ4は、追跡装置制御部
41の他に、候補抽出部42、結果解析部43、知識提
供部44を有している。そして、追跡装置制御部41
は、各追跡装置31の制御を行うもので、この場合、変
化検出部2を常に作動させておき、変化領域が検出され
たらその位置に追跡装置31のうち追跡を行なっていな
いものを割り当て追跡を開始させるようにしている。た
だし、侵入物体が検出領域内に存在すると、その侵入物
体に起因する変化領域が変化検出部2において検出され
るので、すでに別の追跡装置31が追跡している部分を
新たに別の追跡装置31で追跡させないようにする必要
がある。このため変化検出部2から変化領域の重心・外
接長方形の位置を受け取った後、現在追跡処理を行なっ
ている追跡装置31の結果を調べ、変化領域の位置に近
い追跡部分がある場合にはその変化領域に対し追跡処理
を起動しないようにしている。この場合、追跡処理を行
なっている追跡装置31は、自らの移動経路の時系列デ
ータ(追跡結果)を逐次あるいは既定量蓄積された後に
追跡装置制御部41へ送るようになる。また、追跡装置
制御部41では、全ての追跡装置31の結果をまとめ
て、これを逐次あるいは既定量が蓄積された後に、運動
物体の候補を抽出する処理を行なっている候補抽出部4
2に転送するようにしている。(以降、「候補」を「運
動物体の候補」と同意語として使用する。)
41の他に、候補抽出部42、結果解析部43、知識提
供部44を有している。そして、追跡装置制御部41
は、各追跡装置31の制御を行うもので、この場合、変
化検出部2を常に作動させておき、変化領域が検出され
たらその位置に追跡装置31のうち追跡を行なっていな
いものを割り当て追跡を開始させるようにしている。た
だし、侵入物体が検出領域内に存在すると、その侵入物
体に起因する変化領域が変化検出部2において検出され
るので、すでに別の追跡装置31が追跡している部分を
新たに別の追跡装置31で追跡させないようにする必要
がある。このため変化検出部2から変化領域の重心・外
接長方形の位置を受け取った後、現在追跡処理を行なっ
ている追跡装置31の結果を調べ、変化領域の位置に近
い追跡部分がある場合にはその変化領域に対し追跡処理
を起動しないようにしている。この場合、追跡処理を行
なっている追跡装置31は、自らの移動経路の時系列デ
ータ(追跡結果)を逐次あるいは既定量蓄積された後に
追跡装置制御部41へ送るようになる。また、追跡装置
制御部41では、全ての追跡装置31の結果をまとめ
て、これを逐次あるいは既定量が蓄積された後に、運動
物体の候補を抽出する処理を行なっている候補抽出部4
2に転送するようにしている。(以降、「候補」を「運
動物体の候補」と同意語として使用する。)
【0022】表示装置5は、追跡部3の動作を可視化す
るようにしている。ここでの表示装置5は、各追跡装置
31において設定された追跡用領域をディスプレイコン
トローラ8により例えば枠として出力し、この枠とTV
カメラ1から入力された画像とを同時に表示するように
している。
るようにしている。ここでの表示装置5は、各追跡装置
31において設定された追跡用領域をディスプレイコン
トローラ8により例えば枠として出力し、この枠とTV
カメラ1から入力された画像とを同時に表示するように
している。
【0023】図2は、表示装置5の画面での表示例を示
すものである。この図では、異なる2時点での画面を同
一画面上に表している。そして、図中の人物形状の2つ
の破線は、2時点での同一の侵入者の位置を表してお
り、右側の破線は、左側のものから追跡処理が数時点行
なわれた後を表している。また、同図では、同一の侵入
者を追跡している追跡装置(31−1、31−2、31
−3)のうち、途中で追跡処理が失敗して追跡を中止し
たもの(31−3)や、その後変化領域が検出されるこ
とにより新たに配置され追跡を開始したもの(31−
4)や、また他の物体に由来した変化領域に配置された
もの(31−5)がある。
すものである。この図では、異なる2時点での画面を同
一画面上に表している。そして、図中の人物形状の2つ
の破線は、2時点での同一の侵入者の位置を表してお
り、右側の破線は、左側のものから追跡処理が数時点行
なわれた後を表している。また、同図では、同一の侵入
者を追跡している追跡装置(31−1、31−2、31
−3)のうち、途中で追跡処理が失敗して追跡を中止し
たもの(31−3)や、その後変化領域が検出されるこ
とにより新たに配置され追跡を開始したもの(31−
4)や、また他の物体に由来した変化領域に配置された
もの(31−5)がある。
【0024】ところで、これまで考えられているものに
おいても、追跡結果判定処理として1つの運動物体を追
跡している追跡装置を集合として分離する方法が挙げら
れており、これは追跡装置が同じ向きに運動しているも
のを1つの集合と見倣すというものである。この方法で
も、他の物体に由来した変化領域に配置された追跡装置
(31−5)など、ある程度一定の運動に由来しない変
化領域に配置されたものは、集合に含まれないようにす
ることは可能である。しかし、一般に人間などの非剛体
が運動する場合において、その物体の各部分は別々の運
動をすることがほとんどであり、同一人物を追跡してい
る追跡装置(31−1、31−2、31−3)が各時点
において別々の運動をしているような場合に、上記の方
法では対応できない。
おいても、追跡結果判定処理として1つの運動物体を追
跡している追跡装置を集合として分離する方法が挙げら
れており、これは追跡装置が同じ向きに運動しているも
のを1つの集合と見倣すというものである。この方法で
も、他の物体に由来した変化領域に配置された追跡装置
(31−5)など、ある程度一定の運動に由来しない変
化領域に配置されたものは、集合に含まれないようにす
ることは可能である。しかし、一般に人間などの非剛体
が運動する場合において、その物体の各部分は別々の運
動をすることがほとんどであり、同一人物を追跡してい
る追跡装置(31−1、31−2、31−3)が各時点
において別々の運動をしているような場合に、上記の方
法では対応できない。
【0025】それに対し、本実施例においては、追跡装
置の移動方向と相互の位置関係を同時に参照することに
より侵入者であると判定され得る運動物体の候補を追跡
処理の結果が送られると同時に抽出し、その後この候補
の移動経路において常時解釈を行ない、候補の正当性を
検証することによって複雑な運動をする対象物体に対し
ても安定に検出できるようにしている。次に、図3はホ
ストコンピュータ4による候補抽出処理のフローチャー
トを示すものである。
置の移動方向と相互の位置関係を同時に参照することに
より侵入者であると判定され得る運動物体の候補を追跡
処理の結果が送られると同時に抽出し、その後この候補
の移動経路において常時解釈を行ない、候補の正当性を
検証することによって複雑な運動をする対象物体に対し
ても安定に検出できるようにしている。次に、図3はホ
ストコンピュータ4による候補抽出処理のフローチャー
トを示すものである。
【0026】この場合、ホストコンピュータ4の候補抽
出部42では、追跡装置31より追跡情報が出力され
(ステップ301)、この結果を追跡装置制御部41か
ら受け取ると(ステップ302)、2つの追跡装置31
間に仮想的な結合を想定する(ステップ303)。この
場合、追跡処理を行なっていない追跡装置31は除く。
出部42では、追跡装置31より追跡情報が出力され
(ステップ301)、この結果を追跡装置制御部41か
ら受け取ると(ステップ302)、2つの追跡装置31
間に仮想的な結合を想定する(ステップ303)。この
場合、追跡処理を行なっていない追跡装置31は除く。
【0027】次に、結合の強度を算出する(ステップ3
04)。この結合の強度は追跡装置31の移動経路がよ
く似ている(運動の向き、速度の大きさが近い)場合に
大きくなるような値を取る評価関数を用いて算出され
る。この評価関数は候補抽出部42の中に予め用意され
ており、その例として次式のようなものが挙げられる。 s = Kp(t)・F( p1(t), p2(t)) + Kv(t)・G( v1(t), v2
(t))
04)。この結合の強度は追跡装置31の移動経路がよ
く似ている(運動の向き、速度の大きさが近い)場合に
大きくなるような値を取る評価関数を用いて算出され
る。この評価関数は候補抽出部42の中に予め用意され
ており、その例として次式のようなものが挙げられる。 s = Kp(t)・F( p1(t), p2(t)) + Kv(t)・G( v1(t), v2
(t))
【0028】この式において、sは結合強度、t は時
間、p1(t)、p2(t)、v1(t)、v2(t)はそれぞれ時間t
における追跡装置31−1の位置、追跡装置31−2の
位置、追跡装置31−1の速度、追跡装置31−2の速
度を表す。また、FおよびGはそれぞれ追跡装置31の
位置と速度を引数とする既定の関数で、Kp(t)およびK
v(t)は関数FおよびGの時間により変化し得る係数であ
る。このようにして連結強度が算出されると、既定のし
きい値以上の強度を持つ連結のみが残され、その他の結
合は抹消される(ステップ305)。
間、p1(t)、p2(t)、v1(t)、v2(t)はそれぞれ時間t
における追跡装置31−1の位置、追跡装置31−2の
位置、追跡装置31−1の速度、追跡装置31−2の速
度を表す。また、FおよびGはそれぞれ追跡装置31の
位置と速度を引数とする既定の関数で、Kp(t)およびK
v(t)は関数FおよびGの時間により変化し得る係数であ
る。このようにして連結強度が算出されると、既定のし
きい値以上の強度を持つ連結のみが残され、その他の結
合は抹消される(ステップ305)。
【0029】次に、候補抽出部42では、残された連結
によって継っている追跡装置群を1つの集合として各集
合ごとに分離する処理を行ない(ステップ306)、そ
れぞれの集合を運動物体の候補とする現時点での候補リ
ストを作成する(ステップ307)。ここで、複数の侵
入者が監視領域内に存在し、各々の侵入者を追跡装置3
1が追跡している場合は、各々の侵入者に対する運動物
体候補が抽出されるとともに、候補リストは追跡結果の
得られている各々の時点において作成され、この候補リ
ストがホストコンピュータ4内に記憶蓄積され、候補リ
スト時系列が作成される。また、処理すべき追跡結果の
時間範囲が現時点のみであれば、候補リストの時系列に
は現時点のもののみが含まれており、追跡処理が行なわ
れた後に候補リストが逐次作成されて結果解釈部43に
送られていくことになる。さらに、処理すべき時間範囲
が複数時点を含んでいるものであれば、候補リストの時
系列を作成する処理(ステップ308)において複数時
点の候補リストが蓄積された後、時系列データとして結
果解釈部43に送られる。この場合、表示装置6に対し
ても結果を転送する処理を行なう。
によって継っている追跡装置群を1つの集合として各集
合ごとに分離する処理を行ない(ステップ306)、そ
れぞれの集合を運動物体の候補とする現時点での候補リ
ストを作成する(ステップ307)。ここで、複数の侵
入者が監視領域内に存在し、各々の侵入者を追跡装置3
1が追跡している場合は、各々の侵入者に対する運動物
体候補が抽出されるとともに、候補リストは追跡結果の
得られている各々の時点において作成され、この候補リ
ストがホストコンピュータ4内に記憶蓄積され、候補リ
スト時系列が作成される。また、処理すべき追跡結果の
時間範囲が現時点のみであれば、候補リストの時系列に
は現時点のもののみが含まれており、追跡処理が行なわ
れた後に候補リストが逐次作成されて結果解釈部43に
送られていくことになる。さらに、処理すべき時間範囲
が複数時点を含んでいるものであれば、候補リストの時
系列を作成する処理(ステップ308)において複数時
点の候補リストが蓄積された後、時系列データとして結
果解釈部43に送られる。この場合、表示装置6に対し
ても結果を転送する処理を行なう。
【0030】そして、処理すべき時間範囲の処理が終了
すれば、処理はステップ302へと戻って、上述したと
同様の処理を繰り返す。(以降、「候補リスト列」を
「候補リストの時間連続の時系列データ」と同意語とし
て使用する。)
すれば、処理はステップ302へと戻って、上述したと
同様の処理を繰り返す。(以降、「候補リスト列」を
「候補リストの時間連続の時系列データ」と同意語とし
て使用する。)
【0031】ところで、追跡部3による追跡処理は常に
成功するとは限らず、極端な場合には追跡しているもの
が途中で入れ変わってしまうことがある。このようなこ
とが、ある時間範囲で起こると、この時間範囲の追跡結
果から得られた候補リストの時系列データは、1つの候
補に含まれる追跡装置31の中で、あるものは途中で追
跡に失敗して候補から除外され、また新たに配置された
追跡装置31が途中から候補に加わるという形で記録さ
れることになる。このような場合、候補抽出部42から
出力される候補リストの時系列データは、そのままの形
では運動物体の移動経路を表していない。
成功するとは限らず、極端な場合には追跡しているもの
が途中で入れ変わってしまうことがある。このようなこ
とが、ある時間範囲で起こると、この時間範囲の追跡結
果から得られた候補リストの時系列データは、1つの候
補に含まれる追跡装置31の中で、あるものは途中で追
跡に失敗して候補から除外され、また新たに配置された
追跡装置31が途中から候補に加わるという形で記録さ
れることになる。このような場合、候補抽出部42から
出力される候補リストの時系列データは、そのままの形
では運動物体の移動経路を表していない。
【0032】本実施例においては、候補リスト列を結果
解釈部43に送り、ここで知識提供部44から提供され
る知識を参照することにより、候補リスト列を運動物体
の移動経路を表すようなデータ列に変換する処理を行な
うようにしている。この場合、候補抽出部42と並行し
て結果解釈部43を作動し、これらと並行して知識提供
部44を作動して、結果解釈部43や、場合によっては
候補抽出部42から知識の参照を要請された場合に即座
に知識を提供できるようになっている。次に、図4は、
結果解釈部43で行なわれる結果解釈処理のフローチャ
ートを示している。
解釈部43に送り、ここで知識提供部44から提供され
る知識を参照することにより、候補リスト列を運動物体
の移動経路を表すようなデータ列に変換する処理を行な
うようにしている。この場合、候補抽出部42と並行し
て結果解釈部43を作動し、これらと並行して知識提供
部44を作動して、結果解釈部43や、場合によっては
候補抽出部42から知識の参照を要請された場合に即座
に知識を提供できるようになっている。次に、図4は、
結果解釈部43で行なわれる結果解釈処理のフローチャ
ートを示している。
【0033】この場合、候補抽出部42において作成さ
れた候補リスト列を受け取り(ステップ402)、先頭
のものを現時点での候補リストとする(ステップ40
3)。次に、現時点と次時点での候補リストの間で各候
補の対応づけを行なう(ステップ404)。現時点の候
補リストの中には、後述するような条件で処理を保留さ
れている前時点より前の候補が含まれていてもよい。こ
こでの対応づけ方法としては、例えば共通に含まれてい
る追跡装置31の数が最も多いものと対応づける方法
が、最も簡略な方法として挙げられる。さらには、候補
内に含まれている追跡装置31群が時間によってどのよ
うに変化しているか(追跡装置の連続性)、追跡装置3
1や候補の移動経路が滑らかであるかどうか(運動の連
続性)、候補内の追跡装置31の相互の位置関係が時間
によりどのように変化しているか(構造の連続性)など
の情報を候補中から抽出し、より連続であると解釈され
るものが対応づけられるという方法を用いてもよい。
れた候補リスト列を受け取り(ステップ402)、先頭
のものを現時点での候補リストとする(ステップ40
3)。次に、現時点と次時点での候補リストの間で各候
補の対応づけを行なう(ステップ404)。現時点の候
補リストの中には、後述するような条件で処理を保留さ
れている前時点より前の候補が含まれていてもよい。こ
こでの対応づけ方法としては、例えば共通に含まれてい
る追跡装置31の数が最も多いものと対応づける方法
が、最も簡略な方法として挙げられる。さらには、候補
内に含まれている追跡装置31群が時間によってどのよ
うに変化しているか(追跡装置の連続性)、追跡装置3
1や候補の移動経路が滑らかであるかどうか(運動の連
続性)、候補内の追跡装置31の相互の位置関係が時間
によりどのように変化しているか(構造の連続性)など
の情報を候補中から抽出し、より連続であると解釈され
るものが対応づけられるという方法を用いてもよい。
【0034】これらの候補の対応づけに用いる知識は、
結果解釈部43の中に記録しておかなくても知識提供部
44に記録しておき逐次参照するようにしてもよい。こ
のようにすれば、追跡結果の解釈が進み、その間に得ら
れた侵入物体に関する知識を新たに知識提供部44に登
録することも可能で、さらにこの新たな知識を必要であ
れば候補抽出部42に提供することも可能になる。
結果解釈部43の中に記録しておかなくても知識提供部
44に記録しておき逐次参照するようにしてもよい。こ
のようにすれば、追跡結果の解釈が進み、その間に得ら
れた侵入物体に関する知識を新たに知識提供部44に登
録することも可能で、さらにこの新たな知識を必要であ
れば候補抽出部42に提供することも可能になる。
【0035】連続する2時点の候補の間で対応が取れた
ものについてはステップ405でYESと判断され、そ
の2つの候補が同じものであることをその候補リストの
中に記録する(ステップ406)。一方、2時点の候補
の間で対応の取れないものについてはステップ405で
NOと判断され、、さらに知識提供部44に記録されて
いる候補の種類などについての知識を参照して(ステッ
プ407)、最も当てはまるものとして記録する(ステ
ップ408)。例えば監視領域の境界付近や、あるいは
出入口として記録されている領域において候補の対応が
取れなくなった場合、その候補は監視領域の外に出てし
まったものとして記録することができる。また、上記以
外の場所で対応が取れなくなった候補については一時的
に見えなくなった(物影に入った、他の運動物体と交差
した)ものとして記録し一旦保留することにより、次時
点以降の候補と対応を取ることが可能となる。さらに知
識提供部44に登録されているけれども解釈できないも
のについては、解釈不能として記録しておく。
ものについてはステップ405でYESと判断され、そ
の2つの候補が同じものであることをその候補リストの
中に記録する(ステップ406)。一方、2時点の候補
の間で対応の取れないものについてはステップ405で
NOと判断され、、さらに知識提供部44に記録されて
いる候補の種類などについての知識を参照して(ステッ
プ407)、最も当てはまるものとして記録する(ステ
ップ408)。例えば監視領域の境界付近や、あるいは
出入口として記録されている領域において候補の対応が
取れなくなった場合、その候補は監視領域の外に出てし
まったものとして記録することができる。また、上記以
外の場所で対応が取れなくなった候補については一時的
に見えなくなった(物影に入った、他の運動物体と交差
した)ものとして記録し一旦保留することにより、次時
点以降の候補と対応を取ることが可能となる。さらに知
識提供部44に登録されているけれども解釈できないも
のについては、解釈不能として記録しておく。
【0036】現在処理している時点での候補リスト全て
について処理が終了し、ステップ409でYESと判定
されると、現時点が候補リスト列の最後の時点でない場
合、次時点を現時点と見直し、ステップ410でNOと
判断されると、上述の処理を繰り返す。
について処理が終了し、ステップ409でYESと判定
されると、現時点が候補リスト列の最後の時点でない場
合、次時点を現時点と見直し、ステップ410でNOと
判断されると、上述の処理を繰り返す。
【0037】候補リスト列のすべての時点について対応
づけが終了しステップ409でYESと判断されると、
時間連続に対応づけられ同じ候補であると記録されてい
る複数の候補を、同じ1つの運動物体の候補として記録
しなおした後(ステップ411)、結果表示など次の処
理が存在する場合には、表示装置6に対し結果を転送す
る処理も行なう(ステップ412)。全てのデータにつ
いて行なうべき処理が終了すれば、ステップ402にも
どり、新たな候補リスト列を受け入れて上述の処理を繰
り返す。
づけが終了しステップ409でYESと判断されると、
時間連続に対応づけられ同じ候補であると記録されてい
る複数の候補を、同じ1つの運動物体の候補として記録
しなおした後(ステップ411)、結果表示など次の処
理が存在する場合には、表示装置6に対し結果を転送す
る処理も行なう(ステップ412)。全てのデータにつ
いて行なうべき処理が終了すれば、ステップ402にも
どり、新たな候補リスト列を受け入れて上述の処理を繰
り返す。
【0038】このような候補抽出部42と結果解釈部4
3での処理によって得られる結果を摸式的に示すと図5
のように表すことができる。この図を用いて処理の流れ
をさらに説明する。
3での処理によって得られる結果を摸式的に示すと図5
のように表すことができる。この図を用いて処理の流れ
をさらに説明する。
【0039】この場合、図では、2人の侵入者が検出領
域に存在する場合の追跡処理の行なわれている合計4時
点での表示装置6の画面の様子(51−a〜54−a)
と、それぞれの時点での追跡装置31間に想定されてい
る結合を摸式的に示している(51−b〜54−bおよ
び52−c〜54−c)。
域に存在する場合の追跡処理の行なわれている合計4時
点での表示装置6の画面の様子(51−a〜54−a)
と、それぞれの時点での追跡装置31間に想定されてい
る結合を摸式的に示している(51−b〜54−bおよ
び52−c〜54−c)。
【0040】まず、51−b〜54−bにおける処理に
ついて説明を行なう。この場合、追跡処理を行なう追跡
装置31は全部で3つあり、これら追跡装置31のうち
の1つ(51−a〜54−a図中m1 )は、検出領域中
の遠方を通行している侵入者を追跡しており、残り2つ
の追跡装置31(51−a〜54−a図中m2 、m3)
は、他方のTVカメラの近くを通行する侵入者を同時に
追跡している。
ついて説明を行なう。この場合、追跡処理を行なう追跡
装置31は全部で3つあり、これら追跡装置31のうち
の1つ(51−a〜54−a図中m1 )は、検出領域中
の遠方を通行している侵入者を追跡しており、残り2つ
の追跡装置31(51−a〜54−a図中m2 、m3)
は、他方のTVカメラの近くを通行する侵入者を同時に
追跡している。
【0041】そして、候補抽出部42での候補抽出処理
は、上述したように評価関数に含まれている関数Fおよ
びGが、それぞれ2つの追跡装置31の位置および速度
(向きと大きさ)が近い時に大きな値を返すような結合
強度を算出する関数で、また、関数Fの係数であるKp
(t)は、追跡の初期では1に近い値であるが、追跡処理
が進むと急激に小さくなり、0に近付くように変化し、
逆に関数Gの係数であるKv(t)は、追跡の初期では0だ
が、処理が進むごとに大きくなって1に近付くように設
定している。
は、上述したように評価関数に含まれている関数Fおよ
びGが、それぞれ2つの追跡装置31の位置および速度
(向きと大きさ)が近い時に大きな値を返すような結合
強度を算出する関数で、また、関数Fの係数であるKp
(t)は、追跡の初期では1に近い値であるが、追跡処理
が進むと急激に小さくなり、0に近付くように変化し、
逆に関数Gの係数であるKv(t)は、追跡の初期では0だ
が、処理が進むごとに大きくなって1に近付くように設
定している。
【0042】このようにすると、追跡の初期で、各追跡
装置31間の距離によって結合強度が決定されることに
なる。追跡の初期の状態を示す51−b中には、追跡装
置31が配置された時点のそれぞれの追跡装置31の位
置(追跡用領域を51−b中の矩形)と、追跡装置31
間に想定された結合のうちの既定しきい値以上の強度を
持つもの(51−b中s1 、以降、線分の太さが強度を
表しているものとする)が示されている。つまり、この
ような追跡の初期においては、追跡装置31から運動情
報が得られていないので、各追跡装置31間の距離のみ
によって結合強度が算出される。この例では、互いに距
離の近いm2 とm3 の間の結合のみが既定のしきい値を
越える大きな強度であると算出され、s1 のみが結合さ
れている。
装置31間の距離によって結合強度が決定されることに
なる。追跡の初期の状態を示す51−b中には、追跡装
置31が配置された時点のそれぞれの追跡装置31の位
置(追跡用領域を51−b中の矩形)と、追跡装置31
間に想定された結合のうちの既定しきい値以上の強度を
持つもの(51−b中s1 、以降、線分の太さが強度を
表しているものとする)が示されている。つまり、この
ような追跡の初期においては、追跡装置31から運動情
報が得られていないので、各追跡装置31間の距離のみ
によって結合強度が算出される。この例では、互いに距
離の近いm2 とm3 の間の結合のみが既定のしきい値を
越える大きな強度であると算出され、s1 のみが結合さ
れている。
【0043】したがって、この時点での候補抽出処理結
果としては、追跡装置m1 のみを含むものと結合s1 で
結ばれたm2 とm3 を含むものの、合計2つの運動物体
の候補が出力される。これらの各候補は侵入者に対応し
ており、正しい運動物体の候補が抽出されている。
果としては、追跡装置m1 のみを含むものと結合s1 で
結ばれたm2 とm3 を含むものの、合計2つの運動物体
の候補が出力される。これらの各候補は侵入者に対応し
ており、正しい運動物体の候補が抽出されている。
【0044】次に、時点(52−b)に示すように追跡
装置31での追跡処理が進むと、追跡装置m1 と他のm
2 、m3 との距離は短くなっている。ここで、評価関数
の係数が追跡初期の状態のものと同じであるならば、こ
れらの追跡装置31間の結合強度も、しきい値以上の大
きなものと算出され、各々が結合されるはずである。と
ころが、これと同時に評価関数の係数Kp は小さな値
に、Kv は大きな値に変化しているので、結合強度の算
出には追跡装置31間の距離よりも運動の向きや大きさ
が近いか否かが大きく効いてくる。したがって、この例
(52−b)では、前時点と同じs1 のみが、しきい値
以上の大きな値を持つ結合と判定され、前時点と同様に
侵入者に対応した正しい運動物体の候補が抽出される。
装置31での追跡処理が進むと、追跡装置m1 と他のm
2 、m3 との距離は短くなっている。ここで、評価関数
の係数が追跡初期の状態のものと同じであるならば、こ
れらの追跡装置31間の結合強度も、しきい値以上の大
きなものと算出され、各々が結合されるはずである。と
ころが、これと同時に評価関数の係数Kp は小さな値
に、Kv は大きな値に変化しているので、結合強度の算
出には追跡装置31間の距離よりも運動の向きや大きさ
が近いか否かが大きく効いてくる。したがって、この例
(52−b)では、前時点と同じs1 のみが、しきい値
以上の大きな値を持つ結合と判定され、前時点と同様に
侵入者に対応した正しい運動物体の候補が抽出される。
【0045】これ以降の時点(53−b、54−b)に
おいても同様であり、各追跡装置31間の距離がさらに
小さくなっても、正しい運動物体の候補が抽出されてい
る。この場合、Kv がさらに大きな値になっていくの
で、追跡装置31が同じ運動を継続している場合には、
すでに結ばれている結合の強度が、追跡処理が進むに伴
って大きな値となっていく。
おいても同様であり、各追跡装置31間の距離がさらに
小さくなっても、正しい運動物体の候補が抽出されてい
る。この場合、Kv がさらに大きな値になっていくの
で、追跡装置31が同じ運動を継続している場合には、
すでに結ばれている結合の強度が、追跡処理が進むに伴
って大きな値となっていく。
【0046】次に、結果解釈部43では、候補抽出処理
より得られた結果を時系列のリストとして受け取り、同
じ追跡装置31からなる時間連続の候補を対応づけ、さ
らに対応づけられた候補を同じ運動物体を示していると
して解釈し直し、最終的には検出領域内での運動物体の
移動経路を得るような処理を行なう。
より得られた結果を時系列のリストとして受け取り、同
じ追跡装置31からなる時間連続の候補を対応づけ、さ
らに対応づけられた候補を同じ運動物体を示していると
して解釈し直し、最終的には検出領域内での運動物体の
移動経路を得るような処理を行なう。
【0047】前述した例では、結果解釈部43に知識が
記録されていなくても、あるいは知識提供部44がなく
ても正しく運動物体を検出することが可能なものである
が、次に知識を用いて正しく運動物体を検出できる例を
図5の52−c〜54−cを用いて説明する。
記録されていなくても、あるいは知識提供部44がなく
ても正しく運動物体を検出することが可能なものである
が、次に知識を用いて正しく運動物体を検出できる例を
図5の52−c〜54−cを用いて説明する。
【0048】この例では、前述した52−aの時点から
追跡処理が開始された場合で、例えば、遠方の侵入者が
検出された箇所に出入口が存在し、検出の時点におい
て、2人の侵入者の距離が近いといったような場合であ
る。この場合、追跡装置31が配置された時点の52−
aにおいては、m1 とm2 、m2 とm3 の間のそれぞれ
の追跡装置31間の距離が略等しいことから、各々の追
跡装置31の連結強度もしきい値を越えるほぼ同じ値に
算出される(52−c図中s2 、s3 )。この時、3つ
の追跡装置31が連結されているので、候補抽出処理の
結果、3つ全ての追跡装置31を含む集合が運動物体の
候補として1つだけ出力され、運動物体の候補抽出は誤
ってしまったと言える。
追跡処理が開始された場合で、例えば、遠方の侵入者が
検出された箇所に出入口が存在し、検出の時点におい
て、2人の侵入者の距離が近いといったような場合であ
る。この場合、追跡装置31が配置された時点の52−
aにおいては、m1 とm2 、m2 とm3 の間のそれぞれ
の追跡装置31間の距離が略等しいことから、各々の追
跡装置31の連結強度もしきい値を越えるほぼ同じ値に
算出される(52−c図中s2 、s3 )。この時、3つ
の追跡装置31が連結されているので、候補抽出処理の
結果、3つ全ての追跡装置31を含む集合が運動物体の
候補として1つだけ出力され、運動物体の候補抽出は誤
ってしまったと言える。
【0049】次に示されている時点(53−c)では、
追跡処理が進んで追跡装置31の位置は変化しているも
のの、前述の時点で結合されていた各々の追跡装置31
間の距離はあまり変化していない。さらにこの時、Fの
係数Kp は小さく、逆にGの係数Kv は大きくなってお
り、各追跡装置31間の距離ががあまり変化していなく
ても結合強度は、同じような運動をしている追跡装置3
1間の結合が強くなるように変化している(53−c図
中s2 、s3:s2 の強度は小さく、s3 の強度は大き
く変化している)。しかし、まだ3つ全ての追跡装置3
1が結合されているため、抽出される候補は1つだけで
あり、誤ったままである。さらに追跡処理の進んだ次の
時点(54−c)では、さらにKv が大きくなり、速度
の近い追跡装置31のみが結合されるため(53−c図
中s3 )、運動物体の候補としては、m1 のみを含むも
のと、m2 とm3 を含むものの2つが出力され、運動物
体に対応した正しい候補が出力される。
追跡処理が進んで追跡装置31の位置は変化しているも
のの、前述の時点で結合されていた各々の追跡装置31
間の距離はあまり変化していない。さらにこの時、Fの
係数Kp は小さく、逆にGの係数Kv は大きくなってお
り、各追跡装置31間の距離ががあまり変化していなく
ても結合強度は、同じような運動をしている追跡装置3
1間の結合が強くなるように変化している(53−c図
中s2 、s3:s2 の強度は小さく、s3 の強度は大き
く変化している)。しかし、まだ3つ全ての追跡装置3
1が結合されているため、抽出される候補は1つだけで
あり、誤ったままである。さらに追跡処理の進んだ次の
時点(54−c)では、さらにKv が大きくなり、速度
の近い追跡装置31のみが結合されるため(53−c図
中s3 )、運動物体の候補としては、m1 のみを含むも
のと、m2 とm3 を含むものの2つが出力され、運動物
体に対応した正しい候補が出力される。
【0050】以上の候補抽出処理による候補リストは、
始めは1つしか候補が存在しないが、途中でこれが***
し最後には2つの候補が挙げられる、という形になって
おり、このままでは正しく運動物体が検出されていな
い。しかし、結果解釈部43内に「強度が一定に小さく
なり、しきい値を下回るような結合は、誤った結合であ
る」といった結合に関する条件が知識として記録されて
いるならば、この知識から結合s2 は誤った結合である
と解釈することができ、候補を各々の運動物体に対応し
た正しいものに分割し直すことが可能となる。なお、こ
のような知識を知識提供部44に記録しておき、結果解
釈部43からの参照要請にあった知識のみを提供するよ
うにしてもよい。なお、本発明は上記実施例にのみ限定
されず、要旨を変更しない範囲で適宜変形して実施でき
る。
始めは1つしか候補が存在しないが、途中でこれが***
し最後には2つの候補が挙げられる、という形になって
おり、このままでは正しく運動物体が検出されていな
い。しかし、結果解釈部43内に「強度が一定に小さく
なり、しきい値を下回るような結合は、誤った結合であ
る」といった結合に関する条件が知識として記録されて
いるならば、この知識から結合s2 は誤った結合である
と解釈することができ、候補を各々の運動物体に対応し
た正しいものに分割し直すことが可能となる。なお、こ
のような知識を知識提供部44に記録しておき、結果解
釈部43からの参照要請にあった知識のみを提供するよ
うにしてもよい。なお、本発明は上記実施例にのみ限定
されず、要旨を変更しない範囲で適宜変形して実施でき
る。
【0051】上述した実施例では、変化検出の部分は専
用回路、追跡の部分はマルチプロセッサシステム、追跡
装置制御・候補抽出・結果解釈・知識提供の各々の部分
はホストコンピュータで実現している。これは高速処理
が可能で、対象物体が速く動く場合にも対応できる。た
だし、応用によっては全部を、あるいは一部をDSP
(Digital Signal Processor)、マイクロプロセッサや
他のディジタル計算機で行なうようにしてもよい。
用回路、追跡の部分はマルチプロセッサシステム、追跡
装置制御・候補抽出・結果解釈・知識提供の各々の部分
はホストコンピュータで実現している。これは高速処理
が可能で、対象物体が速く動く場合にも対応できる。た
だし、応用によっては全部を、あるいは一部をDSP
(Digital Signal Processor)、マイクロプロセッサや
他のディジタル計算機で行なうようにしてもよい。
【0052】例えば、変化検出部2について上記の実施
例では、予め作っておいた参照画像との差分により変化
領域を抽出しているが、これは連続する2ないしそれ以
上の数の画像間の微分(差分)演算で行なってもよい。
この場合には環境変動による誤った変化領域抽出のおそ
れが小さくなる。ただしこの場合は、物体の輪郭部分が
変化領域として検出されるので、検出された変化領域を
適当に分割して、追跡手段の配置箇所を設定する必要が
ある。参照画像を用いる場合にも、環境変動による変化
を誤って検出することを防止するため、参照画像を適当
な時間ごとに作り直すようにしてもよい。また、上記実
施例では差分画像を2値化するしきい値を変化させずに
固定の値にしているが、このしきい値を画像各部の濃度
に応じて可変にするようにすれば、より確実な変化が検
出できる。
例では、予め作っておいた参照画像との差分により変化
領域を抽出しているが、これは連続する2ないしそれ以
上の数の画像間の微分(差分)演算で行なってもよい。
この場合には環境変動による誤った変化領域抽出のおそ
れが小さくなる。ただしこの場合は、物体の輪郭部分が
変化領域として検出されるので、検出された変化領域を
適当に分割して、追跡手段の配置箇所を設定する必要が
ある。参照画像を用いる場合にも、環境変動による変化
を誤って検出することを防止するため、参照画像を適当
な時間ごとに作り直すようにしてもよい。また、上記実
施例では差分画像を2値化するしきい値を変化させずに
固定の値にしているが、このしきい値を画像各部の濃度
に応じて可変にするようにすれば、より確実な変化が検
出できる。
【0053】また、候補抽出部42で行なわれる候補抽
出処理についても、かかる候補抽出処理で用いられてい
る評価関数には、各々の追跡装置の画像内での位置や速
度などの追跡装置の移動経路に関するの情報しか用いら
れていないが、追跡装置の追跡用領域から得られる色や
形などの特徴量などが加味されてもよい。例えば、赤い
服を着ている侵入者の胴体部分を複数の追跡装置が同時
に追跡している場合を考えると、この時、各々の追跡装
置の追跡用領域から色情報を抽出した後に、これが同じ
であるかどうかを判断する処理を付け加えれば、追跡装
置をまとめて候補を抽出するのが容易になる。
出処理についても、かかる候補抽出処理で用いられてい
る評価関数には、各々の追跡装置の画像内での位置や速
度などの追跡装置の移動経路に関するの情報しか用いら
れていないが、追跡装置の追跡用領域から得られる色や
形などの特徴量などが加味されてもよい。例えば、赤い
服を着ている侵入者の胴体部分を複数の追跡装置が同時
に追跡している場合を考えると、この時、各々の追跡装
置の追跡用領域から色情報を抽出した後に、これが同じ
であるかどうかを判断する処理を付け加えれば、追跡装
置をまとめて候補を抽出するのが容易になる。
【0054】候補抽出処理における追跡装置間の結合強
度を算出するのに用いている評価関数を、追跡装置の位
置、速度、追跡している変化領域の色や形などの属性
値、予め記録されている侵入者の形や運動形態などに関
する知識を用いて運動物体の候補を抽出する処理に置き
換えてもよい。このような処理の一例として、2つの追
跡装置の間で上に挙げた各々の情報ごとに近い(似てい
る、同じ運動物体を追跡している)か否かを数値に置き
換える処理モジュールを用意しておき、これらの処理モ
ジュールの出力結果を単純に加算するか、あるいは各情
報ごとに優先順位を設けておき、その優先度に応じた重
みを付けて加重加算した値を結合の強度とする方法が挙
げられる。例えば、侵入者の形態に関する情報を用いる
ことによっては、運動物体の候補が真に侵入者である確
率が高くなる。さらに、結合強度という数値として表さ
れ得るものを用いなくても、上記の各処理モジュールに
おいて各々の追跡装置が同じ候補に含まれ得るか否かを
判断し、その結果を優先度順に合わせて解釈するような
ルールベースの処理形態を用いてもよい。さらに、上述
の知識は候補抽出部内に記録されているのではなく、知
識提供部44に予め記録されていて、候補抽出処理から
の要請に応じて提供されるようになっていても、勿論よ
い。
度を算出するのに用いている評価関数を、追跡装置の位
置、速度、追跡している変化領域の色や形などの属性
値、予め記録されている侵入者の形や運動形態などに関
する知識を用いて運動物体の候補を抽出する処理に置き
換えてもよい。このような処理の一例として、2つの追
跡装置の間で上に挙げた各々の情報ごとに近い(似てい
る、同じ運動物体を追跡している)か否かを数値に置き
換える処理モジュールを用意しておき、これらの処理モ
ジュールの出力結果を単純に加算するか、あるいは各情
報ごとに優先順位を設けておき、その優先度に応じた重
みを付けて加重加算した値を結合の強度とする方法が挙
げられる。例えば、侵入者の形態に関する情報を用いる
ことによっては、運動物体の候補が真に侵入者である確
率が高くなる。さらに、結合強度という数値として表さ
れ得るものを用いなくても、上記の各処理モジュールに
おいて各々の追跡装置が同じ候補に含まれ得るか否かを
判断し、その結果を優先度順に合わせて解釈するような
ルールベースの処理形態を用いてもよい。さらに、上述
の知識は候補抽出部内に記録されているのではなく、知
識提供部44に予め記録されていて、候補抽出処理から
の要請に応じて提供されるようになっていても、勿論よ
い。
【0055】また、候補抽出部42で作成される候補リ
ストの各々は、追跡装置の集合のみで成っているのでは
なく、候補全体の位置情報や追跡装置の配置されている
領域から得られる色や形の情報などの属性値を含んでい
てもよい。候補抽出処理の中に特徴抽出処理を新たに付
け加え、この処理に候補が抽出されると同時に候補が存
在する画像中の領域から上記の情報を抽出させ、候補に
付け加えて候補リストを作成するようにすればよい。候
補内に付加的な属性値が存在すれば、結果解釈部43で
行なわれる候補間の対応づけ処理に属性値が近いか否か
を判断する処理を付加すれば、対応づけ処理が容易で、
その結果の信頼性は高いものになる。また上記の特徴抽
出処理は、候補抽出処理に含まれていなくても、別の処
理として並行して動作させ、候補抽出処理からの要請に
応じて逐次処理が開始されるようにしてもよい。
ストの各々は、追跡装置の集合のみで成っているのでは
なく、候補全体の位置情報や追跡装置の配置されている
領域から得られる色や形の情報などの属性値を含んでい
てもよい。候補抽出処理の中に特徴抽出処理を新たに付
け加え、この処理に候補が抽出されると同時に候補が存
在する画像中の領域から上記の情報を抽出させ、候補に
付け加えて候補リストを作成するようにすればよい。候
補内に付加的な属性値が存在すれば、結果解釈部43で
行なわれる候補間の対応づけ処理に属性値が近いか否か
を判断する処理を付加すれば、対応づけ処理が容易で、
その結果の信頼性は高いものになる。また上記の特徴抽
出処理は、候補抽出処理に含まれていなくても、別の処
理として並行して動作させ、候補抽出処理からの要請に
応じて逐次処理が開始されるようにしてもよい。
【0056】上述の実施例において、候補抽出部42、
結果解釈部43および知識提供部44は、同じホストコ
ンピュータ4において同時に動作しているが、これらの
内の1つ、あるいは全てが予め用意されている別々のホ
ストコンピュータにおいて同時に動作していてもよい。
この場合には複数のコンピュータによって処理が分割さ
れるため、各々の処理を速く実行することができ、より
短い時間間隔での追跡・結果解釈処理が行なえるため、
侵入物体に関する情報をより密に抽出することができる
他、分割処理をした場合に比べてより速く移動する侵入
物体も検出することが可能となる。
結果解釈部43および知識提供部44は、同じホストコ
ンピュータ4において同時に動作しているが、これらの
内の1つ、あるいは全てが予め用意されている別々のホ
ストコンピュータにおいて同時に動作していてもよい。
この場合には複数のコンピュータによって処理が分割さ
れるため、各々の処理を速く実行することができ、より
短い時間間隔での追跡・結果解釈処理が行なえるため、
侵入物体に関する情報をより密に抽出することができる
他、分割処理をした場合に比べてより速く移動する侵入
物体も検出することが可能となる。
【0057】
【発明の効果】本発明によれば、所定値以上の強度を持
つ仮想的な結合で結ばれた追跡要素の集合を運動物体の
候補として抽出するとともに、これら抽出結果から運動
物体の移動経路を解釈するようにしたので、検出領域内
に人間などの複雑な運動をする侵入物体が不特定多数存
在しても、これらの追跡と同時に結果の解釈を行なうこ
とで複数の侵入者の運動を検出することができる。つま
り、監視領域内の侵入者が複数存在し、互いが交差する
などの複雑な運動をし、追跡終了後に追跡結果を解釈す
るのが非常に困難であるような場合でも、各々の侵入者
の移動経路の検出を可能にすることができるなど、実用
上多大なる効果が奏せられる。
つ仮想的な結合で結ばれた追跡要素の集合を運動物体の
候補として抽出するとともに、これら抽出結果から運動
物体の移動経路を解釈するようにしたので、検出領域内
に人間などの複雑な運動をする侵入物体が不特定多数存
在しても、これらの追跡と同時に結果の解釈を行なうこ
とで複数の侵入者の運動を検出することができる。つま
り、監視領域内の侵入者が複数存在し、互いが交差する
などの複雑な運動をし、追跡終了後に追跡結果を解釈す
るのが非常に困難であるような場合でも、各々の侵入者
の移動経路の検出を可能にすることができるなど、実用
上多大なる効果が奏せられる。
【図1】本発明の一実施例の概略構成を示す図。
【図2】図1に示す実施例に用いられる表示装置での表
示例を説明するための図。
示例を説明するための図。
【図3】図1に示す実施例の動作を説明するためのフロ
ーチャート。
ーチャート。
【図4】図1に示す実施例の動作を説明するためのフロ
ーチャート。
ーチャート。
【図5】図1に示す実施例の動作を模式的に説明するた
めの図。
めの図。
1…TVカメラ、2…変化検出部、21…参照画像メモ
リ、22…差分回路、23…2値化回路、24…ラベリ
ング回路、3…追跡部、31…追跡装置、32…制御バ
ス、33…画像バス、4…ホストコンピュータ、41…
追跡装置制御部、42…候補抽出部、43…結果解釈
部、44…知識提供部、5、6…表示装置、7…A/D
変換器、8…ディスプレイコントローラ。
リ、22…差分回路、23…2値化回路、24…ラベリ
ング回路、3…追跡部、31…追跡装置、32…制御バ
ス、33…画像バス、4…ホストコンピュータ、41…
追跡装置制御部、42…候補抽出部、43…結果解釈
部、44…知識提供部、5、6…表示装置、7…A/D
変換器、8…ディスプレイコントローラ。
Claims (6)
- 【請求項1】 撮像画像から変化領域を検出する変化検
出手段と、 この変化検出手段により検出された変化領域を追跡する
少なくとも2個の追跡要素を有する追跡手段と、 前記変化領域を追跡する各追跡要素間の仮想的な結合強
度を求めるとともに該結合強度が所定値以上の追跡要素
の集合を運動物体の候補として分割し抽出する候補抽出
手段と、 この候補抽出手段による抽出結果を解釈し前記運動物体
候補の移動経路を生成する結果解釈手段とを具備したこ
とを特徴とする運動物体検出装置。 - 【請求項2】 候補抽出手段は各追跡要素間の仮想的な
結合強度を各追跡要素の移動経路が似ている場合に大き
な値を取る評価関数を用いて算出することを特徴とする
請求項1記載の運動物体検出装置。 - 【請求項3】 候補抽出手段は追跡手段で変化領域の追
跡が行なわれる全ての時点において結合強度が所定値以
上の追跡要素の集合を運動物体候補として抽出する処理
を行うことを特徴とする請求項1記載の運動物体検出装
置。 - 【請求項4】 候補抽出手段により追跡要素の集合を運
動物体候補とする各時点での候補リストを作成し、結果
解釈手段により前記候補リスト列を運動物体の移動経路
を表すデータ列に変換処理することを特徴とする請求項
1記載の運動物体検出装置。 - 【請求項5】 候補抽出手段および結果解釈手段から要
請される知識を提供することのできる知識提供手段を合
わせて具備することを特徴する請求項1記載の運動物体
検出装置。 - 【請求項6】 結果解釈手段は候補抽出手段の連続する
複数時点の候補抽出結果から同一と判定できる運動物体
の候補を対応づける処理を行なうことを特徴とする請求
項1記載の運動物体検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03206004A JP3093346B2 (ja) | 1991-08-16 | 1991-08-16 | 運動物体検出装置 |
US07/799,321 US5243418A (en) | 1990-11-27 | 1991-11-27 | Display monitoring system for detecting and tracking an intruder in a monitor area |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03206004A JP3093346B2 (ja) | 1991-08-16 | 1991-08-16 | 運動物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0546771A true JPH0546771A (ja) | 1993-02-26 |
JP3093346B2 JP3093346B2 (ja) | 2000-10-03 |
Family
ID=16516319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03206004A Expired - Fee Related JP3093346B2 (ja) | 1990-11-27 | 1991-08-16 | 運動物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3093346B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129781A (ja) * | 1993-11-05 | 1995-05-19 | Ken Ishihara | 時系列画像情報抽出装置および方法 |
KR20000029317A (ko) * | 1998-10-27 | 2000-05-25 | 구보 마쯔오 | 사람 이동선 정보의 수집 방법 및 수집 장치 |
JP2001184488A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
US6993158B2 (en) | 2001-08-07 | 2006-01-31 | Samsung Electronic Co., Ltd. | Device for and method of automatically tracking a moving object |
JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
JP2007042072A (ja) * | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
JP2009038777A (ja) * | 2007-08-06 | 2009-02-19 | Chiba Univ | 自動追尾装置 |
JP2009110408A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Tec Corp | 動線編集装置及び動線編集プログラム |
JP2009223693A (ja) * | 2008-03-17 | 2009-10-01 | Glory Ltd | 人物計数装置および人物計数方法 |
USRE44225E1 (en) | 1995-01-03 | 2013-05-21 | Prophet Productions, Llc | Abnormality detection and surveillance system |
USRE44527E1 (en) | 1995-01-03 | 2013-10-08 | Prophet Productions, Llc | Abnormality detection and surveillance system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH064536U (ja) * | 1992-06-23 | 1994-01-21 | ハッポー化学工業株式会社 | 空調用空気吹き出し口の結露防止構造 |
-
1991
- 1991-08-16 JP JP03206004A patent/JP3093346B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07129781A (ja) * | 1993-11-05 | 1995-05-19 | Ken Ishihara | 時系列画像情報抽出装置および方法 |
USRE44527E1 (en) | 1995-01-03 | 2013-10-08 | Prophet Productions, Llc | Abnormality detection and surveillance system |
USRE44225E1 (en) | 1995-01-03 | 2013-05-21 | Prophet Productions, Llc | Abnormality detection and surveillance system |
KR20000029317A (ko) * | 1998-10-27 | 2000-05-25 | 구보 마쯔오 | 사람 이동선 정보의 수집 방법 및 수집 장치 |
JP2001184488A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
JP4531897B2 (ja) * | 1999-12-27 | 2010-08-25 | パナソニック株式会社 | 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 |
KR100792283B1 (ko) * | 2001-08-07 | 2008-01-07 | 삼성전자주식회사 | 이동물체 자동 추적장치 및 방법 |
US6993158B2 (en) | 2001-08-07 | 2006-01-31 | Samsung Electronic Co., Ltd. | Device for and method of automatically tracking a moving object |
JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
JP2007042072A (ja) * | 2005-07-05 | 2007-02-15 | Omron Corp | 追跡装置 |
JP2009038777A (ja) * | 2007-08-06 | 2009-02-19 | Chiba Univ | 自動追尾装置 |
JP2009110408A (ja) * | 2007-10-31 | 2009-05-21 | Toshiba Tec Corp | 動線編集装置及び動線編集プログラム |
JP2009223693A (ja) * | 2008-03-17 | 2009-10-01 | Glory Ltd | 人物計数装置および人物計数方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3093346B2 (ja) | 2000-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bian et al. | Fall detection based on body part tracking using a depth camera | |
KR101030559B1 (ko) | 의심 행동 검지 시스템 및 방법 | |
CN109598229B (zh) | 基于动作识别的监控***及其方法 | |
EP0878965A2 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
JP3093346B2 (ja) | 運動物体検出装置 | |
Wei et al. | Simultaneous utilization of inertial and video sensing for action detection and recognition in continuous action streams | |
WO2017183769A1 (ko) | 이상 상황을 감지하는 장치 및 방법 | |
JP2009143722A (ja) | 人物追跡装置、人物追跡方法及び人物追跡プログラム | |
Humenberger et al. | Embedded fall detection with a neural network and bio-inspired stereo vision | |
KR102371127B1 (ko) | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 | |
JP2010198566A (ja) | 人数計測装置、方法及びプログラム | |
WO2019220589A1 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
Albawendi et al. | Video based fall detection using features of motion, shape and histogram | |
CN113011280A (zh) | 人员接触距离的检测方法、装置、计算机设备和存储介质 | |
JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
KR102475752B1 (ko) | 이동 경로 예측 방법 및 장치 | |
Coşkun et al. | People counting system by using kinect sensor | |
Abd et al. | Human fall down recognition using coordinates key points skeleton | |
CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
JPH04260979A (ja) | 移動物体の検出追跡システム | |
JP5008118B2 (ja) | 不審者判別システム及びプロファイル配布システム | |
KR101355206B1 (ko) | 영상분석을 이용한 출입 계수시스템 및 그 방법 | |
KR20220154473A (ko) | 영상 내 가상 검지선을 이용한 외부 침입 방지 시스템 | |
KR20230081016A (ko) | 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |