JP3729933B2 - 自動監視装置 - Google Patents
自動監視装置 Download PDFInfo
- Publication number
- JP3729933B2 JP3729933B2 JP13911596A JP13911596A JP3729933B2 JP 3729933 B2 JP3729933 B2 JP 3729933B2 JP 13911596 A JP13911596 A JP 13911596A JP 13911596 A JP13911596 A JP 13911596A JP 3729933 B2 JP3729933 B2 JP 3729933B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- feature
- processing unit
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、撮像手段から得られた映像から着目画像を抽出し、抽出された着目画像の特徴の抽出を行い、過去に抽出された着目画像の特徴を参考にしながら着目画像の判別結果を出力する監視装置や、移動物体の移動方向、移動量を用いて移動物体の計数、追跡、システム制御を行う自動監視装置に関する。
【0002】
【従来の技術】
従来、自動監視分野においては、人や車などの監視対象を抽出したり、監視対象の判別、追跡、計数等の処理を行う場合、監視カメラや赤外線カメラ、または超音波センサ等のエリアセンサが用いられている。監視カメラの場合を例に説明すると、監視カメラから得られた映像から人や車などの移動物体の領域を着目画像として抽出する手法の例として背景差分法がある。この背景差分法は、人や車など検出の対象となる移動物体の領域を着目画像として比較的簡単な方法で抽出できる方法として知られている。しかし、抽出の対象となる物体に生成された背景との差が無い領域を持つ場合、その領域が検出できずに着目画像が必ずしも抽出の対象となる物体の領域を示さないという問題があり、背景を現在の画像を積分して生成する場合にも、抽出の対象となる移動物体の移動方向に対して後ろ側に着目画像の領域が尾を引いてしまう問題(特開昭62ー114064)があり、必ずしも十分に抽出の対象となる移動物体の領域を抽出することができない。従って、ある時点での移動物体の抽出結果である着目画像の面積や重心や画像の縦横それぞれの方向の端点(以降単に端点と呼ぶ)等の検出結果の特徴のみから対象物体を判別することは困難であった。
【0003】
赤外線カメラの場合は、例えば体温を遮断するような衣服を身にまとっている場合や、抽出の対象となる物体の表面の赤外線の輻射に近い赤外線を輻射している壁や道路などが存在する場合で、先に説明した監視カメラの画像の場合と同様に背景差分法等の画像処理手法を用いる場合は、同様に抽出された着目画像の領域が不完全であり、着目画像の特徴から検出対象を判別することは困難であった。
【0004】
また、背景差分法を用いた移動物体の検出方法では、背景画像に対して急激な画像の変化を引き起こす雷や照明のON/OFFなどで、従来の自動監視装置においては、突発的な誤検出が発生する場合があった。
【0005】
一方、移動物体の追跡や計数を行うために移動物体の移動方向と移動量を求めて追跡、計数を行う方法として、勾配法を用いて動ベクトルを獲得し、移動方向を得る方法(第1回画像センシングシンポジウム講演論文集 B−4p39)がある。この方法は、異なる時間に得られた画像間で、画像の位置毎にもう一方の画像の近傍の領域を微少領域の探索窓を用いて探索し、相関が得られるポイントを探し出して動ベクトルを得、得られた各動ベクトルの投票を行い、移動方向を得る方法である。この方法は、画像間で相関演算を繰り返し行う必要があり、得られた多数の動ベクトルから移動物体の移動方向や移動量を得るために必要な計算量が多く、同一な模様を持った移動物体や輝度または色が緩やかに変化している表面の特徴を持った移動物体の場合、計算の誤差が大きい問題がある。
【0006】
また、移動物体の判別結果を出力し、監視システムを制御するような装置において、従来は判別結果のみ出力を行い、監視システムの制御に用いていた。しかし、このような出力の方法は、着目画像の抽出結果の特徴に急激な変化がある場合、かつその着目画像の抽出結果の特徴が判別したい移動物体の特徴に近い場合でも、監視システムの制御に用いてしまい、システム動作の信頼性を低下させてしまう問題があった。さらに、判別に用いた着目画像の抽出結果の特徴が不安定である時は、ある時点の不安定な特徴量を用いた判別が行われ、監視システムの動作の信頼性を低下させる問題もあった。これらの問題は、信頼性の低い情報をその信頼性を全く考慮せずにシステム動作の決定に用いているために発生し、監視システム運用時の運用コストを増大させている。
【0007】
【発明が解決しようとする課題】
上記したように、従来技術の課題としては、次に示す点が挙げられる。
1.検出対象物体の不完全な抽出結果においても検出対象物体の判別を行うことができる手法の実現。
2.雷や照明のON/OFF、雪や雨等の移動物体と大きく特徴の異なる映像情報の変化に対して影響を受けにくい判別方法の実現。
3.検出対象物体の表面の特徴に左右されず比較的簡単な移動ベクトルの簡単な獲得手段の実現。
4.検出対象物体の不完全な抽出結果の信頼性を評価でき、その信頼性をもとに判別を行える信頼性の評価方法とその利用方法の確立。
5.装置から出力される判別結果のみならず、判別に用いた特徴の信頼性を評価した結果を判別結果に付加し、監視システムの動作を変更できる装置の実現。
6.着目画像数の増大が発生しても、処理時間が一定内におさまる処理方法の実現。
7.着目画像から抽出された特徴の簡単な信頼性評価方法の確立。
【0008】
本発明は、上記課題を解決するものであり、不完全な着目画像の判別の精度を向上でき、かつ突発的な特徴の変化を持った着目画像の影響を低減し、比較的簡単な処理で実現できる判別方法を実現し、この判別結果と先の信頼性評価結果を用いて監視システムの制御を行うことで、システムの運用負担を減らすことができる自動監視装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は、上記目的を達成するために、監視カメラ等の撮像手段から得られる映像情報から背景差分法やステレオ抽出法などの抽出手段により得られた着目画像についてその面積、重心、端点等の特徴量を記憶し、記憶された特徴とその時間的な変化量等時間方向の比較評価処理を行い、移動物体の移動ベクトルを獲得し、獲得された移動ベクトルとともに過去の着目画像の特徴や特徴量の変化やそれぞれの特徴の信頼性評価結果を用いて、扱う特徴が判別結果に与える影響の度合いを変えながら、それぞれの時点での着目画像の判別を行うことで、不完全な着目画像の判別の精度を向上でき、かつ突発的な特徴の変化を持った着目画像の影響を低減し、比較的簡単な処理で実現できる判別方法を実現し、この判別結果と先の信頼性評価結果を用いて監視システムの制御を行うことで、システムの運用負担を減らすことができる。
【0010】
【発明の実施の形態】
本発明の請求項1に記載の発明は、検出対象物体を撮像する撮像手段と、撮像手段により得られた映像情報から着目画像を抽出する抽出処理部と、抽出した着目画像の特徴を抽出する着目画像の特徴抽出処理部と、抽出した各着目画像毎の特徴を用いて記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部と、特徴評価処理部で記録を行うべきと判定された結果を処理の間隔毎に記憶する第1の記憶部と、抽出した着目画像の特徴と第1の記憶部に記憶された過去の着目画像の特徴とを比較する比較処理部と、比較を行った結果を用いて過去の着目画像と現在の着目画像との関係を評価し、着目画像の移動方向と移動量の移動ベクトルとを導く比較評価処理部と、比較評価処理部で評価された過去の着目画像と現在の着目画像の移動ベクトルを記憶する第2の記憶部と、過去の着目画像と現在の着目画像の移動ベクトルと特徴評価処理部で評価された特徴とにより、着目画像の判別処理を行って結果を出力する判別処理部とを備えた自動監視装置であり、着目画像の判別を精度良く実現できるという作用を有する。
【0011】
本発明の請求項2に記載の発明は、特徴抽出処理部が、撮像手段により得られた映像情報の一部分である着目画像の面積、重心位置、端点座標、着目画像内部の色や輝度の統計情報、形状情報等の特徴を抽出し、特徴評価処理部が、着目画像の特徴として予め設定されるかまたは学習により得られた特徴の範囲にあるかどうかの評価を行い、その結果を着目画像を抽出する処理の間隔毎に第1の記憶部に記憶し、比較処理部が、第1の記憶部に記憶された特徴と過去の特徴抽出および評価を行った結果として記憶された特徴とを比較評価し、比較評価処理部が、評価の対象となった現在の着目画像の重心や端点枠の中心等と過去の着目画像の重心や端点枠の中心をつなぐことにより、着目画像の移動ベクトルを得ることを特徴とする請求項1記載の自動監視装置であり、移動物体の移動方向、移動量を比較的簡単な方法で精度良く得ることができるという作用を有する。
【0012】
本発明の請求項3に記載の発明は、比較評価処理部が、つながれた移動ベクトルの長さを、着目画像の面積、端点位置、重心位置、着目画像を移動ベクトルを延長することにより得られる着目画像の切片の長さ等の特徴や予め設定された奥行き情報やステレオ画像処理などの奥行き情報の獲得手段を用いて得られた奥行き情報により算出された補正情報を用いて補正することを特徴とする請求項2記載の自動監視装置であり、撮像手段により得られた映像情報の奥行きによる移動ベクトルの移動量を着目画像の切片の長さや、予め設定されるかまたは算出された画像情報の奥行き情報により補正する事により、得られた移動ベクトルから移動物体の移動速度を比較的簡単な手法で得られ、奥行きのある画像でも精度良い判別が行えるという作用を有する。
【0013】
本発明の請求項4に記載の発明は、比較評価処理部が、比較評価する際に、着目画像の特徴を抽出する間隔に応じて、評価結果に対する比較評価を行う特徴の影響の度合いを変更して移動ベクトルを獲得することを特徴とする請求項2記載の自動監視装置であり、処理の間隔の変化に対して安定的に移動ベクトルを獲得できるという作用を有する。
【0014】
本発明の請求項5に記載の発明は、着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第2の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の特徴とその変化量を検索し、現在の特徴やその変化量と移動ベクトルと共に過去の情報を利用して着目画像の判別処理を行うことを特徴とする請求項1記載の自動監視装置であり、現在と過去の着目画像の特徴から、精度の高い判別処理を実現できるという作用を有する。
【0015】
本発明の請求項6に記載の発明は、着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第2の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の着目画像を、現在および過去の特徴とその変化量の信頼性を評価し、その結果を用いて検索し、信頼性の高い過去の着目画像の判別処理を行って結果を出力することを特徴とする請求項1記載の自動監視装置であり、着目画像の特徴の信頼性評価結果を用いることで、現在の着目画像の信頼性が低い場合にも、過去の着目画像の特徴を利用して精度の高い判別処理を実現できるという作用を有する。
【0016】
本発明の請求項7に記載の発明は、特徴評価処理部が、着目画像の移動ベクトルを評価する際に、着目画像の重心位置や端点の位置等の着目画像が撮像手段によって得られる映像情報に存在する位置や、着目画像の大きさ等の特徴を基に、移動ベクトルを評価するか否か、判別処理を行うか否かの判定を行い、評価や判別に必要な処理時間を削減することを特徴とする請求項1記載の自動監視装置であり、映像情報から抽出された着目画像全ての移動ベクトルの算出、判別処理を行う自動監視の場合に比べて、短い処理時間で動作を行うことができ、かつ処理コストやハード規模を低減できるという作用を有する。
【0017】
本発明の請求項8に記載の発明は、特徴評価処理部が、着目画像の発生数を基に、移動ベクトルを獲得し、判別処理を行うために必要な処理時間を算出し、算出された処理時間によって移動ベクトルの獲得のための比較評価を行うか、または判別を行うために移動ベクトルで連続する過去の着目画像の特徴を利用する処理間隔数を決定することを特徴とする請求項1記載の自動監視装置であり、着目画像の発生数の増大による処理時間の増大を防ぐことができるという作用を有する。
【0018】
本発明の請求項9に記載の発明は、特徴評価処理部が、抽出された着目画像から着目画像の特徴を抽出し、抽出された特徴を用いてその特徴の信頼性の評価を行うことを特徴とする請求項1記載の自動監視装置であり、精度の高い判別結果得られるという作用を有する。
【0019】
本発明の請求項10に記載の発明は、特徴評価処理部が、抽出された着目画像から着目画像の面積、重心、端点等の特徴を抽出し、端点で囲まれる領域の面積や縦横の長さなどの特徴と着目画像の面積や重心位置などの特徴の比を用いて、抽出された特徴の信頼性の評価を行うことを特徴とする請求項1記載の自動監視装置であり、精度の良い判別処理が行えるという作用を有する。
【0020】
本発明の請求項11に記載の発明は、特徴評価処理部が、着目画像から抽出された特徴や過去に抽出された特徴を用いるか、それに加えてその変化量を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を用いて監視のシステムを制御することを特徴とする請求項1記載の自動監視装置であり、出力された信頼性情報によりシステムのアラーム・ワーニングなどの状態を変え、監視の動作を変更することで、監視者の負担を軽減する作用を有する。
【0021】
(実施の形態1)
以下、本発明の実施の形態について、図1から図5を参照して実施例を説明する。図1は本発明の第1の実施の形態における自動監視装置の構成を示したものである。図1において、100は監視カメラなどの撮像手段(以下単にカメラと呼ぶ)、101はカメラ100により得られた映像情報から着目画像を抽出する抽出処理部、102は抽出された着目画像毎のラベル付けや特徴を抽出する処理を行う特徴抽出処理部、103は抽出された各着目画像毎の特徴で記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部、104は特徴評価処理部103で記録を行うべく判定された結果を処理の間隔毎に記憶する第1の記憶部である。105は特徴評価処理部103で処理を行うべく判定された各着目画像毎に、第1の記憶部104に処理の間隔毎に記憶された過去の各着目画像の特徴抽出処理部102で抽出された各特徴を比較する比較処理部、106は比較処理を行った結果から特徴評価処理部103で評価判定された現在の各着目画像と過去に特徴評価処理部103で評価判定された過去の各着目画像との重心点の連結を行うなど、現在抽出された着目画像と過去に抽出された着目画像とを連結して移動ベクトルを生成し、第2の記憶部107に記録を行うかどうかの判定を行う比較評価処理部、108は第2の記憶部107に記憶された現在の各着目画像と過去の各着目画像の連結情報と移動ベクトルから第1の記憶部104に記憶された現在の各着目画像との処理間隔毎に記憶された全てかまたは一部の過去の各着目画像の特徴や移動ベクトルから現在の各着目画像が人であるか車であるか、もしくはそれ以外かなどの推定を行い、監視システムを制御するための制御情報を生成する判別処理部である。
【0022】
次に、本実施の形態における動作について説明する。まず、カメラ100で得られた映像情報から判別したい対象物体の領域を着目画像の領域として抽出処理部101において背景差分法や、勾配法などを用いて抽出する。ここでこの撮像手段100や、抽出処理部101の抽出方法は、どのような方法を用いても構わない。ここでは、撮像手段100を監視カメラ、抽出処理部101の抽出方法として背景差分法を用いて説明する。図2は上記抽出処理部101の構成を示しており、201は背景生成処理部、202は背景記憶部、203は差分処理部、204は2値化処理部である。図2において、撮像手段100で撮影した映像情報から背景生成処理部201で背景画像を背景記憶部202に記憶する。背景の生成方法は、図3(a)に示す撮像手段100で得られた映像情報を逐次ある割合で入れ替える背景積分法を用いてもよいし、逐次平均化しても良いし、2値化処理部204の情報をフィードバックして更新の制御をしてもよい。これらの方法で生成された背景画像と撮像手段100で得られた映像情報との差分処理を差分処理部203で行い、予め与えるか、または特徴抽出された結果を用いて決定されたしきい値を用いて2値化処理部204で2値化する。この結果得られた着目画像が、図3(b)の背景差分の結果画像に示す着目画像である。
【0023】
次に、この背景画像との差分処理、2値化処理により得られた現在の着目画像を特徴抽出処理部102でそれぞれラベル付けを行い、各着目画像毎に特徴の抽出処理を行う。ここで言う特徴とは、図3(b)に示すように着目画像の面積、重心位置、端点等の着目画像から得られる情報である。着目画像の面積は、カメラの取り付け角度や高さやレンズの焦点距離や撮像素子のサイズや予め設定するか、カメラの画像処理によって得られた設置情報や奥行きの情報を利用して、実際の検出対象物体の投影面積に換算された面積でも構わない。またここでは、面積と重心位置と端点情報を用いた場合の説明を行うが、その他の特徴としては、着目画像内部の色の分布や統計結果や細線化された情報や形状情報など短い時間で大きい変化のない情報であれば、どんな情報を用いても構わない。
【0024】
特徴抽出処理部102で各着目画像毎に抽出された特徴を、それぞれ特徴評価処理部103で評価する。例えば、予め設定されたカメラの位置で決まる面積は妥当でにあるかどうかや、その位置に発生する物体の端点から得られる縦横比は妥当であるかどうかを評価し、以降の移動ベクトルの比較処理部105、比較評価処理部106、判別処理部108の動作を行うかどうかや記録の必要性の有無を判定し、各着目画像と各特徴毎に第1の記憶部104に記憶する。ここまでの処理を1回の処理の間隔とし、この処理の間隔毎にそれぞれ時点での各着目画像毎の特徴量、信頼性の評価結果の記録の作用を行う。
【0025】
次に、間隔毎に第1の記憶部104に記憶されたそれぞれ時点での各着目画像毎の特徴量、信頼性の評価結果の結果を比較処理部105で比較する。ここで比較の方法を具体例で説明する。なおここでは、説明の簡単のために各着目画像毎に取り扱う特徴量を着目画像の面積、重心、端点とし、比較を行うための処理間隔は1処理とする。図4に時刻tにおける各着目画像の特徴量(a)と時刻t−1における各着目画像の特徴量(b)を示す。tとt−1は、連続する2つの処理間隔で、非常に短い間隔で設定しているため、着目画像の形状や特徴の変化は少ない。ここでは、分かりやすくするために着目画像の形状を示しているが、第1の記憶部104に記憶する情報は、各着目画像のラベルNoとそれぞれの面積S、端点座標T(x、y)と重心位置座標G(x、y)1次または2次元の1組の情報のみでよく、記憶のための容量は少ない。この例の場合は、それぞれ各着目画像の特徴量の情報を8bit で表現すると、面積8bit 、重心位置16bit 、端点32bit で良い。この時刻tの図の場合は、着目画像数が2つであるから、112bit の容量を必要とする。時刻tの着目画像301を比較する対象は、時刻t−1の着目画像401と着目画像402である。大きさの違いが、例えば50%以内の着目画像について比較するように定義すれば、着目画像401のみの比較で構わず、比較の回数が少なくてすむ。ここで着目画像301に対して着目画像401と着目画像402を比較し、その評価値を導く手法について説明する。面積の変化量、端点枠の外周長や縦横比、重心の位置の差をそれぞれ定量化し、着目画像301に対してどの程度変化があるのかを着目画像401、402について計算する。例えば、この画像の場合、時刻tの着目画像301の面積に対する時刻t−1の着目画像401、402の面積の変化の比を時刻t−1の各着目画像でそれぞれSk1、Sk2とすると
Sk2 > Sk1
であることは明らかである。tとt−1の処理間隔が短いほど着目画像401の面積の変化の比Sk1は小さくなる。同様に着目画像301の重心位置の座標、端点枠の比を着目画像401と402それぞれで比較すると、着目画像401と比べた場合の比は小さくなる。この特徴を利用し、時刻tの各着目画像についてそれぞれの特徴量毎にその比を計算し、加算したものを比較評価値とし、その結果を用いて比較評価処理部106で比較評価処理を行う。加算の方法は、そのまま加算してもよいし重みを付加して加算してもよい。比較評価処理部106では、この比較評価値をもとにt−1のどの着目画像位置から移動してきたのか評価を行い、その移動ベクトルを、例えばtとt−1の端点枠の中心や重心位置同士を連結する事で獲得する。
【0026】
なお、得られた移動ベクトルは、着目画像情報に付加して第2の記憶部107に記憶するが、この第2の記憶部2に記憶される移動ベクトルは、各着目画像毎に存在する情報であるため、第1の記憶部104と共有化することも可能である。
【0027】
次に、各着目画像の特徴量の信頼性評価方法とその利用方法について例を用いて説明する。ここでは面積の信頼性評価方法の1例を示す。図4(a)の時刻tにおける着目画像302の面積の信頼性を特徴抽出処理部102で抽出された端点情報を用いて評価する。端点枠で囲まれる面積に対し、着目画像302の特徴として抽出された着目画像の面積は、トラックの荷台の部分が検出されていないため、小さいことが図からも確認できる。通常、人や車などの対象を検出する場合、着目画像が対象の位置を示していれば、端点枠に対する着目画像の比はあまり低くはない。しかし、着目画像の一部が欠落したような時刻tの着目画像302の場合では、比較的低い値になる。この値は原理的には、0から1の値をとり、低い程面積の信頼性が低いと考えることができる。この値を面積の信頼性評価結果とし、先に説明した移動ベクトルの比較評価値を算出する際の重みや面積の値で判別結果を算出する際の重みに用いれば、信頼性の高い情報が、移動ベクトルの抽出や判別において、面積の値の影響を増すことができる。このため、移動ベクトルの比較評価値の精度や最終的な判別処理の精度や監視システムの制御の精度を高めることができる。同様に信頼性の評価結果は、重心位置に着いても端点枠の中心からのずれを利用して信頼性評価値を得ることができる。
【0028】
さらに、着目画像から抽出された特徴や、過去に抽出された特徴を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を記録し、判別処理に用い、判別処理の結果とその信頼性評価結果をともに監視システムに出力することにより、システムの動作を変更することができる。
【0029】
次に、比較評価処理部106における動作の詳細について説明する。本実施の形態における移動ベクトルは、時間t、t−1の間隔が非常に短いことを条件に精度の良い移動ベクトルを獲得するものである。しかし、実際の移動ベクトルは、判別したい対象物体が等速で移動していると仮定した場合に、撮像手段100で撮影されている環境に奥行きがあり、かつ奥行方向の移動成分があれば、この手法で算出される移動ベクトルの長さが対象物体の移動方向によって異なってしまう。この方法で算出される移動ベクトルの方向は、撮像手段100に投影された方向であり、補正の必要は無いが、移動量は対象物体の奥行き位置で異なって投影されるため、その補正が必要となる。以下にこの補正の例を図6を用いて、撮像手段100に対象物体が投影され、抽出された着目画像を用いる手法で説明する。現実にはあり得ないが、説明の簡単のため、全く同一の物体が奥行きの異なる位置で、同一方向に向かって同じ速度で移動している場合を考える。この場合、上記した移動ベクトルの獲得方法では、図6に示すようにそれぞれ方向は、同じであるがベクトルの長さが異なってしまう。これが奥行きによって発生する上記した対象物体の奥行きの位置による移動量の変化である。この移動ベクトルを用いて判別処理部108や特徴評価処理部103における処理を行おうとする場合、画面の中心が奥行きの中央になるように、予め設置を制限するなどして、判別のための範囲を制限しなければならないし、また、得られた結果にも奥行きによって発生する誤差を含んでしまうことになり、判別や、特徴評価の信頼性を低下させてしまう。そこで、図6から分かるように、着目画像の奥行きによって発生する大きさや長さの変化を利用して移動ベクトルの長さを補正する。具体例を示すと、着目画像から得られた移動ベクトルが着目画像を貫く切片の長さや端点枠の長さなどを利用し、その長さが均一になるように、重心位置で移動ベクトルに補正をかけるようにする。
【0030】
なお、奥行き情報の取得は、上記した方法の他に、予め設定などを用いて与えてもよく、ステレオカメラなどの三角測量の原理を用いた画像処理による奥行き情報の獲得方法を用いても構わない。
【0031】
次に、移動ベクトルの比較評価値の一般式の例を示す。説明の簡単のために、着目画像の面積と重心位置のみで比較評価する手法について説明する。端点や他の特徴量については、以下に示す方法と同様に正規化した後に加算すればよい。また、取り扱う処理の間隔を1とし、時刻tと時刻t−1の二つの処理間での評価と限定する。時刻tにおける着目画像の重心位置を(xnt、ynt)、面積をsntとし、時刻t−1の重心位置を(xnt- 1、ynt- 1)、面積をsnt- 1とすると重心間の距離は、
【0032】
【数1】
であり、時刻t−1から選択される着目画像の候補の最大値と最小値の範囲で1から0の値に正規化し、正規化された1以下の値をDnsとする。次に面積の変化量は、
【0033】
【数2】
であり、距離と同様に最大と最小の範囲で、1から0の値に正規化し、正規化された値をSnsとする。比較評価値 jは、σd+σs=1の重みをかけて加算され、以下のようになる。
【0034】
【数3】
このjの値が小さいほど選択されるようにすればよい。この式で、信頼性評価により、それぞれの重みσd、σsを1から0の間でσd+σs=1が成立するように抑制しても構わない。それぞれの重みの初期値は、シミュレーションによる調整を行って好きな値に調整すればよい。例えば、σdを0. 7、σsを0. 3に設定し、距離の重みを70%影響させるようにすると、経験上良い結果が得られた。このような方法を用いて、それぞれの特徴量の変化量を移動ベクトルの比較評価値に変換し、比較評価を行って、注目する着目画像が過去のどの位置から移動してきたかを決定する。
【0035】
この他にも、比較評価値を決める方法は考えられるが、処理の間隔が非常に短ければ、これらの特徴量の変化は小さいという特徴を利用して、過去のそれぞれの着目画像で最も変化量の小さい着目画像が候補として選ばれるような手法を用いればよい。このような手法で時刻tの注目する着目画像に対し、時刻t−1の各着目画像毎に算出された比較評価値を使って、時刻tの注目する着目画像が時刻t−1のどの着目画像位置から移動してきたかを比較評価処理部106で評価し、例えば先の算出式で算出された比較評価値が最低値をとるところを第1候補とし、次に小さいところを第2候補という具合に、第2の記憶部107に記録する。
【0036】
次に、判別処理部108における動作の詳細について説明する。判定処理部108では、特徴評価処理部103で判定され、判別したい着目画像が発生した場合に、第2の記憶部107に記録されている移動ベクトルをもとに過去にさかのぼって第1の記憶部104に記録された特徴量を手繰り出し、例えば、移動ベクトルで連結されている各着目画像の平均化された特徴量を利用して判別を行う。
【0037】
また、判定処理部108では、特徴評価処理部103で判定され、判別したい着目画像が発生した場合に第2の記憶部107に記録されている移動ベクトルをもとに過去にさかのぼって第1の記憶部104に記録された信頼性評価結果を手繰り出し、例えば、移動ベクトルで連結されている各着目画像各特徴の信頼性評価結果の最も高い特徴を利用して判別を行うよにしてもよい。
【0038】
また、判別処理部108では、例えば、過去にさかのぼって面積を評価する場合、上記した端点情報と着目画像の面積から信頼性が高いと判断できる時刻での面積値を採用し、予め設定するなりして決めておいた位置における人の面積中央値に近い場合は、人である可能性が高いという判別情報を出力する。同様に重心位置の移動量についても、予め決めておいたスピードの中央値と比較すればよい。また、端点の縦横比も同様に算出式に加えても良い。この判別処理は、中央値とのばらつき具合を評価尺度に使用し、予め与えておくかまたは学習により得られた各特徴量の範囲からのばらつき具合をすべて考慮した上で、判定出力すればよい。このように、それぞれの特徴が判定出力に影響するように評価関数を定義し、それぞれの特徴の中央値からのばらつきをもって判別したい対象の評価結果として出力する。例えば、人である可能性を1から0、車である可能性も1から0でそれ以外の可能性を1から0で表現し、人である可能性が0. 7、車である可能性が0. 2、それ以外である可能性が0. 1という具合でもよい。
【0039】
(実施の形態2)
上記実施の形態1で示した移動ベクトルの獲得手法は、算出する着目画像の数と過去の着目画像の組み合わせをそれぞれ評価する方法であり、算出時間が着目画像の発生数で増大してしまう。このため、処理時間にかかるコストを低減する必要が生じてくる。一つの方法としては、移動ベクトルの獲得や判別の処理を行うべく、対象物体を予め特徴評価処理部103で絞り込む。具体的には、着目画像の大きさや、着目画像の重心などの着目画像から抽出され獲得された特徴を予め設定するか、学習等によって得られた特徴の範囲を比較し、その範囲にある場合に移動ベクトルの獲得や判別処理を行う。
【0040】
本実施の形態2で示した移動ベクトルの獲得手法は、算出する着目画像の数と過去の着目画像の組み合わせをそれぞれ評価する方法であり、別の方法としては、着目画像の発生数で処理をすべき対象や処理に必要な時間や、情報を制限する方法があげられる。具体的には、特徴評価処理部103で発生数を監視し、発生数が一定の閾値を越えた場合に、処理する対象を大きさの大きい順に一定の数だけ移動ベクトルの獲得や判別処理を行うようにする。
【0041】
なお、一つの着目画像の移動ベクトルの獲得や判別にかかる時間は、過去の着目画像の数が一定でかつ過去の情報を用いる回数が一定ならば一定であるので、移動ベクトルの算出や判別を行うために必要な時間が限られているときは、過去の着目画像の数や利用する過去の情報の処理回数の限界を算出することができる。この算出結果に基づき、移動ベクトルの獲得や判別の処理の回数を制限する。制限の方法としては、大きさの近いものや、重心間の近い順や、大きさの大きい順などの方法が考えられる。
【0042】
【発明の効果】
以上説明したように本発明によれば、以下に示す効果を有する。
(1)撮像手段から得られた映像情報から着目する画像の大きさ、位置などの特徴量を抽出し、移動物体が過去のどの位置から移動して来たかの移動ベクトルを得、この移動ベクトルにより、不完全な抽出結果においても検出対象物体の判別処理を行うことができ、見逃しの少ない監視システムが実現できる。
(2)移動ベクトルを獲得する際、奥行きの補正処理を行うことで、奥行きがある映像情報を用いても信頼性の高い移動ベクトルを得ることができ、精度の良い判別が行える。
(3)移動ベクトルを獲得する際、着目画像の特徴を抽出する間隔に応じて比較評価結果を行うための特徴の影響の度合いを変更することで、処理の間隔が変更されても精度良く移動ベクトルを獲得し、精度良く判別を行える。
(4)撮像手段から得られた映像情報から着目する画像の大きさ、位置などの特徴量を抽出し、移動物体が過去のどの位置から移動して来たかの移動ベクトルを得、この移動ベクトルにより、システムの動作を変更することが可能となり、監視者の負担を軽減することができる。
(5)移動ベクトルや、移動ベクトルで連結された過去の特徴や、特徴の変化量や、その信頼性の評価結果を用いることで、現在の抽出結果の特徴量の信頼性が低い場合にも、過去の信頼性の高い情報を利用して判別処理を行うことで精度の高い判別結果を得ることができ、監視者の負担をかけない自動監視システムを実現することができる。
(6)得られた特徴量とその変化量や信頼性の評価結果や、移動ベクトルで連結された過去の特徴量とその変化量や信頼性の評価結果から大まかに人であるか車であるか等の判別を精度良く行える。
(7)移動ベクトルの獲得や判別処理を比較的容易な方法でき、装置の規模を抑え、処理時間を大幅に削減し、処理コストを低減することができる。
(8)着目画像から抽出された特徴の信頼性の評価を行うことで、信頼性の評価結果を用いて精度の高い移動ベクトルや判別処理を行うことができる。
(9)移動ベクトルにより、連結された過去の特徴量とその変化量や信頼性の評価結果を判別に用いることで、雷や照明のON/OFF等抽出結果の急激な変動に影響を受けにくい判定処理方法が実現でき、精度の高い判別結果が得られる。
(10)着目画像から抽出された特徴のうち、着目画像の面積、重心、端点から簡単に信頼性評価を行うことが可能となり、処理のコストを低減することができる。
(11)判別対象物体の判別結果に加えてその信頼性評価結果を出力することで、監視システムの運用者に負担をかけない自動監視システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における自動監視装置の構成を示すブロック図
【図2】本発明の実施の形態における抽出処理部の構成を示すブロック図
【図3】(a)本発明の実施の形態の抽出処理部における入力画像の画面図
(b)本発明の実施の形態の抽出処理部で得られた着目画像の画面図
【図4】(a)本発明の実施の形態の時間tにおける着目画像の画面図
(b)本発明の実施の形態の時間t−1における着目画像の画面図
【図5】本発明の実施の形態の時間tにおける特徴量の変化を示す画面図
【図6】本発明の実施の形態の時間tにおける移動ベクトルの奥行きによる補正処理を説明する画面図
【符号の説明】
100 撮像手段
101 抽出処理部
102 特徴抽出処理部
103 特微評価処理部
104 第1の記憶部
105 比較処理部
106 比較評価処理部
107 第2の記憶部
108 判別処理部
Claims (11)
- 検出対象物体を撮像する撮像手段と、撮像手段により得られた映像情報から着目画像を抽出する抽出処理部と、抽出した着目画像の特徴を抽出する着目画像の特徴抽出処理部と、抽出した各着目画像毎の特徴を用いて記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部と、特徴評価処理部で記録を行うべきと判定された結果を処理の間隔毎に記憶する第1の記憶部と、抽出した着目画像の特徴と第1の記憶部に記憶された過去の着目画像の特徴とを比較する比較処理部と、比較を行った結果を用いて過去の着目画像と現在の着目画像との関係を評価し、着目画像の移動方向と移動量の移動ベクトルとを導く比較評価処理部と、比較評価処理部で評価された過去の着目画像と現在の着目画像の移動ベクトルを記憶する第2の記憶部と、過去の着目画像と現在の着目画像の移動ベクトルと特徴評価処理部で評価された特徴とにより、着目画像の判別処理を行って結果を出力する判別処理部とを備えた自動監視装置。
- 特徴抽出処理部が、撮像手段により得られた映像情報の一部分である着目画像の面積、重心位置、端点座標、着目画像内部の色や輝度の統計情報、形状情報等の特徴を抽出し、特徴評価処理部が、着目画像の特徴として予め設定されるかまたは学習により得られた特徴の範囲にあるかどうかの評価を行い、その結果を着目画像を抽出する処理の間隔毎に第1の記憶部に記憶し、比較処理部が、第1の記憶部に記憶された特徴と過去の特徴抽出および評価を行った結果として記憶された特徴とを比較評価し、比較評価処理部が、評価の対象となった現在の着目画像の重心や端点枠の中心等と過去の着目画像の重心や端点枠の中心をつなぐことにより、着目画像の移動ベクトルを得ることを特徴とする請求項1記載の自動監視装置。
- 比較評価処理部が、つながれた移動ベクトルの長さを、着目画像の面積、端点位置、重心位置、着目画像を移動ベクトルを延長することにより得られる着目画像の切片の長さ等の特徴や予め設定された奥行き情報やステレオ画像処理などの奥行き情報の獲得手段を用いて得られた奥行き情報により算出された補正情報を用いて補正することを特徴とする請求項2記載の自動監視装置。
- 比較評価処理部が、比較評価する際に、着目画像の特徴を抽出する間隔に応じて、評価結果に対する比較評価を行う特徴の影響の度合いを変更して移動ベクトルを獲得することを特徴とする請求項2記載の自動監視装置。
- 着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第2の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の特徴とその変化量を検索し、現在の特徴やその変化量と移動ベクトルと共に過去の情報を利用して着目画像の判別処理を行うことを特徴とする請求項1記載の自動監視装置。
- 着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第2の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の着目画像を、現在および過去の特徴とその変化量の信頼性を評価し、その結果を用いて検索し、検索の結果、信頼性の高い過去の着目画像の判別処理を行って結果を出力することを特徴とする請求項1記載の自動監視装置。
- 特徴評価処理部が、着目画像の移動ベクトルを評価する際に、着目画像の重心位置や端点の位置等の着目画像が撮像手段によって得られる映像情報に存在する位置や、着目画像の大きさ等の特徴を基に、移動ベクトルを評価するか否か、判別処理を行うか否かの判定を行い、評価や判別に必要な処理時間を削減することを特徴とする請求項1記載の自動監視装置。
- 特徴評価処理部が、着目画像の発生数を基に、移動ベクトルを獲得し、判別処理を行うために必要な処理時間を算出し、算出された処理時間によって移動ベクトルの獲得のための比較評価を行うか、または判別を行うために移動ベクトルで連続する過去の着目画像の特徴を利用する処理間隔数を決定することを特徴とする請求項1記載の自動監視装置。
- 特徴評価処理部が、抽出された着目画像から着目画像の特徴を抽出し、抽出された特徴を用いてその特徴の信頼性の評価を行うことを特徴とする請求項1記載の自動監視装置。
- 特徴評価処理部が、抽出された着目画像から着目画像の面積、重心、端点等の特徴を抽出し、端点で囲まれる領域の面積や縦横の長さなどの特徴と着目画像の面積や重心位置などの特徴の比を用いて、抽出された特徴の信頼性の評価を行うことを特徴とする請求項1記載の自動監視装置。
- 特徴評価処理部が、着目画像から抽出された特徴や過去に抽出された特徴を用いるか、それに加えてその変化量を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を用いて監視のシステムを制御することを特徴とする請求項1記載の自動監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13911596A JP3729933B2 (ja) | 1996-05-31 | 1996-05-31 | 自動監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13911596A JP3729933B2 (ja) | 1996-05-31 | 1996-05-31 | 自動監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09322153A JPH09322153A (ja) | 1997-12-12 |
JP3729933B2 true JP3729933B2 (ja) | 2005-12-21 |
Family
ID=15237852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13911596A Expired - Lifetime JP3729933B2 (ja) | 1996-05-31 | 1996-05-31 | 自動監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3729933B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012147247A1 (ja) * | 2011-04-25 | 2012-11-01 | パナソニック株式会社 | 映像表示装置、映像表示方法及び映像処理装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002352248A (ja) * | 2001-05-25 | 2002-12-06 | Nhk Engineering Services Inc | 映像オブジェクト抽出支援装置 |
JP2004164563A (ja) | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
JP4819001B2 (ja) | 2006-07-25 | 2011-11-16 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム |
JP5177513B2 (ja) * | 2008-04-24 | 2013-04-03 | 京セラ株式会社 | 動きベクトル検出装置およびその方法、並びに撮像装置 |
JP5313037B2 (ja) * | 2009-05-11 | 2013-10-09 | パナソニック株式会社 | 電子カメラ、画像処理装置および画像処理方法 |
JP5516561B2 (ja) * | 2011-12-08 | 2014-06-11 | 株式会社デンソーアイティーラボラトリ | 車両用運転支援装置 |
JP6579816B2 (ja) * | 2015-06-18 | 2019-09-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN114533040B (zh) * | 2022-01-12 | 2024-04-09 | 北京京仪仪器仪表研究总院有限公司 | 一种固定空间内人员特定活跃度的监测方法 |
-
1996
- 1996-05-31 JP JP13911596A patent/JP3729933B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012147247A1 (ja) * | 2011-04-25 | 2012-11-01 | パナソニック株式会社 | 映像表示装置、映像表示方法及び映像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH09322153A (ja) | 1997-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7342919B2 (ja) | 情報処理システム、制御方法、及びプログラム | |
EP3029604B1 (en) | Area information estimating device, area information estimating method, and air conditioning apparatus | |
JP3123587B2 (ja) | 背景差分による動物体領域抽出方法 | |
JP4612635B2 (ja) | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 | |
US9400935B2 (en) | Detecting apparatus of human component and method thereof | |
JP4963964B2 (ja) | 物体検出装置 | |
KR101035055B1 (ko) | 이종 카메라를 이용한 객체 추적 시스템 및 방법 | |
EP1426898A2 (en) | Human detection through face detection and motion detection | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
JP2013196684A (ja) | 対象物計数方法および対象物計数装置 | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
JP3729933B2 (ja) | 自動監視装置 | |
JP3657116B2 (ja) | 物体追跡方法及び物体追跡装置 | |
JP2006318064A (ja) | 画像センサ | |
US20220366716A1 (en) | Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
JP4740755B2 (ja) | 画像を用いた監視装置 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
CN114581847B (zh) | 一种基于gam***的社区行人异常行为检测方法和装置 | |
JP6893812B2 (ja) | 物体検出装置 | |
JP2002190027A (ja) | 画像認識による速度測定システム及び速度測定方法 | |
JP7208051B2 (ja) | 状態認識装置 | |
Tupper et al. | Pedestrian proximity detection using RGB-D data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051005 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |