JP3569163B2

JP3569163B2 - 移動物体監視装置

Info

Publication number: JP3569163B2
Application number: JP19135199A
Authority: JP
Inventors: 小沼　　知恵子; 小林　　芳樹; 久雄大田和; 喜郎佐久間
Original assignee: Secom Co Ltd; Hitachi Ltd
Current assignee: Secom Co Ltd; Hitachi Ltd
Priority date: 1999-04-23
Filing date: 1999-07-06
Publication date: 2004-09-22
Anticipated expiration: 2019-07-06
Also published as: JP2001008189A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動物体監視装置に関し、特に動きの少ない物体も確実に検出できる移動物体監視装置に関する。
【０００２】
【従来の技術】
画像による移動体監視装置として、監視エリアをＩＴＶカメラで撮影して、前画像と後画像との差分から動きの方向と大きさの動きベクトルをブロック単位で抽出し、連続ブロック内でほぼ同じ基準値と比較して目標移動物体を判別する方法が知られている（特開平９−２５２４６７号）。
【０００３】
また、検出物体をテンプレートとして登録し、登録テンプレートと最も一致する位置の移動量を算出してテンプレートを更新しながら移動物体を検出する方法が知られている（特開平９−３２２１５５号）。
【０００４】
【発明が解決しようとする課題】
上記した従来技術で、前者の方法は、連続ブロック間でほぼ同じ動きをする、ある程度以上移動する物体の検出が可能である。また、後者の方法は、移動物体の形状等が変形しない場合や距離が比較的近い場合に、移動物体の早期検出が可能である。
【０００５】
しかし、侵入者等の移動体検知においては、フレーム間における画像の変化が様々となる。侵入者等は、移動が超低速であったり、物陰に隠れて画像が変形したり、立ち止まったり、あるいは、高速に移動したり、様々な動きをする。これらの状態に加えて、夜間等には懐中電灯や車のヘッドライトによる部分的な照射により、明るさが部分的に変化するため、連続ブロック間でほぼ同じ動きをする保証がない。また、点灯している照明を意図的に消灯したりして、明るさが全体的に激変することもある。このように環境変動が激しく、様々な動きが発生する状態では、背景画像の作成も困難になり、外乱と侵入者を早期に識別できないことが多い。
【０００６】
本発明の目的は、上記した従来技術の問題点を克服し、物体の動き状態にかかわらず、移動が多くてもわずかでも、照明が部分的に照らされても、背景画像を自働作成し外乱と区別して、早期に侵入者を検知する移動物体監視装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する本発明は、監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段と、検出した結果を出力する出力手段を備えた移動物体監視装置において、前記画像処理手段は、画像間の差分から抽出した変化領域を候補物体とし、今回の画像による現候補物体と直前の画像による候補物体との距離が所定値以上となる移動状態が所定回数（しきい値１）以上、かつ、最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定する機能を有してなることを特徴とする。また、前記画像処理手段は、直前の候補物体が複数ある場合に、その中心が現候補物体と重ならない候補物体で、かつ現候補物体に最も近い候補物体を対応させることを特徴とする。
【０００８】
これにより、候補の追跡が所定回成功して物体検知とする。また、監視対象が人物の場合、著しく移動の速い物体や外乱（車のライト、飛行物の影など）を除去できる。さらに、直前候補の中心が現候補の領域に重なる場合は、照明のちらつきや旗の揺れなどであり、これら外乱を除去することで検出精度を向上できる。
【０００９】
また、本発明は、現候補物体と直前の画像の中で最も近い候補物体を対応させ、この対応候補間の距離が所定値以上となる状態を移動モード、現候補物体が存在しない状態を消失モードとし、移動モードが所定回数（しきい値１）以上および／または最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定するとともに、前記消失モードの場合に設定された保持時間までは前記候補物体を保持する機能を有してなることを特徴とする。
【００１０】
また、前記対応候補間の距離が前記所定値未満となる状態を停止モードとし、前記停止モードから前記消失モードに遷移するときは、前記移動モードから前記消失モードに遷移するときに比べて、前記保持時間を長く設定する。
【００１１】
これにより、侵入者が立ち止まったり、物かげに隠れたりする行動で、入力画像から候補物体が消失するような場合、前記保持時間の間は直前画像を保持して追跡を継続しているので、再び候補物体が現われると直ちに追跡を開始するので、侵入者の不審な行動パターンに追随して、より検出精度を向上できる。また、移動モードから消失した場合は、速度の速い移動物体とみなされるので、前記保持時間を短くし、一方、停止モードから消失した場合は不審者の典型的な行動パターンとみなされるので、前記保持時間を長くする。
【００１２】
また、前記直前画像は背景画像でもよく、現画像と直前画像の差分に基づいて、現画像で変化のほとんどない領域を背景画像に置換して更新する、背景画像作成手段を設けてなる。さらに、現画像と直前画像の差分に基づく変化領域が画面の大部分（例えば、７割以上）に及ぶとき、現画像の全体領域を背景画像に置換して更新する。これにより、監視エリアの照度変動などに追随し、移動物体の検出精度を向上できる。
【００１３】
本発明の作用を図２の状態遷移図を用いて説明する。物体候補検出部が矩形の物体候補領域を検出すると、その物体候補矩形の重心（中心）と直前の物体候補矩形の重心（中心）のうち最も近い物体候補矩形との移動距離を算出し、その移動距離から候補物体の状態をチェック、追跡して侵入物体を検知する。
【００１４】
候補物体の状態は移動モード４１００、消失モード４１１０、停止モード４１２０に分け、モードに応じた追跡の継続と打切りを、追跡カウンタＴＣと消失カウンタＬＣによって行う。ここで、ある時刻に抽出した物体候補領域（現物体候補領域）に対し、直前時刻に抽出した物体候補領域（直前物体候補領域）の中から最も近い矩形と対応させ、直前に物体候補領域が存在して現物体候補が存在しない見失いの状態を消失モードとし、現物体候補領域の範囲内部に直前物体候補領域の中心（又は重心）が存在する、同一場所状態を停止モードとし、現物体候補領域の範囲外に直前物体候補領域の中心（又は重心）が存在する、移動状態を移動モードとする。
【００１５】
まず、新規の物体候補領域を抽出すると移動モードにし、追跡カウンタＴＣに１を設定する（４１３０）。移動モードから移動モードへ遷移する場合（４１４０）は、位置移動として追跡カウンタＴＣに１を加算し、移動モードから停止モードへ遷移する場合（４２００）は、追跡カウンタＴＣをそのままにし、移動モードから消失モードへ遷移する場合（４１６０）は、追跡カウンタＴＣの現在値から消失カウンタＬＣを算出する。この場合、移動モードから遷移するＬＣの値を小さくし（ＬＣ＝ＴＣ×ＴＣ×１）、消失モードにおける直前候補物体の保持時間を短くして、動きの早い物体や外乱に対する追跡を早期に打ち切る。
【００１６】
移動モードでの位置移動で、追跡カウンタＴＣがしきい値１（ＴＣ値）以上（４１５０）、かつ、現候補の追跡開始の新規候補位置からの距離がしきい値２（距離値）以上となる場合は、移動物体の検知を出力し、追跡処理を終了する。これにより、動きの速い外乱は除外され、また、候補物体に対する複数回の追跡成功を確認するので、検知精度が向上する。
【００１７】
停止モードで遷移が同一場所（４２１０）の場合は、追跡カウンタＴＣをそのままにし、停止モードから移動モードへ遷移する場合（４２２０）は、位置移動として追跡カウンタＴＣに１を加算し、停止モードから消失モードへ遷移する場合（４２３０）は、見失いとして追跡カウンタＴＣの現在値から消失カウンタＬＣを、例えば、ＬＣ＝ＴＣ×ＴＣ×５と算出する。これにより、停止モードから物体を消失した場合の保持時間は、移動モードからの消失に比べてやや大きくなり、移動が遅い物体を検知しやすいようにしている。これにより、侵入者の動きが超スローないしは停止して、背景画像となって一時的に消失しても、次の動きが現われるのを待って、見逃さないようにしている。
【００１８】
消失モードで遷移が見失い（４１７０）の場合は、消失カウンタＬＣから１を減算し、消失モードから移動モードへ遷移する場合（４１９０）は、位置移動として追跡カウンタＴＣに１を加算し、消失モードから停止モードへ遷移する場合（４２４０）は、同一場所として追跡カウンタＴＣをそのままにする。消失モードにおいて、消失カウンタＬＣが０以下になった場合（４１８０）、物体を廃棄して、新規な候補物体の入力を待つ。
【００１９】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて詳細に説明する。図１は、本発明の一実施例による移動物体監視装置のブロック図である。本実施例の監視装置は、監視装置本体１０、表示装置７０００から構成される。または、監視装置本体２０、ＩＴＶカメラ１００、表示装置７０００で構成してもよい。監視装置本体２０は、パーソナルコンピュータに画像処理ボードを装着して実現してもよい。監視装置本体１０は、カメラと画像処理ボードとパーソナルコンピュータを一体としたインテリジェントカメラとして実現してもよい。
【００２０】
本実施例では、まず、ＩＴＶカメラ１００が監視対象を撮影すると、画像入力処理部５００は、取り込んだフレームの画像信号のＡ／Ｄ変換やＣＣＤノイズ低減処理等を行う。背景画像作成部１０００は、取り込んだ現フレームと所定回前のフレームの画素毎に変化のない領域を抽出し、抽出領域で背景画像を更新する。差分画像作成部１０００は、背景画像と入力画像間での画素毎の差分処理を行い、変化領域抽出部２０００が、該差分画像を２値化して変化領域を抽出する。物体候補検出部３０００は、変化領域抽出部２０００で抽出した近隣領域を一つの統合矩形領域にまとめて、統合矩形領域毎に一方の入力画像ともう一方の入力画像間の正規化相関処理による濃淡パターンマッチングを行って物体候補判定処理を行う。
【００２１】
物体候補追跡部４０００は、物体候補領域の重心（中心）と直前の物体候補領域の重心（中心）間の距離から、物体候補の状態を移動モード、停止モード、消失モードに分け、モードに応じた追跡や追跡の保留を行い、追跡処理の結果、条件を満たす候補物体を検知すると、移動物体と判定して表示制御部６０００に出力する。表示制御部６０００は、検知物体の画像を格納し、直ちにまたは監視センター等から要求に応じて、その検知位置等の情報や検知日や時刻等の情報を表示装置７０００にリアルタイムに表示する。
【００２２】
図３は、画像入力処理部５００の内部機能の一例を示すブロック図である。Ａ／Ｄ変換部５５０が、ＩＴＶカメラ１００で撮影した画像を取り込んでＡ／Ｄ変換して入力画像５６０Ｇｉを作成すると、入力画像Ｇｉのノイズ除去部５７０がノイズに対応して平滑化処理やメディアンフィルタ処理等を行って、入力画像５６０のＣＣＤノイズ等を除去した画像Ｆｉを作成する。
【００２３】
図４は、背景画像作成部１０００による背景画像作成手順の一例を示す説明図である。本実施例による背景画像は、画像入力処理部５００でＣＣＤノイズ等を除去した周期的な入力画像Ｆｉ間の差分に基づいて作成される。サンプリング開始時刻ｔ０の画像１１００，時刻ｔｉ−３の画像１１０１、時刻ｔｉ−２の画像１１０２、時刻ｔｉ−１の画像１１０３、時刻ｔｉの画像１１０４を用いて説明する。
【００２４】
初期の背景画像１２００は、サンプリング開始時刻ｔ０の入力画像１１０１とする。いま、時刻ｔｉ−３の画像１１０１を直前画像、時刻ｔｉ−２の画像１１０３を現画像とし、ともに輝度変化の少ないシーンとする。画像１１０１と画像１１０２の画素毎の差分を行い（１１０７）、差分画像を所定のしきい値で２値化して２値画像を作成する（２値化しきい値はＣＣＤノイズを除去できる値で、例えば５〜１２程度）。ここでの２値化では、２値画像がほとんど抽出されないので、変化がないものとみなして、現画像１１０２を背景画像１２０１とする背景更新を行う（１１１１）。
【００２５】
次に、画像１１０２を直前画像、画像１１０３を現画像とする差分を行う（１１０８）。両画像の輝度変化は少ないが、画像１１０３には移動物体１１０５が存在するシーンとする。ここでの差分画像の２値化では、所定の範囲内の２値画像が抽出される（１１１２）。従って、抽出された２値画像は移動物体による変化領域とみなされ、背景更新は行わず（１１１３）、背景画像１２０１のままである。
【００２６】
次に、画像１１０３を直前画像、画像１１０４を現画像とする差分を行う（１１０９）。画像１１０４は大きな輝度変化（１１０６）を生じているものとする。ここでの差分画像の２値化では、画面の大部分に２値画像抽出され、変化領域が所定の範囲（例えば画面の７〜８割程度）を越えているので、監視エリアに大きな環境変化、例えば、天候変化による照度の急変などを生じているものとみなされる。この場合、現画像１１０４によって背景更新（１１１５）を行い、新たな背景画像１２０２を作成する。
【００２７】
このように、直前フレーム（数周期前でもよい）と現フレーム間の差分画像を用いて、背景画像の更新を行う。なお、上記では現画像で全面的に更新する背景画像の作成を説明したが、本実施例では部分更新も行われる。
【００２８】
すなわち、直前の画像と現画像の画素毎の差がわずか（ＣＣＤノイズ成分以下）の領域は変化がない領域とし、それ以外の領域は変化がある領域とし、変化がない領域に対しては現画像で置き換え、変化がある領域に対してはそのままにして、背景画像を更新する。この結果、直前画像に出現した変化領域が現画像でほとんど変化していない場合、当該領域が背景画像に置き換えられる。これにより、外乱等による一時的な画像変化を除外できるので、移動体監視の処理効率と検出精度を向上できる。
【００２９】
一方、監視エリアに侵入した侵入者が一時的に移動を停止しているような場合、この侵入者の画像が背景化されることがある。本発明では、かかる場合に、後述するモード処理によって、侵入者を見失うことがないように工夫している。
【００３０】
差分画像作成部１５００は、画像入力処理部５００で処理された入力画像Ｆｉを入力し、背景画像作成部１０００による背景画像との画素毎の差分を行い（背景差分）、差分画像を作成する。
【００３１】
図５は、変化領域抽出部２０００の内部機能の一例を示すブロック図である。輝度頻度分布算出部２１００は、差分画像作成部１０００で作成した差分画像の輝度頻度分布を算出する。この輝度頻度分布から、２値化しきい値算出部２５００は差分画像の２値化しきい値をモード法等の汎用的な手法で算出する。２値画像作成部２６００は、算出されたしきい値で２値化処理して２値画像を作成する。微小面積除去部２８００は、検知対象に不適切な微小面積除外のフィルタリングや膨張・収縮等を行ってノイズを除外して変化領域の２値画像を作成する。
【００３２】
図６は、物体候補検出部３０００の内部機能の一例を示すブロック図である。抽出領域統合部３１００は、変化領域抽出部２０００で作成した２値画像の大きさが画面全体の大部分（例えば７〜８程度以上）に及ぶ場合、照度変動等による外乱として判定して除外する。上述のように、背景画像作成部１０００でも画面の大部分が変化している場合は、現画像で置き換えた背景画像としているので、統合部３１００の除外判定が誤まる心配はない。
【００３３】
それ以外の場合に、抽出領域統合部３１００は抽出した２値画像に対してラベル画像を作成し、ラベル間の距離が所定距離以内のラベルか否か判定し、所定距離以内でかつ所定距離以内のラベル群の外接矩形が所定サイズか否か判定し、所定サイズ以内のラベル群を統合する。
【００３４】
外接矩形算出部３３００は、統合したラベル群の外接矩形領域を算出する。外接矩形領域類似度算出部３５００は、入力画像間（又は背景画像と入力画像間）で、いずれか一方の画像の外接矩形領域をテンプレートパターンとし、もう一方の画像に対し外接矩形領域とほぼ同一位置（拡張サイズは±１画素以下）で正規化相関を行う。正規化相関における類似度の算出は数１の正規化相関処理による。
【００３５】
【数１】

【００３６】
即ち、登録テンプレートパターンと対象画像の明るさを正規化して明るさの差を求める。この正規化相関処理は、例えば、論文「車番認識システムの濃淡パターンマッチング処理の応用（情報処理学会第４９回全国大会、平成６年後期）」に記載のものである。
【００３７】
数１の演算をマッチング領域全体にわたって実行し、類似度を算出する。物体候補判定部３７００は、数１により算出した類似度が所定値以下の場合、物体候補と判定し、それ以外の場合、外乱として除外する。
【００３８】
図７は、抽出領域統合部３１００の抽出領域の統合処理の手順を示すフロー図である。ステップ３１１０は、２値画像のラベリングを行い、１〜Ｌｎまでのラベルをつけると、Ｌｎが総ラベル数となる。総ラベル数Ｌｎを繰り返すため、ステップ３１２０で処理対象のラベル番号を初期化（ｉ＝０）する。次に、ステップ３１３０で、ラベル番号ｉを一つ大きくして、ステップ３１４０で、全てのラベルが終了したか否かチェックする。終了しない場合、ｉ番目のラベルに対し、ステップ３１５０以降の処理を行う。
【００３９】
ステップ３１５０で、ｉ番目のラベルに対し、重心（中心）座標を算出する。ステップ３１６０で、ｉ番目のラベルとｉ＋１〜Ｌｎ番目のラベル間重心（中心）のＸ方向とＹ方向の距離が許容範囲か否かチェックする。許容範囲でない場合、ステップ３１３０へ戻る。許容範囲以内の場合、ステップ３１７０で、許容範囲のラベルの外接矩形の大きさが所定の大きさの範囲（許容範囲）以内か否かチェックする。外接矩形が許容範囲でない場合、新たな統合領域生成処理のためステップ３１３０へ戻る。許容範囲以内の場合、ステップ３１８０で、許容範囲以内のラベル全てをｉ番目のラベルに加え、加えたラベルを抹消する。ステップ３１９０でｉ〜Ｌｎ番目のラベルについて、昇順にソートすると、ステップ３１３０へ戻り、新たなｉ番目から統合領域生成処理を行う。これにより、次々と距離と外接矩形の許容範囲以内のラベル群が統合されていく。
【００４０】
ここで、Ｘ方向とＹ方向の距離の許容範囲は、例えば、物体が縦に長い人物の場合、Ｘ方向よりＹ方向の距離やを大きくしたり、または、物体が横に長い場合、Ｙ方向よりＸ方向の距離を大きくしたりして設定する。外接矩形の許容範囲も同様であり、いずれにしても、どこまでの範囲を統合するかにより、検知対象物体に追随して適切に設定すればよい。
【００４１】
図８は、外接矩形算出部３３００の外接矩形を算出する手順の説明図である。抽出領域統合部３１００で統合されたラベル群は、同一ラベル番号を有するため、該ラベル群のみ抽出すると、ラベルａ３３１０、ラベルｂ３３２０、ラベルｃ３３３０、ラベルｄ３３４０、ラベルｅ３３５０、ラベルｆ３３６０、ラベルｇ３３７０が抽出される。これらのラベルに対して、外接している矩形を外接矩形３４００として算出する。
【００４２】
図９は、外接矩形領域類似度算出部３５００が物体候補を判定する一例を示す説明図である。外接矩形領域３４００は背景差分に基づく変化領域であり、現入力画像における変化領域（移動物体領域）である。物体候補は、直前の入力画像（又は背景画像）で、外接矩形３４００内部に存在していない。即ち、直前の入力画像（又は背景画像）３５１０における外接矩形領域３４００は、背景シーンであり、現入力画像３５３０における外接矩形領域３４００は、物体候補を含むシーンである。直前の入力画像（又は背景画像）と現入力画像間では、外接矩形領域３４００を比較して相関を行うと、直前の入力画像（又は背景画像）が大部分隠れるため、類似度がかなり小さくなる。これにより、現入力画像における物体候補の存在を判定する。
【００４３】
図１０は、外接矩形領域類似度算出部３５００の処理の手順を示すフロー図である。ステップ３５１０は、現入力画像に対し、統合領域の外接矩形算出部で算出した外接矩形領域の濃淡画像をテンプレートパターンとして登録する。ステップ３５２０は、直前の入力画像（又は背景画像）に対し、ステップ３５１０とほぼ同一位置の外接矩形領域をパターンマッチング領域として設定する。ステップ３５３０は、ステップ３５１０で登録したパターンとの濃淡パターンマッチングを行い、数１により類似度を算出する。
【００４４】
ステップ３５４０は、算出した類似度が所定値以上か否か判定する。類似度が所定値未満の場合は背景と類似していないため、ステップ３５５０で物体候補と判定する。類似度が所定値以上の場合は背景と類似しているため、ステップ３５６０で外乱と判定する。ステップ３５７０は、生成した外接矩形領域が全て終了したか否か判定し、終了していない場合、ステップ３５１０へ戻る。
【００４５】
図１１は、物体候補追跡部４０００の内部機能の一例を示すブロック図である。物体候補領域中心算出部４３００は、統合領域の外接矩形における中心（又は重心）を算出する。移動距離算出部４４００は対象となる外接矩形中心（又は重心）から、直前に抽出した統合領域の外接矩形における中心（又は重心）までの距離を算出する。物体候補領域対応部４５００は対象となる中心（又は重心）から、直前に抽出した統合領域における最も近い距離にある物体候補矩形と対応させる。物体検知部４７００は、物体候補領域対応部４５００で対応させた対応矩形間の距離から、物体候補の状態をモード分けし、モードに従った追跡を行って移動物体を検知する。
【００４６】
図１２は、外接矩形の中心を算出する手順を示す説明図である。通常状態の移動物体として抽出した外接矩形３４００の中心４３１０は、Ｘ方向の長さ４３３０の中点とＹ方向の長さ４３４０の中点の交点とする。
【００４７】
図１３は、物体候補領域対応部４５００が直前物体候補領域と現物体候補領域を対応する手順の説明図である。物体候補検出部３０００で抽出した外接矩形が、直前時刻に抽出された複数の外接矩形４４０２、外接矩形４４０３、外接矩形４４０４と、現時刻に抽出された外接矩形４４０１（ここでは、説明を簡単にするため１つのみ示す）とする。物体候補領域中心算出部４３００が、現時刻の外接矩形４４０１の中心４４１０と、直前時刻の外接矩形４４０３の中心４４３０、外接矩形４４０２の中心４４２０、外接矩形４４０４の中心４４４０を算出し、移動距離算出部４４００が現時刻の中心４４１０から、直前時刻の中心４４３０までの距離４４５１、直前時刻の中心４４２０までの距離４４５０、直前時刻の中心４４４０までの距離４４５２を算出する。
【００４８】
物体候補領域対応部４５００はこれら矩形間の距離のうち、最も小さくかつ現時刻の外接矩形４４０１の内部にその中心が存在しない外接矩形を対応させる。従って、外接矩形４４０３が条件を満足する。一方、現時刻の外接矩形４４０１の内部にその中心が存在する外接矩形４４０２や、外接矩形４４０１から最も距離が大きい外接矩形４４０４は対応させない。
【００４９】
ここで、現時刻の外接矩形４４０１の内部に中心が存在する直前時刻の外接矩形４４０２は、照明の点滅や旗の揺れなどの停止状態の物体であり、内部に中心が存在するかの判定によって、これらノイズの除外ができる。また、現時刻の外接矩形４４０１から距離が大きい外接矩形４４０４は、高速移動の飛来物や遠く離れて突然発生する外乱等の可能性が大きく、これらの除外もできる。
【００５０】
図１４は、物体候補追跡部４０００における物体検知部４７００の追跡手順を示すフロー図で、１個の外接矩形に対して物体追跡を行う例を示している。ステップ４７１０は、候補物体の追跡用パラメータである追跡カウンタＴＣや消失カウンタＬＣと、判定のためのしきい値の初期設定を行う。
【００５１】
追跡カウンタＴＣは候補物体の移動の検出回数で初期値は０である。消失カウンタＬＣは候補物体を見失った場合、既出現の候補物体を保持して再現を待つ保持時間を可変するパラメータで、初期値は０または任意（例えばＬＣ＝１０）とする。追跡カウンタＴＣがそのしきい値１を超えた場合には、追跡できたとして、候補物体は候補から監視対象の物体（真の物体）として検知される。すなわち、しきい値１は候補物体を真の物体と検知するまでの移動の検出回数で、検出の精度と検出までの所要時間から任意に設定される。また、候補物体が最初の出現位置から一定距離移動している場合に、追跡した候補物体を監視対象の物体とみなすように、移動距離のしきい値２はこの一定距離とし、監視対象の物体（人物）の移動速度を基準にして、任意に設定する。
【００５２】
まず、ステップ４７１２で、処理対象画像を取り込む。ステップ４７１４は、現候補物体（背景差分により抽出された外接矩形）が存在するか否かチェックし、存在しない場合はステップ４８５０を、存在する場合は、ステップ４７２０を行う。
【００５３】
ステップ４８５０は消失モードで、現候補物体が消失した状態として、ステップ４８６０の処理を行う。ステップ４８６０は、現候補物体の直前時刻の状態をチェックし、直前時刻の状態も消失モードの場合には、ステップ４９００で消失カウンタＬＣから１を減算し、ステップ４９１０でＬＣ＞０かチェックする。ＬＣ≦０の場合には、ステップ４９２０でＴＣ＝０にして、保持していた物体候補を廃棄し、ステップ４７１２の処理へ戻る。ステップ４８６０のチェックで、現候補物体の直前時刻の状態が停止モードの場合は、ステップ４８９０で消失カウンタＬＣを算出、また、移動モードの場合は、ステップ４８７０で消失カウンタＬＣを算出し、ステップ４７１２の処理に戻る。
【００５４】
ステップ４８９０における消失カウンタＬＣは、例えば、追跡カウンタＴＣの２乗を１０倍した値で、停止モード（同一場所）から物体を消失した場合、つまり移動が遅い物体を検知しやすいように、保持時間をやや延長する値にしている。一方、ステップ４８７０は移動モードから物体を消失した場合で、移動が速い物体を検知しにくいように、保持時間をやや短縮するようにＬを算出している（例えば、ＴＣの２乗を２倍する）。
【００５５】
ステップ４７１４で処理画像に現候補物体が存在する場合、ステップ４７２０は、追跡カウンタＴＣ＝が０であるか判定する。ＴＣ＝０の場合は、追跡処理の最初に検出された候補物体（新規出現）なのでステップ４７３０へ進み、現物体候補の状態を移動モードとして、追跡カウンタＴＣを１とする。また、新規出現の候補物体の中心をＳＰとし、ステップ４７１２の処理に戻る。このＳＰは、以下の追跡の開始点となる。
【００５６】
ＴＣ≠０の場合は、既出現であるのでステップ４７４０へ進み、現候補物体の外接矩形の中心と既出現の直前候補物体の外接矩形の中心との距離が最小の物体候補の外接矩形と対応させる。ステップ４７６０は、対応した直前時刻の候補物体の中心（重心）が、現時刻の候補物体（外接矩形）の範囲内か否か判定する。範囲内であれば、現候補物体は停止状態であり、ステップ４７６０で現候補を停止モードとし、ＴＣはそのままとして、ステップ４８１０に進む。一方、範囲外であれば、現候補物体は移動状態であり、ステップ４７６０で現候補を移動モードとし、ステップ４８００でＴＣに１を加算して、ステップ４８１０に進む。
【００５７】
ステップ４８１０は、追跡カウンタＴＣがしきい値１以上であるか判定し、しきい値１未満であると、ステップ４７１２へ戻る。しきい値１以上の場合は、ステップ４８１５に進み、現候補物体（外接矩形）の中心と追跡開始位置ＳＰとの距離を求め、その距離がしきい値２以上か判定する。しきい値２未満の場合は、ステップ４８９０でＬＣを算出する。候補物体が移動モードから停止モードへ遷移したので、保持時間であるＬＣの値を大きくして、ステップ４７１２へ戻る。
【００５８】
一方、ステップ４８１５でしきい値２以上の場合は、ステップ４８２０で、物体の検知を表示制御部６０００に出力し、ステップ４８３０で、消失カウンタＬＣと追跡カウンタＴＣを初期化して、追跡処理を終了する。あるいは、ステップ４７１２へ戻り、次の追跡処理に備える。
【００５９】
このように、本実施例の追跡処理による物体検知は、追跡中の候補物体の出現確認シーン数が所定回以上、かつ、最初の出現位置から一定距離以上移動している場合に、追跡した候補物体を監視対象の侵入物体とみなす。
【００６０】
また、候補物体の動きが極めて遅くなったり、停止した場合、変化のない領域とみなされ、背景画像に組み込まれて消失してしまう。しかし、本実施例では、移動、停止、消失の状態遷移に応じたモード制御により、消失した対象の候補物体の保持時間を可変設定しながら追跡を継続するので、この保持時間中に再び対象候補が移動すると、その出現シーンから追跡を再開できる。これにより、保持時間を長くすれば侵入者が立ち止まる行動にも十分に追随でき、また、保持時間を短くすれば人に比べ高速移動する監視対象外の物体や外乱の除外が可能になり、精度の高い監視が可能になる。
【００６１】
一方、候補物体が複数存在することもある。その場合、外接矩形が複数存在するので、１個の外接矩形に対して物体追跡を行う処理を、複数回数繰り返せばよい。しかし、候補物体が複数存在すると、現候補物体の外接矩形中心から、直前候補物体の外接矩形中心までの距離のうち、最も小さくかつ現候補物体の外接矩形の内部に中心が存在しない直前候補物体の外接矩形を対応させる場合に、物体の取り違えを発生することがある。しかし、複数の候補物体は無関係でない場合が多く、仮に取り違えたとしても、まず、全体的に見て移動物体の検知ができればよく、大きな問題ではない。
【００６２】
図１５は、表示装置７０００に表示した物体検知の表示例を示す。物体検知、ここでは人物６２００を検知すると、表示制御部６０００は格納している検知物体の外接矩形位置を読み出し、表示装置７０００の現入力画像に重ねて外接矩形枠６３００を表示する。これにより、人物監視の場合、表示装置７０００上で人物及び追跡による検知情報（外接矩形枠）をオンラインに把握できる。
【００６３】
上記実施例では、監視装置本体２０の表示制御部６０００から検出結果を出力し、本体２０と併設している表示装置７０００で監視する構成を説明した。しかし、この構成に限られるものではなく、複数の監視装置本体１０（または２０）から送信される検出結果を、遠隔の監視センタ等に配置された表示装置で集中監視する構成も可能である。
【００６４】
図１６は、他の実施例による移動体監視装置のシステム構成を示す。本構成による監視装置は、電話線等の通信回線７０２０によって結ばれた監視装置本体１０と表示装置本体７０１０からなる。または、監視装置本体２０’とＩＴＶカメラ１００及び表示装置本体７０１０から構成してもよい。なお、図１と同等の要素には同一の符号を付して説明を省略する。
【００６５】
表示装置本体１０は監視センタに設置され、監視装置本体１０を呼び出して監視結果を受信し、検知物体の画像、検知位置、日時などのデータを格納して監視画像を編集する表示制御部６０００と、リアルタイムまたは必要時に監視画像を表示する表示装置７０００からなる。なお、検出結果の表示編集機能を図１と同様に監視装置本体１０に残し、表示装置本体７０１０では送受信と画像変換の機能を持つ構成としてもよい。
【００６６】
【発明の効果】
本発明によれば、検出した現候補物体と直前の複数の候補物体について、物体領域（矩形枠）の重心（中心）間のうち、最も近い候補物体どうしを対応させ、対応候補間の距離が一定以上の移動状態の追跡が所定回以上繰り返され、かつ、初期候補からの移動距離が所定しきい値を越える場合に、移動物体と検知するので、少ない追跡回数で高速に通過するような候補や外乱が除外され、人物のような移動物体の検出精度を向上できる効果がある。
【００６７】
また、対応候補間の距離から候補物体の動きを移動、停止、消失の３状態にモード分けし、モードに応じた追跡処理を行う。候補間距離が一定以上を移動モード、未満を停止モード、候補物体が見つからない状態を消失モードとし、消失モードでは現在の追跡回数とモード遷移によって算出する保持時間の間、直前の候補物体を保持して追跡を保留するので、候補が再び移動を始めると、直ちに追跡を開始する。保持時間は停止モードから遷移した場合は長く、移動モードから遷移した場合は短く設定されるので、動きの遅い侵入者が背景画像化されて一時的に消失しても、見逃すことがない。また、移動から急に消失するような動きの速い外乱に対しては、追跡が短時間に打ち切られる。これらにより、侵入者の挙動に適した追跡が可能になり、検出精度を一層向上できる効果がある。
【００６８】
さらに、本発明では変化領域が画面の大半に及んだとき、変化領域ないし候補物体を廃棄するので、照度変動等による外乱を除外できる効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例による移動物体監視装置の機能ブロック図である。
【図２】本発明の移動物体監視装置の作用を示す説明図。
【図３】画像入力処理部の内部機能の一例を示すブロック図。
【図４】背景画像作成部の機能と処理を示す説明図。
【図５】変化領域抽出部の内部機能の一例を示すブロック図。
【図６】物体候補検出部の内部機能の一例を示すブロック図。
【図７】抽出領域統合部の統合処理の手順を示すフロー図。
【図８】外接矩形算出部の外接矩形を算出する手順を示す説明図。
【図９】外接矩形領域類似度算出部が物体候補を判定する処理を示す説明図。
【図１０】外接矩形領域類似度算出部の処理手順を示すフロー図。
【図１１】物体候補追跡部の内部機能の一例を示すブロック図。
【図１２】外接矩形中心の算出のしかたを示す説明図。
【図１３】物体候補領域対応部の対応候補を求める手順を示す説明図。
【図１４】物体候補追跡部の追跡処理の手順を示すフロー図。
【図１５】物体検知結果の表示例を示す説明図。
【図１６】本発明の他の実施例による移動物体監視装置のシステム構成図。
【符号の説明】
１０，２０，２０’…監視装置本体、１００…ＩＴＶカメラ、５００…画像入力処理部、１０００…背景画像作成部、１５００…差分画像作成部、２０００…変化領域抽出部、３０００…物体候補検出部、３１００…抽出領域統合部、３３００…外接矩形算出部、３５００…外接矩形領域類似度算出部、３７００…物体候補判定部、４０００…物体候補追跡部、４３００…物体候補領域中心算出部、４４００…移動距離算出部、４５００…物体候補領域対応部、４７００…物体検知部、６０００…表示制御部、７０００…表示装置、７０１０…表示装置本体、７０２０…通信回線。

Claims

監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段と、検出した結果を出力する出力手段を備えた移動物体監視装置において、
前記画像処理手段は、画像間の差分から抽出した変化領域を候補物体とし、今回の画像による現候補物体と直前の画像による候補物体との距離が所定値以上となる移動状態が所定回数（しきい値１）以上、かつ、最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定する機能を有してなることを特徴とする移動物体監視装置。
請求項１において、
前記画像処理手段は、直前の候補物体が複数ある場合に、その中心が現候補物体と重ならない候補物体で、かつ現候補物体に最も近い候補物体を対応させることを特徴とする移動物体監視装置。
監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段と、検出した結果を出力する出力手段を備えた移動物体監視装置において、
前記画像処理手段は、画像間の差分から抽出した変化領域を候補物体とし、今回の画像による現候補物体と直前の画像の中で最も近い候補物体を対応させ、この対応候補間の距離が所定値以上となる状態を移動モード、現候補物体が存在しない状態を消失モードとし、移動モードが所定回数（しきい値１）以上および／または最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定するとともに、前記消失モードの場合に設定された保持時間までは前記候補物体を保持する機能を有してなることを特徴とする移動物体監視装置。
請求項３において、
前記対応候補間の距離が前記所定値未満となる状態を停止モードとし、前記停止モードから前記消失モードに遷移するときは、前記移動モードから前記消失モードに遷移するときに比べて、前記保持時間を長く設定することを特徴とする移動物体監視装置。
監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段と、検出した結果を出力する出力手段を備えた移動物体監視装置において、
現時点の入力画像（以下、現画像）と現時点に対し一定周期前の画像（以下、直前画像）間の、画素毎の差分に基づいて抽出した変化領域を候補物体とする候補物体検出手段と、
現画像による候補物体と直前画像による候補物体を対応させ、この対応候補間の距離が所定値以上となる状態を移動モード、所定値未満となる状態を停止モード、現画像に対応する候補物体が存在しない状態を消失モードとし、前記移動モードでの画像サンプリング回数が所定回数（しきい値１）以上および追跡当初の候補物体の位置から現在の候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定し、また、前記消失モードでの画像サンプリングの回数が消失許容値になるまで、前記直前画像を保持し、前記許容値を越えると廃棄して追跡処理を打ち切る候補物体検出手段と、
前記移動モードでの画像サンプリング回数を計数する追跡カウンタと、前記消失モードでの画像サンプリング数を消失許容値から減算するもので、かつ、前記消失モードが前記移動モードから遷移する場合の前記許容値より、前記停止モードから遷移する場合の前記許容値を大きく設定される消失カウンタと、を前記画像処理手段に設けたことを特徴とする移動物体監視装置。
請求項５において、
前記直前画像は背景画像であり、現画像と直前画像の差分に基づいて、現画像で変化のほとんどない領域を背景画像と置換して更新する、背景画像作成手段を設けてなる特徴とする移動物体監視装置。
請求項６において、
前記背景画像作成手段は、現画像と直前画像の差分に基づく変化領域が画面の大部分に及ぶとき、現画像の全体領域を背景画像と置換して更新する移動物体監視装置。
監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段を有する監視装置本体と、前記監視装置本体による検出結果を伝送する信号線と、前記信号線を経由して受信した検出結果を処理する表示制御部を有する表示装置本体を備えた移動物体監視装置において、
前記画像処理手段は、画像間の差分から抽出した変化領域を候補物体とし、今回の画像による現候補物体と直前の画像による候補物体との距離が所定値以上となる移動状態が所定回数以上、かつ、最初の候補物体の位置から現候補物体までの移動距離が所定距離以上となるとき、当該候補物体を監視対象の移動物体と判定する機能を有してなることを特徴とする移動物体監視装置。