JP2011053005A - 監視システム - Google Patents

Abstract

【課題】距離測定用のセンサなど専用の装置を用いることなく、侵入者までの距離を測定可能なシステムを提供することを課題とする。
【解決手段】監視システム３は、監視装置１と監視カメラ２とを備える。監視カメラ２で撮像された画像から、監視装置１は距離画像を生成する。監視状態に入ると、監視装置１は、監視カメラ２で撮像された画像から侵入者を検出する。侵入者を検出すると、監視装置１は、次に、侵入者の画像上での接地位置を特定する。監視装置１は、接地位置を特定すると、あらかじめ生成されている距離画像上に接地位置を重ねることで、接地位置までの距離を特定する。
【選択図】図１

Description

本発明は、侵入者までの距離を測定する技術に関する。詳しくは、監視カメラが撮像した画像を用いて侵入者までの距離を測定する技術に関する。

ビルや家屋などの施設に、監視カメラが設置されている。監視カメラで撮像した画像を解析することで、侵入者を検知することができる。侵入者を検知した場合には、警報を鳴らすなどの対処がとられる。あるいは、監視カメラで撮像した画像を記録し、後で、記録された撮像画像を閲覧することで、施設内の状況を把握することができる。

人物までの距離を測定する技術がある。たとえば、レーザーセンサを用いて人物までの距離を測定する技術、ステレオ画像を利用して人物までの距離を測定する技術などがある。これらは、専用の装置が必要となるため、システムコストが比較的高くなる。

下記特許文献１および特許文献２においては、撮像画像を利用して人物までの距離を測定する技術が開示されている。

特許文献１においては、高さと位置が分かっている基準物体の画像と、人物画像とを比較することにより、人物までの距離を特定している。基準物体の画像と人物画像とを比較するときには、消失点から物体の下端までの距離を利用することで、人物の身長に依存しない評価を行うようにしている。

特許文献２においては、頭部の画像上の位置と床部分の座標とを対応付けた変換テーブルを利用している。撮像画像から頭部の位置を特定することで、変換テーブルを利用して、人物の位置を特定するようにしている。

特開２００８−２８６６３８号公報 特許第３６３７３６０号公報

本発明は、レーザーセンサなど距離測定用の専用装置を別途設けることなく、撮像した画像を用いて侵入者までの距離を測定する技術を提供することを課題とする。

請求項１記載の発明は、所定の領域を撮像するよう撮像範囲が設定された撮像装置と、前記撮像装置により撮像した前記所定の領域の画像上の座標に、実空間における前記撮像装置からの距離を対応させた距離画像を記憶する記憶装置と、前記所定の領域を監視中、前記撮像装置により前記所定の領域の監視画像を取得し、前記監視画像から侵入者を検出する侵入者検出部と、前記監視画像において前記侵入者の接地位置を特定する接地位置特定部と、前記距離画像と前記接地位置とから前記侵入者までの距離を特定する距離特定部と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の監視システムにおいて、前記侵入者検出部は、前記監視画像と、前記所定の領域に侵入物体がない状態で撮像された基準画像と、を比較し、輝度値の変化が第１の閾値を超える領域を移動体領域として抽出する抽出部と、前記移動体領域の高さが第２の閾値を超える場合、前記移動体領域を前記侵入者の領域として判定する侵入者判定部と、を含むことを特徴とする。

請求項３記載の発明は、請求項１に記載の監視システムにおいて、前記侵入者検出部は、前記監視画像と、前記所定の領域に侵入物体がない状態で撮像された基準画像と、の差分画像を生成する差分生成部と、前記差分画像と、人物の特定の場所の特徴を表す特定パターン画像とのマッチングを行い、前記監視画像に含まれている前記侵入者の領域を決定するマッチング部と、を含むことを特徴とする。

請求項４記載の発明は、請求項２に記載の監視システムにおいて、前記接地位置特定部は、前記移動体領域の最下位点を接地位置として特定することを特徴とする。

請求項５記載の発明は、請求項３に記載の監視システムにおいて、前記接地位置特定部は、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングに成功した場合、前記足パターン画像とマッチングした領域の最下位点を接地位置として特定することを特徴とする。

請求項６記載の発明は、請求項２に記載の監視システムにおいて、前記接地位置特定部は、前記移動体領域の最下位点が前記監視画像の最下位領域と一致する場合、前記侵入者が、前記撮像装置から所定の距離以内に近づいていると判断することを特徴とする。

請求項７記載の発明は、請求項２に記載の監視システムにおいて、前記侵入者検出部は、検出した前記侵入者のサイズを記憶するサイズ記憶部、を含み、前記接地位置特定部は、カレントフレームに含まれる前記侵入者のサイズが、１フレーム前の過去フレームに含まれる前記侵入者のサイズより所定の割合以上小さくなっている場合、前記カレントフレームに含まれる前記侵入者の頭の位置を基準として、前記過去フレームに含まれる前記侵入者のサイズを考慮することで、前記接地位置を特定することを特徴とする。

請求項８記載の発明は、請求項２に記載の監視システムにおいて、前記侵入者検出部は、検出した前記侵入者のサイズを記憶するサイズ記憶部、を含み、前記接地位置特定部は、カレントフレームに含まれる前記侵入者のサイズが、１フレーム前の過去フレームに含まれる前記侵入者のサイズより所定の割合以上大きくなっている場合、前記過去フレームに含まれる前記侵入者のサイズを考慮することなく、前記カレントフレームに基づいて前記接地位置を特定することを特徴とする。

請求項９記載の発明は、請求項３に記載の監視システムにおいて、前記接地位置特定部は、前記差分画像の下端領域において、前記差分画像と、人物の上半身の特徴を表す上半身パターン画像とのマッチングに成功した場合、前記侵入者が、前記撮像装置から所定の距離以内に近づいていると判断することを特徴とする。

請求項１０記載の発明は、請求項３に記載の監視システムにおいて、前記接地位置特定部は、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、マッチングに成功した人物の他の場所に、人物全体の特徴を表す人物全体パターン画像をあてはめることで前記接地位置を特定することを特徴とする。

請求項１１記載の発明は、請求項３に記載の監視システムにおいて、さらに、人物の平均的な体型の比率を示す比率情報を記憶する比率記憶部、を備え、前記接地位置特定部は、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、マッチングに成功した人物の他の場所のサイズに、前記比率情報で示された比率を適用させることで、前記接地位置を特定することを特徴とする。

請求項１２記載の発明は、請求項３に記載の監視システムにおいて、さらに、人物の平均的な顔のサイズと全身のサイズとの比率を示す比率情報を記憶する比率記憶部、を備え、前記接地位置特定部は、前記監視画像に対して顔認識処理を行い、顔のサイズを取得する顔抽出部と、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、顔抽出部で抽出した顔のサイズに、前記比率情報で示された比率を適用させることで、前記接地位置を特定することを特徴とする。

本発明の監視システムを用いることで、距離測定用のセンサなどを用いることなく、撮像画像を利用して侵入者までの距離を測定することができる。

監視システムの全体図である。 監視装置のブロック図である。 監視エリアに設置された目印物体を示す図である。 距離画像を示す図である。 監視エリアに配置された目印ラインを示す図である。 人物を含む監視画像の部分拡大図である。 人物を含む輝度画像の部分拡大図である。 輝度画像から抽出された人物の最下位点を示す図である。 輝度画像から抽出された人物の最下位点を示す図である。 人物の移動前後に関わる監視画像を示す図である。 人物の移動前後に関わる輝度画像を示す図である。 距離画像上に示された接地位置を示す図である。 接地位置と監視エリア境界線とを示す図である。 基準画像を示す図である。 人物を含む監視画像を示す図である。 基準画像と監視画像との差分画像を示す図である。 差分画像と人物パターン画像とのマッチング方法を示す図である。 差分画像と足パターン画像とのマッチング方法を示す図である。 人物が撮像エリアの下端に位置する監視画像を示す図である。 人物が障害物の陰に隠れた状態の監視画像を示す図である。 上半身の画像に下半身の画像を適用させた状態を示す図である。 上半身の長さから全身の長さを推定する方法を示す図である。 顔の長さから全身の長さを推定する方法を示す図である。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の実施の形態に係る監視システム３について説明する。図１は、監視システム３の全体図である。監視システム３は、建物５の敷地内を監視するようセッティングされている。監視システム３は、建物５の中に設置された監視装置１と監視カメラ２とを備えて構成されている。

図２に示すように、監視装置１は、ＣＰＵ、メモリなどを備える制御部１１と記憶装置１２とを備える。制御部１１には、監視カメラ２が接続されている。監視カメラ２は、たとえばＣＣＤ撮像素子を備え、建物５の周辺領域を撮像可能である。監視カメラ２は、図１に示す監視エリア６を撮像可能となるように、高さ、方向などが固定されている。このように、監視カメラ２は、固定された撮像範囲内の画像を撮像する。

以下、監視カメラ２から侵入者までの距離を特定する監視システム３のシステムの動作、構成について、
＜１．距離画像の作成＞
＜２．侵入者の検出＞
＜３．接地位置の特定＞
＜４．距離の特定＞
の順に説明する。

＜１．距離画像の作成＞
距離画像の作成プロセスについて説明する。本実施の形態の監視システム３を実際に稼動させる前に、あらかじめ距離画像を作成する。

距離画像を作成するために、図３に示すように、監視エリア６内に、距離測定用の複数の目印物体７１、７２および７３が設置される。目印物体７１は、監視カメラ２の設置場所から１５ｍの距離の場所に設置されている。目印物体７２は、監視カメラ２の設置場所から１０ｍの距離の場所に設置されている。目印物体７３は、監視カメラ２の設置場所から５ｍの距離の場所に設置されている。目印物体７１、７２および７３は、監視カメラ２からの距離を地面の高さ（画像での縦方向の位置）で測ることを目的としているので、なるべく高さの低い物体を選ぶ方がよい。

監視エリア６内に目印物体７１、７２および７３を配置した上で、監視カメラ２により画像８１を撮像する。図４に示すように、撮像された画像８１には、目印物体７１、７２および７３が含まれている。この画像８１上で、複数の目印物体７１間を結ぶことにより、監視カメラ２から距離１５ｍの地点を示すライン８１１が描かれる。同様に、複数の目印物体７２間および目印物体７３間を結ぶことにより、監視カメラ２からそれぞれ距離１０ｍ、５ｍの地点を示すライン８１１が描かれる。

距離画像データ１２１は、画像８１を利用して生成される。距離画像データ１２１は、画像８１と同じ画素数を有する。距離画像データ１２１の各画素には、監視カメラ２からの距離が対応付けられる。距離画像データ１２１において、目印物体７１間を結ぶライン８１１上の画素に距離１５ｍが対応付けられる。距離画像データ１２１において、目印物体７２間および目印物体７３間を結ぶライン８１１上の画素にそれぞれ距離１０ｍ、５ｍが対応付けられる。

さらに、図４に示すように、目印物体７１間を結ぶライン８１１と目印物体７２を結ぶライン８１１の間に距離１２．５ｍに対応するライン８１１を推定で描いている。同様に、距離７．５ｍ、距離１７．５ｍなどのライン８１１も推定で描かれている。距離画像データ１２１において、目印物体７１、７２および７３に基づいて作成されたライン８１１上の画素と、推定されたライン８１１上の画素に、それぞれ距離が対応付けられている。

目印物体をどの程度の間隔で設置するのか、ライン８１１をどの程度まで細かく推定するのかなどは、自由に設定することができる。

距離測定用に目印物体７１、７２および７３を設置する場合を例に説明したが、図５に示すように、距離測定用のライン７５を監視エリア６内に描画してもよい。たとえば、白線などのライン７５を監視エリア６内に描画すればよい。ライン７５には、監視カメラ２からの距離が、５ｍ、１０ｍ、１５ｍなどの距離に目印ポイント７６がつけ加えられている。距離画像データ１２１において、目印ポイント７６間を結ぶライン上の画素に距離が対応付けられる。さらに、目印ポイント７６間を結ぶライン間に、推定されたラインを補完し、推定されたライン上の画素にも距離が対応付けられる。

以上のような作業を行うことで、距離画像データ１２１が作成される。距離画像データ１２１は、監視カメラ２が撮像した画像データに基づいて、監視プログラム１２０が実行することで作成される。ライン８１１の間隔などは、適宜、入力装置からユーザが設定可能となっている。

距離画像データ１２１の作成が終了したら、目印物体７１、７２および７３は撤去してよい。あるいは、ライン７５および目印ライン７６を消去してよい。

＜２．侵入者の検出＞
距離画像データ１２１を記憶装置１２に格納した上で、監視システム３は、監視状態に移行する。監視状態に入ると、監視カメラ２は、たとえば、２〜５フレーム／秒などのレートで監視エリア６内の画像を撮像する。撮像された画像は、撮像画像データ１２２として記憶装置１２に格納される。

以下、監視プログラム１２０によって実行される侵入者の検出処理の内容について説明する。

図６は、撮像画像データ１２２の部分拡大図８２Ｎおよび８２（Ｎ＋１）を示す。部分拡大図８２Ｎは、第Ｎフレームに撮像された撮像画像データ１２２の中で、人物部分を拡大した図である。部分拡大図８２（Ｎ＋１）は、第（Ｎ＋１）フレームに撮像された撮像画像データ１２２の中で、人物部分を拡大した図である。第Ｎフレームから第（Ｎ＋１）フレームにかけて、人物が移動していることが分かる。

図７は、輝度画像を示す。輝度画像９２Ｎは、第Ｎフレームの輝度画像の部分拡大図である。つまり、図６の部分拡大図８２Ｎに対応する輝度画像である。輝度画像９２（Ｎ＋１）は、第（Ｎ＋１）フレームの輝度画像の部分拡大図である。つまり、図６の部分拡大図８２（Ｎ＋１）に対応する輝度画像である。

輝度画像９２Ｎおよび９２（Ｎ＋１）に示している数値は、輝度値である。ただし、図に示す輝度値は実際の輝度値ではない。図に示した輝度値は、説明を簡単にするために、１桁程度の小さな数値で表しており、数値が大きいほど、輝度が高いことを示している。また、輝度画像は、全画素に輝度値を対応付けてもよいが、図６および図７で示す例では、複数の画素からなるブロックに対して輝度値を対応付けている。たとえば、各ブロックの輝度値は、ブロックに含まれる全画素の輝度値の平均値を利用すればよい。

監視プログラム１２０は、輝度画像９２Ｎと輝度画像９２（Ｎ＋１）とを比較し、輝度変化が所定の閾値を上回る領域を移動体領域９２１として特定する。図７において、ハッチングで示されているのが移動体領域９２１である。具体的には、第Ｎフレームから第（Ｎ＋１）フレームに変化するにつれて、輝度値が所定の閾値以上、上昇した領域を移動体領域９２１として特定する。

続いて、監視プログラム１２０は、移動体領域９２１の高さが、所定の閾値を上回るか否かを判定する。監視プログラム１２０は、移動体領域９２１の高さが、所定の閾値を上回る場合には、移動体領域９２１が侵入者の検知領域であると判定する。

移動体領域９２１の高さが、所定の閾値を下回る場合には、侵入者はないと判断し、次のフレームに対する処理に移行する。移動体領域９２１の高さが所定の閾値を下回る場合とは、たとえば、犬や猫が監視エリア６に侵入した場合などが考えられる。このような場合には、誤って侵入者ありとして誤検知することを防止できる。

＜３．接地位置の特定＞
移動体領域から侵入者の存在が確認されると、監視プログラム１２０は、次に、侵入者の接地位置を特定する。

図８は、輝度画像９３Ａを示す。輝度画像９３Ａには、移動体領域９３１が検出されている。移動体領域９３１の高さは所定の閾値を上回っているため、侵入者であると判定されている。監視プログラム１２０は、移動体領域９３１の最下位位置９３２を侵入者の接地位置であると判定する。

図８で示した例は、移動体領域９３１の全体が撮像範囲内に収まっている。つまり、侵入者の全身が、監視カメラ２による撮像範囲に収まっている。これに対して、図９で示した例では、移動体領域９３１は撮像範囲内の下端に位置している。つまり、侵入者の上半身のみが撮像範囲に収まっている。

このようなケースでは、移動体領域９３３の最下位位置９３４を侵入者の接地位置と判定するのは不適切である。このようなケースでは、監視プログラム１２０は、最下位位置９３４を接地位置とは判定しない。監視プログラム１２０は、監視カメラ２からの距離が所定の値以下のエリアまで侵入者が近づいていると判定する。たとえば、侵入者が監視カメラ２から５ｍの範囲以内に入っているという判定を行う。

別のケースを説明する。図１０および図１１は、侵入者が障害物の陰に隠れた場合のケースを示す図である。図１０は、フレーム画像８３Ｃとフレーム画像８３Ｄとを示す図である。フレーム画像８３Ｃは、第Ｎフレームの画像であり、フレーム画像８３Ｄは、第（Ｎ＋１）フレームの画像である。

図１１は、輝度画像９３Ｃと輝度画像９３Ｄとを示す図である。輝度画像９３Ｃは、フレーム画像８３Ｃに対応する輝度画像である。つまり、第Ｎフレームの輝度画像である。輝度画像９３Ｄは、フレーム画像８３Ｄに対応する輝度画像である。つまり、第（Ｎ＋１）フレームの輝度画像である。

図１０に示すように、フレーム画像８３Ｃにおいては、侵入者８３１の全身が監視カメラ２で撮像されている。これに対応して、図１１に示すように、輝度画像９３Ｃにおいても、移動体領域９３１は撮像範囲の中に収まっている。

図１０に示すように、フレーム画像８３Ｄにおいては、侵入者８３１は、障害物の後ろに隠れ、上半身だけが監視カメラ２によって撮像されている。これに対応して、図１１に示すように、輝度画像９３Ｄにおける移動体領域９３１のサイズは、輝度画像９３Ｃの移動体領域９３１のサイズよりも小さくなっている。

図１１に示す輝度画像９３Ｄにおいて、最下位位置を接地位置とするのは不適切である。このように、移動体領域のサイズが小さくなった場合には、監視プログラム１２０は、前フレームの移動体領域のサイズを利用することとしている。

図２に示すように、監視装置１は、記憶装置１２にサイズデータ１２３を格納している。サイズデータ１２３は、移動体領域のサイズである。移動体領域のサイズとしては、移動体領域の高さを利用すればよい。記憶装置１２には、移動体領域が検出されるたびに、移動体領域のサイズデータ１２３が格納される。サイズデータ１２３として、最新のものが更新されるようにして記録される。

監視プログラム１２０は、移動体のサイズが所定の割合以上小さくなった場合、前フレームの移動体領域のサイズをカレントフレームに適用する。具体的には、カレントフレームの移動体領域の最上位位置を頭部とみなす。そして、前フレームで取得されている移動体領域のサイズ分だけ、最上位位置から下方に向かって領域を推定し、推定された領域の最下位位置を接地位置とするのである。このようにして、侵入者が障害物に隠れている場合であっても、接地位置を推定することができる。

監視プログラム１２０は、移動体のサイズが所定の割合以上大きくなった場合、前フレームの移動体領域のサイズを適用せず、カレントフレームの移動体領域を分析する。そして、図８で示したような処理を行うことで、移動体領域の最下位位置を接地位置として特定する。

＜４．距離の特定＞
監視プログラム１２０は、以上の処理を実行することにより、侵入者の接地位置を特定する。接地位置を特定すると、距離画像データ１２１上に接地位置をあてはめ、侵入者が存在する位置の監視カメラ２からの距離を特定する。

図１２は、距離の特定の仕方を示す図である。距離画像データ１２１上に接地位置８７をあてはめ、侵入者の接地位置、つまり、監視カメラ２からの距離を特定する。接地位置８７が、ライン８１１上にあれば、そのままライン８１１に対応付けられている距離が、接地位置までの距離となる。

接地位置８７が、ライン８１１上にない場合には、図に示すように、ライン８１１と接地位置８７との位置関係から距離を推定する。図の例であれば、接地位置８７から１２．５ｍの距離までが距離８７１であり、接地位置８７から１０ｍの距離までが距離８７２である。距離８７１と距離８７２の比から１０ｍの距離と１２．５ｍの距離を内分する点を接地位置と考え、距離を求める。あるいは、処理を簡素化するのであれば、接地位置８７がライン８１１上にない場合、最も近いライン８１１上の距離を適用させてもよい。

図１３に示すように、距離１３ｍが監視エリア境界線８８となっているとする。この場合、距離１３ｍよりも近くに侵入者が入った場合には、侵入者ありとして警戒状態に入る必要がある。たとえば、移動体領域の接地位置が、図の接地位置８７Ａである場合には、１３ｍの監視エリア境界線８８よりも遠いため、警戒状態には遷移しない。移動体の接地位置が、図の接地位置８７Ｂである場合には、１３ｍの監視エリア境界線８８よりも近いため、警戒状態に遷移する。

警戒状態に入ると、監視システム１は様々な動作を行う。たとえば、警報音を鳴らすことで、侵入者を威嚇するとともに、周囲に侵入者がいることを通知する。あるいは、警報用の照明をＯＮにしてもよい。また、撮像画像データ１２１のフレームレートを高めて、保存するようにしてもよい。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。第２の実施の形態においては、侵入者の検出の方法などが異なる。

第２の実施の形態において、＜１．距離画像の作成＞、＜４．距離の特定＞は、第１の実施の形態と同様である。以下、＜２．侵入者の検出＞および＜３．接地位置の特定＞について説明する。

＜２．侵入者の検出＞
図１４、図１５および図１６は、侵入者の検出方法を示す図である。図１４は、撮像エリア６内を撮像した基準画像８３Ｅを示す。基準画像８３Ｅは、監視状態に入る前に、あらかじめ撮像される。基準画像８３Ｅは、撮像エリア６内に人などの移動体がいない状態で撮像される。基準画像８３Ｅは、図２に示すように、基準画像データ１２４として記憶装置１２に格納される。

基準画像８３Ｅが保存されている状態で、監視カメラ２が撮像エリア６の撮像を開始する。撮像された画像は、撮像画像データ１２２として記憶装置１２に格納される。図１５は、侵入者８３１が撮像エリア６に侵入した状態で撮像された監視画像８３Ｆを示す。

監視プログラム１２０は、監視画像８３Ｆと基準画像８３Ｅの差分を抽出し、差分画像８３Ｇを生成する。図１６は、差分画像８３Ｇを示す。差分画像８３Ｇは、図に示すように、背景部分が除去され差分領域８３１が抽出されている。以下の説明において、適宜侵入者８３１を差分領域８３１と呼ぶことにする。

監視プログラム１２０は、差分画像８３Ｇを生成すると、次に、パターン画像データ１２５から抽出したパターン画像を用いて差分画像８３Ｇとのマッチングを行う。

パターン画像データ１２５は、図２に示すように、記憶装置１２に格納されている。パターン画像データ１２５は、人物の全身の特徴を示すパターン画像が含まれている。監視プログラム１２０は、全身の特徴を示すパターン画像データ１２５から、適宜、任意の場所のパターン画像を抽出してマッチングに利用することができる。たとえば、頭の特徴を示す頭パターン、上半身の特徴を示す上半身パターン、足の特徴を示す足パターンなど、任意の場所を任意の範囲で抽出してパターン画像として利用することができる。

図１７は、マッチングの方法を示す図である。たとえば、差分領域８３１に対して、上半身パターン１０１や、胴体パターン１０２などをマッチングさせる。監視プログラム１２０は、いずれかのパターンが差分領域８３１とマッチングすれば差分領域８３１を侵入者８３１であると判定する。いずれか１つのパターンと一致した場合に、マッチング成功と判断してもよいし、たとえば２箇所など複数の場所のパターンが一致した場合に、マッチング成功と判断してもよい。

＜３．接地位置の特定＞
監視プログラム１２０は、差分領域８３１が侵入者８３１であると判定した場合には、次に、接地位置の特定を行う。図１８は、接地位置の特定方法を示す図である。監視プログラム１２０は、差分領域８３１と足パターン１０３とのマッチングを行う。足パターン１０３とマッチングできた場合には、マッチングできた足の最下位位置を接地位置と特定することができる。

図１８で示した例では、侵入者８３１の全身が撮像領域に収まっているケースである。これに対して、図１９で示す例では、侵入者８３１の一部が撮像領域に収まっている。つまり、差分領域８３１が撮像範囲の下端に位置している。

監視プログラム１２０は、図１７で示したように、パターン画像データ１２５から様々な特徴パターンを抽出し、差分領域８３１とマッチングを行う。図１９の場合であれば、上半身パターン１０１とのマッチングに成功する。マッチングに成功することで、監視プログラム１２０は、差分領域８３１が侵入者８３１であると判定する。

しかし、図１９で示す例では、差分画像８３Ｈに含まれる差分領域８３１は、撮像範囲の下端に位置している。この場合、監視プログラム１２０は、差分領域８３１と足パターン１０３とのマッチングに失敗する。監視プログラム１２０は、足パターン１０３以外の特徴パターンとのマッチングには成功したが、足パターン１０３とのマッチングに失敗した場合には、侵入者８３１が監視カメラ２から所定の距離よりも近くに位置すると判定する。言い換えると、監視プログラム１２０は、撮像領域の下端位置において上半身パターン１０１とのマッチングに成功した場合、侵入者８３１が監視カメラ２から所定の距離よりも近くに位置すると判定する。

図２０は、別のケースを示す図である。監視画像８３Ｉは、侵入者８３１が障害物の陰に隠れた状態で撮像された画像である。このようなケースで、監視プログラム１２０が、差分領域を抽出し、上半身パターン１０１とのマッチングを行えば、マッチングに成功する。しかし、監視プログラム１２０は、差分領域と足パターン１０３とのマッチングには失敗する。

このとき、監視プログラム１２０は、図２１に示すように、差分画像８３Ｊに含まれる上半身のみの差分領域８３１に、足パターン１０３をあてはめることで足部分を補完する。そして、この補完に使われた足パターン１０３の足の最下位位置を接地位置として特定するのである。

ここでは、上半身のみの差分領域８３１に足パターンを補完すると説明したが、実質的には、パターン画像データ１２５は、全身の特徴を示すパターンを保有しているので、上半身のみの差分領域８３１に、全身パターンを重ね合わせる操作と変わりない。全身パターンを差分領域８３１に重ね合わせること、つまり、上半身部分をマッチングさせながら全身パターンを重ねた上で、足の最下位位置を接地位置と特定することができる。

図２２は、足パターンとのマッチングが行えない場合に、接地位置を特定する別の方法を示す。この方法は、差分領域８３１に含まれる人の一部と全身との比率から接地位置を特定する方法である。図２２に示す差分画像８３Ｋには、上半身の差分領域８３１が抽出されている。そして、足パターンとのマッチングには失敗している。

制御部１１は、あらかじめ平均的な体型の比率データを保有している。したがって、上半身のサイズから比率データに基づいて全身のサイズを推定することができる。ここで、サイズとしては、たとえば、領域の高さを用いればよい。

たとえば、上半身である差分領域８３１の高さをＬ１とし、上半身と全身の高さ（長さ）の比をＲａとすれば、全身の高さＬ２は、Ｌ１×Ｒａで表される。監視プログラム１２０は、推定された全身の高さＬ２を利用して、接地位置を特定する。

図２３は、足パターンとのマッチングが行えない場合に、接地位置を特定する別の方法を示す。この方法は、差分領域に含まれる顔領域と全身との比率から接地位置を特定する方法である。たとえば、目、鼻、口、耳などの特徴部分から顔認識が行われ、顔領域のサイズが算出される。

制御部１１は、あらかじめ顔のサイズと全身のサイズとの比率データを保有している。ここで、サイズとは、顔および全身の高さ（長さ）を用いればよい。顔の高さをＬ３、顔と全身の高さとの比をＲｂとすれば、全身の高さＬ４は、Ｌ３×Ｒｂで表される。監視プログラム１２０は、全身の高さＬ４から、接地位置を特定する。

以上説明したように、本実施の形態の監視システム３によれば、監視カメラ２が撮像した画像を利用して、侵入者までの距離を測定することができる。

なお、図２に示した監視装置１の記憶装置１２には、第１の実施の形態と第２の実施の形態の両方の処理が可能となるように全てのデータが記憶されているが、これに限られない。たとえば、監視システム３が第１の実施の形態のみ実行すればよいのであれば、基準画像データ１２４やパターン画像データ１２５を記憶しておく必要はない。

１ 監視装置
２ 監視カメラ
３ 監視システム
６ 撮像領域

Claims (12)

1. 所定の領域を撮像するよう撮像範囲が設定された撮像装置と、
   前記撮像装置により撮像した前記所定の領域の画像上の座標に、実空間における前記撮像装置からの距離を対応させた距離画像を記憶する記憶装置と、
   前記所定の領域を監視中、前記撮像装置により前記所定の領域の監視画像を取得し、前記監視画像から侵入者を検出する侵入者検出部と、
   前記監視画像において前記侵入者の接地位置を特定する接地位置特定部と、
   前記距離画像と前記接地位置とから前記侵入者までの距離を特定する距離特定部と、
   を備えることを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記侵入者検出部は、
   前記監視画像と、前記所定の領域に侵入物体がない状態で撮像された基準画像と、を比較し、輝度値の変化が第１の閾値を超える領域を移動体領域として抽出する抽出部と、
   前記移動体領域の高さが第２の閾値を超える場合、前記移動体領域を前記侵入者の領域として判定する侵入者判定部と、
   を含むことを特徴とする監視システム。
3. 請求項１に記載の監視システムにおいて、
   前記侵入者検出部は、
   前記監視画像と、前記所定の領域に侵入物体がない状態で撮像された基準画像と、の差分画像を生成する差分生成部と、
   前記差分画像と、人物の特定の場所の特徴を表す特定パターン画像とのマッチングを行い、前記監視画像に含まれている前記侵入者の領域を決定するマッチング部と、
   を含むことを特徴とする監視システム。
4. 請求項２に記載の監視システムにおいて、
   前記接地位置特定部は、前記移動体領域の最下位点を接地位置として特定することを特徴とする監視システム。
5. 請求項３に記載の監視システムにおいて、
   前記接地位置特定部は、
   前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングに成功した場合、
   前記足パターン画像とマッチングした領域の最下位点を接地位置として特定することを特徴とする監視システム。
6. 請求項２に記載の監視システムにおいて、
   前記接地位置特定部は、前記移動体領域の最下位点が前記監視画像の最下位領域と一致する場合、前記侵入者が、前記撮像装置から所定の距離以内に近づいていると判断することを特徴とする監視システム。
7. 請求項２に記載の監視システムにおいて、
   前記侵入者検出部は、
   検出した前記侵入者のサイズを記憶するサイズ記憶部、
   を含み、
   前記接地位置特定部は、カレントフレームに含まれる前記侵入者のサイズが、１フレーム前の過去フレームに含まれる前記侵入者のサイズより所定の割合以上小さくなっている場合、前記カレントフレームに含まれる前記侵入者の頭の位置を基準として、前記過去フレームに含まれる前記侵入者のサイズを考慮することで、前記接地位置を特定することを特徴とする監視システム。
8. 請求項２に記載の監視システムにおいて、
   前記侵入者検出部は、
   検出した前記侵入者のサイズを記憶するサイズ記憶部、
   を含み、
   前記接地位置特定部は、カレントフレームに含まれる前記侵入者のサイズが、１フレーム前の過去フレームに含まれる前記侵入者のサイズより所定の割合以上大きくなっている場合、前記過去フレームに含まれる前記侵入者のサイズを考慮することなく、前記カレントフレームに基づいて前記接地位置を特定することを特徴とする監視システム。
9. 請求項３に記載の監視システムにおいて、
   前記接地位置特定部は、前記差分画像の下端領域において、前記差分画像と、人物の上半身の特徴を表す上半身パターン画像とのマッチングに成功した場合、前記侵入者が、前記撮像装置から所定の距離以内に近づいていると判断することを特徴とする監視システム。
10. 請求項３に記載の監視システムにおいて、
    前記接地位置特定部は、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、マッチングに成功した人物の他の場所に、人物全体の特徴を表す人物全体パターン画像をあてはめることで前記接地位置を特定することを特徴とする監視システム。
11. 請求項３に記載の監視システムにおいて、さらに、
    人物の平均的な体型の比率を示す比率情報を記憶する比率記憶部、
    を備え、
    前記接地位置特定部は、前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、マッチングに成功した人物の他の場所のサイズに、前記比率情報で示された比率を適用させることで、前記接地位置を特定することを特徴とする監視システム。
12. 請求項３に記載の監視システムにおいて、さらに、
    人物の平均的な顔のサイズと全身のサイズとの比率を示す比率情報を記憶する比率記憶部、
    を備え、
    前記接地位置特定部は、
    前記監視画像に対して顔認識処理を行い、顔のサイズを取得する顔抽出部と、
    前記差分画像と、人物の足の特徴を表す足パターン画像とのマッチングができなかった場合、顔抽出部で抽出した顔のサイズに、前記比率情報で示された比率を適用させることで、前記接地位置を特定することを特徴とする監視システム。

Images