JP4493395B2

JP4493395B2 - センシング装置

Info

Publication number: JP4493395B2
Application number: JP2004133661A
Authority: JP
Inventors: 全史大津; 清人藤井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2004-04-28
Filing date: 2004-04-28
Publication date: 2010-06-30
Anticipated expiration: 2024-04-28
Also published as: JP2005316701A

Description

本発明は、画像情報及び音響情報に基づいて物体の検出を行うセンシング装置に関する。

近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。このようなセキュリティシステムで使用されるセンシング装置としては、画像センサ等の撮像装置で取得された画像を用いて侵入者等を検出するものがある。このような画像を用いたセンシング装置には、基準となる背景画像を記録しておき、時々刻々と撮像される撮像画像と背景画像との差分画像に基づいて侵入者を検出する方法や、撮像画像間における差分画像に基づいて侵入者を検出する方法がある。

例えば、特開平３−９７０８０号公報には、撮像画像と背景画像との輝度の差分画像を生成し、その差分値が所定の閾値以上である画素を変動画素として抽出し、連続する変動画素の個数が所定の判定値以上である場合に、変動画素で構成される変動領域を侵入者であると判定し、警報駆動信号を出力する技術が開示されている。

また、センシング装置としては、特開２０００−３４８２６５号公報に記載されているように、監視空間にマイクロ波を送出し、監視空間に存在する物体によって反射されたマイクロ波を受信することによって、その受信波の波形の変化に基づいて侵入者を検出する方式も知られている。このようにマイクロ波を用いた検出方法では、光や影のように監視空間における実体のない変化には影響されない性質がある。

特開平３−９７０８０号公報特開２０００−３４８２６５号公報

しかしながら、画像センサを用いたセンシング装置では、光や影等の実体のない映像の輝度変化を伴う変動領域が侵入者として誤って検出されることがある。また、撮像画像は２次元で表現されているため、画像センサから遠くにある物体は小さく撮像され、近くにある物体は大きく撮像されるので、撮像画像における変動領域の大きさに基づいて侵入者と小動物を判別することが困難である。

一方、マイクロ波センサを用いたセンシング装置では、監視空間に存在する物体の大きさに関わらず反射を生ずるため、小動物のような小さな物体と侵入者のような大きな物体の判別が困難である。また、物体の移動速度が遅い場合、受信信号の変化が捉え難くなり、物体の検出が困難となる。

本発明は、上記従来技術の問題を鑑み、侵入者の検出確度を高めたセンシング装置を提供することを目的とする。

本発明は、監視対象空間を撮影した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像画像と前記音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、前記撮像画像から変動領域を抽出し、当該変動領域に基づいて、センシング装置から当該変動領域に対応する位置までの実空間における距離を画像距離として算出する画像処理部と、前記音響信号の変動波形を抽出し、当該変動波形に基づいて、センシング装置から当該変動波形に対応する物体までの実空間における距離を音響距離として算出する音響処理部と、を備え、前記画像距離と前記音響距離との関係に基づいて前記監視対象空間内の移動体を検出する処理を行うことを特徴とする。

具体的には、前記画像処理部は、前記変動領域のサイズを求める手段を備え、前記画像距離と前記音響距離とが一致していると判定された場合に、前記音響距離と前記変動領域のサイズとの関係に基づいて前記監視対象空間内の移動体を特定することが好適である。例えば、前記音響距離に存在する人間を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が人間であるか否かを特定することができる。

また、前記画像処理部は、前記変動領域のサイズを求める手段を備え、前記画像距離と前記音響距離とが一致していないと判定された場合に、前記音響距離と前記変動領域のサイズとの関係に基づいて前記監視対象空間内の移動体を特定することも好適である。例えば、前記音響距離に存在する小動物を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が小動物であるか否かを特定することもできる。また、前記音響距離に存在する人間を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が人間であるか否かを特定することができる。

さらに、前記画像距離と前記音響距離とが一致していないと判定された場合に、前記変動波形が抽出されなかったときには、前記変動領域は実態のない光や影による変動であると特定する処理を行うことも好適である。例えば、前記変動領域が所定の閾値以上の高い輝度である場合には光であるとして処理し、前記変動領域が所定の閾値より低い輝度である場合には影であるとして処理することができる。

また、前記画像処理部は、前記変動領域の移動の速さを算出する手段を備え、前記音響処理部は、前記変動領域の移動の速さに基づいて前記変動波形を抽出するための閾値を設定することが好適である。すなわち、検出対象物の移動速度が遅くなると超音波センサ等の音響センサの検出感度が悪くなるので、前記変動波形の検出感度を上げるように閾値を設定し、移動速度が速い場合には検出感度を下げるように閾値を設定することが好ましい。

また、前記音響処理部は、前記画像距離と前記音響距離との関係に基づいて前記変動波形を抽出するための閾値を設定することも好適である。

また、本発明は、監視対象空間を撮影した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像画像及び前記音響信号の少なくとも１つに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、前記撮像画像から変動領域を抽出する画像処理部と、前記音響信号の変動波形を抽出する音響処理部と、を備え、前記音響処理部は、前記変動領域の有無と前記変動波形の有無との関係に基づいて前記変動波形を抽出するための閾値を設定することを特徴とする。

例えば、前記画像距離と前記音響距離とが一致していない場合には、前記音響信号にノイズが重畳していたり、侵入者以外の小動物などによる反射波が重畳していたりする可能性が高いので、検出感度を下げるように閾値を設定することが好ましい。一方、前記画像距離と前記音響距離とが一致している場合には、監視領域に侵入者が存在している可能性が高いので、検出感度を上げるように閾値を設定することが好ましい。また、前記変動領域が存在しないにも関わらず、前記音響信号から前記変動波形が抽出された場合も、前記音響信号にノイズが重畳している可能性が高いので、検出感度を下げるように閾値を設定することが好ましい。

このとき、前記音響距離に対応する領域の閾値を変化させることによって、前記音響距離に対応する音響信号の変動の検出感度を調整することも好ましい。

なお、本発明の装置は、コンピュータを、上記処理を行う機能を有するセンシング装置として機能させる制御プログラムにより実現することができる。

本発明によれば、監視空間に侵入した侵入者を検出する確度を高めることができる。

本発明の実施の形態におけるセンシング装置１００は、図１に示すように、撮像部１０、画像処理部１２、送受信部１４、音響処理部１６、記憶部１８及び情報処理部２０を含んで構成される。センシング装置１００は、画像センサやカメラなどの撮像装置及び音波の送受信装置等を備えたコンピュータによって構成することができる。

撮像部１０は、画像センサやカメラなどの撮像装置を含んで構成される。撮像部１０は、監視空間の光学的な映像を電気的な画像信号に変換して画像処理部１２へ出力する。撮像部１０は、画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に画像処理部１２に受け渡す機能を有することも好ましい。本実施の形態では、撮像画像は離散的な画素群からなるデジタル化された画像に変換され、各画素が輝度値で表現された撮像画像Ｉとして画像処理部１２に入力されるものとする。

送受信部１４は、超音波パルス送信器及び超音波センサを含んで構成される。送受信部１４は、超音波パルス送信器を用いて所定時間間隔で監視空間に超音波パルスを等方的に送信すると共に、監視空間から超音波を音響信号として受信する。このとき、監視空間に存在する物体や壁等によって反射された超音波パルスが音響信号として受信される。監視距離が十分に短い場合、超音波の送信から受信までの時間は無視でき、超音波の送信タイミングと撮像部１０での撮像タイミングとを一致させることによって略同時刻における同一状況の監視空間の状況をセンシングすることができる。受信された音響信号は音響処理部１６に送信される。また、送受信部１４は、音響信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に音響処理部１６に受け渡す機能を有することも好ましい。

なお、本実施の形態では、超音波を測定用の信号として用いた場合を例として説明するが、これに限定されるものでなく、可聴範囲の音波を用いても良い。但し、超音波は人間に聞こえないという利点を有する。また、音響信号の観測時間は監視したい距離に応じて変更することが好ましい。例えば、監視したい距離をＬ（ｍ）、音速をＣ（ｍ／ｓ）とすると、監視に必要な音響信号の観測時間ｔ（ｓ）はｔ＝２Ｌ／Ｃで算出することができる。

以下、撮像部１０において取得された撮像画像Ｉと送受信部１４において取得された超音波の音響信号とを用いて、監視空間から侵入者を検出する処理ついて説明を行う。センシング装置１００の各部の機能は、図２に示すように、コンピュータで実行可能な制御プログラムをコンピュータの処理装置によって実行させることによって実現することができる。

ステップＳ１０では、監視空間の画像が取得される。撮像部１０により所定の時間間隔で１フレームの撮像画像Ｉが取得される。取得された撮像画像Ｉは画像処理部１２へ転送される。

ステップＳ１２では、画像処理部１２において撮像画像Ｉに変動領域が含まれるか否かが判断される。画像処理部１２は、図１に示すように、変動領域抽出部２２、トラッキング部２４及び画像特徴量算出部２６を含んで構成される。画像処理部１２は、デジタル化された撮像画像を受けて、背景差分処理、２値化処理、トラッキング処理及び画像特徴量算出処理を行う。

変動領域抽出部２２では、所定の時間間隔で取得される撮像画像Ｉと基準となる背景画像Ｂとにおける互いに対応する画素同士の差分値をとって差分画像Ｄが生成される。背景画像Ｂは、監視空間に侵入者等が存在しない状態で撮像された画像であり、侵入者の検出処理を開始する前に予め取得され、記憶部１８に格納及び保持されているものとする。次に、得られた差分画像Ｄに含まれる各画素の輝度（特性値）と所定の閾値との大小関係に基づいて差分画像を２値化する。すなわち、撮像画像Ｉに含まれる各画像をＩ（ｉ，ｊ）で表し、背景画像Ｂに含まれる各画素をＢ（ｉ，ｊ）で表し、閾値がＴ_hvであるとすると、差分画像Ｄに含まれる各画素Ｄ（ｉ，ｊ）の値を数式（１）で決定することができる。

これによって、図３に示すように、特性値の変動が閾値Ｔ_hv以上の変動であった変動画素（１）と閾値Ｔ_hvより小さい変動であった非変動画素（０）とに２値化された差分画像Ｄとして表現される。算出された差分画像Ｄは、次回の撮像画像に対するトラッキング処理の基準とするために記憶部１８に格納及び保持される。

なお、本実施の形態では、背景画像Ｂは侵入者がいない状況において監視空間を予め撮像した画像としたが、所定時間毎に撮像された画像で更新することも好適である。また、前回取得された撮像画像を背景画像Ｂとして用いることにより、連続するフレーム間における差分画像Ｄを求めて処理に供しても良い。

ここで、撮像画像Ｉに変動領域が含まれていればステップＳ１４に処理を移行させる。一方、撮像画像Ｉに変動領域が含まれていなければステップＳ３６に処理を移行させる。以下では、まず撮像画像Ｉに変動領域が含まれていた場合について説明を行う。

ステップＳ１４では、今回の撮像で取得された差分画像Ｄと過去に取得された差分画像との比較により変動領域のトラッキング処理が行われる。トラッキング部２４では、２値化された差分画像Ｄに含まれる連続した変動画素群が１つの変動領域としてグループ化され、各変動領域が固有のラベルでラベリングされる。ラベリングされた各変動領域は、記憶部１８に保持されている過去の差分画像の各変動領域と比較され、領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の被写体を撮像した領域であると推定される変動領域同士が対応付けられる。差分画像Ｄ及びラベリングの情報は画像特徴量算出部２６へ送られる。

ステップＳ１６では、差分画像Ｄ及びラベリングの情報に基づいて画像に関する各種の特徴量が算出される。画像特徴量算出部２６は、例えば、画像距離算出部、領域サイズ算出部及び移動ベクトル算出部を含んで構成される。

画像距離算出部では、差分画像Ｄに基づいて撮像部１０に含まれる撮像装置から各変動領域に撮像された物体までの距離が算出される。監視空間の床面が平坦であり、変動領域に写し込まれた物体が床面に接地しているものと仮定することによって、撮像部１０の撮像装置の俯角、設置高及び変動領域の画像内位置（垂直位置）に基づいて撮像装置から変動領域に写し込まれた物体までの直線距離を推定することができる。

簡単の為、図４に示すように、撮像部１０の正面に変動領域が抽出された場合を説明する。差分画像Ｄの垂直方向のサイズがＹ、画像における変動領域の上端までの長さがｙ_h、画像における変動領域の下端まで長さがｙ_f、１画素間の距離がｐであり、図５に示すように、撮像装置の俯角がθ、設置高がＨ、焦点距離がＦとすると、数式（２）を用いて撮像装置から変動領域に写し込まれた物体の上端までの実空間における画像距離ｄ_hを算出することができ、数式（３）を用いて撮像装置から変動領域に写し込まれた物体の下端までの実空間における画像距離ｄ_fを算出することができる。より精度が必要とされる場合には、撮像部１０の特性（レンズ、ＣＣＤ）を考慮した補正を行っても良い。

領域サイズ算出部では、差分画像Ｄに含まれる各変動領域の画像のサイズが算出される。例えば、各変動領域に外接する矩形領域を求め、その矩形領域の大きさを各変動領域のサイズとする。

移動ベクトル算出部では、トラッキング部２４で同一の被写体の画像であるとラベリングされた変動領域の移動ベクトルが算出される。移動ベクトルは、実空間における物体の移動の速さ及び方向であり、異なる時刻に撮影された撮像画像から得られた複数の差分画像間において、画像距離算出部において推定された画像距離ｄ_h又はｄ_fの位置の変動から算出することができる。

なお、上記画像距離算出部、領域サイズ算出部及び移動ベクトル算出部における処理は一例であり、同様の特徴量を算出できる方法であれば本実施の形態の処理方法に限定されるものではない。

ステップＳ１８では、差分画像Ｄに含まれる各変動領域が遅いか否かが判断される。各変動領域の移動の速さは、ステップＳ１６で求めた移動ベクトルの大きさ（絶対値）である。差分画像Ｄに含まれる各変動領域の速さと所定の閾値とを比較し、閾値よりも遅い場合にはステップＳ２０へ処理を移行させ、閾値以上の速度で移動している場合にはステップＳ２２へ処理を移行させる。

ステップＳ２０では、音響信号の変化を検出するための基準となる閾値が設定される。音響信号には、図６（ａ）に示すように、監視空間に存在する物体によって反射されたパルス信号が重畳されている。受信波変動抽出部２８では、前回の測定時に取得された音響信号が記憶部１８から読み出され、数式（４）を用いて、前回の測定時に取得された音響信号と今回取得された音響信号との差分波形を求められる。監視空間に新たに現れた物体がある場合には差分波形に新たなピークが発生する。

ステップＳ２０ではこのピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。閾値Ｔ_h（ｘ）は、送受信部１４からの距離ｘの関数である。閾値Ｔ_h（ｘ）は、ステップＳ１６で求めた画像特徴量に基づいて設定されることが好適である。例えば、検出対象物の移動速度が遅くなると超音波センサ等の音響センサの検出感度が悪くなるので、変動領域に対応する物体の移動速度に応じて、変動領域の移動速度が遅い場合には検出感度を上げるように閾値Ｔ_h（ｘ）を設定することが好ましい。また、移動速度が速い場合には検出感度を下げるように閾値Ｔ_h（ｘ）を設定しても良い。

例えば、図７（ａ）に示すように、ピーク検出の基準となる閾値Ｔ_h（ｘ）（ｘは、０〜最大監視距離）を検出感度が小さくなるように設定しておき、差分画像Ｄに含まれる変動領域の移動速度が所定の閾値より小さい場合、すなわち移動速度が所定の閾値より遅い場合には、図７（ｂ）に示すように、その変動領域までの画像距離ｄ_h〜ｄ_fに対応するピーク検出の閾値Ｔ_h（ｄ_h）〜閾値Ｔ_h（ｄ_f）を減少させる。これにより、移動速度が遅い物体から反射された超音波パルスのピーク検出の感度を高め、移動体の検出漏れを防ぐことができる。一方、差分画像Ｄに含まれる変動領域の移動速度が所定の閾値以上である場合、すなわち移動速度が所定の閾値以上に速い場合には、その変動領域までの画像距離ｄ_h〜ｄ_fに対応する閾値Ｔ_h（ｄ_h）〜閾値Ｔ_h（ｄ_f）を増加させるか又はそのまま維持させる。なお、図７（ｂ）に示す差分波形は、移動速度が遅いため、図７（ａ）の差分波形よりもピークが小さくなっている。

例えば、図８に示すように、移動速度が所定の速度Ｖ_hより小さい場合には閾値Ｔ_h（ｘ）を移動速度に比例するように設定し、移動速度が所定の速度Ｖ_h以上である場合には閾値Ｔ_h（ｘ）を一定の最大値に設定することが好適である。このように、差分画像Ｄに含まれる各変動領域の移動速度に基づいて、各変動領域の画像距離に対応するピーク検出の閾値Ｔ_h（ｘ）を変動させることによって、音響信号から監視空間に存在する移動物体を確実に検出することができると共に、不要な誤検出も防ぐことができる。

ステップＳ２２では、設定された閾値に基づいて差分波形からピークの検出を行う。ステップＳ２４では、差分波形にピークが含まれているか否かの判定が行われる。差分波形に少なくとも１つのピークが含まれていればステップＳ２６に処理を移行させ、ピークが含まれていなければステップＳ４８に処理を移行させる。

ステップＳ２６では、音響特徴量算出部３０において音響信号の差分波形に基づいて音響特徴量が算出される。音響特徴量算出部３０は、例えば、音響距離算出部を含んで構成される。

音響距離算出部では、ステップＳ２４で検出されたピークに対応する物体までの距離が算出される。以下、画像信号に基づいて算出された画像距離ｄ_h，ｄ_fと区別するために算出された距離を音響距離ｄ_sと示す。音響距離ｄ_sは、超音波を発信した時刻ｔ_sからピークが検出された時刻ｔ_pまでの時間Ｔ_p（ｓ）と音速Ｃ（ｍ／ｓ）との関係に基づいて数式（５）を用いて算出することができる。

ステップＳ２８では、画像処理部１２で求められた画像特徴量と音響処理部１６で求められた音響特徴量とに基づいて監視空間にある物体の特定が行われる。ステップＳ２８はサブルーチン化されており、図９に示すフローチャートに沿って処理が実行される。

ステップＳ２８−１では、情報処理部２０の対応付け処理部３２において画像距離と音響距離とのマッチングが行われる。対応付け処理部３２では、差分画像Ｄに含まれる各変動領域の画像距離ｄ_f〜ｄ_hに対応する音響距離ｄ_sが存在するか否かが判定される。

差分画像Ｄに含まれる各変動領域について画像距離ｄ_fと画像距離ｄ_hとの間に対応する音響距離ｄ_sが存在するか否かが調査される。図１０に示すように、各変動領域について画像距離ｄ_fと画像距離ｄ_hとの間にピーク検出の閾値Ｔ_h（ｘ）以上の音響変化が存在する場合には、画像距離ｄ_f〜ｄ_hに対応する音響距離ｄ_sが存在すると判定される。このとき、図１１に示すように、画像センサによる物体まで距離（画像距離）と音響センサによる物体までの距離（音響距離）とが一致していると判断できる。

画像距離ｄ_f〜ｄ_hと音響距離ｄ_sとのマッチングが成功した場合にはステップＳ２８−２に処理を移行させ、マッチングが成功しなかった場合にはステップＳ２８−６に処理を移行させる。

ステップＳ２８−２では、音波の差分波形からピークを検出する際の閾値Ｔ_h（ｘ）を初期値に設定する。ステップＳ２８−１において画像距離と音響距離とのマッチングが成功した場合、マッチングが成功した距離範囲に侵入者等が存在している可能性が高いので、音響距離ｄ_s近傍のピーク検出の閾値Ｔ_h（ｘ）を初期値に戻し、差分波形からのピーク検出の感度を高める。例えば、音響距離ｄｓを中心に所定の距離範囲Ｒの閾値Ｔ_h（ｄ_s−Ｒ）〜Ｔ_h（ｄ_s＋Ｒ）の値を初期値に戻す。これにより、次回以降のピーク検出処理において音響距離ｄ_s近傍のピーク検出の感度が高くなり、誤って差分波形から物体が検出できなくなる可能性を低減することができる。

ステップＳ２８−３では、画像距離と音響距離とのマッチングが成功した距離範囲に存在する物体のサイズが調査される。ステップＳ１６で算出された領域サイズの中から、マッチングが成功した画像距離に対応する変動領域のサイズを抽出し、この変動領域のサイズが人間の大きさに対応するものであるか否かを判定する。

図１２に示すように、同一の大きさの被写体を撮像した場合においても撮像部１０からの距離に応じて撮像領域のサイズは変化する。そこで、音響距離ｄ_sに最小程度の大きさの人間が存在すると仮定し、その人間が撮像された場合の画像領域のサイズを人間としての最小の画像サイズとして、マッチングが成功した変動領域は人間を撮像したものであるのか、他の小動物等を撮像したものであるのかを判定することができる。

音響距離ｄ_sの方が画像距離ｄ_f，ｄ_hよりも物体までの距離を正しく示している可能性が高いので、最小の人物に対応する画像領域のサイズを見積もる際には、音響距離ｄ_sを用いて計算を行うことが好適である。

例えば、図１２に示すように、音響センサの正面に居る人物が映し出された変動領域の幅を算出する場合、最小人物の幅として考えられる実寸をＷ_min、音響距離をｄ_s、撮像画像Ｉの横幅をＨ_x、画像センサの水平方向の画角をφとすると、音響距離ｄ_sに居る人間の画像領域の幅ｗは数式（６）によって算出することができる。また、撮像部１０の特性を考慮に入れた補正をすることにより、変動領域を正確に求めることができる。

同様に、最小の人間の高さとして考えられる実寸をＨ_minとして、最小の人間が画像に映し出されたときの高さｈを求めることものできる。また、角度方向に補正を行うことによって、画像上の総ての領域における最小の人間のサイズを求めることもできる。

以上のように算出された最小人物の画像上のサイズと画像距離と音響距離とのマッチングが成功した距離範囲に対応する変動領域のサイズとを比較し、変動領域のサイズが最小人物のサイズ以上であれば撮像された物体が人間であると判定してステップＳ２８−４に処理を移行させ、変動領域のサイズが最小人物のサイズよりも小さければ撮像された物体が小動物（犬、猫、ねずみ等）であると判定してステップＳ２８−５に処理を移行させる。

ステップＳ２８−４では、瞬時属性量設定部３４において、瞬時人属性度が増加される。瞬時人属性度とは、１回の測定毎の撮像画像に人間が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に人間が撮像されている確からしさが高いことを示すものである。一方、ステップＳ２８−５では、瞬時属性量設定部３４において、瞬時小動物属性度が増加される。瞬時小動物属性度とは、１回の測定毎の撮像画像に小動物が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に小動物が撮像されている確からしさが高いことを示すものである。

画像距離と音響距離とのマッチングが失敗した場合、ステップＳ２８−６において画像距離よりも小さい距離に対応する音響変化が存在するか否かが判断される。図１３に示すように、画像距離ｄ_f〜ｄ_hの距離範囲よりも近い距離に音響変化が存在する場合、図１４に示すように、画像センサの近傍にいる小鳥や虫などの小動物が撮像され、見かけ上は差分画像Ｄの画像距離ｄ_f〜ｄ_hに物体が撮像されているように見えているに過ぎない可能性が高い。そこで、画像距離よりも小さい距離に対応する音響変化が存在する場合にはステップＳ２８−７に処理を移行させて撮像された物体が小動物か否かを判定し、画像距離よりも小さい距離に対応する音響変化が存在しない場合にはステップＳ２８−１０に処理を移行させて撮像された物体が実体のない物体として処理する。

ステップＳ２８−７では、変動領域のサイズに基づいて、鳥や虫などの小動物を撮像したものであるか否かが調査される。ステップＳ２８−３と同様に、音響距離ｄ_sに小動物として考えられる最大の大きさの小動物が存在する場合に差分画像Ｄに現れるべき変動画像のサイズを求め、実際に差分画像Ｄに含まれる変動画像のサイズと比較することにより被写体が小動物であるか人間であるかを判定する。最大の小動物の画像上のサイズと変動領域のサイズとを比較し、変動領域のサイズが最大の小動物のサイズ以下であれば撮像された物体が小動物であると判定してステップＳ２８−８に処理を移行させ、変動領域のサイズが最大の小動物のサイズよりも大きければ撮像された物体が人間であると判定してステップＳ２８−９に処理を移行させる。

ステップＳ２８−８では、瞬時属性量設定部３４において、瞬時小動物属性度が増加される。一方、ステップＳ２８−９では、瞬時属性量設定部３４において、瞬時人属性度が増加される。

ステップＳ２８−１０では、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。ステップＳ２８−６において、画像距離よりも小さい距離に対応する音響変化が存在しなかった場合は、差分波形からピーク検出を行う際の感度が高すぎたためにノイズを物体からの反射によるピークとして検出したことを示す。そこで、次に音響信号からピーク検出を行う際に誤検出を低減するために、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）を引き上げる処理を行う。差分画像Ｄに含まれる変動領域は実体のない光又は影に起因するものであると考えられる。

ステップＳ２８−１１では、差分画像Ｄに含まれる変動領域の輝度が調査される。変動領域の輝度（平均輝度）が所定の閾値以上である場合には実体のない光に起因する変動領域であるものとして処理をステップＳ２８−１２に移行させ、変動領域の輝度（平均輝度）が所定の閾値より小さい場合には実体のない影に起因する変動領域であるものとして処理をステップＳ２８−１３に移行させる。

ステップＳ２８−１２では、瞬時属性量設定部３４において、瞬時光属性度が増加される。瞬時光属性度とは、１回の測定毎の撮像画像に実体のない光が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない光が撮像されている確からしさが高いことを示すものである。一方、ステップＳ２８−１３では、瞬時属性量設定部３４において、瞬時影属性度が増加される。瞬時影属性度とは、１回の測定毎の撮像画像に実体のない影が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない影が撮像されている確からしさが高いことを示すものである。

以上のように、ステップＳ２８において差分画像Ｄに含まれる各変動画像がどのような物体を被写体としたものであるかが決定されると、メインルーチンのステップＳ３０に処理が戻される。

ステップＳ３０では、蓄積属性度算出部３６において、蓄積属性度が算出される。蓄積属性度とは、複数回の測定で求められた瞬時属性度及び音響特徴量に基づいて算出されるパラメータであり、変動領域が人物、小動物、光又は影であるか否かを示すものである。例えば、ステップＳ２８で求められた瞬時人属性度を所定の測定回数だけ足し合わせて蓄積人属性度として算出することができる。このように、瞬時人属性度を複数回分積算して求めた蓄積人属性度を用いることによって変動領域が人であるか否かをより正確に判定することができる。同様に、他の瞬時属性度を所定の測定回数分だけ積算することによって各瞬時属性度に対応する蓄積属性度を算出することもできる。

ステップＳ３２では、総合判定部３８において、瞬時属性度及び蓄積属性度の少なくとも１つを用いて監視空間に侵入者がいるか否かが判定される。例えば、蓄積人属性度が所定の閾値以上の値を有する場合に監視空間に侵入者がいるものと判断する。また、他の蓄積属性度、画像特徴量及び音響特徴量を組み合わせ判定を行うことも好ましい。侵入者が存在すると判断された場合にはステップＳ３４に処理を移行させて警報の発報等の処理を行い、侵入者が存在しないと判断された場合には処理を終了する。また、ステップＳ１０から処理を繰り返しても良い。

次に、ステップＳ１２において撮像画像Ｉに変動領域が含まれていないと判定され、ステップＳ３６に処理を移行させた場合について説明する。

ステップＳ３６では、受信波変動抽出部２８にて音響信号の差分波形を求めると共に、設定された閾値Ｔ_h（ｘ）に基づいて差分波形からピークの検出を行う。ステップＳ３８では、差分波形にピークが含まれているか否かの判定が行われる。差分波形に少なくとも１つのピークが含まれていればステップＳ４０に処理を移行させ、ピークが含まれていなければステップＳ４４に処理を移行させる。

ステップＳ４０では、音響特徴量算出部３０において差分波形に基づいて音響特徴量が算出される。ここでの処理は、上述のステップＳ２６と同様に行うことができる。

ステップＳ４２では、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。ステップＳ１２において差分画像Ｄに変動領域が存在しないと判定されたにも関わらず、ステップＳ３８で音響信号の差分波形に変化があったと判定されたということは、差分波形からピーク検出を行う際の感度が高すぎたために誤ってノイズを物体からの反射によるピークとして検出したことを示す。そこで、次にピーク検出を行う際に誤検出を避けるために、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）を引き上げる処理を行う。閾値Ｔ_h（ｘ）の設定が終了すると、処理をステップＳ３０に移行させる。

ステップＳ４４では、音響信号に音響ノイズが重畳されているか否かの判定が行われる。例えば、音響センサが設置されている環境における空調設備の動作状態の変動に伴って音響信号に音響ノイズが重畳する場合がある。そこで、図１５に示すように、差分波形において現在設定されているピーク検出の閾値Ｔ_h（ｘ）よりも小さく、かつ、閾値Ｔ_h（ｘ）の初期値よりも大きいピークが存在している場合、そのピークを音響信号に重畳されている音響ノイズとして判定する。一方、図１６に示すように、差分波形において現在設定されているピーク検出の閾値Ｔ_h（ｘ）又は閾値Ｔ_h（ｘ）の初期値よりも大きいピークが存在していない場合、音響信号に音響ノイズは重畳されていないと判定する。音響ノイズが重畳されていない場合にはステップＳ４６に処理を移行させ、音響ノイズが重畳されている場合にはステップＳ３０に処理を移行させる。

ステップＳ４６では、閾値Ｔ_h（ｘ）を初期値に戻す処理を行う。音響信号に音響ノイズが重畳していない場合には、差分波形から誤ってピークが検出されるおそれが無いことから閾値Ｔ_h（ｘ）を初期値に戻し、ピーク検出の感度を向上させる。閾値Ｔ_h（ｘ）の設定が終了すると、処理をステップＳ３０に移行させる。

次に、ステップＳ２４において差分波形にピークが含まれていないと判定された場合の処理について説明する。

ステップＳ４８では、音響信号に音響ノイズが重畳されているか否かの判定が行われる。ここでの処理は、上述のステップＳ４４と同様に行うことができ、音響ノイズが重畳されていない場合にはステップＳ５０に処理を移行させ、音響ノイズが重畳されている場合にはサブルーチンのステップＳ２８−１１に処理を移行させる。

ステップＳ５０では、閾値Ｔ_h（ｘ）を初期値に戻す処理を行う。ここでの処理は、上述のステップＳ４６と同様に行うことができ、閾値Ｔ_h（ｘ）を初期値に戻し、ピーク検出の感度を向上させる。閾値Ｔ_h（ｘ）の設定が終了すると、処理をサブルーチンのステップＳ２８−１１に移行させる。

以上のように、本実施の形態によれば、監視空間に存在する物体を確実に検出できると共に、その物体が侵入者であるか否かを特定することができる。

本発明の実施の形態におけるセンシング装置を示すブロック図である。本発明の実施の形態における侵入者検出のフローチャートを示す図である。本発明の実施の形態における差分画像の生成方法を説明する図である。本発明の実施の形態における画像距離を算出する方法を説明する図である。本発明の実施の形態における画像距離を算出する方法を説明する図である。本発明の実施の形態における音響信号の差分波形の生成方法を説明する図である。本発明の実施の形態における音響信号に含まれるピーク検出の閾値の設定方法を説明する図である。本発明の実施の形態における音響信号に含まれるピーク検出の閾値と物体の速さとの関係の例を示す図である。本発明の実施の形態における物体の特定を行うフローチャートを示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれた場合を示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれた状況を示す図である。画像センサからの距離と人物の画像サイズとの関係を示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった場合を示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった状況を示す図である。本発明の実施の形態における音響ノイズの判定方法を説明する図である。本発明の実施の形態における音響ノイズの判定方法を説明する図である。

符号の説明

１０撮像部、１２画像処理部、１４送受信部、１６音響処理部、１８記憶部、２０情報処理部、２２変動領域抽出部、２４トラッキング部、２６画像特徴量算出部、２８受信波変動抽出部、３０音響特徴量算出部、３２対応付け処理部、３４瞬時属性量設定部、３６蓄積属性度算出部、３８総合判定部、１００センシング装置。

Claims

監視対象空間を撮影した撮像画像を取得する撮像部と、
前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、
前記撮像画像と前記音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、
前記撮像画像から変動領域を抽出し、当該変動領域に基づいて、センシング装置から当該変動領域に対応する位置までの実空間における距離を画像距離として算出し、前記変動領域のサイズを求める画像処理部と、
前記音響信号の変動波形を抽出し、当該変動波形に基づいて、センシング装置から当該変動波形に対応する物体までの実空間における距離を音響距離として算出する音響処理部と、
前記音響距離が前記画像距離の距離範囲に含まれると判定されると前記監視対象空間内の移動体を検出し、前記音響距離に検出対象の移動体が存在すると仮定して算出した画像領域のサイズと前記変動領域のサイズとの比較により前記監視対象空間内の検出対象として移動体を特定する情報処理部と、
を備えることを特徴とするセンシング装置。
請求項１に記載のセンシング装置において、
前記画像処理部は、前記変動領域の移動の速さを算出する手段を備え、
前記音響処理部は、前記変動領域の移動の速さが所定の速さよりも遅いと判定されると前記変動波形を抽出するための閾値を下げることを特徴とするセンシング装置。
請求項１又は請求項２に記載のセンシング装置において、
前記音響処理部は、前記情報処理部にて前記音響距離が前記画像距離の距離範囲に含まれると判定されると前記変動波形を抽出するための閾値を下げることを特徴とするセンシング装置。
請求項１又は請求項２に記載のセンシング装置において、
前記音響処理部は、前記情報処理部にて前記音響距離が前記画像距離の距離範囲よりも大きいと判定されると前記変動波形を抽出するための閾値を上げることを特徴とするセンシング装置。