JP4493395B2 - Sensing device - Google Patents

Description

本発明は、画像情報及び音響情報に基づいて物体の検出を行うセンシング装置に関する。   The present invention relates to a sensing device that detects an object based on image information and acoustic information.

近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。このようなセキュリティシステムで使用されるセンシング装置としては、画像センサ等の撮像装置で取得された画像を用いて侵入者等を検出するものがある。このような画像を用いたセンシング装置には、基準となる背景画像を記録しておき、時々刻々と撮像される撮像画像と背景画像との差分画像に基づいて侵入者を検出する方法や、撮像画像間における差分画像に基づいて侵入者を検出する方法がある。   In recent years, security systems that detect intruders or the like that have entered a monitoring space have been widely used. As a sensing device used in such a security system, there is one that detects an intruder or the like using an image acquired by an imaging device such as an image sensor. In a sensing device using such an image, a reference background image is recorded, and a method for detecting an intruder based on a difference image between a captured image and a background image captured every moment, There is a method for detecting an intruder based on a difference image between images.

例えば、特開平３−９７０８０号公報には、撮像画像と背景画像との輝度の差分画像を生成し、その差分値が所定の閾値以上である画素を変動画素として抽出し、連続する変動画素の個数が所定の判定値以上である場合に、変動画素で構成される変動領域を侵入者であると判定し、警報駆動信号を出力する技術が開示されている。   For example, in Japanese Patent Laid-Open No. 3-97080, a difference image of luminance between a captured image and a background image is generated, pixels whose difference values are equal to or greater than a predetermined threshold are extracted as variation pixels, and continuous variation pixels are extracted. A technique is disclosed in which, when the number is equal to or greater than a predetermined determination value, it is determined that a changing area constituted by changing pixels is an intruder and an alarm driving signal is output.

また、センシング装置としては、特開２０００−３４８２６５号公報に記載されているように、監視空間にマイクロ波を送出し、監視空間に存在する物体によって反射されたマイクロ波を受信することによって、その受信波の波形の変化に基づいて侵入者を検出する方式も知られている。このようにマイクロ波を用いた検出方法では、光や影のように監視空間における実体のない変化には影響されない性質がある。   Further, as described in Japanese Patent Application Laid-Open No. 2000-348265, as a sensing device, by sending a microwave to a monitoring space and receiving a microwave reflected by an object existing in the monitoring space, A method of detecting an intruder based on a change in the waveform of a received wave is also known. As described above, the detection method using microwaves has a property that it is not affected by intangible changes in the monitoring space such as light and shadow.

特開平３−９７０８０号公報Japanese Patent Laid-Open No. 3-97080 特開２０００−３４８２６５号公報JP 2000-348265 A

しかしながら、画像センサを用いたセンシング装置では、光や影等の実体のない映像の輝度変化を伴う変動領域が侵入者として誤って検出されることがある。また、撮像画像は２次元で表現されているため、画像センサから遠くにある物体は小さく撮像され、近くにある物体は大きく撮像されるので、撮像画像における変動領域の大きさに基づいて侵入者と小動物を判別することが困難である。   However, in a sensing device using an image sensor, a fluctuating region accompanied by a change in luminance of an intangible image such as light or shadow may be erroneously detected as an intruder. In addition, since the captured image is expressed in two dimensions, an object far away from the image sensor is captured small, and an object close to the image is captured large, so an intruder based on the size of the fluctuation region in the captured image. It is difficult to distinguish small animals.

一方、マイクロ波センサを用いたセンシング装置では、監視空間に存在する物体の大きさに関わらず反射を生ずるため、小動物のような小さな物体と侵入者のような大きな物体の判別が困難である。また、物体の移動速度が遅い場合、受信信号の変化が捉え難くなり、物体の検出が困難となる。   On the other hand, in a sensing device using a microwave sensor, reflection occurs regardless of the size of an object existing in the monitoring space, and thus it is difficult to distinguish between a small object such as a small animal and a large object such as an intruder. In addition, when the moving speed of the object is slow, it is difficult to detect a change in the received signal, and it is difficult to detect the object.

本発明は、上記従来技術の問題を鑑み、侵入者の検出確度を高めたセンシング装置を提供することを目的とする。   The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide a sensing device with improved intruder detection accuracy.

本発明は、監視対象空間を撮影した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像画像と前記音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、前記撮像画像から変動領域を抽出し、当該変動領域に基づいて、センシング装置から当該変動領域に対応する位置までの実空間における距離を画像距離として算出する画像処理部と、前記音響信号の変動波形を抽出し、当該変動波形に基づいて、センシング装置から当該変動波形に対応する物体までの実空間における距離を音響距離として算出する音響処理部と、を備え、前記画像距離と前記音響距離との関係に基づいて前記監視対象空間内の移動体を検出する処理を行うことを特徴とする。   The present invention includes: an imaging unit that acquires a captured image obtained by capturing a monitoring target space; and a transmission / reception unit that transmits a sound wave to the monitoring target space and receives a sound wave as an acoustic signal from the monitoring target space, A sensing device that detects a moving body in the monitoring target space based on a captured image and the acoustic signal, wherein a variation region is extracted from the captured image, and the variation region is extracted from the sensing device based on the variation region. An image processing unit that calculates a distance in real space to a position corresponding to the image distance, and a fluctuation waveform of the acoustic signal is extracted, and based on the fluctuation waveform, from the sensing device to an object corresponding to the fluctuation waveform An acoustic processing unit that calculates a distance in the real space as an acoustic distance, and based on a relationship between the image distance and the acoustic distance, a shift in the monitoring target space is performed. And performing processing to detect the body.

具体的には、前記画像処理部は、前記変動領域のサイズを求める手段を備え、前記画像距離と前記音響距離とが一致していると判定された場合に、前記音響距離と前記変動領域のサイズとの関係に基づいて前記監視対象空間内の移動体を特定することが好適である。例えば、前記音響距離に存在する人間を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が人間であるか否かを特定することができる。   Specifically, the image processing unit includes means for obtaining a size of the variable region, and when it is determined that the image distance and the acoustic distance match, the acoustic distance and the variable region It is preferable to specify the moving body in the monitoring target space based on the relationship with the size. For example, the size of an image area that will be captured in the captured image when a person existing at the acoustic distance is imaged is obtained, the size of the image area is compared with the size of the fluctuation area, and the movement Whether or not the body is a human can be specified.

また、前記画像処理部は、前記変動領域のサイズを求める手段を備え、前記画像距離と前記音響距離とが一致していないと判定された場合に、前記音響距離と前記変動領域のサイズとの関係に基づいて前記監視対象空間内の移動体を特定することも好適である。例えば、前記音響距離に存在する小動物を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が小動物であるか否かを特定することもできる。また、前記音響距離に存在する人間を撮像した場合に前記撮像画像に撮影されるであろう画像領域のサイズを求め、当該画像領域のサイズと前記変動領域のサイズとを比較して、前記移動体が人間であるか否かを特定することができる。   Further, the image processing unit includes means for obtaining a size of the fluctuation region, and when it is determined that the image distance and the acoustic distance do not match, the acoustic distance and the size of the fluctuation region are It is also preferable to specify a moving body in the monitoring target space based on the relationship. For example, when a small animal existing at the acoustic distance is imaged, a size of an image region that will be captured in the captured image is obtained, and the size of the image region is compared with the size of the variation region, and the movement It is also possible to specify whether the body is a small animal. In addition, when a person existing at the acoustic distance is imaged, a size of an image area that will be captured in the captured image is obtained, and the size of the image area is compared with the size of the fluctuation area, and the movement is performed. Whether or not the body is a human can be specified.

さらに、前記画像距離と前記音響距離とが一致していないと判定された場合に、前記変動波形が抽出されなかったときには、前記変動領域は実態のない光や影による変動であると特定する処理を行うことも好適である。例えば、前記変動領域が所定の閾値以上の高い輝度である場合には光であるとして処理し、前記変動領域が所定の閾値より低い輝度である場合には影であるとして処理することができる。   Further, when it is determined that the image distance and the acoustic distance do not coincide with each other, and the fluctuation waveform is not extracted, the fluctuation area is identified as fluctuation due to light or shadow that does not actually exist. It is also suitable to perform. For example, when the fluctuation area has a high luminance equal to or higher than a predetermined threshold, it is processed as light, and when the fluctuation area has a luminance lower than the predetermined threshold, it is processed as a shadow.

また、前記画像処理部は、前記変動領域の移動の速さを算出する手段を備え、前記音響処理部は、前記変動領域の移動の速さに基づいて前記変動波形を抽出するための閾値を設定することが好適である。すなわち、検出対象物の移動速度が遅くなると超音波センサ等の音響センサの検出感度が悪くなるので、前記変動波形の検出感度を上げるように閾値を設定し、移動速度が速い場合には検出感度を下げるように閾値を設定することが好ましい。   The image processing unit includes means for calculating a movement speed of the fluctuation region, and the acoustic processing unit sets a threshold for extracting the fluctuation waveform based on the movement speed of the fluctuation region. It is preferable to set. That is, since the detection sensitivity of an acoustic sensor such as an ultrasonic sensor is deteriorated when the moving speed of the detection target object is slow, a threshold is set so as to increase the detection sensitivity of the fluctuation waveform. It is preferable to set a threshold value so as to lower the value.

また、前記音響処理部は、前記画像距離と前記音響距離との関係に基づいて前記変動波形を抽出するための閾値を設定することも好適である。   In addition, it is preferable that the acoustic processing unit sets a threshold for extracting the fluctuation waveform based on a relationship between the image distance and the acoustic distance.

また、本発明は、監視対象空間を撮影した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像画像及び前記音響信号の少なくとも１つに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、前記撮像画像から変動領域を抽出する画像処理部と、前記音響信号の変動波形を抽出する音響処理部と、を備え、前記音響処理部は、前記変動領域の有無と前記変動波形の有無との関係に基づいて前記変動波形を抽出するための閾値を設定することを特徴とする。   In addition, the present invention includes an imaging unit that acquires a captured image obtained by capturing a monitoring target space, and a transmission / reception unit that transmits a sound wave to the monitoring target space and receives the sound wave as an acoustic signal from the monitoring target space. A sensing device that detects a moving body in the monitoring target space based on at least one of the captured image and the acoustic signal, an image processing unit that extracts a fluctuation region from the captured image, and the acoustic signal An acoustic processing unit that extracts a fluctuation waveform, and the acoustic processing unit sets a threshold value for extracting the fluctuation waveform based on a relationship between the presence / absence of the fluctuation region and the presence / absence of the fluctuation waveform. Features.

例えば、前記画像距離と前記音響距離とが一致していない場合には、前記音響信号にノイズが重畳していたり、侵入者以外の小動物などによる反射波が重畳していたりする可能性が高いので、検出感度を下げるように閾値を設定することが好ましい。一方、前記画像距離と前記音響距離とが一致している場合には、監視領域に侵入者が存在している可能性が高いので、検出感度を上げるように閾値を設定することが好ましい。また、前記変動領域が存在しないにも関わらず、前記音響信号から前記変動波形が抽出された場合も、前記音響信号にノイズが重畳している可能性が高いので、検出感度を下げるように閾値を設定することが好ましい。   For example, when the image distance and the acoustic distance do not match, there is a high possibility that noise is superimposed on the acoustic signal or a reflected wave from a small animal other than the intruder is superimposed. It is preferable to set the threshold value so as to lower the detection sensitivity. On the other hand, when the image distance and the acoustic distance coincide with each other, there is a high possibility that an intruder exists in the monitoring area. Therefore, it is preferable to set a threshold value so as to increase detection sensitivity. Further, even when the fluctuation region is not present but the fluctuation waveform is extracted from the acoustic signal, it is highly possible that noise is superimposed on the acoustic signal. Is preferably set.

このとき、前記音響距離に対応する領域の閾値を変化させることによって、前記音響距離に対応する音響信号の変動の検出感度を調整することも好ましい。   At this time, it is also preferable to adjust the detection sensitivity of the fluctuation of the acoustic signal corresponding to the acoustic distance by changing the threshold value of the region corresponding to the acoustic distance.

なお、本発明の装置は、コンピュータを、上記処理を行う機能を有するセンシング装置として機能させる制御プログラムにより実現することができる。   The apparatus of the present invention can be realized by a control program that causes a computer to function as a sensing apparatus having a function of performing the above-described processing.

本発明によれば、監視空間に侵入した侵入者を検出する確度を高めることができる。   According to the present invention, it is possible to improve the accuracy of detecting an intruder who has entered a monitoring space.

本発明の実施の形態におけるセンシング装置１００は、図１に示すように、撮像部１０、画像処理部１２、送受信部１４、音響処理部１６、記憶部１８及び情報処理部２０を含んで構成される。センシング装置１００は、画像センサやカメラなどの撮像装置及び音波の送受信装置等を備えたコンピュータによって構成することができる。   As shown in FIG. 1, the sensing device 100 according to the embodiment of the present invention includes an imaging unit 10, an image processing unit 12, a transmission / reception unit 14, an acoustic processing unit 16, a storage unit 18, and an information processing unit 20. The The sensing device 100 can be configured by a computer including an imaging device such as an image sensor and a camera, a sound wave transmission / reception device, and the like.

撮像部１０は、画像センサやカメラなどの撮像装置を含んで構成される。撮像部１０は、監視空間の光学的な映像を電気的な画像信号に変換して画像処理部１２へ出力する。撮像部１０は、画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に画像処理部１２に受け渡す機能を有することも好ましい。本実施の形態では、撮像画像は離散的な画素群からなるデジタル化された画像に変換され、各画素が輝度値で表現された撮像画像Ｉとして画像処理部１２に入力されるものとする。   The imaging unit 10 includes an imaging device such as an image sensor or a camera. The imaging unit 10 converts an optical image of the monitoring space into an electrical image signal and outputs the electrical image signal to the image processing unit 12. It is also preferable that the imaging unit 10 has a function of delivering the image signal to the image processing unit 12 after performing pre-processing such as amplification, filter processing, and digitization processing on the image signal. In the present embodiment, the captured image is converted into a digitized image composed of discrete pixel groups, and each pixel is input to the image processing unit 12 as a captured image I expressed by a luminance value.

送受信部１４は、超音波パルス送信器及び超音波センサを含んで構成される。送受信部１４は、超音波パルス送信器を用いて所定時間間隔で監視空間に超音波パルスを等方的に送信すると共に、監視空間から超音波を音響信号として受信する。このとき、監視空間に存在する物体や壁等によって反射された超音波パルスが音響信号として受信される。監視距離が十分に短い場合、超音波の送信から受信までの時間は無視でき、超音波の送信タイミングと撮像部１０での撮像タイミングとを一致させることによって略同時刻における同一状況の監視空間の状況をセンシングすることができる。受信された音響信号は音響処理部１６に送信される。また、送受信部１４は、音響信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に音響処理部１６に受け渡す機能を有することも好ましい。   The transmission / reception unit 14 includes an ultrasonic pulse transmitter and an ultrasonic sensor. The transmitter / receiver 14 isotropically transmits ultrasonic pulses to the monitoring space at predetermined time intervals using an ultrasonic pulse transmitter, and receives ultrasonic waves from the monitoring space as an acoustic signal. At this time, an ultrasonic pulse reflected by an object or wall existing in the monitoring space is received as an acoustic signal. When the monitoring distance is sufficiently short, the time from transmission to reception of ultrasonic waves can be ignored, and by matching the transmission timing of ultrasonic waves with the imaging timing of the imaging unit 10, the monitoring space of the same situation at substantially the same time The situation can be sensed. The received acoustic signal is transmitted to the acoustic processing unit 16. In addition, it is preferable that the transmission / reception unit 14 has a function of passing the acoustic signal to the acoustic processing unit 16 after performing pre-processing such as amplification, filtering, and digitization on the acoustic signal.

なお、本実施の形態では、超音波を測定用の信号として用いた場合を例として説明するが、これに限定されるものでなく、可聴範囲の音波を用いても良い。但し、超音波は人間に聞こえないという利点を有する。また、音響信号の観測時間は監視したい距離に応じて変更することが好ましい。例えば、監視したい距離をＬ（ｍ）、音速をＣ（ｍ／ｓ）とすると、監視に必要な音響信号の観測時間ｔ（ｓ）はｔ＝２Ｌ／Ｃで算出することができる。   In this embodiment, the case where ultrasonic waves are used as measurement signals will be described as an example. However, the present invention is not limited to this, and sound waves in an audible range may be used. However, ultrasonic waves have the advantage that they cannot be heard by humans. Moreover, it is preferable to change the observation time of the acoustic signal according to the distance to be monitored. For example, if the distance to be monitored is L (m) and the sound speed is C (m / s), the acoustic signal observation time t (s) required for monitoring can be calculated by t = 2 L / C.

以下、撮像部１０において取得された撮像画像Ｉと送受信部１４において取得された超音波の音響信号とを用いて、監視空間から侵入者を検出する処理ついて説明を行う。センシング装置１００の各部の機能は、図２に示すように、コンピュータで実行可能な制御プログラムをコンピュータの処理装置によって実行させることによって実現することができる。   Hereinafter, a process of detecting an intruder from the monitoring space using the captured image I acquired by the imaging unit 10 and the ultrasonic acoustic signal acquired by the transmission / reception unit 14 will be described. As shown in FIG. 2, the function of each part of the sensing device 100 can be realized by causing a computer processing device to execute a control program executable by the computer.

ステップＳ１０では、監視空間の画像が取得される。撮像部１０により所定の時間間隔で１フレームの撮像画像Ｉが取得される。取得された撮像画像Ｉは画像処理部１２へ転送される。   In step S10, an image of the monitoring space is acquired. The imaging unit 10 acquires a captured image I of one frame at a predetermined time interval. The acquired captured image I is transferred to the image processing unit 12.

ステップＳ１２では、画像処理部１２において撮像画像Ｉに変動領域が含まれるか否かが判断される。画像処理部１２は、図１に示すように、変動領域抽出部２２、トラッキング部２４及び画像特徴量算出部２６を含んで構成される。画像処理部１２は、デジタル化された撮像画像を受けて、背景差分処理、２値化処理、トラッキング処理及び画像特徴量算出処理を行う。   In step S12, the image processing unit 12 determines whether or not the captured image I includes a variable region. As shown in FIG. 1, the image processing unit 12 includes a variable region extraction unit 22, a tracking unit 24, and an image feature amount calculation unit 26. The image processing unit 12 receives the digitized captured image and performs background difference processing, binarization processing, tracking processing, and image feature amount calculation processing.

変動領域抽出部２２では、所定の時間間隔で取得される撮像画像Ｉと基準となる背景画像Ｂとにおける互いに対応する画素同士の差分値をとって差分画像Ｄが生成される。背景画像Ｂは、監視空間に侵入者等が存在しない状態で撮像された画像であり、侵入者の検出処理を開始する前に予め取得され、記憶部１８に格納及び保持されているものとする。次に、得られた差分画像Ｄに含まれる各画素の輝度（特性値）と所定の閾値との大小関係に基づいて差分画像を２値化する。すなわち、撮像画像Ｉに含まれる各画像をＩ（ｉ，ｊ）で表し、背景画像Ｂに含まれる各画素をＢ（ｉ，ｊ）で表し、閾値がＴ_hvであるとすると、差分画像Ｄに含まれる各画素Ｄ（ｉ，ｊ）の値を数式（１）で決定することができる。

In the change area extraction unit 22, a difference image D is generated by taking a difference value between mutually corresponding pixels in the captured image I acquired at a predetermined time interval and the reference background image B. The background image B is an image captured in a state where no intruder or the like exists in the monitoring space, and is acquired in advance before starting the intruder detection process, and is stored and held in the storage unit 18. . Next, the difference image is binarized based on the magnitude relationship between the luminance (characteristic value) of each pixel included in the obtained difference image D and a predetermined threshold value. That is, if each image included in the captured image I is represented by I (i, j), each pixel included in the background image B is represented by B (i, j), and the threshold value is _Thv , the difference image D Can determine the value of each pixel D (i, j) included in the formula (1).

これによって、図３に示すように、特性値の変動が閾値Ｔ_hv以上の変動であった変動画素（１）と閾値Ｔ_hvより小さい変動であった非変動画素（０）とに２値化された差分画像Ｄとして表現される。算出された差分画像Ｄは、次回の撮像画像に対するトラッキング処理の基準とするために記憶部１８に格納及び保持される。 As a result, as shown in FIG. 3, _binarization is performed on the fluctuation pixel (1) whose characteristic value fluctuates more than the threshold value _Thv and the non-fluctuation pixel (0) whose fluctuation is smaller than the threshold value _Thv. The difference image D is expressed. The calculated difference image D is stored and held in the storage unit 18 to serve as a reference for tracking processing for the next captured image.

なお、本実施の形態では、背景画像Ｂは侵入者がいない状況において監視空間を予め撮像した画像としたが、所定時間毎に撮像された画像で更新することも好適である。また、前回取得された撮像画像を背景画像Ｂとして用いることにより、連続するフレーム間における差分画像Ｄを求めて処理に供しても良い。   In the present embodiment, the background image B is an image obtained by capturing the surveillance space in advance in a situation where there is no intruder, but it is also preferable to update the background image B with an image captured every predetermined time. Further, by using the captured image acquired last time as the background image B, a difference image D between successive frames may be obtained and used for processing.

ここで、撮像画像Ｉに変動領域が含まれていればステップＳ１４に処理を移行させる。一方、撮像画像Ｉに変動領域が含まれていなければステップＳ３６に処理を移行させる。以下では、まず撮像画像Ｉに変動領域が含まれていた場合について説明を行う。   Here, if the captured image I includes a fluctuating region, the process proceeds to step S14. On the other hand, if the fluctuation area is not included in the captured image I, the process proceeds to step S36. Below, the case where the fluctuation area | region was first included in the captured image I is demonstrated.

ステップＳ１４では、今回の撮像で取得された差分画像Ｄと過去に取得された差分画像との比較により変動領域のトラッキング処理が行われる。トラッキング部２４では、２値化された差分画像Ｄに含まれる連続した変動画素群が１つの変動領域としてグループ化され、各変動領域が固有のラベルでラベリングされる。ラベリングされた各変動領域は、記憶部１８に保持されている過去の差分画像の各変動領域と比較され、領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の被写体を撮像した領域であると推定される変動領域同士が対応付けられる。差分画像Ｄ及びラベリングの情報は画像特徴量算出部２６へ送られる。   In step S14, the tracking process of the fluctuation region is performed by comparing the difference image D acquired by the current imaging with the difference image acquired in the past. In the tracking unit 24, continuous variable pixel groups included in the binarized difference image D are grouped as one variable region, and each variable region is labeled with a unique label. Each labeled variation area is compared with each variation area of the past difference image held in the storage unit 18 and the same subject is imaged based on the similarity of the feature amount such as the size and shape of the area. The variable regions estimated to be regions are associated with each other. The difference image D and the labeling information are sent to the image feature amount calculation unit 26.

ステップＳ１６では、差分画像Ｄ及びラベリングの情報に基づいて画像に関する各種の特徴量が算出される。画像特徴量算出部２６は、例えば、画像距離算出部、領域サイズ算出部及び移動ベクトル算出部を含んで構成される。   In step S <b> 16, various feature amounts related to the image are calculated based on the difference image D and the labeling information. The image feature amount calculation unit 26 includes, for example, an image distance calculation unit, a region size calculation unit, and a movement vector calculation unit.

画像距離算出部では、差分画像Ｄに基づいて撮像部１０に含まれる撮像装置から各変動領域に撮像された物体までの距離が算出される。監視空間の床面が平坦であり、変動領域に写し込まれた物体が床面に接地しているものと仮定することによって、撮像部１０の撮像装置の俯角、設置高及び変動領域の画像内位置（垂直位置）に基づいて撮像装置から変動領域に写し込まれた物体までの直線距離を推定することができる。   In the image distance calculation unit, the distance from the imaging device included in the imaging unit 10 to the object imaged in each variable region is calculated based on the difference image D. By assuming that the floor surface of the monitoring space is flat and the object imaged in the fluctuation region is in contact with the floor surface, the depression angle, the installation height, and the fluctuation region of the image pickup unit 10 in the image of the fluctuation region Based on the position (vertical position), it is possible to estimate the linear distance from the imaging device to the object imaged in the fluctuation region.

簡単の為、図４に示すように、撮像部１０の正面に変動領域が抽出された場合を説明する。差分画像Ｄの垂直方向のサイズがＹ、画像における変動領域の上端までの長さがｙ_h、画像における変動領域の下端まで長さがｙ_f、１画素間の距離がｐであり、図５に示すように、撮像装置の俯角がθ、設置高がＨ、焦点距離がＦとすると、数式（２）を用いて撮像装置から変動領域に写し込まれた物体の上端までの実空間における画像距離ｄ_hを算出することができ、数式（３）を用いて撮像装置から変動領域に写し込まれた物体の下端までの実空間における画像距離ｄ_fを算出することができる。より精度が必要とされる場合には、撮像部１０の特性（レンズ、ＣＣＤ）を考慮した補正を行っても良い。

For simplicity, a case will be described in which a variable region is extracted in front of the imaging unit 10 as shown in FIG. The vertical size of the difference image D is Y, the length to the upper end of the fluctuation area in the image is y _h , the length to the lower end of the fluctuation area in the image is y _f , and the distance between the pixels is p. As shown in FIG. 5, when the depression angle of the imaging device is θ, the installation height is H, and the focal length is F, an image in real space from the imaging device to the upper end of the object imaged in the fluctuation region using Equation (2) the distance d _h can be calculated, it is possible to calculate the image distance d _f in real space to the object lower end of which is imprinted from the imaging device to change the region using equation (3). When higher accuracy is required, correction may be performed in consideration of the characteristics (lens, CCD) of the imaging unit 10.

領域サイズ算出部では、差分画像Ｄに含まれる各変動領域の画像のサイズが算出される。例えば、各変動領域に外接する矩形領域を求め、その矩形領域の大きさを各変動領域のサイズとする。   In the area size calculation unit, the size of the image of each variable area included in the difference image D is calculated. For example, a rectangular area circumscribing each variable area is obtained, and the size of the rectangular area is set as the size of each variable area.

移動ベクトル算出部では、トラッキング部２４で同一の被写体の画像であるとラベリングされた変動領域の移動ベクトルが算出される。移動ベクトルは、実空間における物体の移動の速さ及び方向であり、異なる時刻に撮影された撮像画像から得られた複数の差分画像間において、画像距離算出部において推定された画像距離ｄ_h又はｄ_fの位置の変動から算出することができる。 In the movement vector calculation unit, the movement vector of the fluctuation region labeled as the same subject image by the tracking unit 24 is calculated. The movement vector is the speed and direction of movement of the object in the real space, and the image distance d _h estimated by the image distance calculation unit between a plurality of difference images obtained from captured images taken at different times or it can be calculated from changes in the position of d _f.

なお、上記画像距離算出部、領域サイズ算出部及び移動ベクトル算出部における処理は一例であり、同様の特徴量を算出できる方法であれば本実施の形態の処理方法に限定されるものではない。   Note that the processing in the image distance calculation unit, region size calculation unit, and movement vector calculation unit is an example, and the method is not limited to the processing method of the present embodiment as long as the same feature amount can be calculated.

ステップＳ１８では、差分画像Ｄに含まれる各変動領域が遅いか否かが判断される。各変動領域の移動の速さは、ステップＳ１６で求めた移動ベクトルの大きさ（絶対値）である。差分画像Ｄに含まれる各変動領域の速さと所定の閾値とを比較し、閾値よりも遅い場合にはステップＳ２０へ処理を移行させ、閾値以上の速度で移動している場合にはステップＳ２２へ処理を移行させる。   In step S18, it is determined whether or not each variable region included in the difference image D is late. The speed of movement of each variable region is the magnitude (absolute value) of the movement vector obtained in step S16. The speed of each fluctuating region included in the difference image D is compared with a predetermined threshold value. If the speed is slower than the threshold value, the process proceeds to step S20. If the speed is higher than the threshold value, the process proceeds to step S22. Shift processing.

ステップＳ２０では、音響信号の変化を検出するための基準となる閾値が設定される。音響信号には、図６（ａ）に示すように、監視空間に存在する物体によって反射されたパルス信号が重畳されている。受信波変動抽出部２８では、前回の測定時に取得された音響信号が記憶部１８から読み出され、数式（４）を用いて、前回の測定時に取得された音響信号と今回取得された音響信号との差分波形を求められる。監視空間に新たに現れた物体がある場合には差分波形に新たなピークが発生する。

In step S20, a reference threshold value for detecting a change in the acoustic signal is set. As shown in FIG. 6A, a pulse signal reflected by an object existing in the monitoring space is superimposed on the acoustic signal. In the reception wave fluctuation extracting unit 28, the acoustic signal acquired at the previous measurement is read from the storage unit 18, and using the mathematical formula (4), the acoustic signal acquired at the previous measurement and the acoustic signal acquired this time. And a differential waveform is obtained. When there is an object that has newly appeared in the monitoring space, a new peak occurs in the differential waveform.

ステップＳ２０ではこのピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。閾値Ｔ_h（ｘ）は、送受信部１４からの距離ｘの関数である。閾値Ｔ_h（ｘ）は、ステップＳ１６で求めた画像特徴量に基づいて設定されることが好適である。例えば、検出対象物の移動速度が遅くなると超音波センサ等の音響センサの検出感度が悪くなるので、変動領域に対応する物体の移動速度に応じて、変動領域の移動速度が遅い場合には検出感度を上げるように閾値Ｔ_h（ｘ）を設定することが好ましい。また、移動速度が速い場合には検出感度を下げるように閾値Ｔ_h（ｘ）を設定しても良い。 In step S20, a threshold value _Th (x) serving as a reference for this peak detection is set. The threshold value _Th (x) is a function of the distance x from the transmission / reception unit 14. The threshold value _Th (x) is preferably set based on the image feature amount obtained in step S16. For example, since the detection sensitivity of an acoustic sensor such as an ultrasonic sensor deteriorates when the movement speed of the detection target object is slow, detection is performed when the movement speed of the fluctuation area is slow according to the movement speed of the object corresponding to the fluctuation area. It is preferable to set the threshold value T _h (x) so as to increase the sensitivity. Further, when the moving speed is high, the threshold value _Th (x) may be set so as to lower the detection sensitivity.

例えば、図７（ａ）に示すように、ピーク検出の基準となる閾値Ｔ_h（ｘ）（ｘは、０〜最大監視距離）を検出感度が小さくなるように設定しておき、差分画像Ｄに含まれる変動領域の移動速度が所定の閾値より小さい場合、すなわち移動速度が所定の閾値より遅い場合には、図７（ｂ）に示すように、その変動領域までの画像距離ｄ_h〜ｄ_fに対応するピーク検出の閾値Ｔ_h（ｄ_h）〜閾値Ｔ_h（ｄ_f）を減少させる。これにより、移動速度が遅い物体から反射された超音波パルスのピーク検出の感度を高め、移動体の検出漏れを防ぐことができる。一方、差分画像Ｄに含まれる変動領域の移動速度が所定の閾値以上である場合、すなわち移動速度が所定の閾値以上に速い場合には、その変動領域までの画像距離ｄ_h〜ｄ_fに対応する閾値Ｔ_h（ｄ_h）〜閾値Ｔ_h（ｄ_f）を増加させるか又はそのまま維持させる。なお、図７（ｂ）に示す差分波形は、移動速度が遅いため、図７（ａ）の差分波形よりもピークが小さくなっている。 For example, as shown in FIG. 7A, a threshold value _Th (x) (x is 0 to the maximum monitoring distance) serving as a reference for peak detection is set so as to reduce the detection sensitivity, and the difference image D When the moving speed of the changing area included in the image is smaller than a predetermined threshold, that is, when the moving speed is slower than the predetermined threshold, as shown in FIG. 7B, the image distances d _{h to} d to the changing area are displayed. threshold T _h of the peak detection corresponding to _f (d _h) reducing ~ threshold T _h (d _f). Thereby, the sensitivity of the peak detection of the ultrasonic pulse reflected from the object whose moving speed is slow can be increased, and the detection omission of the moving body can be prevented. On the other hand, when the moving speed of the variation region contained in the difference image D is equal to or greater than the predetermined threshold value, that is, when the moving speed is high than a predetermined threshold value, corresponding to the image distance d _h to d _f to the variable domain The threshold value T _h (d _h ) to the threshold value T _h (d _f ) to be increased is increased or maintained as they are. Note that the differential waveform shown in FIG. 7B has a smaller peak than the differential waveform shown in FIG.

例えば、図８に示すように、移動速度が所定の速度Ｖ_hより小さい場合には閾値Ｔ_h（ｘ）を移動速度に比例するように設定し、移動速度が所定の速度Ｖ_h以上である場合には閾値Ｔ_h（ｘ）を一定の最大値に設定することが好適である。このように、差分画像Ｄに含まれる各変動領域の移動速度に基づいて、各変動領域の画像距離に対応するピーク検出の閾値Ｔ_h（ｘ）を変動させることによって、音響信号から監視空間に存在する移動物体を確実に検出することができると共に、不要な誤検出も防ぐことができる。 For example, as shown in FIG. 8, when the moving speed is smaller than a predetermined speed V _h , the threshold value _Th (x) is set to be proportional to the moving speed, and the moving speed is equal to or higher than the predetermined speed V _h. In this case, it is preferable to set the threshold value _Th (x) to a certain maximum value. In this way, by changing the peak detection threshold T _h (x) corresponding to the image distance of each fluctuation area based on the moving speed of each fluctuation area included in the difference image D, the acoustic signal is transferred to the monitoring space. An existing moving object can be reliably detected, and unnecessary erroneous detection can be prevented.

ステップＳ２２では、設定された閾値に基づいて差分波形からピークの検出を行う。ステップＳ２４では、差分波形にピークが含まれているか否かの判定が行われる。差分波形に少なくとも１つのピークが含まれていればステップＳ２６に処理を移行させ、ピークが含まれていなければステップＳ４８に処理を移行させる。   In step S22, a peak is detected from the difference waveform based on the set threshold value. In step S24, it is determined whether or not a peak is included in the differential waveform. If at least one peak is included in the differential waveform, the process proceeds to step S26, and if no peak is included, the process proceeds to step S48.

ステップＳ２６では、音響特徴量算出部３０において音響信号の差分波形に基づいて音響特徴量が算出される。音響特徴量算出部３０は、例えば、音響距離算出部を含んで構成される。   In step S26, the acoustic feature amount calculation unit 30 calculates the acoustic feature amount based on the differential waveform of the acoustic signal. The acoustic feature amount calculation unit 30 includes, for example, an acoustic distance calculation unit.

音響距離算出部では、ステップＳ２４で検出されたピークに対応する物体までの距離が算出される。以下、画像信号に基づいて算出された画像距離ｄ_h，ｄ_fと区別するために算出された距離を音響距離ｄ_sと示す。音響距離ｄ_sは、超音波を発信した時刻ｔ_sからピークが検出された時刻ｔ_pまでの時間Ｔ_p（ｓ）と音速Ｃ（ｍ／ｓ）との関係に基づいて数式（５）を用いて算出することができる。

The acoustic distance calculation unit calculates the distance to the object corresponding to the peak detected in step S24. Hereinafter, the image distance has been calculated on the basis of the image signal d _h, the distance calculated in order to distinguish d _f shows the acoustic distance d _s. The acoustic distance d _s is expressed by Equation (5) based on the relationship between the time T _p (s) from the time t _{s when the} ultrasonic wave is transmitted to the time t _p when the peak is detected and the sound speed C (m / s). Can be used to calculate.

ステップＳ２８では、画像処理部１２で求められた画像特徴量と音響処理部１６で求められた音響特徴量とに基づいて監視空間にある物体の特定が行われる。ステップＳ２８はサブルーチン化されており、図９に示すフローチャートに沿って処理が実行される。   In step S <b> 28, an object in the monitoring space is specified based on the image feature amount obtained by the image processing unit 12 and the acoustic feature amount obtained by the acoustic processing unit 16. Step S28 is converted into a subroutine, and processing is executed according to the flowchart shown in FIG.

ステップＳ２８−１では、情報処理部２０の対応付け処理部３２において画像距離と音響距離とのマッチングが行われる。対応付け処理部３２では、差分画像Ｄに含まれる各変動領域の画像距離ｄ_f〜ｄ_hに対応する音響距離ｄ_sが存在するか否かが判定される。 In step S <b> 28-1, matching between the image distance and the acoustic distance is performed in the association processing unit 32 of the information processing unit 20. In the association processing unit 32, it is determined whether or not there is an acoustic distance d _s corresponding to the image distances d _{f to} d _h of the variable regions included in the difference image D.

差分画像Ｄに含まれる各変動領域について画像距離ｄ_fと画像距離ｄ_hとの間に対応する音響距離ｄ_sが存在するか否かが調査される。図１０に示すように、各変動領域について画像距離ｄ_fと画像距離ｄ_hとの間にピーク検出の閾値Ｔ_h（ｘ）以上の音響変化が存在する場合には、画像距離ｄ_f〜ｄ_hに対応する音響距離ｄ_sが存在すると判定される。このとき、図１１に示すように、画像センサによる物体まで距離（画像距離）と音響センサによる物体までの距離（音響距離）とが一致していると判断できる。 It is investigated whether or not there is a corresponding acoustic distance d _s between the image distance d _f and the image distance d _h for each variable region included in the difference image D. As shown in FIG. 10, when the threshold value T _h (x) or more acoustic change in peak detection between the image distance d _f and the image distance d _h for each variable domain is present, the image distance d _f to d It is determined that there is an acoustic distance d _s corresponding to _h . At this time, as shown in FIG. 11, it can be determined that the distance to the object by the image sensor (image distance) matches the distance to the object by the acoustic sensor (acoustic distance).

画像距離ｄ_f〜ｄ_hと音響距離ｄ_sとのマッチングが成功した場合にはステップＳ２８−２に処理を移行させ、マッチングが成功しなかった場合にはステップＳ２８−６に処理を移行させる。 If the matching between the image distances d _{f to} d _h and the acoustic distance d _s is successful, the process proceeds to step S28-2, and if the matching is not successful, the process proceeds to step S28-6.

ステップＳ２８−２では、音波の差分波形からピークを検出する際の閾値Ｔ_h（ｘ）を初期値に設定する。ステップＳ２８−１において画像距離と音響距離とのマッチングが成功した場合、マッチングが成功した距離範囲に侵入者等が存在している可能性が高いので、音響距離ｄ_s近傍のピーク検出の閾値Ｔ_h（ｘ）を初期値に戻し、差分波形からのピーク検出の感度を高める。例えば、音響距離ｄｓを中心に所定の距離範囲Ｒの閾値Ｔ_h（ｄ_s−Ｒ）〜Ｔ_h（ｄ_s＋Ｒ）の値を初期値に戻す。これにより、次回以降のピーク検出処理において音響距離ｄ_s近傍のピーク検出の感度が高くなり、誤って差分波形から物体が検出できなくなる可能性を低減することができる。 In step S28-2, it sets the threshold value T _h (x) in detecting a peak from the differential waveform of the sound wave to the initial value. If the matching between the image distance and the acoustic distance is successful in step S28-1, there is a high possibility that an intruder or the like is present in the distance range in which the matching is successful, and therefore the threshold T for peak detection near the acoustic distance d _{s. h} (x) is returned to the initial value, and the sensitivity of peak detection from the differential waveform is increased. For example, the threshold values T _h (d _s −R) to T _h (d _s + R) of a predetermined distance range R around the acoustic distance ds are returned to the initial values. This increases the sensitivity of peak detection in the vicinity of the acoustic distance d _s in the next and subsequent peak detection processing, and reduces the possibility that an object cannot be erroneously detected from the differential waveform.

ステップＳ２８−３では、画像距離と音響距離とのマッチングが成功した距離範囲に存在する物体のサイズが調査される。ステップＳ１６で算出された領域サイズの中から、マッチングが成功した画像距離に対応する変動領域のサイズを抽出し、この変動領域のサイズが人間の大きさに対応するものであるか否かを判定する。   In step S28-3, the size of the object existing in the distance range in which matching between the image distance and the acoustic distance is successful is investigated. From the area size calculated in step S16, the size of the variable area corresponding to the image distance for which matching was successful is extracted, and it is determined whether or not the size of the variable area corresponds to the human size. To do.

図１２に示すように、同一の大きさの被写体を撮像した場合においても撮像部１０からの距離に応じて撮像領域のサイズは変化する。そこで、音響距離ｄ_sに最小程度の大きさの人間が存在すると仮定し、その人間が撮像された場合の画像領域のサイズを人間としての最小の画像サイズとして、マッチングが成功した変動領域は人間を撮像したものであるのか、他の小動物等を撮像したものであるのかを判定することができる。 As shown in FIG. 12, the size of the imaging region changes according to the distance from the imaging unit 10 even when a subject having the same size is imaged. Therefore, assuming that there is a human having a minimum size in the acoustic distance d _s , and the size of the image area when the human is imaged is the minimum image size as a human, the fluctuation area that has been successfully matched is a human It is possible to determine whether the image is obtained by imaging a small animal or the like.

音響距離ｄ_sの方が画像距離ｄ_f，ｄ_hよりも物体までの距離を正しく示している可能性が高いので、最小の人物に対応する画像領域のサイズを見積もる際には、音響距離ｄ_sを用いて計算を行うことが好適である。 Since the acoustic distance d _s is more likely to correctly indicate the distance to the object than the image distances d _f and d _h , when estimating the size of the image area corresponding to the smallest person, the acoustic distance d It is preferable to perform the calculation using _s .

例えば、図１２に示すように、音響センサの正面に居る人物が映し出された変動領域の幅を算出する場合、最小人物の幅として考えられる実寸をＷ_min、音響距離をｄ_s、撮像画像Ｉの横幅をＨ_x、画像センサの水平方向の画角をφとすると、音響距離ｄ_sに居る人間の画像領域の幅ｗは数式（６）によって算出することができる。また、撮像部１０の特性を考慮に入れた補正をすることにより、変動領域を正確に求めることができる。

For example, as shown in FIG. 12, when calculating the width of the fluctuation region in which the person in front of the acoustic sensor is projected, the actual size that can be considered as the width of the minimum person is W _min , the acoustic distance is d _s , and the captured image I the horizontal width when H _x, the horizontal field angle of the image sensor and phi, the width w of a human image region being in acoustic distance d _s can be calculated by equation (6). In addition, by performing correction in consideration of the characteristics of the imaging unit 10, the fluctuation region can be accurately obtained.

同様に、最小の人間の高さとして考えられる実寸をＨ_minとして、最小の人間が画像に映し出されたときの高さｈを求めることものできる。また、角度方向に補正を行うことによって、画像上の総ての領域における最小の人間のサイズを求めることもできる。 Similarly, it is possible to obtain the height h when the smallest person is displayed in the image, where H _min is the actual size considered as the smallest person's height. Further, by correcting in the angular direction, the minimum human size in all areas on the image can be obtained.

以上のように算出された最小人物の画像上のサイズと画像距離と音響距離とのマッチングが成功した距離範囲に対応する変動領域のサイズとを比較し、変動領域のサイズが最小人物のサイズ以上であれば撮像された物体が人間であると判定してステップＳ２８−４に処理を移行させ、変動領域のサイズが最小人物のサイズよりも小さければ撮像された物体が小動物（犬、猫、ねずみ等）であると判定してステップＳ２８−５に処理を移行させる。   Compare the size on the image of the smallest person calculated as described above, the size of the variation area corresponding to the distance range where the image distance and the acoustic distance were successfully matched, and the size of the variation area is equal to or larger than the size of the minimum person If it is, it is determined that the imaged object is a human and the process proceeds to step S28-4. If the size of the variable region is smaller than the minimum person size, the imaged object is a small animal (dog, cat, mouse). And the process proceeds to step S28-5.

ステップＳ２８−４では、瞬時属性量設定部３４において、瞬時人属性度が増加される。瞬時人属性度とは、１回の測定毎の撮像画像に人間が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に人間が撮像されている確からしさが高いことを示すものである。一方、ステップＳ２８−５では、瞬時属性量設定部３４において、瞬時小動物属性度が増加される。瞬時小動物属性度とは、１回の測定毎の撮像画像に小動物が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に小動物が撮像されている確からしさが高いことを示すものである。   In step S28-4, the instantaneous human attribute degree is increased in the instantaneous attribute amount setting unit 34. The instantaneous human attribute is a parameter indicating the probability that a person is captured in a captured image for each measurement, and the higher the parameter value, the higher the probability that a person is captured in the captured image. It is shown. On the other hand, in step S28-5, the instantaneous attribute value setting unit 34 increases the instantaneous small animal attribute level. The instantaneous small animal attribute is a parameter indicating the probability that a small animal is captured in each captured image, and the higher the parameter value, the higher the probability that a small animal is captured in the captured image. It is shown.

画像距離と音響距離とのマッチングが失敗した場合、ステップＳ２８−６において画像距離よりも小さい距離に対応する音響変化が存在するか否かが判断される。図１３に示すように、画像距離ｄ_f〜ｄ_hの距離範囲よりも近い距離に音響変化が存在する場合、図１４に示すように、画像センサの近傍にいる小鳥や虫などの小動物が撮像され、見かけ上は差分画像Ｄの画像距離ｄ_f〜ｄ_hに物体が撮像されているように見えているに過ぎない可能性が高い。そこで、画像距離よりも小さい距離に対応する音響変化が存在する場合にはステップＳ２８−７に処理を移行させて撮像された物体が小動物か否かを判定し、画像距離よりも小さい距離に対応する音響変化が存在しない場合にはステップＳ２８−１０に処理を移行させて撮像された物体が実体のない物体として処理する。 If the matching between the image distance and the acoustic distance fails, it is determined in step S28-6 whether there is an acoustic change corresponding to a distance smaller than the image distance. As shown in FIG. 13, when there is an acoustic change at a distance closer than the distance range of image distances d _{f to} d _h , small animals such as birds and insects in the vicinity of the image sensor are picked up as shown in FIG. Thus, it is highly likely that the object appears to be imaged at the image distances d _{f to} d _h of the difference image D in appearance. Therefore, if there is an acoustic change corresponding to a distance smaller than the image distance, the process proceeds to step S28-7 to determine whether or not the imaged object is a small animal, and corresponds to a distance smaller than the image distance. If there is no acoustic change to be performed, the process proceeds to step S28-10 to process the imaged object as an intangible object.

ステップＳ２８−７では、変動領域のサイズに基づいて、鳥や虫などの小動物を撮像したものであるか否かが調査される。ステップＳ２８−３と同様に、音響距離ｄ_sに小動物として考えられる最大の大きさの小動物が存在する場合に差分画像Ｄに現れるべき変動画像のサイズを求め、実際に差分画像Ｄに含まれる変動画像のサイズと比較することにより被写体が小動物であるか人間であるかを判定する。最大の小動物の画像上のサイズと変動領域のサイズとを比較し、変動領域のサイズが最大の小動物のサイズ以下であれば撮像された物体が小動物であると判定してステップＳ２８−８に処理を移行させ、変動領域のサイズが最大の小動物のサイズよりも大きければ撮像された物体が人間であると判定してステップＳ２８−９に処理を移行させる。 In step S28-7, it is investigated whether or not a small animal such as a bird or insect is imaged based on the size of the variable region. Similar to step S28-3, the size of the variation image that should appear in the difference image D when the largest animal size that can be considered as a small animal exists at the acoustic distance d _s is obtained, and the variation actually included in the difference image D is obtained. By comparing with the size of the image, it is determined whether the subject is a small animal or a human. The size on the image of the largest small animal is compared with the size of the fluctuation region. If the size of the fluctuation region is equal to or smaller than the size of the largest small animal, it is determined that the imaged object is a small animal, and the process proceeds to step S28-8. If the size of the variable region is larger than the size of the largest small animal, it is determined that the imaged object is a human and the process proceeds to step S28-9.

ステップＳ２８−８では、瞬時属性量設定部３４において、瞬時小動物属性度が増加される。一方、ステップＳ２８−９では、瞬時属性量設定部３４において、瞬時人属性度が増加される。   In step S28-8, the instantaneous attribute value setting unit 34 increases the instantaneous small animal attribute level. On the other hand, in step S28-9, the instantaneous attribute value setting unit 34 increases the instantaneous human attribute level.

ステップＳ２８−１０では、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。ステップＳ２８−６において、画像距離よりも小さい距離に対応する音響変化が存在しなかった場合は、差分波形からピーク検出を行う際の感度が高すぎたためにノイズを物体からの反射によるピークとして検出したことを示す。そこで、次に音響信号からピーク検出を行う際に誤検出を低減するために、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）を引き上げる処理を行う。差分画像Ｄに含まれる変動領域は実体のない光又は影に起因するものであると考えられる。 In step S28-10, the threshold T _h which is a reference of peak detection for the differential waveform of the acoustic signal (x) is set. If there is no acoustic change corresponding to a distance smaller than the image distance in step S28-6, the sensitivity when performing peak detection from the difference waveform is too high, and noise is detected as a peak due to reflection from the object. Indicates that Therefore, in order to reduce false detection when the peak is detected from the acoustic signal next time, a process of raising the threshold value _Th (x) that is a reference for peak detection with respect to the differential waveform of the acoustic signal is performed. It is considered that the fluctuation region included in the difference image D is caused by intangible light or shadow.

ステップＳ２８−１１では、差分画像Ｄに含まれる変動領域の輝度が調査される。変動領域の輝度（平均輝度）が所定の閾値以上である場合には実体のない光に起因する変動領域であるものとして処理をステップＳ２８−１２に移行させ、変動領域の輝度（平均輝度）が所定の閾値より小さい場合には実体のない影に起因する変動領域であるものとして処理をステップＳ２８−１３に移行させる。   In step S28-11, the luminance of the fluctuation region included in the difference image D is examined. If the luminance (average luminance) of the variable region is equal to or greater than a predetermined threshold, the process proceeds to step S28-12 assuming that the variable region is caused by intangible light, and the luminance (average luminance) of the variable region is If it is smaller than the predetermined threshold, the process proceeds to step S28-13 on the assumption that the region is a variation region caused by an inexact shadow.

ステップＳ２８−１２では、瞬時属性量設定部３４において、瞬時光属性度が増加される。瞬時光属性度とは、１回の測定毎の撮像画像に実体のない光が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない光が撮像されている確からしさが高いことを示すものである。一方、ステップＳ２８−１３では、瞬時属性量設定部３４において、瞬時影属性度が増加される。瞬時影属性度とは、１回の測定毎の撮像画像に実体のない影が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない影が撮像されている確からしさが高いことを示すものである。   In step S28-12, the instantaneous light attribute setting unit 34 increases the instantaneous light attribute level. The instantaneous light attribute is a parameter indicating the probability that intangible light is captured in the captured image for each measurement, and the higher the parameter value, the more invisible light is captured in the captured image. This indicates that the probability is high. On the other hand, in step S28-13, the instantaneous shadow attribute degree is increased in the instantaneous attribute amount setting unit 34. The instantaneous shadow attribute is a parameter indicating the probability that an intangible shadow is captured in a captured image for each measurement. The higher the parameter value, the more invisible shadow is captured in the captured image. This indicates that the probability is high.

以上のように、ステップＳ２８において差分画像Ｄに含まれる各変動画像がどのような物体を被写体としたものであるかが決定されると、メインルーチンのステップＳ３０に処理が戻される。   As described above, when it is determined in step S28 what kind of object the subject of each variation image included in the difference image D is, the process returns to step S30 of the main routine.

ステップＳ３０では、蓄積属性度算出部３６において、蓄積属性度が算出される。蓄積属性度とは、複数回の測定で求められた瞬時属性度及び音響特徴量に基づいて算出されるパラメータであり、変動領域が人物、小動物、光又は影であるか否かを示すものである。例えば、ステップＳ２８で求められた瞬時人属性度を所定の測定回数だけ足し合わせて蓄積人属性度として算出することができる。このように、瞬時人属性度を複数回分積算して求めた蓄積人属性度を用いることによって変動領域が人であるか否かをより正確に判定することができる。同様に、他の瞬時属性度を所定の測定回数分だけ積算することによって各瞬時属性度に対応する蓄積属性度を算出することもできる。   In step S30, the storage attribute level calculation unit 36 calculates the storage attribute level. The accumulated attribute level is a parameter calculated based on the instantaneous attribute level and the acoustic feature amount obtained by a plurality of measurements, and indicates whether the fluctuation region is a person, a small animal, light, or a shadow. is there. For example, the accumulated person attribute level can be calculated by adding the instantaneous person attribute level obtained in step S28 a predetermined number of times. In this way, it is possible to more accurately determine whether or not the fluctuation region is a person by using the accumulated person attribute degree obtained by integrating the instantaneous person attribute degree a plurality of times. Similarly, the accumulated attribute level corresponding to each instantaneous attribute level can be calculated by integrating the other instantaneous attribute levels for a predetermined number of times of measurement.

ステップＳ３２では、総合判定部３８において、瞬時属性度及び蓄積属性度の少なくとも１つを用いて監視空間に侵入者がいるか否かが判定される。例えば、蓄積人属性度が所定の閾値以上の値を有する場合に監視空間に侵入者がいるものと判断する。また、他の蓄積属性度、画像特徴量及び音響特徴量を組み合わせ判定を行うことも好ましい。侵入者が存在すると判断された場合にはステップＳ３４に処理を移行させて警報の発報等の処理を行い、侵入者が存在しないと判断された場合には処理を終了する。また、ステップＳ１０から処理を繰り返しても良い。   In step S32, the comprehensive determination unit 38 determines whether there is an intruder in the monitoring space using at least one of the instantaneous attribute level and the accumulated attribute level. For example, it is determined that there is an intruder in the monitoring space when the accumulated person attribute level has a value equal to or greater than a predetermined threshold. In addition, it is also preferable to perform a combination determination with other accumulation attribute levels, image feature amounts, and acoustic feature amounts. If it is determined that there is an intruder, the process proceeds to step S34 to perform processing such as issuing an alarm, and if it is determined that there is no intruder, the process ends. Further, the processing may be repeated from step S10.

次に、ステップＳ１２において撮像画像Ｉに変動領域が含まれていないと判定され、ステップＳ３６に処理を移行させた場合について説明する。   Next, a case will be described in which it is determined in step S12 that the captured image I does not include a fluctuation region, and the process proceeds to step S36.

ステップＳ３６では、受信波変動抽出部２８にて音響信号の差分波形を求めると共に、設定された閾値Ｔ_h（ｘ）に基づいて差分波形からピークの検出を行う。ステップＳ３８では、差分波形にピークが含まれているか否かの判定が行われる。差分波形に少なくとも１つのピークが含まれていればステップＳ４０に処理を移行させ、ピークが含まれていなければステップＳ４４に処理を移行させる。 In step S36, the received wave fluctuation extracting unit 28 obtains a differential waveform of the acoustic signal and detects a peak from the differential waveform based on the set threshold value _Th (x). In step S38, it is determined whether or not a peak is included in the differential waveform. If at least one peak is included in the differential waveform, the process proceeds to step S40, and if no peak is included, the process proceeds to step S44.

ステップＳ４０では、音響特徴量算出部３０において差分波形に基づいて音響特徴量が算出される。ここでの処理は、上述のステップＳ２６と同様に行うことができる。   In step S40, the acoustic feature amount calculation unit 30 calculates the acoustic feature amount based on the difference waveform. This process can be performed in the same manner as in step S26 described above.

ステップＳ４２では、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）が設定される。ステップＳ１２において差分画像Ｄに変動領域が存在しないと判定されたにも関わらず、ステップＳ３８で音響信号の差分波形に変化があったと判定されたということは、差分波形からピーク検出を行う際の感度が高すぎたために誤ってノイズを物体からの反射によるピークとして検出したことを示す。そこで、次にピーク検出を行う際に誤検出を避けるために、音響信号の差分波形に対するピーク検出の基準となる閾値Ｔ_h（ｘ）を引き上げる処理を行う。閾値Ｔ_h（ｘ）の設定が終了すると、処理をステップＳ３０に移行させる。 In step S42, a threshold value _Th (x) serving as a reference for peak detection for the differential waveform of the acoustic signal is set. Although it is determined in step S12 that there is no fluctuation region in the difference image D, it is determined in step S38 that the difference waveform of the acoustic signal has changed. This indicates that the noise was erroneously detected as a peak due to reflection from the object because the sensitivity was too high. Therefore, in order to avoid erroneous detection at the next peak detection, a process of raising the threshold value T _h (x) serving as a reference for peak detection for the differential waveform of the acoustic signal is performed. When the threshold value T _h (x) is set, the process proceeds to step S30.

ステップＳ４４では、音響信号に音響ノイズが重畳されているか否かの判定が行われる。例えば、音響センサが設置されている環境における空調設備の動作状態の変動に伴って音響信号に音響ノイズが重畳する場合がある。そこで、図１５に示すように、差分波形において現在設定されているピーク検出の閾値Ｔ_h（ｘ）よりも小さく、かつ、閾値Ｔ_h（ｘ）の初期値よりも大きいピークが存在している場合、そのピークを音響信号に重畳されている音響ノイズとして判定する。一方、図１６に示すように、差分波形において現在設定されているピーク検出の閾値Ｔ_h（ｘ）又は閾値Ｔ_h（ｘ）の初期値よりも大きいピークが存在していない場合、音響信号に音響ノイズは重畳されていないと判定する。音響ノイズが重畳されていない場合にはステップＳ４６に処理を移行させ、音響ノイズが重畳されている場合にはステップＳ３０に処理を移行させる。 In step S44, it is determined whether or not acoustic noise is superimposed on the acoustic signal. For example, acoustic noise may be superimposed on the acoustic signal as the operating state of the air conditioning equipment in the environment where the acoustic sensor is installed. Therefore, as shown in FIG. 15, there is a peak in the differential waveform that is smaller than the currently set peak detection threshold T _h (x) and larger than the initial value of the threshold T _h (x). In this case, the peak is determined as acoustic noise superimposed on the acoustic signal. On the other hand, as shown in FIG. 16, when a large peak than the initial value of the threshold T _h of the peak detector which is currently set in the difference waveform (x) or the threshold T _h (x) is not present, an acoustic signal It is determined that acoustic noise is not superimposed. If acoustic noise is not superimposed, the process proceeds to step S46, and if acoustic noise is superimposed, the process proceeds to step S30.

ステップＳ４６では、閾値Ｔ_h（ｘ）を初期値に戻す処理を行う。音響信号に音響ノイズが重畳していない場合には、差分波形から誤ってピークが検出されるおそれが無いことから閾値Ｔ_h（ｘ）を初期値に戻し、ピーク検出の感度を向上させる。閾値Ｔ_h（ｘ）の設定が終了すると、処理をステップＳ３０に移行させる。 In step S46, the threshold value T _h (x) is returned to the initial value. When no acoustic noise is superimposed on the acoustic signal, the threshold _Th (x) is returned to the initial value because there is no possibility that a peak is erroneously detected from the difference waveform, thereby improving the peak detection sensitivity. When the threshold value T _h (x) is set, the process proceeds to step S30.

次に、ステップＳ２４において差分波形にピークが含まれていないと判定された場合の処理について説明する。   Next, a process when it is determined in step S24 that the differential waveform does not include a peak will be described.

ステップＳ４８では、音響信号に音響ノイズが重畳されているか否かの判定が行われる。ここでの処理は、上述のステップＳ４４と同様に行うことができ、音響ノイズが重畳されていない場合にはステップＳ５０に処理を移行させ、音響ノイズが重畳されている場合にはサブルーチンのステップＳ２８−１１に処理を移行させる。   In step S48, it is determined whether or not acoustic noise is superimposed on the acoustic signal. The process here can be performed in the same manner as in step S44 described above. If the acoustic noise is not superimposed, the process proceeds to step S50. If the acoustic noise is superimposed, step S28 of the subroutine is performed. The process is shifted to -11.

ステップＳ５０では、閾値Ｔ_h（ｘ）を初期値に戻す処理を行う。ここでの処理は、上述のステップＳ４６と同様に行うことができ、閾値Ｔ_h（ｘ）を初期値に戻し、ピーク検出の感度を向上させる。閾値Ｔ_h（ｘ）の設定が終了すると、処理をサブルーチンのステップＳ２８−１１に移行させる。 In step S50, a process for returning the threshold value T _h (x) to the initial value is performed. This process can be performed in the same manner as in step S46 described above, and the threshold value T _h (x) is returned to the initial value to improve the peak detection sensitivity. When the setting of the threshold value T _h (x) is completed, the process proceeds to the subroutine of step S28-11.

以上のように、本実施の形態によれば、監視空間に存在する物体を確実に検出できると共に、その物体が侵入者であるか否かを特定することができる。   As described above, according to the present embodiment, it is possible to reliably detect an object existing in the monitoring space and to specify whether or not the object is an intruder.

本発明の実施の形態におけるセンシング装置を示すブロック図である。It is a block diagram which shows the sensing apparatus in embodiment of this invention. 本発明の実施の形態における侵入者検出のフローチャートを示す図である。It is a figure which shows the flowchart of intruder detection in embodiment of this invention. 本発明の実施の形態における差分画像の生成方法を説明する図である。It is a figure explaining the production | generation method of the difference image in embodiment of this invention. 本発明の実施の形態における画像距離を算出する方法を説明する図である。It is a figure explaining the method to calculate the image distance in embodiment of this invention. 本発明の実施の形態における画像距離を算出する方法を説明する図である。It is a figure explaining the method to calculate the image distance in embodiment of this invention. 本発明の実施の形態における音響信号の差分波形の生成方法を説明する図である。It is a figure explaining the production | generation method of the differential waveform of the acoustic signal in embodiment of this invention. 本発明の実施の形態における音響信号に含まれるピーク検出の閾値の設定方法を説明する図である。It is a figure explaining the setting method of the threshold value of the peak detection contained in the acoustic signal in embodiment of this invention. 本発明の実施の形態における音響信号に含まれるピーク検出の閾値と物体の速さとの関係の例を示す図である。It is a figure which shows the example of the relationship between the threshold value of the peak detection contained in the acoustic signal in embodiment of this invention, and the speed of an object. 本発明の実施の形態における物体の特定を行うフローチャートを示す図である。It is a figure which shows the flowchart which performs the identification of the object in embodiment of this invention. 本発明の実施の形態において画像距離と音響距離とのマッチングがとれた場合を示す図である。It is a figure which shows the case where matching with image distance and acoustic distance can be taken in embodiment of this invention. 本発明の実施の形態において画像距離と音響距離とのマッチングがとれた状況を示す図である。It is a figure which shows the condition where the matching of image distance and acoustic distance was taken in embodiment of this invention. 画像センサからの距離と人物の画像サイズとの関係を示す図である。It is a figure which shows the relationship between the distance from an image sensor, and the person's image size. 本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった場合を示す図である。It is a figure which shows the case where matching with image distance and acoustic distance was not able to be taken in embodiment of this invention. 本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった状況を示す図である。It is a figure which shows the condition where the image distance and the acoustic distance were not able to be taken in embodiment of this invention. 本発明の実施の形態における音響ノイズの判定方法を説明する図である。It is a figure explaining the determination method of the acoustic noise in embodiment of this invention. 本発明の実施の形態における音響ノイズの判定方法を説明する図である。It is a figure explaining the determination method of the acoustic noise in embodiment of this invention.

符号の説明Explanation of symbols

１０ 撮像部、１２ 画像処理部、１４ 送受信部、１６ 音響処理部、１８ 記憶部、２０ 情報処理部、２２ 変動領域抽出部、２４ トラッキング部、２６ 画像特徴量算出部、２８ 受信波変動抽出部、３０ 音響特徴量算出部、３２ 対応付け処理部、３４ 瞬時属性量設定部、３６ 蓄積属性度算出部、３８ 総合判定部、１００ センシング装置。   DESCRIPTION OF SYMBOLS 10 Imaging part, 12 Image processing part, 14 Transmission / reception part, 16 Sound processing part, 18 Storage part, 20 Information processing part, 22 Fluctuation area extraction part, 24 Tracking part, 26 Image feature-value calculation part, 28 Received wave fluctuation extraction part , 30 acoustic feature amount calculation unit, 32 association processing unit, 34 instantaneous attribute amount setting unit, 36 accumulated attribute degree calculation unit, 38 comprehensive determination unit, 100 sensing device.

Claims (4)

監視対象空間を撮影した撮像画像を取得する撮像部と、
前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、
前記撮像画像と前記音響信号とに基づいて前記監視対象空間内の移動体を検出するセンシング装置であって、
前記撮像画像から変動領域を抽出し、当該変動領域に基づいて、センシング装置から当該変動領域に対応する位置までの実空間における距離を画像距離として算出し、前記変動領域のサイズを求める画像処理部と、
前記音響信号の変動波形を抽出し、当該変動波形に基づいて、センシング装置から当該変動波形に対応する物体までの実空間における距離を音響距離として算出する音響処理部と、
前記音響距離が前記画像距離の距離範囲に含まれると判定されると前記監視対象空間内の移動体を検出し、前記音響距離に検出対象の移動体が存在すると仮定して算出した画像領域のサイズと前記変動領域のサイズとの比較により前記監視対象空間内の検出対象として移動体を特定する情報処理部と、
を備えることを特徴とするセンシング装置。 An imaging unit that obtains a captured image of the monitoring target space;
A transmission / reception unit for transmitting sound waves to the monitoring target space and receiving sound waves as acoustic signals from the monitoring target space;
A sensing device that detects a moving body in the monitoring target space based on the captured image and the acoustic signal,
An image processing unit that extracts a variation area from the captured image, calculates a distance in real space from a sensing device to a position corresponding to the variation area as an image distance based on the variation area, and calculates a size of the variation area When,
An acoustic processing unit that extracts a fluctuation waveform of the acoustic signal and calculates a distance in real space from a sensing device to an object corresponding to the fluctuation waveform as an acoustic distance based on the fluctuation waveform;
When it is determined that the acoustic distance is included in the distance range of the image distance, a moving object in the monitoring target space is detected, and an image region calculated on the assumption that the moving object to be detected exists at the acoustic distance. An information processing unit that identifies a moving body as a detection target in the monitoring target space by comparing the size and the size of the variable region;
Sensing device characterized by Ru with a. 請求項１に記載のセンシング装置において、
前記画像処理部は、前記変動領域の移動の速さを算出する手段を備え、
前記音響処理部は、前記変動領域の移動の速さが所定の速さよりも遅いと判定されると前記変動波形を抽出するための閾値を下げることを特徴とするセンシング装置。 The sensing device according to claim 1,
The image processing unit includes means for calculating a moving speed of the variable region,
The acoustic processing unit reduces a threshold for extracting the fluctuation waveform when it is determined that the movement speed of the fluctuation area is slower than a predetermined speed . 請求項１又は請求項２に記載のセンシング装置において、
前記音響処理部は、前記情報処理部にて前記音響距離が前記画像距離の距離範囲に含まれると判定されると前記変動波形を抽出するための閾値を下げることを特徴とするセンシング装置。 In the sensing device according to claim 1 or 2 ,
The acoustic processing unit lowers a threshold for extracting the fluctuation waveform when the information processing unit determines that the acoustic distance is included in a distance range of the image distance . 請求項１又は請求項２に記載のセンシング装置において、
前記音響処理部は、前記情報処理部にて前記音響距離が前記画像距離の距離範囲よりも大きいと判定されると前記変動波形を抽出するための閾値を上げることを特徴とするセンシング装置。
In the sensing device according to claim 1 or 2 ,
The acoustic processing unit increases a threshold for extracting the fluctuation waveform when the information processing unit determines that the acoustic distance is larger than a distance range of the image distance .

Images