JP4617905B2 - Monitoring device and method, recording medium, and program - Google Patents
Monitoring device and method, recording medium, and program Download PDFInfo
- Publication number
- JP4617905B2 JP4617905B2 JP2005026325A JP2005026325A JP4617905B2 JP 4617905 B2 JP4617905 B2 JP 4617905B2 JP 2005026325 A JP2005026325 A JP 2005026325A JP 2005026325 A JP2005026325 A JP 2005026325A JP 4617905 B2 JP4617905 B2 JP 4617905B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- monitoring
- difference
- unit
- unit data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、監視装置および方法、記録媒体、並びにプログラムに関し、特に、より正確に侵入物の侵入を監視できるようにした監視装置および方法、記録媒体、並びにプログラムに関する。 The present invention relates to a monitoring apparatus and method, a recording medium, and a program, and more particularly, to a monitoring apparatus and method, a recording medium, and a program that can more accurately monitor the intrusion of an intruder.
近年、犯罪の多様化に対するセキュリティの意識の高まりとともに、企業、一般の家庭、各種の施設などへの様々な監視装置の導入が進んでいる。それらの監視装置の監視領域への侵入物の侵入を検知する方法として、情報を２値化する方法、パターン認識を用いる方法、および輪郭知覚を用いる方法が挙げられる。 In recent years, with the increasing awareness of security against the diversification of crimes, various monitoring devices have been introduced into companies, ordinary households, various facilities, and the like. As a method for detecting the intrusion of an intruder into the monitoring area of these monitoring devices, there are a method for binarizing information, a method using pattern recognition, and a method using contour perception.
情報を２値化する方法とは、まず、侵入物が侵入している状態と侵入していない状態のそれぞれ状態の監視領域において、監視領域を監視する各種の撮像装置またはセンサからの出力データのサンプル値を事前に複数取得する。次に、それらのサンプル値に基づいて、撮像装置またはセンサからの出力データの値を、侵入物が侵入している状態と侵入していない状態の二つのグループに分ける閾値を決定する。そして、決定した閾値により撮像装置またはセンサからの出力データの値がどちらのグループに入るかを判定し、監視領域への侵入物の侵入を検知する方法である。 The method of binarizing information is to first output data from various imaging devices or sensors that monitor the monitoring area in the monitoring area where the intruder has entered and the state where the intruder has not entered. Get multiple sample values in advance. Next, based on those sample values, a threshold value for dividing the value of the output data from the imaging device or sensor into two groups, the state where the intruder is invading and the state where the intruder is not intruding, is determined. Then, it is a method of determining which group the output data value from the imaging device or sensor falls in based on the determined threshold and detecting the intrusion of the intruder into the monitoring area.
パターン認識を用いる方法とは、予想される侵入物の特徴量（例えば、形状など）を予め登録しておき、監視領域を監視する撮像装置またはセンサからの出力データの値に基づいて、登録されている特徴量と一致する物体の監視領域への侵入を検知する方法である（例えば、特許文献１参照）。 The method using pattern recognition is to register the feature quantity (for example, shape) of an expected intruder in advance based on the value of output data from an imaging device or sensor that monitors the monitoring area. This is a method for detecting the intrusion of an object that matches a feature quantity that has entered into the monitoring area (see, for example, Patent Document 1).
輪郭知覚を用いる方法とは、監視領域を監視する撮像装置またはセンサからの出力データの値に基づいて、出力データの値が急激に変化する部分が一定した大きさで連続する場合、その急激に変化する部分を侵入物のエッジ部分（輪郭部分）であると判定することにより、侵入物を検知する方法である。
しかしながら、情報を２値化する方法の場合、侵入物の動き、周囲の環境、ノイズなど様々な変動要素の下で、侵入状態と無侵入状態に二つのグループに分類することは困難であり、その結果、侵入物の侵入を見逃したり、無侵入時に侵入したと判定したりする可能性が高くなってしまうという課題があった。また、侵入状態と無侵入状態の二つのグループに分類することが困難なことから、例えば、侵入を見逃すのを防止することを優先するように閾値を決定したり、侵入の誤検知を防止することを優先するように閾値を決定したりと、閾値の決定には少なからずユーザの恣意的な判断要素が加えられ、客観性に欠けるため、正確に侵入物を検知できないという課題があった。 However, in the case of the method of binarizing information, it is difficult to classify into two groups, intrusion state and non-intrusion state, under various variables such as movement of intruder, surrounding environment, noise, As a result, there is a problem that the possibility of missing an intruder or determining that the intruder has entered when there is no intrusion increases. In addition, since it is difficult to classify into two groups, intrusion state and non-intrusion state, for example, a threshold is determined so as to give priority to preventing oversight of intrusion, or false detection of intrusion is prevented. When the threshold value is determined so as to prioritize the situation, the determination of the threshold value is not limited to a user's arbitrary judgment, and there is a problem that the intruder cannot be detected accurately because of lack of objectivity.
また、パターン認識を用いる方法では、事前に登録されていない特徴量を有する侵入物の侵入を検知することができないという課題があった。また、侵入物の回転、傾き、重なり、形状の変化、周囲の明るさの変化などの様々な変動要素を考慮した特徴量を登録することが困難であり、また、それらの変動要素の下で、より正確に侵入物の侵入を検知しようとした場合、登録する特徴量のデータ量が膨大になったり、検知処理のアルゴリズムが複雑になってしまうという課題があった。 Further, the method using pattern recognition has a problem that it is not possible to detect the intrusion of an intruder having a feature quantity that is not registered in advance. In addition, it is difficult to register feature quantities that take into account various variable factors such as rotation, tilt, overlap, shape change, and ambient brightness change of intruders. However, when trying to detect the intrusion of an intruder more accurately, there is a problem that the data amount of the registered feature amount becomes enormous and the detection processing algorithm becomes complicated.
さらに、輪郭知覚を用いる方法では、撮像装置またはセンサからの出力データの値の急激な変化が、侵入物の輪郭に起因するものかノイズに起因するものかを区別することが困難であるという課題があった。そして、侵入物の輪郭に起因する出力データの値の急激な変化と、ノイズに起因する出力データの値の急激な変化とをより精度高く分離して、ノイズを除去するためには、検知処理のアルゴリズムが複雑になってしまうという課題があった。 Furthermore, in the method using contour perception, it is difficult to distinguish whether the sudden change in the value of output data from the imaging device or sensor is caused by the contour of the intruder or noise. was there. In order to separate the abrupt change in the output data value caused by the contour of the intruder from the abrupt change in the output data value caused by the noise with higher accuracy and to remove the noise, a detection process is performed. There was a problem that the algorithm of became complicated.
本発明は、このような状況に鑑みてなされたものであり、より簡単により正確にものの侵入を検知できるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to more easily and accurately detect an intrusion of an object.
本発明の監視装置は、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づいて、監視領域へのものの侵入を監視する監視装置において、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差を算出するとともに、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出手段と、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離を、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出するマハラノビス距離算出手段と、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する判定手段とを含むことを特徴とする。 Monitoring apparatus of the present invention, is output from the sensors monitoring the monitoring area, based on the monitoring data composed of the corresponding unit data to each of the sensing units obtained by dividing the monitored area into a plurality of regions, to the monitoring area An average value of first unit data, which is unit data constituting first monitoring data, which is monitoring data output from a sensor in a monitoring device that monitors intrusion of objects, in a state where no object has entered the monitoring area And standard deviation, or first difference unit data of first difference monitoring data composed of first difference unit data which is a difference at predetermined time intervals of first unit data corresponding to the same detection unit The average value and standard deviation of the image are calculated, and no image has entered the monitoring area, and a predetermined pattern of video or illumination is projected onto the monitoring area. In the state, the first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data output from the sensor, or the second corresponding to the same detection unit Criteria for calculating a second correlation matrix indicating the correlation between the second difference unit data of the second difference monitoring data constituted by the second difference unit data which is a difference at predetermined time intervals of the unit data of When monitoring the space calculation means and the intrusion of the object into the monitoring area, the first space between the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor. The Mahalanobis distance of 1 is calculated using the average value and standard deviation of the first unit data and the first correlation matrix, or the same as the second space configured by the first difference monitoring data Between the third difference monitoring data constituted by the third difference unit data that is the difference for each time interval of the third unit data that is the unit data constituting the third monitoring data corresponding to the knowledge unit. Mahalanobis distance calculating means for calculating the second Mahalanobis distance using the average value and standard deviation of the first difference unit data and the second correlation matrix, and the first Mahalanobis distance or the second Mahalanobis distance And determining means for determining intrusion of the object into the monitoring area based on the distance.
第３の単位データを、第３の単位データと同じ検知領域に対応する第１の単位データの平均値および標準偏差を用いて標準化した標準化単位データ、または、第３の差分単位データを、第３の差分単位データと同じ検知領域に対応する第１の差分単位データの平均値および標準偏差を用いて標準化した標準化差分単位データに基づいて、監視領域内においてものが侵入した可能性が高い１つ以上の所定の大きさの変化領域を検出する検出手段をさらに含み、マハラノビス距離算出手段は、変化領域における第１のマハラノビス距離または第２のマハラノビス距離を算出するようにすることができる。
The standardized unit data obtained by standardizing the third unit data using the average value and standard deviation of the first unit data corresponding to the same detection area as the third unit data, or the third difference unit data, Based on the standardized difference unit data standardized using the average value and the standard deviation of the first difference unit data corresponding to the same detection area as the
基準空間算出手段は、相関行列を構成する相関係数のうち、監視領域内であって、監視領域の外周に接する枠状の領域内の検知単位に対応する第２の単位データ間または第２の差分単位データ間の相関係数のみを算出するとともに、他の相関係数を０とし、マハラノビス距離算出手段は、枠状の領域内における第１のマハラノビス距離または第２のマハラノビス距離を算出するようにすることができる。 The reference space calculation means includes the second unit data between the second unit data corresponding to the detection units in the monitoring area and in the frame-shaped area in contact with the outer periphery of the monitoring area among the correlation coefficients constituting the correlation matrix. And calculating the first Mahalanobis distance or the second Mahalanobis distance in the frame-like region while calculating only the correlation coefficient between the difference unit data of the other and the other correlation coefficients as 0. Can be.
基準空間算出手段は、相関行列を構成する相関係数のうち、検知単位のそれぞれについて、検知単位に対応する第２の単位データまたは第２の差分単位データと、検知単位を中心とする所定の大きさの領域内に含まれる検知単位に対応する第２の単位データまたは第２の差分単位データとの間の相関係数のみを算出するとともに、他の相関係数を０とするようにすることができる。 The reference space calculation means includes a second unit data or second difference unit data corresponding to the detection unit and a predetermined centering on the detection unit for each detection unit among the correlation coefficients constituting the correlation matrix. Only the correlation coefficient between the second unit data or the second difference unit data corresponding to the detection unit included in the size area is calculated, and the other correlation coefficients are set to 0. be able to.
本発明の監視方法は、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づいて、監視領域へのものの侵入を監視する監視装置の監視方法において、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差を算出するとともに、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離を、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出するマハラノビス距離算出ステップと、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する判定ステップとを含むことを特徴とする。 Monitoring method of the present invention, is output from the sensors monitoring the monitoring area, based on the monitoring data composed of the corresponding unit data to each of the sensing units obtained by dividing the monitored area into a plurality of regions, to the monitoring area In a monitoring method of a monitoring device that monitors intrusion of objects, first unit data that is unit data constituting first monitoring data that is monitoring data output from a sensor in a state in which no object has entered the monitoring area Of the first difference monitoring data constituted by the first difference unit data that is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit The average value and standard deviation of the difference unit data are calculated, and there is no object invading the monitoring area, and the image or illumination of the predetermined pattern is the monitoring area Corresponds to the first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data output from the sensor or the same detection unit in the projected state A second correlation matrix indicating a correlation between the second difference unit data of the second difference monitoring data configured by the second difference unit data which is a difference at predetermined time intervals of the second unit data to be A reference space calculation step to calculate, a first space configured by first monitoring data when monitoring intrusion into the monitoring area, and third monitoring data that is monitoring data output from the sensor A first Mahalanobis distance between them is calculated using the average value and standard deviation of the first unit data and the first correlation matrix, or the second Mahalanobis distance configured by the first difference monitoring data The third difference monitoring data configured by the third difference unit data that is the difference for each time interval between the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit as the space A Mahalanobis distance calculating step of calculating a second Mahalanobis distance between the first Mahalanobis distance using the average value and standard deviation of the first difference unit data and the second correlation matrix; And a determination step of determining intrusion of the object into the monitoring area based on the Mahalanobis distance of 2.
本発明の記録媒体に記録されているプログラムは、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づいて、監視領域へのものの侵入を監視する監視装置の監視処理用のプログラムであって、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差を算出するとともに、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離を、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出するマハラノビス距離算出ステップと、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する判定ステップとを含むことを特徴とする。 The program recorded on the recording medium of the present invention is based on monitoring data that is output from a sensor that monitors the monitoring area and that is composed of unit data corresponding to each of the detection units obtained by dividing the monitoring area into a plurality of areas. The first monitoring data, which is monitoring data output from the sensor in a state in which nothing is intruding into the monitoring area, is a program for monitoring processing of the monitoring device that monitors the intrusion of the object into the monitoring area. It is composed of the average value and standard deviation of the first unit data, which is the unit data to be configured, or the first difference unit data which is the difference at predetermined time intervals of the first unit data corresponding to the same detection unit. Calculating the average value and the standard deviation of the first difference unit data of the first difference monitoring data, and the state in which nothing has entered the monitoring area, and A first correlation indicating a correlation between second unit data that is unit data constituting second monitoring data that is monitoring data output from the sensor in a state in which a video or illumination of a predetermined pattern is projected onto the monitoring region. Or the second difference unit data of the second difference monitoring data constituted by the second difference unit data which is the difference at predetermined time intervals of the second unit data corresponding to the same detection unit. A reference space calculation step for calculating a second correlation matrix indicating a correlation between the first space, a first space constituted by the first monitoring data when monitoring the intrusion of the object into the monitoring area, and output from the sensor Calculating the first Mahalanobis distance between the monitoring data and the third monitoring data using the average value and standard deviation of the first unit data and the first correlation matrix, or The third difference, which is the difference for each time interval between the second space constituted by one difference monitoring data and the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit Mahalanobis distance calculation which calculates the 2nd Mahalanobis distance between the 3rd difference monitoring data comprised by unit data using the average value and standard deviation of 1st difference unit data, and a 2nd correlation matrix And a determination step of determining whether an object has entered the monitoring area based on the first Mahalanobis distance or the second Mahalanobis distance.
本発明のプログラムは、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づいて、監視領域へのものの侵入を監視する監視装置の監視処理用のコンピュータに、監視処理を行わせるプログラムであって、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差を算出するとともに、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離を、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出するマハラノビス距離算出ステップと、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する判定ステップとを含むことを特徴とする。 Program of the present invention, is output from the sensors monitoring the monitoring area, based on the monitoring data composed of unit data corresponding to each of the detection units obtained by dividing the monitored area into a plurality of regions, ones of the monitoring area First monitoring data, which is monitoring data output from a sensor in a state in which a monitoring processing computer of a monitoring device that monitors intrusion performs monitoring processing, and nothing has entered the monitoring area 1st unit data which is unit data constituting the average value and standard deviation, or first difference unit data which is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit The average value and the standard deviation of the first difference unit data of the first difference monitoring data to be calculated are calculated, and no state has entered the monitoring area The correlation between the second unit data, which is the unit data constituting the second monitoring data, which is the monitoring data output from the sensor, in the state where the image or the illumination of the predetermined pattern is projected on the monitoring region. Second correlation monitoring data configured by second difference unit data that is a difference at predetermined time intervals of the first correlation matrix or second unit data corresponding to the same detection unit. A reference space calculating step for calculating a second correlation matrix indicating a correlation between the difference unit data, a first space constituted by the first monitoring data when monitoring the entry of the object into the monitoring area, and a sensor Whether the first Mahalanobis distance from the third monitoring data, which is the monitoring data to be output, is calculated using the average value and standard deviation of the first unit data, and the first correlation matrix Alternatively, the second space which is the difference between the second space constituted by the first difference monitoring data and the third unit data which is the unit data constituting the third monitoring data corresponding to the same detection unit. 2nd Mahalanobis distance between 3rd difference monitoring data comprised by 3 difference unit data is calculated using the average value and standard deviation of 1st difference unit data, and a 2nd correlation matrix The method includes a Mahalanobis distance calculation step and a determination step of determining intrusion of the object into the monitoring area based on the first Mahalanobis distance or the second Mahalanobis distance.
本発明の監視装置、監視方法、記録媒体、および、プログラムにおいては、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づく、監視領域へのものの侵入の監視において、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差が算出され、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列が算出され、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離が、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出されるか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離が、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出され、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入が判定される。 In the monitoring apparatus, the monitoring method, the recording medium, and the program of the present invention, the monitoring data is composed of unit data corresponding to each detection unit that is output from a sensor that monitors the monitoring area and divides the monitoring area into a plurality of areas. In the monitoring of the intrusion of the object into the monitoring area based on the monitoring data, the first unit data constituting the first monitoring data that is the monitoring data output from the sensor when no object has entered the monitoring area 1st difference monitoring data comprised by the average value and standard deviation of 1 unit data, or the 1st difference unit data which is the difference for every predetermined time interval of the 1st unit data corresponding to the same detection unit The average value and the standard deviation of the first difference unit data are calculated, a state in which no object has entered the monitoring area, and an image or a predetermined pattern A first correlation matrix indicating a correlation between second unit data that is unit data constituting second monitoring data that is monitoring data output from the sensor in a state in which the illumination is projected onto the monitoring region; or The second indicating the correlation between the second difference unit data of the second difference monitoring data constituted by the second difference unit data that is the difference at predetermined time intervals of the second unit data corresponding to the same detection unit. When the correlation matrix of 2 is calculated and the intrusion of the object into the monitoring area is monitored, the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor A first Mahalanobis distance between the average value and the standard deviation of the first unit data and the first correlation matrix, or a second differential data configured by the first difference monitoring data. Sky And third difference monitoring data constituted by third difference unit data which is a difference for each time interval of third unit data which is unit data constituting third monitoring data corresponding to the same detection unit, and The second Mahalanobis distance between the first Mahalanobis distance and the second Mahalanobis distance is calculated using the average value and standard deviation of the first difference unit data and the second correlation matrix. Based on this, the intrusion of the object into the monitoring area is determined.
本発明によれば、ものの侵入を検知することができる。また、本発明によれば、より簡単により正確にものの侵入を検知できる。 According to the present invention, it is possible to detect an intrusion of an object. Further, according to the present invention, it is possible to detect an intrusion of an object more easily and accurately.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
請求項１に記載の監視装置（例えば、図１の侵入検知装置１２）は、監視領域を監視するセンサ（例えば、図１の撮像装置１１）から出力される、前記監視領域を複数の領域に区分した検知単位（例えば、図２の検知単位２１）のそれぞれに対応する単位データ（例えば、単位データ）から構成される監視データ（例えば、フレーム情報）に基づいて、前記監視領域へのものの侵入を監視する監視装置であって、前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データ（例えば、無侵入フレーム情報）を構成する前記単位データである第１の単位データ（例えば、無侵入単位データ）の平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データ（例えば、無侵入差分データ）により構成される第１の差分監視データ（例えば、無侵入差分フレーム情報）の前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターン（例えば、図６乃至図９に示されるパターン）の映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データ（例えば、パターンフレーム情報）を構成する前記単位データである第２の単位データ（例えば、パターン単位データ）間の相関を示す第１の相関行列（例えば、単位データ相関行列）、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データ（例えば、パターン差分データ）により構成される第２の差分監視データ（例えば、パターン差分フレーム情報）の前記第２の差分単位データ間の相関を示す第２の相関行列（例えば、差分データ相関行列）を算出する基準空間算出手段（例えば、図４の基準空間データ算出部７２）と、前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間（例えば、単位データ基準空間）と、前記センサから出力される前記監視データである第３の監視データ（例えば、監視フレーム情報）との間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間（例えば、差分データ基準空間）と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データ（例えば、監視単位データ）の前記時間間隔ごとの差分である第３の差分単位データ（例えば、監視差分データ）により構成される第３の差分監視データ（例えば、監視差分フレーム情報）との間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出手段（例えば、図４の距離算出部７５）と、前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定手段（例えば、図４の判定部７６）とを含むことを特徴とする。
The monitoring device according to claim 1 (for example, the
請求項２に記載の監視装置（例えば、図１の侵入検知装置１２）においては、前記第３の単位データを、前記第３の単位データと同じ前記検知領域に対応する前記第１の単位データの平均値および標準偏差を用いて標準化した標準化単位データ、または、前記第３の差分単位データを、前記第３の差分単位データと同じ前記検知領域に対応する前記第１の差分単位データの平均値および標準偏差を用いて標準化した標準化差分単位データに基づいて、前記監視領域内において前記ものが侵入した可能性が高い１つ以上の所定の大きさの変化領域（例えば、図１１の変化領域１０３）を検出する検出手段例えば、図４の変化領域検出部７４）をさらに含み、前記マハラノビス距離算出手段は、前記変化領域における前記第１のマハラノビス距離または前記第２のマハラノビス距離を算出することを特徴とする。
3. The monitoring device according to claim 2 (for example, the
請求項３に記載の監視装置（例えば、図１の侵入検知装置１２）においては、前記基準空間算出手段は、前記相関行列を構成する相関係数のうち、前記監視領域内であって、前記監視領域の外周に接する枠状の領域（例えば、図２２の領域２０１）内の前記検知単位に対応する前記第２の単位データ間または前記第２の差分単位データ間の相関係数のみを算出するとともに、他の相関係数を０とし、前記マハラノビス距離算出手段は、前記枠状の領域内における前記第１のマハラノビス距離または前記第２のマハラノビス距離を算出することを特徴とする。
In the monitoring device according to claim 3 (for example, the
請求項５に記載の監視方法は、監視領域を監視するセンサ（例えば、図１の撮像装置１１）から出力される、前記監視領域を複数の領域に区分した検知単位（例えば、図２の検知単位２１）のそれぞれに対応する単位データ（例えば、単位データ）から構成される監視データ（例えば、画像情報）に基づいて、前記監視領域へのものの侵入を監視する監視装置（例えば、図１の侵入検知装置１２）の監視方法であって、前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データ（例えば、無侵入フレーム情報）を構成する前記単位データである第１の単位データ（例えば、無侵入単位データ）の平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データ（例えば、無侵入差分データ）により構成される第１の差分監視データ（例えば、無侵入差分フレーム情報）の前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターン（例えば、図６乃至図９に示されるパターン）の映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データ（例えば、パターンフレーム情報）を構成する前記単位データである第２の単位データ（例えば、パターン単位データ）間の相関を示す第１の相関行列（例えば、単位データ相関行列）、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データ（例えば、パターン差分データ）により構成される第２の差分監視データ（例えば、パターン差分フレーム情報）の前記第２の差分単位データ間の相関を示す第２の相関行列（例えば、差分データ相関行列）を算出する基準空間算出ステップ（例えば、図５のステップＳ３およびＳ７）と、前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間（例えば、単位データ基準空間）と、前記センサから出力される前記監視データである第３の監視データ（例えば、監視フレーム情報）との間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間（例えば、差分データ基準空間）と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データ（例えば、監視単位データ）の前記時間間隔ごとの差分である第３の差分単位データ（例えば、監視差分データ）により構成される第３の差分監視データ（例えば、監視差分フレーム情報）との間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップ（例えば、図１０のステップＳ３５）と、前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップ（例えば、図１０のステップＳ３６）とを含むことを特徴とする。
The monitoring method according to
請求項６に記載の記録媒体（例えば、図３のリムーバブルメディア５１）に記録されているプログラムは、監視領域を監視するセンサ（例えば、図１の撮像装置１１）から出力される、前記監視領域を複数の領域に区分した検知単位（例えば、図２の検知単位２１）のそれぞれに対応する単位データ（例えば、単位データ）から構成される監視データ（例えば、画像情報）に基づいて、前記監視領域へのものの侵入を監視する監視装置（例えば、図１の侵入検知装置１２）の監視処理用のプログラムであって、前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データ（例えば、無侵入フレーム情報）を構成する前記単位データである第１の単位データ（例えば、無侵入単位データ）の平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データ（例えば、無侵入差分データ）により構成される第１の差分監視データ（例えば、無侵入差分フレーム情報）の前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターン（例えば、図６乃至図９に示されるパターン）の映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データ（例えば、パターンフレーム情報）を構成する前記単位データである第２の単位データ（例えば、パターン単位データ）間の相関を示す第１の相関行列（例えば、単位データ相関行列）、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データ（例えば、パターン差分データ）により構成される第２の差分監視データ（例えば、パターン差分フレーム情報）の前記第２の差分単位データ間の相関を示す第２の相関行列（例えば、差分データ相関行列）を算出する基準空間算出ステップ（例えば、図５のステップＳ３およびＳ７）と、前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間（例えば、単位データ基準空間）と、前記センサから出力される前記監視データである第３の監視データ（例えば、監視フレーム情報）との間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間（例えば、差分データ基準空間）と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データ（例えば、監視単位データ）の前記時間間隔ごとの差分である第３の差分単位データ（例えば、監視差分データ）により構成される第３の差分監視データ（例えば、監視差分フレーム情報）との間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップ（例えば、図１０のステップＳ３５）と、前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップ（例えば、図１０のステップＳ３６）とを含むことを特徴とする。
The program recorded in the recording medium according to claim 6 (for example, the removable medium 51 in FIG. 3) is output from a sensor (for example, the
請求項７に記載のプログラムは、監視領域を監視するセンサ（例えば、図１の撮像装置１１）から出力される、前記監視領域を複数の領域に区分した検知単位（例えば、図２の検知単位２１）のそれぞれに対応する単位データ（例えば、単位データ）から構成される監視データ（例えば、画像情報）に基づいて、前記監視領域へのものの侵入を監視する監視装置（例えば、図１の侵入検知装置１２）のコンピュータに、監視処理を行わせるプログラムであって、前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データ（例えば、無侵入フレーム情報）を構成する前記単位データである第１の単位データ（例えば、無侵入単位データ）の平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データ（例えば、無侵入差分データ）により構成される第１の差分監視データ（例えば、無侵入差分フレーム情報）の前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターン（例えば、図６乃至図９に示されるパターン）の映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データ（例えば、パターンフレーム情報）を構成する前記単位データである第２の単位データ（例えば、パターン単位データ）間の相関を示す第１の相関行列（例えば、単位データ相関行列）、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データ（例えば、パターン差分データ）により構成される第２の差分監視データ（例えば、パターン差分フレーム情報）の前記第２の差分単位データ間の相関を示す第２の相関行列（例えば、差分データ相関行列）を算出する基準空間算出ステップ（例えば、図５のステップＳ３およびＳ７）と、前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間（例えば、単位データ基準空間）と、前記センサから出力される前記監視データである第３の監視データ（例えば、監視フレーム情報）との間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間（例えば、差分データ基準空間）と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データ（例えば、監視単位データ）の前記時間間隔ごとの差分である第３の差分単位データ（例えば、監視差分データ）により構成される第３の差分監視データ（例えば、監視差分フレーム情報）との間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップ（例えば、図１０のステップＳ３５）と、前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップ（例えば、図１０のステップＳ３６）とを含むことを特徴とする。
The program according to
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明を適用した監視システム１の一実施の形態を示す図である。監視システム１は、撮像装置１１および侵入検知装置１２を含むように構成される。
FIG. 1 is a diagram showing an embodiment of a
撮像装置１１は、例えば、撮像素子にCCD（Charge Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）を用いたカメラとされる。撮像装置１１は、所定の位置に設置され、監視領域（視野角）内の状況を随時撮影する。撮像装置１１は、撮影した監視領域の画像の画像情報を侵入検知装置１２に出力する。
The
例えば、撮像装置１１は、図２に示されるように監視領域を所定の大きさの領域に分割したｎ行×ｍ列のｋ個の検知単位２１−１乃至２１−k（ただし、ｋ＝ｎ×ｍ）に対応する画像の画像データにより構成される画像情報を侵入検知装置１２に出力する。例えば、検知単位２１−１乃至２１−kは、撮像装置１１により撮像される画像の１画素に対応する領域である。なお、以下、検知単位２１−１乃至２１−kを個々に区別する必要がない場合、単に検知単位２１と称する。また、以下、画像情報を構成する各検知単位２１に対応する画像データを単位データとも称する。
For example, as illustrated in FIG. 2, the
侵入検知装置１２は、図５および図１３を参照して後述するように、撮像装置１１から入力される画像情報に基づいて、人、動物、ものなどの侵入物の監視領域への侵入を検知する。
As will be described later with reference to FIGS. 5 and 13, the
図３は、図１の侵入検知装置１２の機能の構成例を示すブロック図である。侵入検知装置１２は、CPU（Central Processing Unit）３１、ROM（Read Only Memory）３２、RAM（Random Access Memory）３３、入力部３４、出力部３５、記録部３６、通信部３７、およびドライブ３８を含むように構成される。CPU３１、ROM３２、およびRAM３３は、内部バス４１を介して相互に接続され、入力部３４、出力部３５、記録部３６、通信部３７、およびドライブ３８は、入出力インタフェース４２を介して、相互に接続されている。また、入出力インタフェース４２には、撮像装置１１が接続されている。さらに、内部バス４１と入出力インタフェース４２は、相互に接続されている。
FIG. 3 is a block diagram illustrating a functional configuration example of the
CPU３１は、入出力インタフェース４２および内部バス４１を介して、ユーザが入力部３４を用いて入力した処理の指令やデータの入力を受け、入力された処理の指令に基づいて、ROM３２に記憶されているプログラム、または記録部３６からRAM３３にロードされたプログラムに従って各種の処理を実行する。
The
ROM３２は、CPU３１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。
The
RAM３３は、CPU３１の実行において使用するプログラムや、その実行において適宜変化するパラメータやデータを格納する。
The
入力部３４は、例えば、ボタン、スイッチ、キーボードあるいはマウスなどで構成され、ユーザが侵入検知装置１２に各種の指令を入力するとき操作される。
The
出力部３５は、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成され、CPU３１により処理される画像や音声などを出力する。
The
記録部３６は、ハードディスクなどにより構成され、CPU３１によって実行するプログラムや情報を記録または再生させる。
The
通信部３７は、例えば、モデムやターミナルアダプタなどで構成され、インターネットを含むネットワークを介して、外部の情報処理装置と通信処理を行う。
The
ドライブ３８は、必要に応じて入出力インタフェース４２に接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア５１が適宜装着され、そこから読み出されプログラムが、記録部３６にインストールされる。
The
図４は、所定のプログラムを実行するCPU３１により実現される機能の構成例の一部を示すブロック図である。CPU３１がプログラムを実行することにより、画像前処理部７１、基準空間データ算出部７２、データ管理部７３、変化領域検出部７４、距離算出部７５、および、判定部７６が実現される。画像前処理部７１は、さらに、ノイズフィルタ部８１、画像情報取得部８２、およびフレーム間差分算出部８３を含むように構成される。
FIG. 4 is a block diagram illustrating a part of a configuration example of functions realized by the
ノイズフィルタ部８１は、入出力インタフェース４２および内部バス４１を介して、撮像装置１１から入力された画像情報のノイズを除去して、ノイズを除去した画像情報を画像情報取得部８２に供給する。ノイズフィルタ部８１は、例えば、メジアンフィルタ、近傍平均フィルタ、Sobelフィルタなどの算術フィルタとされる。また、ノイズフィルタ部８１を、ローパスフィルタなどのハードウェアにより構成するようにしてもよい。
The
画像情報取得部８２は、画像情報を１フレーム毎に分離し、必要に応じて、分離した画像情報を、フレーム間差分算出部８３、基準空間データ算出部７２、または、変化領域検出部７４に供給したり、RAM３３または記録部３６に記録させたりする。なお、以下、画像情報の１フレーム分の情報をフレーム情報とも称する。
The image
フレーム間差分算出部８３は、各フレーム情報について、各検知単位２１に対応する単位データの値と、所定の（例えば、ユーザにより設定された）フレーム数だけ前のフレーム情報の同じ検知単位２１に対応する単位データの値との差分を算出する。すなわち、同じ検知単位２１に対応する単位データの所定の時間間隔（フレーム間隔）ごとの差分が算出される。フレーム間差分算出部８３は、必要に応じて、算出した差分値を示すデータ（以下、差分データと称する）を、基準空間データ算出部７２または変化領域検出部７４に供給したり、RAM３３または記録部３６に記録させたりする。なお、以下、１フレーム分の差分データにより構成される情報を差分フレーム情報とも称する。
For each frame information, the inter-frame
基準空間データ算出部７２は、図５を参照して後述するように、監視システム１による監視を始める前に、監視領域に侵入物が侵入していない状態（以下、無侵入状態と称する）において、撮像装置１１から出力される画像情報（以下、無侵入画像情報と称する）に基づくフレーム情報（以下、無侵入フレーム情報と称する）における各検知単位２１に対応する単位データ（以下、無侵入単位データと称する）の平均値および標準偏差、または、無侵入画像情報に基づく差分フレーム情報（以下、無侵入差分フレーム情報と称する）における各検知単位２１に対応する差分データ（以下、無侵入差分データと称する）の平均値および標準偏差を算出する。
As will be described later with reference to FIG. 5, the reference space
また、基準空間データ算出部７２は、無侵入状態、かつ、図６乃至図９を参照して後述する所定のパターンの照明または映像を監視領域に投影した状態において、撮像装置１１から出力される画像情報（以下、パターン画像情報と称する）に基づくフレーム情報（以下、パターンフレーム情報と称する）における各検知単位２１に対応する単位データ（以下、パターン単位データと称する）の平均値および標準偏差、または、パターン画像情報に基づく差分フレーム情報（以下、パターン差分フレーム情報と称する）における各検知単位２１に対応する差分データ（以下、パターン差分データと称する）の平均値および標準偏差を算出する。また、基準空間データ算出部７２は、各検知単位２１に対応するパターン単位データ間の相関を示す相関行列（以下、単位データ相関行列と称する）、または、各検知単位２１に対応するパターン差分データ間の相関を示す相関行列（以下、差分データ相関行列と称する）を算出する。
Further, the reference space
基準空間データ算出部７２は、無侵入単位データの平均値および標準偏差、並びに、単位データ相関行列を示すデータ、または、無侵入差分データの平均値および標準偏差、並びに、差分データ相関行列を示すデータをデータ管理部７３に供給する。
The reference space
データ管理部７３は、無侵入単位データの平均値および標準偏差、並びに、単位データ相関行列を示すデータ、または、無侵入差分データの平均値および標準偏差、並びに、差分データ相関行列を示すデータを、記録部３６に記録させて管理するとともに、必要に応じて、距離算出部７５に供給する。
The
変化領域検出部７４は、図１０を参照して後述するように、監視システム１による監視が開始された後、撮像装置１１から出力される画像情報（以下、監視画像情報と称する）に基づく単位データ（以下、監視単位データと称する）または差分データ（以下、監視差分データと称する）の変化が大きい検知単位２１を検出し、検出した検知単位２１を中心とする所定の大きさの領域（以下、変化領域と称する）を求める。変化領域検出部７４は、検出した変化領域の範囲を示すデータをデータ管理部７３および距離算出部７５に供給する。また、変化領域検出部７４は、変化領域に含まれる検知単位２１に対応する監視単位データまたは監視差分データを距離算出部７５に供給する。
As will be described later with reference to FIG. 10, the change
距離算出部７５は、図１０を参照して後述するように、無侵入フレーム情報（無侵入画像情報）により構成される空間（以下、単位データ基準空間と称する）と、１フレーム分の監視単位データにより構成される情報（以下、監視フレーム情報と称する）との間の変化領域におけるマハラノビス距離、または、無侵入差分フレーム情報により構成される空間（以下、差分データ基準空間と称する）と、１フレーム分の監視差分データにより構成される情報（以下、監視差分フレーム情報と称する）との間の変化領域におけるマハラノビス距離を算出する。距離算出部７５は、算出したマハラノビス距離の値を示すデータを判定部７６に供給する。
As will be described later with reference to FIG. 10, the
判定部７６は、図１０を参照して後述するように、距離算出部７５から供給されたマハラノビス距離と所定の検知閾値とを比較することにより、監視領域への侵入物の侵入の有無を判定する。判定部７６は、監視領域に侵入物が侵入したと判定した場合、監視領域に侵入物の侵入を検知したことを通知する情報（以下、侵入検知情報と称する）を、内部バス４１および入出力インタフェース４２を介して、出力部３５に供給する。
As will be described later with reference to FIG. 10, the
次に、図５乃至図２３を参照して、監視システム１により実行される処理を説明する。
Next, processing executed by the
まず、図５のフローチャートを参照して、監視システム１により実行される基準空間作成処理を説明する。なお、この処理は、例えば、監視システム１による監視を始める前に、ユーザが入力部３４を操作して、基準空間作成処理の指令を入力したとき開始される。
First, reference space creation processing executed by the
ステップＳ１において、画像情報取得部８２は、無侵入状態の監視領域の画像情報を取得する。具体的には、撮像装置１１は、無侵入状態の監視領域を撮像した画像の画像情報（無侵入画像情報）を侵入検知装置１２に出力する。侵入検知装置１２に入力された無侵入画像情報は、入出力インタフェース４２および内部バス４１を介して、ノイズフィルタ部８１に入力され、ノイズフィルタ部８１によりノイズが除去された後、画像情報取得部８２に供給される。画像情報取得部８２は、無侵入画像情報を１フレーム毎に分離して、分離したフレーム情報（無侵入フレーム情報）を、RAM３３または記録部３６に記録させるとともに、フレーム間差分算出部８３に供給する。
In step S <b> 1, the image
ステップＳ２において、フレーム間差分算出部８３は、無侵入フレーム情報のフレーム間の差分データを算出する。具体的には、フレーム間差分算出部８３は、画像情報取得部８２から新たに入力された無侵入フレーム情報よりP（Pは自然数）フレーム前の無侵入フレーム情報をRAM３３または記録部３６から読出す。この値Pは、例えば、ユーザにより予め設定される。フレーム間差分算出部８３は、同じ検知単位２１に対応する最新の無侵入フレーム情報とPフレーム前の無侵入フレーム情報の無侵入単位データの差分である無侵入差分データを算出する。フレーム間差分算出部８３は、１フレーム分の無侵入差分データにより構成される無侵入差分フレーム情報を基準空間データ算出部７２に供給する。基準空間データ算出部７２は、無侵入差分フレーム情報をRAM３３または記録部３６に記録させる。
In step S <b> 2, the interframe
ステップＳ１およびＳ２の処理は、例えば、所定の量の無侵入差分フレーム情報が蓄積されるか、または、所定の時間が経過するまで繰り返し実行される。なお、無侵入差分フレーム情報を収集する期間は、予想される監視領域の環境の変化（例えば、外光の変化、振動など）が全て含まれる期間に設定されることが望ましい。 The processes of steps S1 and S2 are repeatedly executed until, for example, a predetermined amount of non-intrusive difference frame information is accumulated or a predetermined time elapses. Note that the period for collecting the non-intrusive differential frame information is preferably set to a period in which all the expected changes in the environment of the monitoring area (for example, changes in external light, vibrations, etc.) are included.
なお、以下、収集した無侵入差分フレーム情報の個数をｎs個とし、j番目の無侵入差分フレーム情報におけるｉ番目の検知単位２１に対応する無侵入差分データをXsijとする。
Hereinafter, the number of collected non-intrusive differential frame information is ns, and the non-intrusive differential data corresponding to the i-
ステップＳ３において、基準空間データ算出部７２は、無侵入差分データの平均値および標準偏差を算出する。具体的には、基準空間データ算出部７２は、RAM３３または記録部３６から全ての無侵入差分フレーム情報を読出し、各検知単位２１に対応する無侵入差分データごとの平均値および標準偏差を算出する。なお、以下、ｉ番目の検知単位２１に対応する無侵入差分データの平均値をｍsiとし、標準偏差をσsiとする。
In step S3, the reference space
ステップＳ４において、データ管理部７３は、無侵入差分データの平均値および標準偏差を記録する。具体的には、データ管理部７３は、基準空間データ算出部７２から各検知単位２１の無侵入差分データの平均値および標準偏差を示すデータを取得し、平均値および標準偏差を示すデータを記録部３６に記録させる。
In step S4, the
ステップＳ５において、画像情報取得部８２は、所定のパターンを投影した状態の監視領域の画像情報を取得する。具体的には、ユーザは、図示せぬ照明装置を用いて所定のパターンで照度を変化させた照明を監視領域に投影（投射）したり、または、図示せぬ映像装置を用いて所定のパターンの映像を監視領域に投影（投射）する。
In step S5, the image
図６乃至図９は、監視領域に投影する照明または映像のパターンの例を示している。例えば、図６に示されるように、２種類の異なる色または明るさの横縞模様の照明または映像を監視領域に投影するとともに、各縞の間隔をランダムに変化させたり、図内の矢印に示されるように上から下に各縞をランダムな速さで移動させる。また、例えば、図７に示されるように、２種類の異なる色または明るさの縦縞模様の照明または映像を監視領域に投影するとともに、各縞の間隔をランダムに変化させたり、図内の矢印に示されるように左から右に各縞をランダムな速さで移動させる。 6 to 9 show examples of illumination or video patterns projected onto the monitoring area. For example, as shown in FIG. 6, two different colors or brightness of horizontal stripes of illumination or video are projected onto the monitoring area, and the intervals between the stripes are changed randomly, or indicated by arrows in the figure. Each stripe is moved at random speed from top to bottom. In addition, for example, as shown in FIG. 7, two types of different colors or brightness of vertical stripes of illumination or video are projected onto the monitoring area, and the intervals between the stripes are changed randomly, or arrows in the figure Each stripe is moved at random speed from left to right as shown in FIG.
さらに、例えば、図８に示されるように、２種類の異なる色または明るさの斜め方向の縞模様の照明または映像を監視領域に投影するとともに、各縞の間隔をランダムに変化させたり、図内の矢印に示されるように左から右に各縞をランダムな速さで移動させる。また、例えば、図９に示されるように、２種類の異なる色または明るさの格子縞模様の照明または映像を監視領域に投影するとともに、各縞の間隔をランダムに変化させたり、図内の矢印に示されるように左から右または上から下に各縞をランダムな速さで移動させる。 Further, for example, as shown in FIG. 8, two types of different stripes of illumination with different colors or brightness or images are projected onto the monitoring area, and the intervals between the stripes are randomly changed. Each stripe is moved at a random speed from left to right as indicated by the arrows in the figure. Also, for example, as shown in FIG. 9, two different colors or brightness of a checkered pattern illumination or video is projected onto the monitoring area, and the interval between the stripes is changed randomly, or an arrow in the figure. Each stripe is moved at random speed from left to right or from top to bottom as shown in FIG.
撮像装置１１は、無侵入状態、かつ、図６乃至図９に示されるパターンの照明または映像を投影した状態の監視領域を撮像した画像の画像情報（パターン画像情報）を侵入検知装置１２に出力する。侵入検知装置１２に入力されたパターン画像情報は、入出力インタフェース４２および内部バス４１を介して、ノイズフィルタ部８１に入力され、ノイズフィルタ部８１によりノイズが除去された後、画像情報取得部８２に供給される。画像情報取得部８２は、無侵入画像情報を１フレーム毎に分離したフレーム情報（パターンフレーム情報）を、RAM３３または記録部３６に記録させるとともに、フレーム間差分算出部８３に供給する。
The
ステップＳ６において、フレーム間差分算出部８３は、パターンフレーム情報のフレーム間の差分データを算出する。具体的には、フレーム間差分算出部８３は、画像情報取得部８２から新たに入力されたパターンフレーム情報よりP（Pは自然数）フレーム前のパターンフレーム情報をRAM３３または記録部３６から読出す。この値Pは、ステップＳ２において、無侵入フレーム情報のフレーム間の差分データを算出する場合と同じ値である。フレーム間差分算出部８３は、同じ検知単位２１に対応する最新のパターンフレーム情報とPフレーム前のパターンフレーム情報のパターン単位データの差分であるパターン差分データを算出する。フレーム間差分算出部８３は、１フレーム分のパターン差分データにより構成されるパターン差分フレーム情報を基準空間データ算出部７２に供給する。基準空間データ算出部７２は、パターン差分フレーム情報をRAM３３または記録部３６に記録させる。
In step S6, the inter-frame
ステップＳ５およびＳ６の処理は、例えば、所定の量のパターン差分データが蓄積されるか、または、所定の時間が経過するまで繰り返し実行される。 The processes in steps S5 and S6 are repeatedly executed until, for example, a predetermined amount of pattern difference data is accumulated or a predetermined time elapses.
なお、以下、収集したパターン差分フレーム情報の個数をｎp個とし、j番目のパターン差分フレーム情報におけるｉ番目の検知単位２１に対応するパターン差分データをXpijとする。
Hereinafter, the number of collected pattern difference frame information is np, and the pattern difference data corresponding to the i-
ステップＳ７において、基準空間データ算出部７２は、相関行列を算出する。具体的には、基準空間データ算出部７２は、RAM３３または記録部３６から全てのパターン差分フレーム情報を読出し、各検知単位に対応するパターン差分データごとの平均値および標準偏差を算出する。なお、以下、ｉ番目の検知単位２１に対応するパターン差分データの平均値をmpiとし、標準偏差をσpiとする。
In step S7, the reference
次に、基準空間データ算出部７２は、以下の式(1)乃至(3)に基づいて、各検知単位２１に対応するパターン差分データの間の相関を示す相関行列R（差分データ相関行列）を算出する。
Next, the reference space
rij＝(xi1 xj1＋xi2 xj2＋・・・＋xinp xjnp)÷np ・・・(3)
ただし、1≦i≦k，1≦j≦k
r ij = (x i1 x j1 + x i2 x j2 + ... + x inp x jnp ) ÷ np (3)
However, 1 ≦ i ≦ k, 1 ≦ j ≦ k
なお、相関係数rijは、ｉ番目の検知単位２１に対応するパターン差分データとｊ番目の検知単位２１に対応するパターン差分データの相関を示す相関係数である。
The correlation coefficient r ij is a correlation coefficient indicating the correlation between the pattern difference data corresponding to the i
ステップＳ８において、データ管理部７３は、ステップＳ７において算出された相関行列を記録し、基準空間作成処理は終了する。具体的には、データ管理部７３は、基準空間データ算出部７２から相関行列Ｒの各要素（相関係数rij）を示すデータを取得し、相関行列Ｒの各要素を示すデータを記録部３６に記録させる。
In step S8, the
次に、図１０のフローチャートを参照して、監視システム１により実行される監視処理を説明する。
Next, the monitoring process executed by the
ステップＳ３１において、画像情報取得部８２は、監視領域の画像情報を取得する。具体的には、撮像装置１１は、監視領域を撮像した画像の画像情報（監視画像情報）を侵入検知装置１２に出力する。侵入検知装置１２に入力された監視画像情報は、入出力インタフェース４２および内部バス４１を介して、ノイズフィルタ部８１に入力され、ノイズフィルタ部８１によりノイズが除去された後、画像情報取得部８２に供給される。画像情報取得部８２は、監視画像情報を１フレーム毎に分離したフレーム情報（以下、監視フレーム情報と称する）を、RAM３３または記録部３６に記録させるとともに、フレーム間差分算出部８３に供給する。
In step S31, the image
ステップＳ３２において、フレーム間差分算出部８３は、監視画像情報のフレーム間の差分データを算出する。具体的には、フレーム間差分算出部８３は、画像情報取得部８２から新たに入力された監視フレーム情報よりP（Pは自然数）フレーム前の監視フレーム情報をRAM３３または記録部３６から読出す。この値Pは、上述した図５のステップＳ２において、無侵入フレーム情報のフレーム間の差分データを算出する場合と同じ値である。フレーム間差分算出部８３は、同じ検知単位２１に対応する最新の監視フレーム情報とPフレーム前の監視フレーム情報の監視単位データの差分である監視差分データを算出する。フレーム間差分算出部８３は、１フレーム分の監視差分データにより構成される監視差分フレーム情報を基準空間データ算出部７２に供給する。基準空間データ算出部７２は、監視差分フレーム情報を変化領域検出部７４に供給する。
In step S32, the inter-frame
なお、以下、ｉ番目の検知単位２１に対応する監視差分データをXwiとする。
Hereinafter, the monitoring differential data corresponding to the i-
ステップＳ３３において、変化領域検出部７４は、変化領域を特定する。具体的には、例えば、変化領域検出部７４は、まず、以下の式(4)に基づいて、監視差分データXwiを無侵入差分データの平均値ｍsi、および標準偏差σsiを用いて標準化したデータ（以下、標準化監視差分データと称する）Xcwi（ｉ＝１，２，…，k）を求める。
In step S33, the change
Xcwi＝(Xwi−ｍsi)÷σsi ・・・(4) Xcw i = (Xw i −ms i ) ÷ σs i (4)
変化領域検出部７４は、標準化監視差分データXcwiの絶対値が最も大きい検知単位２１、監視差分データを差分データ基準空間における無侵入差分データの平均値ｍsiおよび標準偏差σsiを用いて標準化した値の絶対値が最も大きな検知単位２１を検出する。変化領域検出部７４は、検出した検知単位２１を含み、その検知単位２１を中心とする所定の大きさの領域のうち、監視領域に含まれる領域を変化領域として特定する。
The change
例えば、図１１に示されるように、監視領域１０１に侵入物１０２が侵入し、侵入物１０１が侵入した領域に含まれる検知単位２１に対応する標準化監視差分データが最大となった場合、その検知単位２１を含む領域１０３が変化領域として特定される。なお、以下、変化領域に含まれる検知単位２１の個数をq個として説明する。
For example, as shown in FIG. 11, when the
ステップＳ３４において、距離算出部７５は、相関行列の逆行列を算出する。具体的には、変化領域検出部７４は、変化領域の範囲を示す情報をデータ管理部７３および距離算出部７５に供給する。データ管理部７３は、相関行列Ｒを構成する相関係数rijのうち、変化領域に含まれる検知単位２１に対応する相関係数rijのみを記録部３６から読出し、読出した相関係数rijを距離算出部７５に供給する。距離算出部７５は、取得した相関係数rijを用いて、変化領域内の検知単位２１に対応する相関行列Rpを生成し、さらに、相関行列Rpの逆行列Rp-1を算出する。
In step S34, the
ステップＳ３５において、距離算出部７５は、差分データ基準空間と監視差分フレーム情報との間のマハラノビス距離を算出する。具体的には、変化領域検出部７４は、変化領域に含まれる検知単位２１の標準化差分データXcwiを距離算出部７５に供給する。距離算出部７５は、下記の式(5)および(6)に基づいて、変化領域における差分データ基準空間と差分監視フレーム情報との間のマハラノビス距離Dを算出する。より厳密にいえば、距離算出部７５は、変化領域に含まれる検知単位２１に対応する無侵入差分データにより構成される空間と、変化領域に含まれる検知単位２１に対応する監視差分データにより構成されるデータとの間のマハラノビス距離Dを算出する。
In step S35, the
なお、式(6)の行列Cの各要素ci（ｉ＝１，２，…，q）は、変化領域に含まれるq個の検知単位２１に対応する標準化差分データXcwiを順に並べたものであり、q次正方行列である相関行列Rpの要素rijは、行列Cを構成する検知単位間の相関係数に対応し、これらは、相関行列Rの要素から引用することができる。
In addition, each element c i (i = 1, 2,..., Q) of the matrix C in Expression (6) sequentially arranges standardized difference data Xcw i corresponding to
また、マハラノビス距離Dを算出するときに、無侵入状態を計測した情報から生成した検知単位間の相関行列ではなく、用意した所定のパターンを用いて計測した検知単位間の相関を示す相関行列R（相関係数rij）を用いるのは、以下の理由による。すなわち、無侵入状態において各検知単位２１に対応する単位データ（無侵入単位データ）がほとんど変化しない場合、無侵入単位データの所定のフレーム間の差分である無侵入差分データは、０または０に近い値が連続する可能性が高い。その場合、各検知単位２１に対応する差分データ間の実際の相関関係が、無侵入差分データ間の相関係数に十分に反映されない可能性がある。
In addition, when calculating the Mahalanobis distance D, a correlation matrix R indicating a correlation between detection units measured using a predetermined pattern prepared instead of a correlation matrix between detection units generated from information obtained by measuring a non-intrusion state. (Correlation coefficient r ij ) is used for the following reason. That is, when the unit data (non-intrusion unit data) corresponding to each
そのため、例えば、上述したように、無侵入状態で、図６乃至図９に示される所定のパターンを監視領域に投影し、各検知単位２１に対応する差分データ間の相関関係が顕著に現れる状態において収集された差分データ（パターン差分データ）に基づいて、相関行列R（相関係数rij）を算出する。これにより、相関行列R（相関係数rij）には、各検知単位２１に対応する差分データの相関関係がより正確に反映されることになり、相関行列R（相関係数rij）を用いて算出したマハラノビス距離Dは、より正確で信頼性が高い値となる。
Therefore, for example, as described above, in a non-intrusive state, the predetermined pattern shown in FIGS. 6 to 9 is projected onto the monitoring area, and the correlation between the difference data corresponding to each
なお、例えば、監視領域の状態（例えば、照度など）が頻繁に変化することにより、無侵入差分データに基づく相関係数rijに、各検知単位２１に対応する差分データの相関関係が十分反映される場合、無侵入差分データを用いて相関行列Ｒを算出するようにしてもよい。
For example, when the state of the monitoring area (for example, illuminance, etc.) changes frequently, the correlation coefficient r ij based on the non-intrusive difference data sufficiently reflects the correlation of the difference data corresponding to each
また、監視領域全体ではなく、その一部である変化領域におけるマハラノビス距離Dを求めることにより、以下の利点がある。すなわち、例えば、監視領域１０１において、図１２に示されるように、複数の領域で分散して輝度が変化した場合と、図１３に示されるように、１つの領域で輝度が変化した場合とでは、その変化した輝度の値がほぼ同様で、かつ、輝度が変化した領域の面積の合計がほぼ同じ場合、監視領域１０１における差分データ基準空間と監視差分フレーム情報との間のマハラノビス距離Dがほぼ等しい値になる傾向がある。すなわち、算出したマハラノビス距離Dに基づいて、図１２に示される監視領域１０１の状態と図１３に示される監視領域１０１の状態を区別できない場合がある。
Further, by obtaining the Mahalanobis distance D not in the entire monitoring area but in a change area that is a part of the monitoring area, there are the following advantages. That is, for example, in the
一方、監視差分データが最も大きく変化した検知単位２１の周辺の変化領域におけるマハラノビス距離Dを算出することにより、算出したマハラノビス距離Dに基づいて、図１２に示される状態と図１３に示される状態をより正確に区別することができるようになる。また、変化領域におけるマハラノビス距離Dを算出することにより、監視領域全体におけるマハラノビス距離を算出する場合に比べて、計算量が削減され、侵入物を検知する速度が速くなる。
On the other hand, the state shown in FIG. 12 and the state shown in FIG. 13 are calculated based on the calculated Mahalanobis distance D by calculating the Mahalanobis distance D in the change area around the
なお、例えば、監視領域が小さい場合や、図１２と図１３に示されるような状態を区別する必要がない場合などには、ステップＳ３３の処理を省略して、監視領域全体におけるマハラノビス距離Dを算出するようにしてもよい。また、例えば、変化領域の大きさは、検知する必要がある状態と検知する必要がない状態を区別できるように、実験結果などに基づいて、求めるようにすればよい。 For example, when the monitoring area is small or when it is not necessary to distinguish between the states shown in FIGS. 12 and 13, the processing in step S33 is omitted and the Mahalanobis distance D in the entire monitoring area is set. You may make it calculate. In addition, for example, the size of the change region may be obtained based on experimental results so that a state that needs to be detected can be distinguished from a state that does not need to be detected.
ステップＳ３６において、判定部７６は、マハラノビス距離Ｄが、所定の検知閾値より大きいか否かを判定する。具体的には、判定部７６は、距離算出部７５から、マハラノビス距離Ｄを示すデータを取得する。判定部７６は、マハラノビス距離Ｄと、予め設定されている検知閾値とを比較して、マハラノビス距離Ｄが所定の検知閾値以下であると判定した場合、すなわち、監視領域が無侵入状態である可能性が高いと判定した場合、処理はステップＳ３１に戻り、上述したステップＳ３１以降の処理が繰り返し実行される。すなわち、監視領域の監視が継続して実行される。
In step S36, the
ステップＳ３６において、マハラノビス距離Ｄが所定の検知閾値より大きいと判定された場合、すなわち、監視領域に侵入物が侵入した可能性が高いと判定された場合、処理はステップＳ３７に進む。 If it is determined in step S36 that the Mahalanobis distance D is greater than the predetermined detection threshold, that is, if it is determined that there is a high possibility that an intruder has entered the monitoring area, the process proceeds to step S37.
なお、検知閾値の決め方については、図１４を参照して後述する。 A method for determining the detection threshold will be described later with reference to FIG.
ステップＳ３７において、判定部７６は、ユーザに侵入物の侵入を通知する。具体的には、判定部７６は、内部バス４１および入出力インタフェース４２を介して、侵入検知情報を出力部３５に供給する。出力部３５は、例えば、ディスプレイに監視領域への侵入物の侵入を通知する画像を表示したり、スピーカから侵入を通知する音声を出力したりして、ユーザに監視領域への侵入物の侵入を通知する。
In step S <b> 37, the
その後、処理はステップＳ３１に戻り、上述したステップＳ３１以降の処理が繰り返し実行される。すなわち、監視領域の監視が継続して実行される。 Thereafter, the process returns to step S31, and the processes after step S31 described above are repeatedly executed. That is, monitoring of the monitoring area is continuously executed.
なお、以上の説明では、各検知単位２１に対応する差分データに基づいて、監視領域の監視を行う例を示したが、差分データの代わりに単位データを用いて監視領域の監視を行うようにしてもよい。その場合、無侵入単位データの平均値および標準偏差、および、パターン単位データに基づいて算出した相関行列に基づいて、単位データ基準空間と監視フレーム情報との間のマハラノビス距離を算出し、監視領域への侵入物の侵入を検知するようにすればよい。この場合、例えば、監視領域の状態（例えば、照度など）が頻繁に変化することにより、各検知単位２１に対応する単位データ間の相関関係が無侵入単位データに基づく相関係数に十分反映される場合、無侵入単位データを用いて相関行列を算出するようにしてもよい。
In the above description, the monitoring area is monitored based on the difference data corresponding to each
また、差分データを求めるフレーム間隔Ｐを小さくすることにより（時間間隔を短くすることにより）、より速い変化の侵入物の検知精度が向上し、フレーム間隔Ｐを大きくすることにより（時間間隔を長くすることにより）、長時間にわたり侵入または変化する侵入物の検知精度が向上する。また、差分データの代わりに単位データを用いて監視領域の監視を行うことにより、初期状態（無侵入状態）と現在の監視状態を直接比較することにより、侵入物の侵入が検知される。 Also, by reducing the frame interval P for obtaining the difference data (by shortening the time interval), the detection accuracy of intruders that change faster is improved, and by increasing the frame interval P (by increasing the time interval). This improves the accuracy of detecting an intruder that enters or changes over a long period of time. Further, by monitoring the monitoring area using unit data instead of the difference data, the intrusion of the intruder can be detected by directly comparing the initial state (non-intrusion state) and the current monitoring state.
ここで、図１４を参照して、検知閾値の決め方の一例について説明する。上述した式(5)に基づいて算出したマハラノビス距離Ｄの分布（確率密度関数）は、線１５１に示されるように平均値が０および標準偏差σ0が１の標準正規分布にほぼ従う（式(5)によりマハラノビスの平方距離D2を定義し、D2のばらつきがランダムであることを仮定すれば、D2はカイ二乗分布に従い、Dの正の部分は標準正規分布に従う。）。例えば、検知閾値を、無侵入状態におけるマハラノビス距離Ｄの標準偏差σ0の５倍の５とした場合、すなわち、マハラノビス距離Ｄが５を超えた場合に監視領域に侵入物が侵入した可能性があると判定する場合、無侵入状態におけるマハラノビス距離Ｄが、平均値から標準偏差σ0の５倍以上離れた値となる確率、すなわち、無侵入状態にも関わらず監視領域に侵入物が侵入した可能性があると判定される（誤検知する）確率は、2.9×10-7となる。 Here, an example of how to determine the detection threshold will be described with reference to FIG. The distribution (probability density function) of the Mahalanobis distance D calculated based on the above equation (5) substantially follows a standard normal distribution having an average value of 0 and a standard deviation σ 0 of 1 as represented by a line 151 (formula (5) defines Mahalanobis square distance D 2 and assumes that the variation in D 2 is random, D 2 follows a chi-square distribution, and the positive part of D follows a standard normal distribution.) For example, when the detection threshold is 5 which is five times the standard deviation σ 0 of the Mahalanobis distance D in the non-intrusion state, that is, when the Mahalanobis distance D exceeds 5, there is a possibility that an intruder has entered the monitoring area. If it is determined that there is an intruder, the probability that the Mahalanobis distance D in the non-intrusion state is a value that is more than five times the standard deviation σ 0 from the average value, that is, the intruder has entered the monitoring area despite the non-intrusion state. The probability that it is determined that there is a possibility (false detection) is 2.9 × 10 −7 .
正規分布において、平均値から標準偏差の５倍以上離れた値が出現する確率である2.9×10-7という値は、例えば、IEC（International Electro technical Commission）61496-3などによる安全装置の信頼性基準において、誤動作が皆無であると見なされる値であり、実際、飛行機の飛行回数あたりの事故の確率は、ほぼこの値と等しくなる。従って、検知閾値を５に設定した場合、無侵入状態にも関わらず監視領域に侵入物が侵入した可能性があると判定される可能性はほぼ皆無であると見なすことができる。 In a normal distribution, the value of 2.9 × 10 -7, which is the probability that a value that is more than 5 times the standard deviation from the average value, appears, for example, the reliability of the safety device according to IEC (International Electro technical Commission) 61696-3 It is a value that is regarded as having no malfunction in the standard, and in fact, the probability of an accident per the number of flights of an airplane is almost equal to this value. Therefore, when the detection threshold is set to 5, it can be considered that there is almost no possibility that it is determined that there is a possibility that an intruder has entered the monitoring area in spite of the non-intrusion state.
一方、線１５２は、監視領域にある侵入物（以下、侵入物Ａと称する）が侵入した状態において検出されるマハラノビス距離Ｄの分布（確率密度関数）を示している。線１５２で示される分布におけるマハラノビス距離Ｄの平均値ｍtを４０、標準偏差σtを７とした場合、マハラノビス距離Ｄが検知閾値の５より小さくなる確率、すなわち、監視領域に侵入物Ａが侵入したにも関わらず見逃してしまう可能性は、検知閾値の値である５が線１５２で示される分布の平均値である４０から５×σtだけ離れているので、2.9×10-7となり、ほぼ皆無であると見なすことができる。
On the other hand, a
すなわち、監視領域に侵入物Ａが侵入した状態におけるマハラノビス距離Ｄの分布の平均値ｍtおよび標準偏差σtが式(7)の関係を満たす場合、侵入物Aの侵入を誤検知せずにほぼ確実に検知できると見なすことができる。換言すれば、監視システム１では、検知閾値を５に設定した場合、監視領域に侵入した場合のマハラノビス距離Dの平均値および標準偏差が式(7)の関係を満たすような侵入物の侵入をほぼ確実に検知可能であると保証することができる。従って、事前に監視システム１により侵入を検知できる侵入物を特定することができる。
That is, if the average value m t and standard deviation sigma t of the distribution of the Mahalanobis distance D in a state where the intruder A has entered the monitoring area satisfies the relationship of formula (7), without erroneous detection of the entrance of the intruder A It can be considered that it can be detected almost certainly. In other words, in the
ｍt≧５＋σt×５ ・・・(7) m t ≧ 5 + σ t × 5 (7)
なお、以上は検知閾値の決め方の一例であり、当然、その他の安全性などの根拠に基づいて、検知閾値を決めるようにしてもよい。 Note that the above is an example of how to determine the detection threshold value. Naturally, the detection threshold value may be determined based on other reasons such as safety.
次に、図１５乃至図１８を参照して、図１５に示される３行×３列に検知単位である画素が配列された監視領域において、差分データ基準空間と監視差分フレーム情報との間のマハラノビス距離を求める場合、検出した監視差分データをそのまま用いて算出したマハラノビス距離、すなわち、実際のマハラノビス距離と、検出した監視差分データから特徴量を抽出し、抽出した特徴量を用いて算出したマハラノビス距離を比較した実験の結果を説明する。 Next, referring to FIG. 15 to FIG. 18, in the monitoring area in which pixels as detection units are arranged in 3 rows × 3 columns shown in FIG. 15, the difference between the difference data reference space and the monitoring difference frame information is set. When obtaining the Mahalanobis distance, the Mahalanobis distance calculated using the detected monitoring difference data as it is, that is, the actual Mahalanobis distance and the feature quantity extracted from the detected monitoring difference data, and the Mahalanobis calculated using the extracted feature quantity The results of experiments comparing distances will be described.
図１５は、実験に用いた監視領域を示す図である。監視領域における各検知単位を、１行目の左から検知単位ａ１１、検知単位ａ１２、検知単位ａ１３とし、２行目の左から検知単位ａ２１、検知単位ａ２２、検知単位ａ２３とし、３行目の左から検知単位ａ３１、検知単位ａ３２、検知単位ａ３３とする。 FIG. 15 is a diagram illustrating a monitoring region used in the experiment. The detection units in the monitoring area are the detection unit a11, the detection unit a12, and the detection unit a13 from the left in the first row, and the detection unit a21, the detection unit a22, and the detection unit a23 from the left in the second row. From the left, the detection unit is a detection unit a31, the detection unit a32, and the detection unit a33.
図１６は、無侵入状態において検出された各検知単位に対応する単位データ（画素データ）の所定のフレーム間の差分データ（無侵入差分データ）の値を示す表である。差分データの検出回数は５回であり、右から２列目に各検知単位に対応する差分データの平均値を示し、右端の列に差分データの標準偏差を示している。例えば、表の上から３行目に示されるように、検知単位ａ１１について、１回目の差分データの検出値が1、２回目の差分データの検出値が5、３回目の差分データの検出値が5、４回目の差分データの検出値が3、５回目の差分データの検出値が1、差分データの平均値が3、標準偏差が2.00となる。以下、図１６に示される差分データにより構成される空間を差分データ基準空間とする。 FIG. 16 is a table showing the value of difference data (non-intrusion difference data) between predetermined frames of unit data (pixel data) corresponding to each detection unit detected in the non-intrusion state. The number of detections of the difference data is 5, the average value of the difference data corresponding to each detection unit is shown in the second column from the right, and the standard deviation of the difference data is shown in the rightmost column. For example, as shown in the third row from the top of the table, for the detection unit a11, the detection value of the first difference data is 1, the detection value of the second difference data is 5, and the detection value of the third difference data. 5, the detection value of the fourth difference data is 3, the detection value of the fifth difference data is 1, the average value of the difference data is 3, and the standard deviation is 2.00. Hereinafter, a space constituted by the difference data shown in FIG. 16 is referred to as a difference data reference space.
図１７は、１回につき、１つの検知単位に対応する差分データの値を差分データ基準空間における差分データの平均値に差分データの標準偏差の１０倍を加えた値とし、他の検知単位に対応する差分データの値を差分データ基準空間における差分データの平均値となるようにした差分データにより構成される監視差分フレーム情報と、差分データ基準空間との間のマハラノビス距離を示す表である。例えば、１回目の監視差分フレーム情報において、検知単位ａ１１に対応する差分データの値が差分データ基準空間における平均値3に標準偏差2の10倍を加えた23とされ、他の検知単位に対応する差分データの値は基準空間における平均値である3とされている。
FIG. 17 shows the difference data value corresponding to one detection unit as a value obtained by adding 10 times the standard deviation of the difference data to the average value of the difference data in the difference data reference space for each detection unit. It is a table | surface which shows the Mahalanobis distance between the monitoring difference frame information comprised by the difference data which made the value of corresponding difference data become the average value of difference data in difference data reference space, and difference data reference space. For example, in the first monitoring difference frame information, the difference data value corresponding to the detection unit a11 is set to 23, which is 10 times the
そして、差分データ基準空間と監視差分フレーム情報との間のマハラノビス距離を以下に述べる３種類の方法で算出した。なお、図１７に示されているマハラノビス距離の値は、式(5)に基づいて算出したマハラノビス距離の２乗の値である。 Then, the Mahalanobis distance between the difference data reference space and the monitoring difference frame information was calculated by the following three methods. The value of the Mahalanobis distance shown in FIG. 17 is a square value of the Mahalanobis distance calculated based on the equation (5).
第１の方法として、図１６に示される差分データと図１７に示される差分データをそのまま用いて、上述した式(5)に基づいてマハラノビス距離を算出した。すなわち、第１の方法で算出されたマハラノビス距離は、差分データ基準空間と監視差分フレーム情報との間の実際のマハラノビス距離を示している。図１７の表内で、左から２列目に「直接算出」と示された下から３番目の行に、第１の方法で算出したマハラノビス距離の値が示されている。例えば、第１の方法で算出した１回目のマハラノビス距離の値は33.12である。 As a first method, the Mahalanobis distance was calculated based on the above-described equation (5) using the difference data shown in FIG. 16 and the difference data shown in FIG. 17 as they are. That is, the Mahalanobis distance calculated by the first method indicates the actual Mahalanobis distance between the difference data reference space and the monitoring difference frame information. In the table of FIG. 17, the value of the Mahalanobis distance calculated by the first method is shown in the third row from the bottom labeled “direct calculation” in the second column from the left. For example, the first Mahalanobis distance value calculated by the first method is 33.12.
第２の方法として、図１５に示される監視領域の横方向の同じ行に配列された検知単位を一組として、各組の差分データの最大値と最小値と平均値を特徴量として抽出し、その差分データの特徴量を用いて、上述した式(5)に基づいてマハラノビス距離を算出した。すなわち、図１５に示される監視領域を検知単位ａ１１乃至ａ１３，ａ２１乃至ａ２３，および、ａ３１乃至ａ３３の３組に区分し、各組の各回ごとの差分データの最大値、最小値、および平均値により構成される空間と、図１７に示される差分データの各組ごとの差分データの最大値、最小値、および平均値により構成されるデータとの間のマハラノビス距離を算出した。図１７の表内で、左から２列目に「横方向の特徴量により算出」と示された下から２番目の行に、第２の方法で算出したマハラノビス距離の値が示されている。例えば、第２の方法で算出した１回目のマハラノビス距離の値は30.50である As a second method, the detection units arranged in the same row in the horizontal direction of the monitoring area shown in FIG. 15 are taken as a set, and the maximum value, the minimum value, and the average value of the difference data of each set are extracted as feature amounts. The Mahalanobis distance was calculated based on the above-described equation (5) using the feature amount of the difference data. That is, the monitoring area shown in FIG. 15 is divided into three sets of detection units a11 to a13, a21 to a23, and a31 to a33, and the maximum value, the minimum value, and the average value of the difference data for each time of each set The Mahalanobis distance between the space constituted by and the data constituted by the maximum value, the minimum value, and the average value of the difference data for each set of difference data shown in FIG. 17 was calculated. In the table of FIG. 17, the Mahalanobis distance value calculated by the second method is shown in the second row from the bottom labeled “Calculated by lateral feature value” in the second column from the left. . For example, the first Mahalanobis distance calculated by the second method is 30.50.
第２の方法として、図１５に示される監視領域の縦方向の同じ列に配列された検知単位を一組として、各組の差分データの最大値と最小値と平均値を特徴量として抽出し、その差分データの特徴量を用いて、上述した式(5)に基づいてマハラノビス距離を算出した。すなわち、図１５に示される監視領域を検知単位ａ１１乃至ａ３１，ａ１２乃至ａ３２，および、ａ１３乃至ａ３３の３組に区分し、各組の各回ごとの差分データの最大値、最小値、および平均値により構成される空間と、図１７に示される差分データの各組ごとの差分データの最大値、最小値、および平均値により構成されるデータとの間のマハラノビス距離を算出した。図１７の表内で、左から２列目に「縦方向の特徴量により算出」と示されたいちばん下の行に、第３の方法で算出したマハラノビス距離の値が示されている。例えば、第３の方法で算出した１回目のマハラノビス距離の値は104.63である As a second method, the detection units arranged in the same column in the vertical direction of the monitoring area shown in FIG. 15 are taken as a set, and the maximum value, the minimum value, and the average value of the difference data of each set are extracted as feature amounts. The Mahalanobis distance was calculated based on the above-described equation (5) using the feature amount of the difference data. That is, the monitoring area shown in FIG. 15 is divided into three sets of detection units a11 to a31, a12 to a32, and a13 to a33, and the maximum value, the minimum value, and the average value of the difference data for each time of each set The Mahalanobis distance between the space constituted by and the data constituted by the maximum value, the minimum value, and the average value of the difference data for each set of difference data shown in FIG. 17 was calculated. In the table of FIG. 17, the Mahalanobis distance value calculated by the third method is shown in the bottom row labeled “Calculated by the feature amount in the vertical direction” in the second column from the left. For example, the value of the first Mahalanobis distance calculated by the third method is 104.63.
図１８は、第１乃至第３の方法により算出したマハラノビス距離の値の分布を示すグラフである。横軸は図１７の何回目の監視差分フレーム情報（差分データ）に基づいて算出したマハラノビス距離であるかを示しており、縦軸は算出したマハラノビス距離の２乗の値を示している。線２０１は、第１の方法により算出したマハラノビス距離の値の分布を示し、線２０２は、第２の方法により算出したマハラノビス距離の値の分布を示し、線２０３は、第３の方法により算出したマハラノビス距離の値の分布を示している。
FIG. 18 is a graph showing the distribution of Mahalanobis distance values calculated by the first to third methods. The horizontal axis indicates the Mahalanobis distance calculated based on the monitoring difference frame information (difference data) in FIG. 17, and the vertical axis indicates the square value of the calculated Mahalanobis distance.
１つの検知単位に対応する差分データのみを基準空間の差分データの平均値に標準偏差の１０倍の値を加えるように一様に変化させても、線２０２および２０３に示されるように、特徴量を用いて算出したマハラノビス距離は、差分データを変化させた検知単位によってばらつきが生じる。一方、差分データをそのまま用いて算出したマハラノビス距離は、線２０１に示されるように、ばらつきがほとんどなく、ほぼ一定となる。
Even if only the difference data corresponding to one detection unit is uniformly changed so as to add 10 times the standard deviation to the average value of the difference data in the reference space, as shown by
従って、上述した監視システム１のように、差分データまたは単位データをそのまま用いて算出した方が、例えば、差分データまたは単位データから抽出した特徴量を用いて算出するよりも、より正確なマハラノビス距離を求めることができ、その結果、監視領域における侵入物の侵入の検知の信頼性がより高くなる。
Therefore, as in the
以上のようにして、予想される侵入物の特徴量を事前に登録したり、複雑なアルゴリズムを用いたりせずに、より簡単により正確に監視領域への侵入物の侵入を検知することができる。 As described above, it is possible to more easily and accurately detect the intruder intrusion into the monitoring area without registering the expected feature quantity of the intruder in advance or using a complicated algorithm. .
次に、図１９乃至図２３を参照して、相関行列Ｒを算出するための計算量、およびデータ量を削減する方法を説明する。 Next, with reference to FIGS. 19 to 23, a calculation amount for calculating the correlation matrix R and a method for reducing the data amount will be described.
上述したように、差分データまたは単位データをそのまま用いて監視領域を監視する場合、例えば、監視領域内に縦600個×横800個の検知単位２１が配列されているとき、１つの検知単位２１に対応する差分データまたは単位データにつき、他の479999個の検知単位２１に対応する差分データまたは単位データとの相関係数rijが存在し、式(1)の相関行列Ｒの大きさは480000行×480000列となる。
As described above, when the monitoring area is monitored using the difference data or the unit data as they are, for example, when 600 vertical x 800
ところで、差分データまたは単位データの相関関係は、対応する検知単位２１の位置が離れるに従い弱くなる。従って、差分データまたは単位データの相関関係（相関係数）を求める範囲を限定することにより、相関行列Ｒを算出するための計算量を削減することができる。
By the way, the correlation of difference data or unit data becomes weaker as the position of the
例えば、図１９に示されるように、検知単位ｚ１について、隣接する検知単位ａ１乃至ａ８との相関関係のみを考慮する場合、１つの検知単位につき最大８個の検知単位との間の相関係数を求めればよい。また、図２０に示されるように、検知単位ｚ１について、隣接する検知単位ａ１乃至ａ８、および、検知単位ａ１乃至ａ８の外側に隣接する検知単位ｂ１乃至ｂ１６との相関関係のみを考慮する場合、１つの検知単位につき最大２４個の検知単位との間の相関係数を求めればよい。さらに、図２１に示されるように、検知単位ｚ１について、隣接する検知単位ａ１乃至ａ８、検知単位ａ１乃至ａ８の外側に隣接する検知単位ｂ１乃至ｂ１６、および、検知単位ｂ１乃至ｂ１６の外側に隣接する検知単位ｃ１乃至ｃ２４との相関関係のみを考慮する場合、１つの検知単位につき最大４８個の検知単位との間の相関係数のみを求めればよい。 For example, as shown in FIG. 19, when only the correlation between adjacent detection units a1 to a8 is considered for the detection unit z1, the correlation coefficient between a maximum of 8 detection units per detection unit You can ask for. In addition, as shown in FIG. 20, when only the correlation between the detection units a1 to a8 adjacent to the detection unit z1 and the detection units b1 to b16 adjacent to the outside of the detection units a1 to a8 is considered, What is necessary is just to obtain | require the correlation coefficient between a maximum of 24 detection units per detection unit. Further, as shown in FIG. 21, for the detection unit z1, adjacent detection units a1 to a8, detection units b1 to b16 adjacent to the outside of the detection units a1 to a8, and adjacent to the outside of the detection units b1 to b16 When only the correlation with the detection units c1 to c24 to be considered is considered, it is only necessary to obtain correlation coefficients between a maximum of 48 detection units per detection unit.
また、一般に、相関係数が0.7以上なら２つの事象には強い相関関係があり、0.3未満であれば２つの事象は無相関であるとみなされる。例えば、検知単位２１がCCDの１つの受光素子により撮像される領域に相当する場合、各受光素子はそれぞれ独立して撮像し、各受光素子からの出力信号の結合により所定のフォーマットの映像信号が生成されるので、隣接する受光素子間の従属性は有限値として存在するが、受光素子間の異常ストローク等の故障を除いて、異なる２つの検知単位２１に対応する単位データまたは差分データの間の相関係数が0.7以上となる強い相関関係を持つことはほぼないと見なすことができる。すなわち、異なる２つの検知単位２１に対応する単位データまたは差分データの間の相関係数は、0.7以下であるとみなすことができる。
In general, if the correlation coefficient is 0.7 or more, two events have a strong correlation, and if the correlation coefficient is less than 0.3, the two events are regarded as uncorrelated. For example, when the
従って、２つの検知単位を挟んで位置する検知単位（例えば、図２１の検知単位ｚ１と検知単位ｃ１０）に対応する単位データまたは差分データの間の相関係数は、0.343（＝0.7の3乗）以下であるとみなすことができる。さらに、３つの検知単位を挟んで位置する検知単位２１に対応する単位データまたは差分データの間の相関係数は、最大で0.2401（＝0.7の4乗＜0.3）となり、無相関であるとみなすことができる。よって、例えば、図２１の検知単位ｚ１は、検知単位ｃ１乃至ｃ２４の外側に隣接する検知単位とは無相関であるとみなすことができる。
Accordingly, the correlation coefficient between unit data or difference data corresponding to a detection unit (for example, detection unit z1 and detection unit c10 in FIG. 21) sandwiching two detection units is 0.343 (= 0.7 to the third power). ) Can be considered as follows. Furthermore, the correlation coefficient between the unit data corresponding to the
従って、１つの検知単位２１につき、その検知単位２１に対応する差分データまたは単位データと、その検知単位２１を中心とする７行×７列の範囲内にある４８個の検知単位２１に対応する差分データまたは単位データとの間の相関係数rijのみを算出し、その他の相関係数を０とするようにしても、算出した相関行列Ｒは、各検知単位２１に対応する単位データまたは差分データの間の相関関係がほぼ正確に反映されたものであるとみなすことができる。この場合、式(8)に示されるように、相関行列Ｒは、所定の幅の帯を持つ対称帯行列となる。
Accordingly, each
これにより、相関行列Ｒの対角成分を除く上三角の部分の帯内にある相関係数rijのみを記録しておけば、必要なときに相関行列Ｒを生成することができ、記録しておくデータ量を削減することができる。 As a result, if only the correlation coefficient r ij in the band of the upper triangular portion excluding the diagonal component of the correlation matrix R is recorded, the correlation matrix R can be generated and recorded when necessary. The amount of data to keep can be reduced.
また、侵入物が監視領域に侵入するとき、必ず監視領域の外周を通過することが保証されている場合、図２２に示されるように、監視領域のうち、監視領域の外周に接する所定の幅の枠状の領域２０１のみを監視対象とするようにすれば、領域２０１内に含まれる検知単位２１に対応する差分データまたは単位データの間の相関関係のみを考慮すればよくなるため、算出する相関係数rijの数を削減できる。
In addition, when an intruder enters the monitoring area, it is guaranteed that it always passes through the outer periphery of the monitoring area. As shown in FIG. 22, a predetermined width in contact with the outer periphery of the monitoring area, as shown in FIG. If only the frame-shaped
図２３は、図２２の領域２０１の左上隅の部分を示す図である。領域２０１内の番号が割り振られた１つの長方形は１つの検知単位を表し、各検知単位に割り振られている番号は、検知単位の配列番号を示している。ここでいう配列番号とは、検知単位の差分データまたは単位データを列行列（または行行列）に配列したり、相関行列Ｒに相関係数rijを配列する場合に用いる行列の要素番号である。
FIG. 23 is a diagram showing the upper left corner of the
図２３に示される例では、領域２０１の各辺の幅方向に７つの検知単位が配列され、左上隅の検知単位に配列番号１が割り振られ、配列番号１と同じ列上にある検知単位に、領域２０１の上辺の幅方向（上から下の方向）に順に２乃至７の配列番号が割り振られ、次の列（右隣の列）の検知単位にも同様に、上から下方向に配列番号８乃至１４が割り振られ、以下同様に、領域２０１の上辺の右端の列まで、領域２０１の枠の幅方向に繰り返すように、検知単位に配列番号が割り振られる。
In the example shown in FIG. 23, seven detection units are arranged in the width direction of each side of the
このように配列番号を割り振ることにより、例えば、１つの検知単位について、その検知単位の前および後の配列番号が連続する最大２４個の検知単位に対応する差分データまたは単位データとの相関係数を求めれば、図２１に示されるように、その検知単位を中心とする７行×７列の範囲内にあり、かつ領域２０１内（より厳密にいえば、領域２０１の１つの辺内）に含まれる検知単位に対応する差分データまたは単位データとの相関係数を求めることができる。 By assigning array numbers in this way, for example, for one detection unit, correlation coefficients with difference data or unit data corresponding to a maximum of 24 detection units in which the array numbers before and after the detection unit are continuous. 21, as shown in FIG. 21, it is within the range of 7 rows × 7 columns centering on the detection unit, and within the region 201 (more strictly speaking, within one side of the region 201). The correlation coefficient with the difference data or the unit data corresponding to the included detection unit can be obtained.
例えば、配列番号２５の検知単位の場合、配列番号２５の検知単位の前の配列番号が連続する２４個の検知単位（配列番号１乃至２４の検知単位）、および、配列番号２５の検知単位の後の配列番号が連続する２４個の検知単位（配列番号２５乃至４９の検知単位）に対応する差分データまたは単位データとの相関係数を求め、配列番号７７の検知単位の場合、配列番号７７の検知単位の前の配列番号が連続する２４個の検知単位（配列番号５３乃至７６の検知単位）、および、配列番号７７の検知単位の後の配列番号が連続する２４個の検知単位（配列番号７８乃至１０１の検知単位）に対応する差分データまたは単位データとの相関係数を求め、それ以外の検知単位に対応する差分データまたは単位データとの相関係数を０にするようにすればよい。
For example, in the case of the detection unit of SEQ ID NO: 25, 24 detection units (detection units of SEQ ID NOS: 1 to 24) in which the sequence numbers before the detection unit of SEQ ID NO: 25 are continuous, and the detection units of SEQ ID NO: 25 The correlation coefficient with the difference data or the unit data corresponding to 24 detection units (detection units of
これにより、相関係数Ｒの帯の幅を４９まで小さくすることができ、記録するデータ量をさらに削減することができる。 Thereby, the width of the band of the correlation coefficient R can be reduced to 49, and the amount of data to be recorded can be further reduced.
また、例えば、各検知単位の前および後の配列番号が連続する最大４８個の検知単位に対応する差分データまたは単位データとの間の相関関係を求めるようにすれば、さらに、その検知単位を中心とする７行×７列の範囲内に含まれる各検知単位のそれぞれについて、各検知単位を中心とする７行×７列の範囲内にあり、かつ領域２０１内（より厳密にいえば、領域２０１の１つの辺内）に含まれる検知単位に対応する差分データまたは単位データとの間の相関係数までを求めることができるようになる。
Further, for example, if a correlation between difference data or unit data corresponding to a maximum of 48 detection units in which the sequence numbers before and after each detection unit are continuous is obtained, the detection unit is further changed. For each of the detection units included in the range of 7 rows × 7 columns as the center, it is within the range of 7 rows × 7 columns around the detection units and in the region 201 (more strictly speaking, It becomes possible to obtain up to the correlation coefficient between the difference data or the unit data corresponding to the detection unit included in one side of the
さらに、例えば、領域２０１の各辺の隣接する部分の検知単位に対応する差分データまたは単位データとの相関関係を考慮するようにしてもよい。例えば、領域２０１の上辺の検知単位に対応する相関係数を算出する場合、配列番号７、１４、２１、２８、３５、４２、および４９の検知単位の下側の領域２０１の左辺の検知単位に対応する差分データまたは単位データとの相関係数を算出するようにしてもよい。
Further, for example, a correlation with difference data or unit data corresponding to a detection unit of an adjacent portion of each side of the
また、相関行列Rは対角成分が１の対称行列なので、変化領域の相関行列Rpも対角成分が１の対称行列となる。この性質を利用して、変化領域の相関行列Rpの逆行列Rp-1を算出するときに、逆行列Rp-1をLU分解した形で求めることにより、マハラノビス距離Dを算出するときの計算回数を、ｎの３乗オーダー（ｎは、逆行列Rp-1の次数）のレベルから、ｎに２乗オーダーのレベルに削減することができる。さらに、相関係数を求める範囲を制限し、相関行列Ｒが対角成分が１の対称帯行列になる場合、変形コレスキー法を用いて逆行列Rp-1を求めることにより、さらに計算速度を高速化することができる。 Further, since the correlation matrix R is a symmetric matrix with a diagonal component of 1, the correlation matrix Rp in the change region is also a symmetric matrix with a diagonal component of 1. Using this property, when calculating the inverse matrix Rp -1 of the correlation matrix Rp of the change region, the number of calculations when calculating the Mahalanobis distance D by obtaining the inverse matrix Rp -1 in the form of LU decomposition Can be reduced from the level of n to the cube (where n is the order of the inverse matrix Rp −1 ) to the level of n to the square. Furthermore, when the range for obtaining the correlation coefficient is limited, and the correlation matrix R is a symmetric band matrix with a diagonal component of 1, the inverse matrix Rp −1 is obtained using the modified Cholesky method, thereby further reducing the calculation speed. The speed can be increased.
以上のように、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づく、監視領域へのものの侵入の監視において、監視処理を行わせるプログラムであって、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データ間の相関を示す第２の相関行列を算出し、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第２の監視データとの間の第１のマハラノビス距離を第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第２の監視データを構成する単位データである第２の単位データの時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データとの間の第２のマハラノビス距離を第２の相関行列を用いて算出し、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する場合には、ものの侵入を検知することができる。また、より簡単により正確にものの侵入を検知できる。 As described above, the intrusion of the object into the monitoring area based on the monitoring data composed of the unit data corresponding to each of the detection units obtained by dividing the monitoring area into a plurality of areas, which is output from the sensor monitoring the monitoring area. In monitoring, a program for performing monitoring processing, and a first unit that is unit data constituting first monitoring data that is monitoring data output from a sensor in a state in which nothing has entered the monitoring area 1st difference monitoring which comprises the 1st correlation matrix which shows the correlation between data, or the 1st difference unit data which is the difference for every predetermined time interval of the 1st unit data corresponding to the same detection unit When the second correlation matrix indicating the correlation between the first difference unit data of the data is calculated and the entry of the object into the monitoring area is monitored, the first monitoring data configured by the first monitoring data The first Mahalanobis distance between the space and the second monitoring data that is the monitoring data output from the sensor is calculated using the first correlation matrix, or is configured by the first difference monitoring data And second difference unit data that is a difference for each time interval of second unit data that is unit data constituting second monitoring data corresponding to the same detection unit. The second Mahalanobis distance between the two differential monitoring data is calculated using the second correlation matrix, and the intrusion into the monitoring area is based on the first Mahalanobis distance or the second Mahalanobis distance. Can be detected. In addition, it is possible to detect the intrusion of objects more easily and accurately.
また、監視領域を監視するセンサから出力される、監視領域を複数の領域に区分した検知単位のそれぞれに対応する単位データから構成される監視データに基づく、監視領域へのものの侵入の監視において、監視領域にものが侵入していない状態において、センサから出力される監視データである第１の監視データを構成する単位データである第１の単位データの平均値および標準偏差、または、同じ検知単位に対応する第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの第１の差分単位データの平均値および標準偏差を算出するとともに、監視領域にものが侵入していない状態、かつ、所定のパターンの映像または照明が監視領域に投影された状態において、センサから出力される監視データである第２の監視データを構成する単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ検知単位に対応する第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの第２の差分単位データ間の相関を示す第２の相関行列を算出し、監視領域へのものの侵入を監視するとき、第１の監視データにより構成される第１の空間と、センサから出力される監視データである第３の監視データとの間の第１のマハラノビス距離を、第１の単位データの平均値および標準偏差、並びに第１の相関行列を用いて算出するか、または、第１の差分監視データにより構成される第２の空間と、同じ検知単位に対応する第３の監視データを構成する単位データである第３の単位データの時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、第１の差分単位データの平均値および標準偏差、並びに第２の相関行列を用いて算出し、第１のマハラノビス距離、または、第２のマハラノビスの距離に基づいて、監視領域へのものの侵入を判定する場合には、ものの侵入を検知することができる。また、より簡単により正確にものの侵入を検知できる。 In addition, in monitoring the intrusion of the monitoring area based on the monitoring data that is output from the sensor that monitors the monitoring area and is composed of unit data corresponding to each of the detection units that divide the monitoring area into a plurality of areas, The average value and standard deviation of the first unit data that is the unit data constituting the first monitoring data that is the monitoring data output from the sensor or the same detection unit in the state where no object has entered the monitoring area An average value and a standard deviation of the first difference unit data of the first difference monitoring data constituted by the first difference unit data which is a difference at predetermined time intervals of the first unit data corresponding to At the same time, the sensor exits in a state where no object has entered the monitoring area and an image or illumination of a predetermined pattern is projected on the monitoring area. The first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitored data, or the predetermined second unit data corresponding to the same detection unit A second correlation matrix indicating the correlation between the second difference unit data of the second difference monitoring data constituted by the second difference unit data which is a difference for each time interval is calculated, and intrusion into the monitoring area , The first Mahalanobis distance between the first space constituted by the first monitoring data and the third monitoring data, which is the monitoring data output from the sensor, is defined as the first unit data. Or the third monitoring data corresponding to the same detection unit as that of the second space constituted by the first difference monitoring data. Composition unit The second Mahalanobis distance from the third difference monitoring data constituted by the third difference unit data that is the difference at each time interval of the third unit data that is the data is the first difference unit data. When the intrusion into the monitoring area is determined based on the first Mahalanobis distance or the second Mahalanobis distance, the average value and the standard deviation of Intrusion of things can be detected. In addition, it is possible to detect the intrusion of objects more easily and accurately.
なお、以上の説明では、撮像装置１１により撮像された画像の画像情報を用いて監視する例を示したが、例えば、赤外線サーモグラフィ装置などにより検出される赤外線放射エネルギーに基づく物質の温度分布を示す画像情報、レーザ光や音波を投射しながら監視領域を走査する装置により検出されるレーザ光や音波が戻ってくるまでの時間の分布を示す画像の画像情報を用いるようにしてもよい。この場合、図６乃至図９に示されるパターンの代わりに、監視領域内で、温度変化のある物体や、凹凸のある物体を動かして取得した画像情報に基づいて、相関行列を算出するようにすればよい。
In the above description, an example of monitoring using image information of an image captured by the
また、図１０のステップＳ３３において、複数の変化領域を特定するようにしてもよい。例えば、標準化監視差分データが極大または極小となる検知単位２１を検出して、検出したそれぞれの検知単位２１について、複数の変化領域を特定することができる。複数の変化領域を特定する場合、例えば、複数の変化領域におけるマハラノビス距離の最大値、平均値、または、合計値などを、所定の検知閾値と比較することにより、監視領域への侵入物の侵入を検知するようにすればよい。
Further, in step S33 of FIG. 10, a plurality of change areas may be specified. For example, the
さらに、１枚のフレーム情報につき、複数のフレーム間隔のフレーム情報との差分データを算出し、複数の差分データの平均値、最大値、積算値などを用いて、マハラノビス距離を算出するようにしてもよい。 Further, for each piece of frame information, difference data with frame information at a plurality of frame intervals is calculated, and the Mahalanobis distance is calculated using an average value, maximum value, integrated value, etc. of the plurality of difference data. Also good.
また、複数の検知単位を１つにまとめて、差分データまたは単位データを算出するようにしてもよい。さらに、相関係数の大きな（相関関係の強い）検知単位のみを１つの検知単位にまとめるようにしてもよい。 Further, a plurality of detection units may be combined into one to calculate difference data or unit data. Furthermore, only detection units having a large correlation coefficient (strong correlation) may be combined into one detection unit.
また、フレーム間差分算出部８３により差分データを算出した後に、ノイズフィルタ部８１によりノイズを除去するようにしてもよい。
Further, after the difference data is calculated by the inter-frame
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
この記録媒体は、図３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア５１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３２や、記録部３６に含まれるハードディスクなどで構成される。
As shown in FIG. 3, this recording medium is distributed to provide a program to a user separately from the computer, and is removable such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory on which the program is recorded. It is not only configured by package media including the
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。 The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。 Further, in the present specification, the term “system” means an overall apparatus constituted by a plurality of apparatuses and means.
１ 監視システム， １１ 撮像装置， １２ 侵入検知装置， ２１ 検知単位， ３１ CPU， ３２ ROM， ３５ 出力部， ３６ 記録部， ３８ ドライブ， ５１ リムーバブルメディア， ７１ 画像前処理部， ７２ 基準空間データ算出部， ７３ データ管理部， ７４ 変化領域検出部， ７５ 距離算出部， ７６ 判定部， ８１ ノイズフィルタ部， ８２ 画像情報取得部， ８３ フレーム間差分算出部
DESCRIPTION OF
Claims (7)
前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データを構成する前記単位データである第１の単位データの平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターンの映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データを構成する前記単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの前記第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出手段と、
前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間と、前記センサから出力される前記監視データである第３の監視データとの間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データの前記時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出手段と、
前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定手段と
を含むことを特徴とする監視装置。 Based on monitoring data that is output from a sensor that monitors the monitoring area and that is composed of unit data corresponding to each detection unit that divides the monitoring area into a plurality of areas, the intrusion of the monitoring area is monitored. In the monitoring device,
The average value and standard deviation of the first unit data that is the unit data constituting the first monitoring data that is the monitoring data output from the sensor in a state where the object has not entered the monitoring area, Alternatively, the first difference unit data of the first difference monitoring data configured by the first difference unit data that is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit. The average value and the standard deviation are calculated, and the output from the sensor is performed in a state where the object does not enter the monitoring area and a video or illumination of a predetermined pattern is projected on the monitoring area. The first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data, or the same detection A second correlation data between the second difference unit data of the second difference monitoring data configured by the second difference unit data which is a difference at a predetermined time interval of the second unit data corresponding to the unit. Reference space calculating means for calculating a correlation matrix of 2;
When monitoring the intrusion of the object into the monitoring area, a first space between the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor. A Mahalanobis distance of 1 is calculated using an average value and standard deviation of the first unit data and the first correlation matrix, or a second space configured by the first difference monitoring data And a third difference unit data that is a difference for each time interval of the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit. Mahalanobis distance calculating means for calculating a second Mahalanobis distance between the difference monitoring data using an average value and standard deviation of the first difference unit data and the second correlation matrix;
And a determination unit that determines whether the object has entered the monitoring area based on the first Mahalanobis distance or the second Mahalanobis distance.
さらに含み、
前記マハラノビス距離算出手段は、前記変化領域における前記第１のマハラノビス距離または前記第２のマハラノビス距離を算出する
ことを特徴とする請求項１に記載の監視装置。 Standardized unit data obtained by standardizing the third unit data using an average value and standard deviation of the first unit data corresponding to the same detection area as the third unit data, or the third difference Based on standardized difference unit data obtained by standardizing unit data using an average value and standard deviation of the first difference unit data corresponding to the same detection area as the third difference unit data, in the monitoring area And further comprising detection means for detecting one or more change areas of a predetermined size that are likely to have intruded,
The monitoring apparatus according to claim 1 , wherein the Mahalanobis distance calculating unit calculates the first Mahalanobis distance or the second Mahalanobis distance in the change region.
前記マハラノビス距離算出手段は、前記枠状の領域内における前記第１のマハラノビス距離または前記第２のマハラノビス距離を算出する
ことを特徴とする請求項１に記載の監視装置。 The reference space calculation unit is configured to correspond to the second detection unit corresponding to the detection unit in a frame-shaped region in the monitoring region that is in contact with an outer periphery of the monitoring region, among the correlation coefficients constituting the correlation matrix. While calculating only the correlation coefficient between unit data or between said 2nd difference unit data, other correlation coefficients are set to 0,
The monitoring apparatus according to claim 1 , wherein the Mahalanobis distance calculating unit calculates the first Mahalanobis distance or the second Mahalanobis distance in the frame-shaped region.
ことを特徴とする請求項１に記載の監視装置。 The reference space calculation means includes, for each of the detection units, among the correlation coefficients constituting the correlation matrix, the second unit data or the second difference unit data corresponding to the detection unit, and the detection. While calculating only the correlation coefficient between the second unit data or the second difference unit data corresponding to the detection unit included in an area of a predetermined size centered on the unit, The monitoring apparatus according to claim 1 , wherein the correlation coefficient is 0.
前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データを構成する前記単位データである第１の単位データの平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターンの映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データを構成する前記単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの前記第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、
前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間と、前記センサから出力される前記監視データである第３の監視データとの間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データの前記時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップと、
前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップと
を含むことを特徴とする監視方法。 Based on monitoring data that is output from a sensor that monitors the monitoring area and that is composed of unit data corresponding to each detection unit that divides the monitoring area into a plurality of areas, the intrusion of the monitoring area is monitored. In the monitoring method of the monitoring device,
The average value and standard deviation of the first unit data that is the unit data constituting the first monitoring data that is the monitoring data output from the sensor in a state where the object has not entered the monitoring area, Alternatively, the first difference unit data of the first difference monitoring data configured by the first difference unit data that is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit. The average value and the standard deviation are calculated, and the output from the sensor is performed in a state where the object does not enter the monitoring area and a video or illumination of a predetermined pattern is projected on the monitoring area. The first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data, or the same detection A second correlation data between the second difference unit data of the second difference monitoring data configured by the second difference unit data which is a difference at a predetermined time interval of the second unit data corresponding to the unit. A reference space calculating step of calculating a correlation matrix of 2;
When monitoring the intrusion of the object into the monitoring area, a first space between the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor. A Mahalanobis distance of 1 is calculated using an average value and standard deviation of the first unit data and the first correlation matrix, or a second space configured by the first difference monitoring data And a third difference unit data that is a difference for each time interval of the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit. A Mahalanobis distance calculation step for calculating a second Mahalanobis distance from the difference monitoring data using the average value and standard deviation of the first difference unit data and the second correlation matrix. And,
And a determination step of determining whether the object has entered the monitoring area based on the first Mahalanobis distance or the second Mahalanobis distance.
前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データを構成する前記単位データである第１の単位データの平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターンの映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データを構成する前記単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの前記第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、
前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間と、前記センサから出力される前記監視データである第３の監視データとの間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データの前記時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップと、
前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 Based on monitoring data that is output from a sensor that monitors the monitoring area and that is composed of unit data corresponding to each detection unit that divides the monitoring area into a plurality of areas, the intrusion of the monitoring area is monitored. A program for monitoring processing of a monitoring device,
The average value and standard deviation of the first unit data that is the unit data constituting the first monitoring data that is the monitoring data output from the sensor in a state where the object has not entered the monitoring area, Alternatively, the first difference unit data of the first difference monitoring data configured by the first difference unit data that is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit. The average value and the standard deviation are calculated, and the output from the sensor is performed in a state where the object does not enter the monitoring area and a video or illumination of a predetermined pattern is projected on the monitoring area. The first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data, or the same detection A second correlation data between the second difference unit data of the second difference monitoring data configured by the second difference unit data which is a difference at a predetermined time interval of the second unit data corresponding to the unit. A reference space calculating step of calculating a correlation matrix of 2;
When monitoring the intrusion of the object into the monitoring area, a first space between the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor. A Mahalanobis distance of 1 is calculated using an average value and standard deviation of the first unit data and the first correlation matrix, or a second space configured by the first difference monitoring data And a third difference unit data that is a difference for each time interval of the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit. A Mahalanobis distance calculation step for calculating a second Mahalanobis distance from the difference monitoring data using the average value and standard deviation of the first difference unit data and the second correlation matrix. And,
A computer-readable program comprising: a determination step of determining whether the object has entered the monitoring area based on the first Mahalanobis distance or the second Mahalanobis distance. Recording medium.
前記監視領域に前記ものが侵入していない状態において、前記センサから出力される前記監視データである第１の監視データを構成する前記単位データである第１の単位データの平均値および標準偏差、または、同じ前記検知単位に対応する前記第１の単位データの所定の時間間隔ごとの差分である第１の差分単位データにより構成される第１の差分監視データの前記第１の差分単位データの平均値および標準偏差を算出するとともに、前記監視領域に前記ものが侵入していない状態、かつ、所定のパターンの映像または照明が前記監視領域に投影された状態において、前記センサから出力される前記監視データである第２の監視データを構成する前記単位データである第２の単位データ間の相関を示す第１の相関行列、または、同じ前記検知単位に対応する前記第２の単位データの所定の時間間隔ごとの差分である第２の差分単位データにより構成される第２の差分監視データの前記第２の差分単位データ間の相関を示す第２の相関行列を算出する基準空間算出ステップと、
前記監視領域への前記ものの侵入を監視するとき、前記第１の監視データにより構成される第１の空間と、前記センサから出力される前記監視データである第３の監視データとの間の第１のマハラノビス距離を、前記第１の単位データの平均値および標準偏差、並びに前記第１の相関行列を用いて算出するか、または、前記第１の差分監視データにより構成される第２の空間と、同じ前記検知単位に対応する前記第３の監視データを構成する前記単位データである第３の単位データの前記時間間隔ごとの差分である第３の差分単位データにより構成される第３の差分監視データとの間の第２のマハラノビス距離を、前記第１の差分単位データの平均値および標準偏差、並びに前記第２の相関行列を用いて算出するマハラノビス距離算出ステップと、
前記第１のマハラノビス距離、または、前記第２のマハラノビスの距離に基づいて、前記監視領域への前記ものの侵入を判定する判定ステップと
を含むことを特徴とするプログラム。 Based on monitoring data that is output from a sensor that monitors the monitoring area and that is composed of unit data corresponding to each detection unit that divides the monitoring area into a plurality of areas, the intrusion of the monitoring area is monitored. A program for causing a monitoring processing computer of a monitoring device to perform monitoring processing,
The average value and standard deviation of the first unit data that is the unit data constituting the first monitoring data that is the monitoring data output from the sensor in a state where the object has not entered the monitoring area, Alternatively, the first difference unit data of the first difference monitoring data configured by the first difference unit data that is a difference at predetermined time intervals of the first unit data corresponding to the same detection unit. The average value and the standard deviation are calculated, and the output from the sensor is performed in a state where the object does not enter the monitoring area and a video or illumination of a predetermined pattern is projected on the monitoring area. The first correlation matrix indicating the correlation between the second unit data that is the unit data constituting the second monitoring data that is the monitoring data, or the same detection A second correlation data between the second difference unit data of the second difference monitoring data configured by the second difference unit data which is a difference at a predetermined time interval of the second unit data corresponding to the unit. A reference space calculating step of calculating a correlation matrix of 2;
When monitoring the intrusion of the object into the monitoring area, a first space between the first space constituted by the first monitoring data and the third monitoring data which is the monitoring data output from the sensor. A Mahalanobis distance of 1 is calculated using an average value and standard deviation of the first unit data and the first correlation matrix, or a second space configured by the first difference monitoring data And a third difference unit data that is a difference for each time interval of the third unit data that is the unit data constituting the third monitoring data corresponding to the same detection unit. A Mahalanobis distance calculation step for calculating a second Mahalanobis distance from the difference monitoring data using the average value and standard deviation of the first difference unit data and the second correlation matrix. And,
And a determination step of determining whether the object has entered the monitoring area based on the distance of the first Mahalanobis or the distance of the second Mahalanobis.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005026325A JP4617905B2 (en) | 2005-02-02 | 2005-02-02 | Monitoring device and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005026325A JP4617905B2 (en) | 2005-02-02 | 2005-02-02 | Monitoring device and method, recording medium, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006215704A JP2006215704A (en) | 2006-08-17 |
| JP4617905B2 true JP4617905B2 (en) | 2011-01-26 |
Family
ID=36978910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005026325A Expired - Fee Related JP4617905B2 (en) | 2005-02-02 | 2005-02-02 | Monitoring device and method, recording medium, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4617905B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010177943A (en) * | 2009-01-28 | 2010-08-12 | Sanyo Electric Co Ltd | Projection type video display apparatus and intrusion detection apparatus |
| AU2012283743B2 (en) | 2011-07-08 | 2015-02-26 | Australian Nuclear Science And Technology Organisation | Radionuclide detection and identification |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276602A (en) * | 1999-03-23 | 2000-10-06 | Nec Corp | Device and method for detecting object and recording medium recording object detection program |
| JP2002032760A (en) * | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | Method and device for extracting moving object |
-
2005
- 2005-02-02 JP JP2005026325A patent/JP4617905B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276602A (en) * | 1999-03-23 | 2000-10-06 | Nec Corp | Device and method for detecting object and recording medium recording object detection program |
| JP2002032760A (en) * | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | Method and device for extracting moving object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006215704A (en) | 2006-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101237089B1 (en) | Forest smoke detection method using random forest classifier method | |
| US10346688B2 (en) | Congestion-state-monitoring system | |
| US9224278B2 (en) | Automated method and system for detecting the presence of a lit cigarette | |
| US10713798B2 (en) | Low-complexity motion detection based on image edges | |
| EP3016382B1 (en) | Monitoring methods and devices | |
| US20130021477A1 (en) | Method and camera for determining an image adjustment parameter | |
| US20190295393A1 (en) | Image capturing apparatus with variable event detecting condition | |
| JP4811653B2 (en) | Object detection device | |
| US9818277B1 (en) | Systems and methods for smoke detection | |
| CN107122743B (en) | Security monitoring method and device and electronic equipment | |
| JP2007209008A (en) | Surveillance device | |
| KR20180086048A (en) | Camera and imgae processing method thereof | |
| KR101454644B1 (en) | Loitering Detection Using a Pedestrian Tracker | |
| JP3486229B2 (en) | Image change detection device | |
| JP2010204860A (en) | Video-monitoring system | |
| JP2007028680A (en) | Monitoring device | |
| Purohit et al. | Multi-sensor surveillance system based on integrated video analytics | |
| US8311345B2 (en) | Method and system for detecting flame | |
| CN110505438B (en) | Queuing data acquisition method and camera | |
| JP4617905B2 (en) | Monitoring device and method, recording medium, and program | |
| JP2020071698A (en) | Fire detection device, fire detection method, and fire monitoring system | |
| JP4707019B2 (en) | Video surveillance apparatus and method | |
| JP5142416B2 (en) | Object detection device | |
| JP5710230B2 (en) | Monitoring system and monitoring method | |
| JP2002032759A (en) | Monitor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |