JP2008234551A - Abnormality detection apparatus and abnormality detection program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an abnormality detection apparatus capable of reducing erroneous reports of erroneously detecting an abnormal monitoring object as a normal monitoring object, by learning. <P>SOLUTION: The abnormality detection apparatus 20A is provided with: an imaging data acquisition part 21 which acquires imaging data of the monitoring object; a normal learning data storage part 22A which stores normal learning data obtained by preliminarily learning the normal monitoring object; a normality decision part 23A which decides whether or not the monitoring object is normal; an abnormal learning data storage part 24A which stores abnormal learning data obtained by preliminarily learning the abnormal monitoring object; an abnormality decision part 25A which decides whether or not the monitoring object is abnormal and a total decision part 26A which decides whether the monitoring object is normal or abnormal on the basis of the decision result of the normality decision part 23A and the decision result of the abnormality decision part 25A. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像装置により撮影した撮像データを用いて、監視対象の異常を検知する異常検知装置及び異常検知プログラムに関する。   The present invention relates to an abnormality detection device and an abnormality detection program for detecting an abnormality of a monitoring target using imaging data photographed by an imaging device.

犯罪発生率の増加等の社会不安に対処するために、不審者、不審車両等を監視することを目的としたカメラの設置台数が増加している。多数のカメラを用いた監視では、監視領域を少ない監視員で効率的に監視するための監視支援技術が必要になる。   In order to cope with social unrest such as an increase in crime rate, the number of cameras installed for the purpose of monitoring suspicious persons, suspicious vehicles, etc. is increasing. Monitoring using a large number of cameras requires monitoring support technology for efficiently monitoring a monitoring area with a small number of monitoring personnel.

このような監視支援技術として、特許文献１には、立体高次局所自己相関特徴という映像の特徴量を抽出し、この特徴量を用いて、映像中のヒトの正常行動を学習し、学習した正常行動から逸脱した行動を異常行動として検知する技術が開示されている。   As such a monitoring support technology, Patent Document 1 extracts a feature amount of a video called a three-dimensional higher-order local autocorrelation feature, and learns and learns a human normal behavior in the video using the feature amount. A technique for detecting an action deviating from a normal action as an abnormal action is disclosed.

また、特許文献２には、プラントが正常に稼働しているときの映像を正常状態として学習し、学習した正常状態から逸脱した状態を異常状態として検知する技術が開示されている。この技術は、異常状態を検知した場合に、予め学習しておいた複数の異常状態のパターンと照合することにより、異常状態の種別を識別する。   Patent Document 2 discloses a technique for learning an image when a plant is operating normally as a normal state and detecting a state deviating from the learned normal state as an abnormal state. In this technique, when an abnormal state is detected, the type of the abnormal state is identified by collating with a plurality of abnormal state patterns learned in advance.

特開２００６−７９２７２号公報JP 2006-79272 A 特開平７−７８２３９号公報JP 7-78239 A

特許文献１に開示された技術は、正常行動を異常行動として誤検知してしまう誤報に対しては、その映像を追加学習し、正常行動の範囲を更新することにより対応することができる。しかし、特許文献１に開示された技術は、異常行動を検知することができず、異常行動を正常行動として誤検知してしまう失報に対しては、正常行動に係る映像を追加学習しても失報を減らすことができないという問題を有している。   The technique disclosed in Patent Document 1 can cope with a false alarm that erroneously detects normal behavior as abnormal behavior by additionally learning the video and updating the range of normal behavior. However, the technique disclosed in Patent Document 1 cannot detect abnormal behavior and additionally learns a video related to normal behavior for false alarms that erroneously detect abnormal behavior as normal behavior. Even has the problem that it can not reduce the misreporting.

また、特許文献２に開示された技術は、特許文献１に開示された技術と同様の手法による異常状態の検知に加えて、異常状態を検知した場合に、異常状態の種別を識別することができる。しかし、特許文献２に開示された技術は、特許文献１に開示された技術と同様、予め学習した正常状態から逸脱した状態を異常状態として検知するものであり、正常状態に係る映像を追加学習しても失報を減らすことができないという問題を有している。   Further, the technique disclosed in Patent Document 2 can identify the type of an abnormal condition when an abnormal condition is detected in addition to the detection of an abnormal condition using the same technique as the technique disclosed in Patent Document 1. it can. However, the technique disclosed in Patent Document 2 is to detect a state deviating from a normal state learned in advance as an abnormal state, as in the technique disclosed in Patent Document 1, and additionally learn images related to the normal state. Even so, there is a problem that the misreporting cannot be reduced.

本発明は、前記した問題を解決すべく創案されたものであり、学習によって、異常な監視対象を正常な監視対象として誤検知してしまう失報を減らすことが可能な異常検知装置及び異常検知プログラムを提供することを目的とする。   The present invention was devised to solve the above-described problem, and an abnormality detection device and an abnormality detection capable of reducing false alarms that erroneously detect an abnormal monitoring target as a normal monitoring target through learning. The purpose is to provide a program.

前記目的を達成するため、本発明の異常検知装置は、監視対象の撮像データを取得する撮像データ取得部と、正常な前記監視対象を予め学習した正常学習データを記憶する正常学習データ記憶部と、前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象が正常であるか否かを判定する正常判定部と、異常な前記監視対象を予め学習した異常学習データを記憶する異常学習データ記憶部と、前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象が異常であるか否かを判定する異常判定部と、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象が正常であるか異常であるかを判定する総合判定部と、を備えていることを特徴とする。   In order to achieve the above object, the abnormality detection device of the present invention includes an imaging data acquisition unit that acquires imaging data to be monitored, and a normal learning data storage unit that stores normal learning data in which the normal monitoring target is learned in advance. Based on the imaging data and the normal learning data, a normal determination unit that determines whether or not the monitoring target included in the imaging data is normal, and abnormal learning data obtained by learning the abnormal monitoring target in advance An abnormality determination data storage unit for storing, an abnormality determination unit for determining whether or not a monitoring target included in the imaging data is abnormal based on the imaging data and the abnormality learning data, and a normal determination unit A comprehensive determination unit that determines whether the monitoring target included in the imaging data is normal or abnormal based on the determination result and the determination result of the abnormality determination unit. And butterflies.

また、前記目的を達成するため、本発明の異常検知プログラムは、コンピュータを、監視対象の撮像データを取得する撮像データ取得部、予め記憶されている正常な前記監視対象を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象が正常であるか否かを判定する正常判定部、予め記憶されている異常な前記監視対象を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象が異常であるか否かを判定する異常判定部、及び、前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象が正常であるか異常であるかを判定する総合判定部、として機能させることを特徴とする。   In order to achieve the above object, the abnormality detection program according to the present invention includes a computer, an imaging data acquisition unit that acquires imaging data to be monitored, and normal learning data in which the normal monitoring targets stored in advance are learned in advance. And a normality determination unit that determines whether or not the monitoring target included in the imaging data is normal based on the imaging data, the abnormal learning data that has previously learned the abnormal monitoring target that is stored in advance, and the Based on the imaging data, based on the abnormality determination unit that determines whether the monitoring target included in the imaging data is abnormal, and the determination result of the normality determination unit and the determination result of the abnormality determination unit , And functioning as a comprehensive determination unit that determines whether the monitoring target included in the imaging data is normal or abnormal.

本発明によれば、学習によって、異常な監視対象を正常な監視対象として誤検知してしまう失報を減らすことができる。   ADVANTAGE OF THE INVENTION According to this invention, the misreporting which misdetects an abnormal monitoring object as a normal monitoring object by learning can be reduced.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted.

本発明の異常検知装置が検知する「異常」は、複数のフレーム（画像）から検知される「異常行動」と、単一のフレームから検知される「異常状態」と、を含む概念である。以下の実施形態においては、異常行動を検知する場合を例にとり説明するが、これは本発明の技術的範囲を制限するものではない。また、本発明の監視対象は、ヒト、動物、車両等を含む。   The “abnormality” detected by the abnormality detection device of the present invention is a concept including “abnormal behavior” detected from a plurality of frames (images) and “abnormal state” detected from a single frame. In the following embodiments, a case where abnormal behavior is detected will be described as an example, but this does not limit the technical scope of the present invention. The monitoring target of the present invention includes humans, animals, vehicles, and the like.

＜第一の実施形態＞
≪異常検知システム≫
図１は、本発明の第一の実施形態に係る異常検知装置を備えた異常検知システムを示すブロック図である。図１に示すように、異常検知システムは、撮像装置１０と、異常行動検知装置２０Ａと、外部装置３０と、を備えている。 <First embodiment>
≪Abnormality detection system≫
FIG. 1 is a block diagram showing an abnormality detection system including an abnormality detection apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the abnormality detection system includes an imaging device 10, an abnormal behavior detection device 20 </ b> A, and an external device 30.

撮像装置１０は、監視対象を撮像する装置（例えば、ビデオカメラ等）である。撮像することにより得られた撮像データは、異常検知装置２０Ａに出力される。なお、異常検知システムは、撮像装置１０に代えて、映像再生装置（例えば、ビデオレコーダ等）を備えていてもよい。この場合には、映像再生装置から異常検知装置２０Ａに向けて撮像データが出力される。リアルタイムの映像を利用する場合には撮像装置１０が好適であり、過去に蓄積された映像を利用する場合には映像再生装置が好適である。   The imaging device 10 is a device (for example, a video camera) that images a monitoring target. Imaging data obtained by imaging is output to the abnormality detection device 20A. Note that the abnormality detection system may include a video reproduction device (for example, a video recorder) instead of the imaging device 10. In this case, imaging data is output from the video reproduction device toward the abnormality detection device 20A. The imaging device 10 is suitable when using real-time video, and the video reproduction device is preferable when using video accumulated in the past.

異常検知装置２０Ａは、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力回路を備えており、撮像データを用いて監視対象の異常を検知する装置である。本実施形態では、異常検知装置２０Ａは、監視対象の異常行動を検知する。異常行動が検知された場合には、検知結果は、外部装置３０に出力される。   The abnormality detection device 20A includes, for example, a CPU, a RAM, a ROM, and an input / output circuit, and is a device that detects an abnormality of a monitoring target using imaging data. In the present embodiment, the abnormality detection device 20A detects an abnormal behavior to be monitored. When abnormal behavior is detected, the detection result is output to the external device 30.

外部装置３０は、異常検知装置２０Ａの検知結果を出力する装置（例えば、スピーカ、ディスプレイ）である。また、外部装置３０は、検知結果を警備員に通知するための警備員用端末、検知結果に基づいてエレベータの移動を制限するエレベータ制御装置、検知結果に基づいて自動ドアの動作を制限する自動ドア制御装置等をさらに備える構成であってもよい。すなわち、異常検知装置２０Ａが検知結果をエレベータ制御装置又は自動ドア制御装置に発報することにより、エレベータ又は自動ドアの動作を制限し、監視対象としてのヒト、すなわち不審者の侵入を防ぐことができる。   The external device 30 is a device (for example, a speaker or a display) that outputs the detection result of the abnormality detection device 20A. In addition, the external device 30 includes a guard terminal for notifying the guard of the detection result, an elevator control device for restricting the movement of the elevator based on the detection result, and an automatic for restricting the operation of the automatic door based on the detection result. The configuration may further include a door control device or the like. That is, the abnormality detection device 20A reports the detection result to the elevator control device or the automatic door control device, thereby restricting the operation of the elevator or the automatic door and preventing the intrusion of a human being as a monitoring target, that is, a suspicious person. it can.

≪異常検知装置２０Ａの詳細構成≫
続いて、異常検知装置２０Ａの詳細構成について説明する。図１に示すように、異常検知装置２０Ａは、機能部として、撮像データ取得部２１と、正常学習データ記憶部２２Ａと、正常判定部２３Ａと、異常学習データ記憶部２４Ａと、異常判定部２５Ａと、総合判定部２６Ａと、発報部２７と、を備えている。 << Detailed Configuration of Abnormality Detection Device 20A >>
Next, a detailed configuration of the abnormality detection device 20A will be described. As shown in FIG. 1, the abnormality detection device 20A includes, as function units, an imaging data acquisition unit 21, a normal learning data storage unit 22A, a normality determination unit 23A, an abnormal learning data storage unit 24A, and an abnormality determination unit 25A. And a comprehensive determination unit 26A and a reporting unit 27.

撮像データ取得部２１は、撮像装置１０により出力された撮像データを取得する。取得された撮像データは、正常判定部２３Ａ及び異常判定部２５Ａに出力される。   The imaging data acquisition unit 21 acquires imaging data output by the imaging device 10. The acquired imaging data is output to the normality determination unit 23A and the abnormality determination unit 25A.

正常学習データ記憶部２２Ａは、監視対象の正常行動を予め学習した結果である正常学習データを記憶する。   The normal learning data storage unit 22A stores normal learning data that is a result of learning in advance the normal behavior to be monitored.

正常判定部２３Ａは、撮像データ取得部２１により出力された撮像データと、正常学習データ記憶部２２Ａから読み出された正常学習データと、に基づいて、撮像データに含まれる監視対象の行動が正常行動であるか否かを判定する。ここで、正常判定部２３Ａは、監視対象の行動が正常行動でない場合（非正常行動）には、監視対象の行動は異常行動であると判定する。判定結果は、総合判定部２６Ａに出力される。   Based on the imaging data output from the imaging data acquisition unit 21 and the normal learning data read from the normal learning data storage unit 22A, the normality determination unit 23A has normal monitoring target behavior included in the imaging data. It is determined whether or not it is an action. Here, the normality determination unit 23A determines that the behavior to be monitored is abnormal behavior when the behavior to be monitored is not normal behavior (non-normal behavior). The determination result is output to the comprehensive determination unit 26A.

異常学習データ記憶部２４Ａは、監視対象の異常行動を予め学習した結果である異常学習データを記憶する。   The abnormality learning data storage unit 24A stores abnormality learning data that is a result of learning in advance the abnormal behavior to be monitored.

異常判定部２５Ａは、撮像データ取得部２１により出力された撮像データと、異常学習データ記憶部２４Ａから読み出された異常学習データと、に基づいて、撮像データに含まれる監視対象の行動が異常行動であるか否かを判定する。ここで、異常判定部２５Ａは、監視対象の行動が異常行動ではない場合（非異常行動）には、監視対象の行動は正常行動であると判定する。判定結果は、総合判定部２６Ａに出力される。   Based on the imaging data output from the imaging data acquisition unit 21 and the abnormality learning data read from the abnormality learning data storage unit 24A, the abnormality determination unit 25A detects that the behavior of the monitoring target included in the imaging data is abnormal. It is determined whether or not it is an action. Here, when the behavior to be monitored is not abnormal behavior (non-abnormal behavior), the abnormality determination unit 25A determines that the behavior to be monitored is normal behavior. The determination result is output to the comprehensive determination unit 26A.

総合判定部２６Ａは、正常判定部２３Ａの判定結果と異常判定部２５Ａの判定結果とに基づいて、撮像データに含まれる監視対象の行動が正常行動であるか異常行動であるかを総合的に判定する。判定結果は、発報部２７に出力される。   Based on the determination result of the normality determination unit 23A and the determination result of the abnormality determination unit 25A, the comprehensive determination unit 26A comprehensively determines whether the action to be monitored included in the imaging data is a normal action or an abnormal action. judge. The determination result is output to the reporting unit 27.

発報部２７は、総合判定部２６Ａの判定結果に基づいて、監視対象の行動が異常行動であると判定された場合に、その旨を通知する発報データを外部装置３０に出力する。   When it is determined that the behavior to be monitored is an abnormal behavior based on the determination result of the comprehensive determination unit 26A, the notification unit 27 outputs notification data to that effect to the external device 30.

≪正常判定部２３Ａの詳細構成≫
第一の実施形態に係る正常判定部２３Ａは、一例として、特開２００６−７９２７２号公報に開示されている判定手法を用いて、監視対象の行動が正常行動であるか否かを判定する。この場合には、正常学習データ記憶部２２Ａに記憶された正常学習データは、線形変換行列、分布の中心（重心）及び分散共分散行列の逆行列となる。これらについては後記する。 << Detailed Configuration of Normal Determination Unit 23A >>
As an example, the normality determination unit 23A according to the first embodiment determines whether or not the behavior to be monitored is a normal behavior using a determination method disclosed in Japanese Patent Laid-Open No. 2006-79272. In this case, the normal learning data stored in the normal learning data storage unit 22A is a linear transformation matrix, a distribution center (center of gravity), and an inverse matrix of the variance-covariance matrix. These will be described later.

図２は、図１の正常判定部を示す詳細ブロック図である。図２に示すように、正常判定部２３Ａは、動き抽出部２３ａと、特徴量算出部２３ｂと、特徴量変換部２３ｃと、正常度算出部２３ｄと、正常度閾値記憶部２３ｅと、正常度判定部２３ｆと、を備えている。   FIG. 2 is a detailed block diagram illustrating the normality determination unit of FIG. As shown in FIG. 2, the normality determination unit 23A includes a motion extraction unit 23a, a feature amount calculation unit 23b, a feature amount conversion unit 23c, a normality calculation unit 23d, a normality threshold storage unit 23e, and a normality level. And a determination unit 23f.

動き抽出部２３ａは、撮像データ取得部２１により取得された撮像データの中から、動きのある部分を抽出する。これは、判定に関係のない静止部分（例えば、背景等）に係る撮像データを除去するために行われる。動きのある部分を抽出するために、動き抽出部２３ａは、特開２００５−９２３４６号公報に開示された画像処理手法、例えば、単純に二つのフレーム間の差分を取る手法、エッジ抽出処理を施した後で二つのフレーム間の差分を取る手法等を用いることができる。動き抽出部２３ａは、動きのある部分を抽出した後、照明変動等のノイズの影響を除去するために、動きのある部分に対し、画素値が０又は１の値を取るように二値化処理を施す。動きのある部分が抽出され、二値化処理を施された撮像データは、特徴量算出部２３ｂに出力される。   The motion extraction unit 23a extracts a portion with motion from the imaging data acquired by the imaging data acquisition unit 21. This is performed in order to remove imaging data related to a stationary portion (for example, a background or the like) that is not related to determination. In order to extract a portion having motion, the motion extraction unit 23a performs an image processing method disclosed in Japanese Patent Laid-Open No. 2005-92346, for example, a method of simply taking a difference between two frames and an edge extraction process. After that, a method of taking a difference between two frames can be used. After extracting the moving part, the motion extracting unit 23a binarizes the moving part so that the pixel value is 0 or 1 in order to remove the influence of noise such as illumination fluctuation. Apply processing. The imaging data from which the part with motion is extracted and binarized is output to the feature amount calculation unit 23b.

特徴量算出部２３ｂは、動きのある部分の特徴量を算出する。特徴量算出部２３ｂは、特徴量として、特開２００６−９２３４６号公報に開示された立体高次局所自己相関特徴を用いることができる。立体高次局所自己相関特徴は、連続する三つのフレームの映像からなるボクセルデータの幾何学的特徴を２５１次元の特徴ベクトルとして算出する手法である。この特徴量の算出手法については後記する。算出された特徴量、すなわち特徴ベクトルは、特徴量変換部２３ｃに出力される。   The feature amount calculation unit 23b calculates a feature amount of a moving part. The feature quantity calculation unit 23b can use the three-dimensional higher-order local autocorrelation feature disclosed in Japanese Patent Laid-Open No. 2006-92346 as the feature quantity. The three-dimensional higher-order local autocorrelation feature is a method of calculating a geometric feature of voxel data composed of videos of three consecutive frames as a 251-dimensional feature vector. This feature amount calculation method will be described later. The calculated feature quantity, that is, the feature vector is output to the feature quantity conversion unit 23c.

特徴量変換部２３ｃは、特徴量算出部２３ｂにより算出された特徴量、すなわち特徴ベクトルを、正常学習データ記憶部２２に記憶された変換行列を用いて座標変換（線形変換）する。この変換は、特徴ベクトルに含まれる正常行動の成分を抽出するためのものである。ここで、特徴量算出部２３ｂにより算出された特徴ベクトルをｘ、正常学習データ記憶部２２に記憶された変換行列をＡ、特徴量変換部２３ｃにより変換された特徴ベクトルをｘ’とすると、この変換は式（１）により表される。
ｘ’＝Ａｘ …式（１）
変換行列Ａは、主成分分析等の多変量解析によって算出される行列である。この変換行列Ａの算出手法については後記する。撮像データの特徴量として高次局所自己相関特徴、すなわち２５１次元の特徴ベクトルｘを用いる場合には、変換行列Ａは、ｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。また、変換行列Ａで線形変換された特徴ベクトルｘ’は、ｎ次元のベクトルとなる。変換された特徴量、すなわち特徴ベクトルｘ’は、正常度算出部２３ｄに出力される。 The feature amount conversion unit 23c performs coordinate conversion (linear conversion) on the feature amount calculated by the feature amount calculation unit 23b, that is, the feature vector, using the conversion matrix stored in the normal learning data storage unit 22. This conversion is for extracting a component of normal behavior included in the feature vector. Here, when the feature vector calculated by the feature amount calculation unit 23b is x, the transformation matrix stored in the normal learning data storage unit 22 is A, and the feature vector converted by the feature amount conversion unit 23c is x ′, The transformation is expressed by equation (1).
x ′ = Ax Equation (1)
The transformation matrix A is a matrix calculated by multivariate analysis such as principal component analysis. A method for calculating the transformation matrix A will be described later. When a higher-order local autocorrelation feature, that is, a 251-dimensional feature vector x is used as the feature amount of the imaging data, the transformation matrix A is a matrix having a size of n × 251 (n = 1, 2,..., 251). It becomes. Further, the feature vector x ′ linearly transformed by the transformation matrix A is an n-dimensional vector. The converted feature quantity, that is, the feature vector x ′ is output to the normality calculation unit 23d.

正常度算出部２３ｄは、特徴量変換部２３ｃにより変換された特徴ベクトルｘ’を用いて、予め学習された正常行動との類似度合いを表す正常度を算出する。ここで、正常度はスカラー量であり、値が小さいほど正常であることを表し、値が大きいほど非正常、すなわち異常であることを表す。正常度の具体的な算出手法については後記する。算出された正常度は、正常度判定部２３ｆに出力される。   The normality level calculation unit 23d calculates a normality level indicating the degree of similarity with the normal behavior learned in advance using the feature vector x 'converted by the feature value conversion unit 23c. Here, the normality is a scalar quantity. The smaller the value, the more normal, and the larger the value, the abnormal, that is, the abnormal. A specific method for calculating the normality will be described later. The calculated normality is output to the normality determination unit 23f.

正常度閾値記憶部２３ｅは、正常度閾値を記憶する。   The normality threshold storage unit 23e stores a normality threshold.

正常度判定部２３ｆは、正常度算出部２３ｄにより算出された正常度に基づいて、監視対象の行動が正常行動であるか否かを判定する。正常度判定部２３ｆは、判定基準として、正常度閾値記憶部２３ｅに記憶された正常度閾値を用いる。正常度が正常度閾値以下である場合には、正常度判定部２３ｆは、監視対象の行動は正常行動であると判定する。一方、正常度が正常度閾値よりも大きい場合には、正常度判定部２３ｆは、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定する。判定結果は、総合判定部２６に出力される。   The normality determination unit 23f determines whether the behavior to be monitored is a normal behavior based on the normality calculated by the normality calculation unit 23d. The normality determination unit 23f uses the normality threshold stored in the normality threshold storage unit 23e as a determination criterion. When the normality is equal to or lower than the normality threshold, the normality determination unit 23f determines that the behavior to be monitored is a normal behavior. On the other hand, when the normality is larger than the normality threshold, the normality determination unit 23f determines that the behavior to be monitored is not normal behavior (non-normal behavior), that is, abnormal behavior. The determination result is output to the comprehensive determination unit 26.

≪異常判定部２５Ａの詳細構成≫
第一の実施形態に係る異常判定部２５Ａは、一例として、特開２００６−７９２７２号公報に開示されている判定手法を用いて、監視対象の行動が異常行動であるか否かを判定する。この場合には、異常学習データ記憶部２４Ａに記憶された異常学習データは、線形変換行列、分布の中心（重心）及び共分散行列の逆行列となる。これらについては後記する。 << Detailed Configuration of Abnormality Determination Unit 25A >>
As an example, the abnormality determination unit 25A according to the first embodiment determines whether or not the action to be monitored is an abnormal action using a determination method disclosed in Japanese Patent Laid-Open No. 2006-79272. In this case, the abnormal learning data stored in the abnormal learning data storage unit 24A is a linear transformation matrix, a distribution center (center of gravity), and an inverse matrix of a covariance matrix. These will be described later.

図３は、図１の異常判定部を示す詳細ブロック図である。図３に示すように、異常判定部２５Ａは、動き抽出部２５ａと、特徴量算出部２５ｂと、特徴量変換部２５ｃと、異常度算出部２５ｄと、異常度閾値記憶部２５ｅと、異常度判定部２５ｆと、を備えている。   FIG. 3 is a detailed block diagram illustrating the abnormality determination unit of FIG. As illustrated in FIG. 3, the abnormality determination unit 25A includes a motion extraction unit 25a, a feature amount calculation unit 25b, a feature amount conversion unit 25c, an abnormality degree calculation unit 25d, an abnormality degree threshold storage unit 25e, and an abnormality degree. And a determination unit 25f.

動き抽出部２５ａは、撮像データ取得部２１により取得された撮像データの中から、動きのある部分を抽出する。これは、背景等の判定に関係のない静止部分に係る撮像データを除去するために行われる。動きのある部分を抽出するために、動き抽出部２５ａは、特開２００５−９２３４６号公報に開示された画像処理手法、例えば、単純に二つのフレーム間の差分を取る手法、エッジ抽出処理を施した後で二つのフレーム間の差分を取る手法等を用いることができる。動き抽出部２５ａは、動きのある部分を抽出した後、照明変動等のノイズの影響を除去するために、動きのある部分に対し、画素値が０又は１の値を取るように二値化処理を施す。動きのある部分が抽出され、二値化処理を施された撮像データは、特徴量算出部２５ｂに出力される。   The motion extraction unit 25a extracts a portion with motion from the imaging data acquired by the imaging data acquisition unit 21. This is performed in order to remove imaging data related to a still portion that is not related to the background determination. In order to extract a portion with motion, the motion extraction unit 25a performs an image processing method disclosed in Japanese Patent Application Laid-Open No. 2005-92346, for example, a method of simply taking a difference between two frames and an edge extraction process. After that, a method of taking a difference between two frames can be used. The motion extraction unit 25a, after extracting the part with motion, binarizes so that the pixel value takes 0 or 1 with respect to the part with motion in order to remove the influence of noise such as illumination fluctuations. Apply processing. The imaging data from which a portion with motion is extracted and binarized is output to the feature amount calculation unit 25b.

特徴量算出部２５ｂは、動きのある部分の特徴量を算出する。特徴量算出部２５ｂは、特徴量として、特開２００６−９２３４６号公報に開示された立体高次局所自己相関特徴を用いることができる。立体高次局所自己相関特徴は、連続する三つのフレームの映像からなるボクセルデータの幾何学的特徴を２５１次元の特徴ベクトルとして算出する手法である。この特徴量の算出手法については後記する。算出された特徴量、すなわち特徴ベクトルは、特徴量変換部２５ｃに出力される。   The feature amount calculation unit 25b calculates a feature amount of a moving part. The feature amount calculation unit 25b can use a three-dimensional higher-order local autocorrelation feature disclosed in JP-A-2006-92346 as a feature amount. The three-dimensional higher-order local autocorrelation feature is a method of calculating a geometric feature of voxel data composed of videos of three consecutive frames as a 251-dimensional feature vector. This feature amount calculation method will be described later. The calculated feature quantity, that is, the feature vector is output to the feature quantity conversion unit 25c.

特徴量変換部２５ｃは、特徴量算出部２５ｂにより算出された特徴量、すなわち特徴ベクトルを、正常学習データ記憶部２２に記憶された変換行列を用いて座標変換（線形変換）する。この変換は、特徴ベクトルに含まれる異常行動の成分を抽出するためのものである。ここで、特徴量算出部２５ｂにより算出された特徴ベクトルをｙ、異常学習データ記憶部２４に記憶された変換行列をＢ、特徴量変換部２５ｃにより変換された特徴ベクトルをｙ’とすると、この変換は式（２）により表される。
ｙ’＝Ｂｙ …式（２）
変換行列Ｂは、主成分分析等の多変量解析によって算出される行列である。この変換行列Ｂの算出手法については後記する。撮像データの特徴量として高次局所自己相関特徴、すなわち２５１次元の特徴ベクトルｙを用いる場合には、変換行列Ｂは、ｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。そして、変換行列Ｂで線形変換された特徴ベクトルｙ’は、ｎ次元のベクトルとなる。変換された特徴量、すなわち特徴ベクトルｙ’は、異常度算出部２５ｄに出力される。 The feature amount conversion unit 25 c performs coordinate conversion (linear conversion) on the feature amount calculated by the feature amount calculation unit 25 b, that is, the feature vector, using the conversion matrix stored in the normal learning data storage unit 22. This conversion is for extracting a component of abnormal behavior included in the feature vector. Here, if the feature vector calculated by the feature quantity calculation unit 25b is y, the transformation matrix stored in the abnormality learning data storage unit 24 is B, and the feature vector converted by the feature quantity conversion unit 25c is y ′, The transformation is expressed by equation (2).
y ′ = By Formula (2)
The transformation matrix B is a matrix calculated by multivariate analysis such as principal component analysis. A method for calculating the transformation matrix B will be described later. When a higher-order local autocorrelation feature, that is, a 251-dimensional feature vector y is used as the feature quantity of the imaging data, the transformation matrix B is a matrix having a size of n × 251 (n = 1, 2,..., 251). It becomes. The feature vector y ′ linearly transformed by the transformation matrix B becomes an n-dimensional vector. The converted feature quantity, that is, the feature vector y ′ is output to the abnormality degree calculation unit 25d.

異常度算出部２５ｄは、特徴量変換部２５ｃにより変換された特徴ベクトルｙ’を用いて、予め学習された異常行動との類似度合いを表す異常度を算出する。ここで、異常度はスカラー量であり、値が小さいほど異常であることを表し、値が大きいほど非異常、すなわち正常であることを表す。異常度の具体的な算出手法については後記する。算出された異常度は、異常度判定部２５ｆに出力される。   The degree-of-abnormality calculation unit 25d calculates the degree of abnormality representing the degree of similarity with the abnormal behavior learned in advance using the feature vector y ′ converted by the feature amount conversion unit 25c. Here, the degree of abnormality is a scalar quantity. The smaller the value, the more abnormal, and the larger the value, the non-abnormal, that is, normal. A specific method for calculating the degree of abnormality will be described later. The calculated abnormality level is output to the abnormality level determination unit 25f.

異常度閾値記憶部２５ｅは、異常度閾値を記憶する。   The abnormality degree threshold storage unit 25e stores an abnormality degree threshold.

異常度判定部２５ｆは、異常度算出部２５ｄにより算出された異常度に基づいて、監視対象の行動が異常行動であるか否かを判定する。異常度判定部２５ｆは、判定基準として、異常度閾値記憶部２５ｅに記憶された異常度閾値を用いる。異常度が異常度閾値以下である場合には、異常度判定部２５ｆは、監視対象の行動は異常行動であると判定する。一方、異常度が異常度閾値よりも大きい場合には、異常度判定部２５ｆは、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定する。判定結果は、総合判定部２６に出力される。   The degree-of-abnormality determination unit 25f determines whether the behavior to be monitored is abnormal behavior based on the degree of abnormality calculated by the degree-of-abnormality calculation unit 25d. The abnormality degree determination unit 25f uses the abnormality degree threshold value stored in the abnormality degree threshold value storage unit 25e as a determination criterion. When the degree of abnormality is equal to or less than the degree of abnormality threshold, the degree of abnormality determination unit 25f determines that the behavior to be monitored is abnormal behavior. On the other hand, when the degree of abnormality is larger than the degree of abnormality threshold, the degree of abnormality determination unit 25f determines that the behavior to be monitored is not abnormal behavior (non-abnormal behavior), that is, normal behavior. The determination result is output to the comprehensive determination unit 26.

≪特徴量の算出手法≫
続いて、特徴量算出部２３ｂ，２５ｂによる特徴量の算出手法の詳細について説明する。なお、特徴量算出部２３ｂ，２５ｂによる算出手法は同様であるため、以下、特徴量算出部２３ｂによる算出手法について説明する。図４（ａ）は、撮像データを説明するための図であり、図４（ｂ）は、特徴量の算出対象を説明するための図である。 ≪Feature amount calculation method≫
Next, details of a feature amount calculation method by the feature amount calculation units 23b and 25b will be described. Since the calculation methods by the feature amount calculation units 23b and 25b are the same, the calculation method by the feature amount calculation unit 23b will be described below. FIG. 4A is a diagram for explaining imaging data, and FIG. 4B is a diagram for explaining a feature amount calculation target.

図４（ａ）に示すように、特徴量の算出対象となるのは、映像（動画像）、すなわち時系列の連続するフレーム（画像）群である。本実施形態に係る立体高次局所自己相関特徴を算出するためには、少なくとも三つのフレームが必要である。例えば、フレーム番号ｍのフレームＦ_mが与えられた場合に、その前後に位置するフレーム番号ｍ−１のフレームＦ_m-1とフレーム番号ｍ＋１のフレームＦ_m+1との三つのフレームを１セットとしたフレーム群Ｇ_Fが、特徴量算出の対象となる。
ここで、フレームの解像度を縦ｈピクセル、横ｗピクセルとすると、フレーム群Ｇ_Fは、ｈ×ｗ×３ボクセルの３次元フレームを構成することになる。特徴量算出部２３ｂは、３次元フレームのボクセル全要素に対して、３×３×３のマスクパターンＭＰを順次移動させながら適用することにより、立体高次局所自己相関特徴を抽出する。 As shown in FIG. 4 (a), the feature quantity calculation target is a video (moving image), that is, a time-series continuous frame (image) group. In order to calculate the cubic higher-order local autocorrelation feature according to the present embodiment, at least three frames are required. For example, when a frame F _m with a frame number m is given, one set of three frames, a frame F _m-1 with a frame number m ₋₁ and a frame F _{m + 1} with a frame number m + 1 positioned before and after the frame F _m frame group G _F which was found for characteristic quantity computation.
Here, the vertical h pixels resolution frames, and a transverse w pixels and a frame group G _F will constitute a three-dimensional frame of h × w × 3 voxels. The feature amount calculation unit 23b extracts a 3D higher-order local autocorrelation feature by sequentially applying the 3 × 3 × 3 mask pattern MP to all the voxel elements of the three-dimensional frame.

なお、本実施形態では連続する三つのフレームＦ_m-1，Ｆ_m，Ｆ_m+1からなるフレーム群Ｇ_Fを処理対象としたが、任意のｆ個のフレームからなるフレーム群を処理対象としてもよい。この場合には、ｈ×ｗ×ｆボクセルの３次元フレームが処理対象となり、ｆフレーム分の映像の平均的な特徴量が算出される。 Incidentally, three frame F _m-1, F _m consecutive in the present embodiment has a F m _{+ 1} frame group G _F the processing target formed of, as a processing target frame group composed of any f frames Also good. In this case, a three-dimensional frame of h × w × f voxels is a processing target, and an average feature amount of video for f frames is calculated.

図５は、立体高次局所自己相関特徴の算出に用いられるマスクパターンの例を示す図である。マスクパターンＭＰは、ボクセルの局所的な相関特徴を算出するために用いられるものであり、本実施形態では３×３×３ボクセルから構成されている。
第一のマスクパターンＭＰ１は、入力映像に対するボクセルデータを順次走査した場合に、中心のボクセルＢｃ１が１となる場合の数を計数するためのパターンである。
第二のマスクパターンＭＰ２は、中心のボクセルＢｃ１に加えて、その上のボクセルＢｃ２も１となる場合の数を計数するためのパターンである。
二値画像に対する立体高次局所自己相関特徴には、２５１個のマスクパターンＭＰ（ＭＰ１，ＭＰ２，…ＭＰ２５１）が存在し、各マスクパターンＭＰを満たす場合の数を計数することにより、入力された映像の特徴を、２５１次元の特徴ベクトルとして抽出することになる。
すなわち、ｉ番目のマスクパターンＭＰを満たす場合の数が、特徴ベクトルのｉ番目の要素となる。 FIG. 5 is a diagram illustrating an example of a mask pattern used for calculation of a stereoscopic higher-order local autocorrelation feature. The mask pattern MP is used to calculate a local correlation feature of a voxel, and is composed of 3 × 3 × 3 voxels in this embodiment.
The first mask pattern MP1 is a pattern for counting the number of cases where the center voxel Bc1 is 1 when the voxel data for the input video is sequentially scanned.
The second mask pattern MP2 is a pattern for counting the number of cases where the voxel Bc2 above the center voxel Bc1 is also 1.
The stereoscopic higher-order local autocorrelation feature for the binary image has 251 mask patterns MP (MP1, MP2,..., MP251), and is input by counting the number of cases where each mask pattern MP is satisfied. The feature of the video is extracted as a 251-dimensional feature vector.
That is, the number when the i-th mask pattern MP is satisfied is the i-th element of the feature vector.

≪正常学習データ生成装置４０≫
続いて、正常学習データ記憶部２２Ａに記憶される正常学習データを生成するために用いられる正常学習データ生成装置について説明する。図６は、正常学習データを生成するために用いられる正常学習データ生成装置を示すブロック図である。図６に示すように、正常学習データ生成装置４０は、機能部として、学習用撮像データ取得部４１と、動き抽出部４２と、特徴量算出部４３と、主成分分析部４４と、部分空間算出部４５と、を備えている。 << Normal learning data generation device 40 >>
Next, a normal learning data generation device used for generating normal learning data stored in the normal learning data storage unit 22A will be described. FIG. 6 is a block diagram showing a normal learning data generation apparatus used for generating normal learning data. As illustrated in FIG. 6, the normal learning data generation device 40 includes, as function units, a learning imaging data acquisition unit 41, a motion extraction unit 42, a feature amount calculation unit 43, a principal component analysis unit 44, and a partial space. And a calculating unit 45.

学習用撮像データ取得部４１は、撮像装置又は映像再生装置から出力された正常行動を学習するための学習用撮像データを取得する。この学習用撮像データには、監視対象の正常行動が含まれている。なお、大量の学習用撮像データを短時間で取得したい場合には、学習用撮像データ取得部４１は、予め大量の学習用撮像データを記録した記録媒体（ＤＶＤ等）から学習用撮像データを取得すればよい。取得された学習用撮像データは、動き抽出部４２に出力される。   The learning imaging data acquisition unit 41 acquires learning imaging data for learning normal behavior output from the imaging device or the video reproduction device. The learning imaging data includes normal behavior to be monitored. When it is desired to acquire a large amount of learning imaging data in a short time, the learning imaging data acquisition unit 41 acquires learning imaging data from a recording medium (such as a DVD) in which a large amount of learning imaging data is recorded in advance. do it. The acquired learning imaging data is output to the motion extraction unit 42.

動き抽出部４２は、学習用撮像データの中から、動きのある部分を抽出する。動き抽出部４２の動作は、動き抽出部２３ａと同様である。動きのある部分が抽出され、二値化処理を施された学習用撮像データは、特徴量算出部４３に出力される。   The motion extraction unit 42 extracts a portion with motion from the learning imaging data. The operation of the motion extraction unit 42 is the same as that of the motion extraction unit 23a. The imaging data for learning that has been extracted and subjected to the binarization process is output to the feature amount calculation unit 43.

特徴量算出部４３は、動きのある部分の特徴量を算出する。特徴量算出部４３の動作は、特徴量算出部２３ｂと同様である。算出された特徴量、すなわち特徴ベクトルは、主成分分析部４４に出力される。   The feature amount calculation unit 43 calculates a feature amount of a moving part. The operation of the feature quantity calculation unit 43 is the same as that of the feature quantity calculation unit 23b. The calculated feature amount, that is, the feature vector is output to the principal component analysis unit 44.

主成分分析部４４は、算出された特徴ベクトルの集合に対して主成分分析を実行する。主成分分析は、多変量解析の一手法であり、いくつかの変数から互いに無相関となるように合成変数（主成分と呼ばれる）を生成することにより、複数の変数が有する情報を要約することが可能な手法である。この主成分分析は、多変量データの解析によく利用される手法であり、例えば、石村貞夫著、「すぐわかる多変量解析」東京図書、１９９２年１０月発行に詳細に記載されているので、ここでは詳細な説明を省略する。本実施形態において、主成分分析部４４は、２５１次元の特徴ベクトルの集合に対して主成分分析を実行することにより、２５１個の主成分、すなわち固有ベクトル及び固有値を算出する。算出された２５１個の主成分は、部分空間算出部４５に出力される。   The principal component analysis unit 44 performs principal component analysis on the set of calculated feature vectors. Principal component analysis is a method of multivariate analysis that summarizes information held by multiple variables by generating composite variables (called principal components) that are uncorrelated from several variables. This is a possible technique. This principal component analysis is a technique that is often used for analysis of multivariate data. For example, since it is described in detail in Sadao Ishimura, “Multivariate Analysis Understandable” Tokyo Book, published in October 1992, Detailed description is omitted here. In the present embodiment, the principal component analysis unit 44 calculates 251 principal components, that is, eigenvectors and eigenvalues by performing principal component analysis on a set of 251-dimensional feature vectors. The calculated 251 principal components are output to the subspace calculation unit 45.

部分空間算出部４５は、算出された主成分に基づいて、正常行動への寄与率が低い部分空間を算出する。そして、部分空間算出部４５は、特徴ベクトルをこの部分空間に射影する行列を算出する。算出された行列は、正常学習データ記憶部２２Ａに記憶される。また、部分空間算出部４５は、部分空間における特徴ベクトルの集合の中心（重心）と、部分空間における特徴ベクトルの集合の分散共分散行列の逆行列と、を算出する。算出された重心及び分散共分散行列の逆行列は、正常学習データ記憶部２２Ａに記憶される。   The subspace calculation unit 45 calculates a subspace with a low contribution rate to normal behavior based on the calculated principal component. Then, the subspace calculation unit 45 calculates a matrix for projecting the feature vector onto this subspace. The calculated matrix is stored in the normal learning data storage unit 22A. Further, the subspace calculation unit 45 calculates the center (center of gravity) of the set of feature vectors in the subspace and the inverse matrix of the variance-covariance matrix of the set of feature vectors in the subspace. The calculated center of gravity and the inverse matrix of the variance-covariance matrix are stored in the normal learning data storage unit 22A.

≪部分空間の算出処理≫
続いて、部分空間算出部４５による部分空間の算出処理について詳細に説明する。図７は、主成分分析で得られた主成分ごとの累積寄与率を説明するための図である。累積寄与率は、各主成分の寄与率を大きいものから順に足したものであり、そこまでの主成分で分析対象のデータが本来有する情報量をどれくらい説明することができているかを表す指標である。 ≪Subspace calculation process≫
Next, the partial space calculation processing by the partial space calculation unit 45 will be described in detail. FIG. 7 is a diagram for explaining the cumulative contribution rate for each principal component obtained by principal component analysis. Cumulative contribution rate is an index that indicates how much information that the analysis target data originally has with the principal components up to that point can be explained by adding the contribution rate of each principal component in descending order. is there.

図７の例では、３番目に大きい主成分までの累積寄与率は９０％であり、このことは、最も大きい主成分から３番目に大きい主成分の合計が、本来のデータの情報量の９０％を表していることを意味する。一方、４番目に大きい主成分から最も小さい主成分までの合計は、本来のデータの情報量の１０％のみを表す。
以上のことから、最も大きい主成分から３番目に大きい主成分で構成される部分空間は、正常行動への寄与率が大きいと考えることができる。また、４番目に大きい主成分から最も小さい主成分で構成される部分空間は、正常行動への寄与率が小さいと考えることができる。このように、累積寄与率を判断基準として、正常行動への寄与率が小さい部分空間を算出することができる。なお、累積寄与率が何％となる段階で区切るかは、予め記憶されている。 In the example of FIG. 7, the cumulative contribution rate up to the third largest principal component is 90%. This is because the sum of the largest principal component to the third largest principal component is 90% of the information amount of the original data. Which means%. On the other hand, the sum from the fourth largest principal component to the smallest principal component represents only 10% of the information amount of the original data.
From the above, it can be considered that the partial space composed of the third largest principal component from the largest principal component has a large contribution rate to normal behavior. Moreover, it can be considered that the partial space composed of the fourth largest principal component to the smallest principal component has a small contribution rate to normal behavior. Thus, a partial space with a small contribution rate to normal behavior can be calculated using the cumulative contribution rate as a criterion. Note that it is stored in advance how many percent the cumulative contribution rate is divided.

≪正常度の算出処理≫
続いて、正常度算出部２３ｄによる正常度の算出処理について詳細に説明する。図８は、正常度算出部による正常度の算出処理を説明するための図である。正常度の算出は、正常度への寄与率が小さい部分空間において実行される。これは、この部分空間においては、正常行動の特徴量の分散が小さくなるのに対し、非正常行動、すなわち異常行動の特徴量の分散が大きくなると考えられるためである。本実施形態では、ｋ＋１番目に大きい主成分以下の大きさを有する主成分で構成される部分空間を用いて正常度を算出する。
この部分空間は２５１−ｋ次元であるが、図８には便宜上ｋ＋１番目に大きい主成分とｋ＋２番目に大きい主成分との２軸を選んで表示している。
特徴量の集合Ｃ１は、学習に用いた正常行動の特徴量を部分空間にプロットしたものである。正常行動への寄与率が小さい部分空間では、集合Ｃ１の重心ｘｃを中心としてその近傍に特徴量が分布する。したがって、現在評価している撮像データに関する特徴ベクトルｘ’が重心ｘｃに近い場合には、監視対象の行動は正常行動であると判定され、特徴ベクトルｘ’が重心ｘｃから離れている場合には、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定される。 ≪Normality calculation process≫
Next, the normality calculation process by the normality calculation unit 23d will be described in detail. FIG. 8 is a diagram for explaining normality calculation processing by the normality calculation unit. The calculation of normality is executed in a subspace with a small contribution rate to normality. This is because in this partial space, the variance of the feature value of normal behavior is considered to be small, whereas the variance of the feature value of abnormal behavior, that is, abnormal behavior is considered to be large. In the present embodiment, the normality is calculated using a subspace composed of principal components having a size equal to or smaller than the (k + 1) th largest principal component.
Although this partial space has a 251-k dimension, FIG. 8 shows two axes of the k + 1th largest principal component and the k + 2nd largest principal component for convenience.
The feature amount set C1 is a plot of feature amounts of normal behavior used for learning in a subspace. In a subspace where the contribution rate to normal behavior is small, feature quantities are distributed around the center of gravity xc of the set C1. Therefore, when the feature vector x ′ relating to the imaging data currently evaluated is close to the center of gravity xc, it is determined that the behavior to be monitored is a normal behavior, and when the feature vector x ′ is away from the center of gravity xc. It is determined that the behavior to be monitored is not normal behavior (non-normal behavior), that is, abnormal behavior.

ここで、現在評価している撮像データに関する特徴ベクトルｘ’と重心ｘｃとの距離を正常度と定義する。この正常度は、算出コストが小さいユークリッド距離として算出してもよいが、本実施形態では、集合Ｃ１の分散を考慮してマハラノビス距離として算出する。
特徴量の集合Ｃ１の分散共分散行列の逆行列をＳ_x ^-1とすると、マハラノビス距離Ｄ１は、下記式（３）により表される。
Ｄ１²＝（ｘ’−ｘｃ）^tＳ_x ^-1（ｘ’−ｘｃ） …式（３） Here, the distance between the feature vector x ′ and the center of gravity xc regarding the imaging data currently evaluated is defined as normality. The normality may be calculated as a Euclidean distance with a low calculation cost, but in the present embodiment, the normality is calculated as a Mahalanobis distance in consideration of the variance of the set C1.
When the inverse matrix of the variance-covariance matrix of the feature amount set C1 is S _x ⁻¹ , the Mahalanobis distance D1 is expressed by the following equation (3).
D1 ² = (x′−xc) ^t S _x ⁻¹ (x′−xc) Equation (3)

このようにして算出されたマハラノビス距離Ｄ１が正常度閾値Ｔ１以下である場合には、正常度判定部２３ｆは、監視対象の行動は正常行動であると判定する。一方、マハラノビス距離Ｄ１が正常度閾値Ｔ１よりも大きい場合には、正常度判定部２３ｆは、監視対象の行動は正常行動ではない（非正常行動）、すなわち異常行動であると判定する。ここでは、正常度閾値Ｔ１として、集合Ｃ１に属する各特徴量と重心ｘｃとの間のマハラノビス距離の中で最大のものを選んだ場合の例が、図８に示されている。   When the Mahalanobis distance D1 calculated in this way is equal to or less than the normality threshold T1, the normality determination unit 23f determines that the behavior to be monitored is a normal behavior. On the other hand, when the Mahalanobis distance D1 is larger than the normality threshold value T1, the normality determination unit 23f determines that the behavior to be monitored is not normal behavior (non-normal behavior), that is, abnormal behavior. Here, FIG. 8 shows an example in which the maximum value among the Mahalanobis distances between the feature amounts belonging to the set C1 and the center of gravity xc is selected as the normality threshold T1.

≪異常学習データ生成装置５０≫
続いて、異常学習データ記憶部２４Ａに記憶される異常学習データを生成するために用いられる異常学習データ生成装置について説明する。図９は、異常学習データを生成するために用いられる異常学習データ生成装置を示すブロック図である。図９に示すように、異常学習データ生成装置５０は、機能部として、学習用撮像データ取得部５１と、動き抽出部５２と、特徴量算出部５３と、主成分分析部５４と、部分空間算出部５５と、を備えている。 ≪Abnormal learning data generation device 50≫
Next, an abnormality learning data generation device used for generating abnormality learning data stored in the abnormality learning data storage unit 24A will be described. FIG. 9 is a block diagram showing an abnormal learning data generation device used for generating abnormal learning data. As illustrated in FIG. 9, the abnormal learning data generation device 50 includes, as function units, a learning imaging data acquisition unit 51, a motion extraction unit 52, a feature amount calculation unit 53, a principal component analysis unit 54, and a partial space. And a calculation unit 55.

学習用撮像データ取得部５１は、撮像装置又は映像再生装置から出力された異常行動を学習するための学習用撮像データを取得する。この学習用撮像データには、監視対象の異常行動が含まれている。なお、大量の学習用撮像データを短時間で取得したい場合には、学習用撮像データ取得部４１は、予め大量の学習用撮像データを記録した記録媒体（ＤＶＤ等）から学習用撮像データを取得すればよい。取得された学習用撮像データは、動き抽出部５２に出力される。   The learning imaging data acquisition unit 51 acquires learning imaging data for learning abnormal behavior output from the imaging device or the video reproduction device. This learning imaging data includes abnormal behavior to be monitored. When it is desired to acquire a large amount of learning imaging data in a short time, the learning imaging data acquisition unit 41 acquires learning imaging data from a recording medium (such as a DVD) in which a large amount of learning imaging data is recorded in advance. do it. The acquired learning imaging data is output to the motion extraction unit 52.

動き抽出部５２は、学習用撮像データの中から、動きのある部分を抽出する。動き抽出部５２の動作は、動き抽出部２５ａと同様である。動きのある部分が抽出され、二値化処理を施された学習用撮像データは、特徴量算出部５３に出力される。   The motion extraction unit 52 extracts a portion having motion from the imaging data for learning. The operation of the motion extraction unit 52 is the same as that of the motion extraction unit 25a. The imaging data for learning subjected to the binarization process after extracting the moving part is output to the feature amount calculation unit 53.

特徴量算出部５３は、動きのある部分の特徴量を算出する。特徴量算出部５３の動作は、特徴量算出部２５ｂと同様である。算出された特徴量、すなわち特徴ベクトルは、主成分分析部５４に出力される。   The feature amount calculation unit 53 calculates a feature amount of a moving part. The operation of the feature amount calculation unit 53 is the same as that of the feature amount calculation unit 25b. The calculated feature amount, that is, the feature vector is output to the principal component analysis unit 54.

主成分分析部５４は、算出された特徴ベクトルの集合に対して主成分分析を実行する。主成分分析は、多変量解析の一手法であり、いくつかの変数から互いに無相関となるように合成変数（主成分と呼ばれる）を生成することにより、複数の変数が有する情報を要約することが可能な手法である。この主成分分析は、多変量データの解析によく利用される手法であり、例えば、石村貞夫著、「すぐわかる多変量解析」東京図書、１９９２年１０月発行に詳細に記載されているので、ここでは詳細な説明を省略する。本実施形態において、主成分分析部５４は、２５１次元の特徴ベクトルの集合に対して主成分分析を実行することにより、２５１個の主成分、すなわち固有ベクトル及び固有値を算出する。算出された２５１個の主成分は、部分空間算出部５５に出力される。   The principal component analysis unit 54 performs principal component analysis on the set of calculated feature vectors. Principal component analysis is a method of multivariate analysis that summarizes information held by multiple variables by generating composite variables (called principal components) that are uncorrelated from several variables. This is a possible technique. This principal component analysis is a technique that is often used for analysis of multivariate data. For example, since it is described in detail in Sadao Ishimura, “Multivariate Analysis Understandable” Tokyo Book, published in October 1992, Detailed description is omitted here. In the present embodiment, the principal component analysis unit 54 calculates 251 principal components, that is, eigenvectors and eigenvalues by performing principal component analysis on a set of 251-dimensional feature vectors. The calculated 251 principal components are output to the subspace calculation unit 55.

部分空間算出部５５は、算出された主成分に基づいて、異常行動への寄与率が高い部分空間を算出する。そして、部分空間算出部４５は、特徴ベクトルをこの部分空間に射影する行列を算出する。算出された行列は、異常学習データ記憶部２４Ａに記憶される。また、部分空間算出部５５は、部分空間における特徴ベクトルの集合の中心（重心）と、部分空間における特徴ベクトルの集合の分散共分散行列の逆行列と、を算出する。算出された重心及び分散共分散行列の逆行列は、異常学習データ記憶部２４Ａに記憶される。   The subspace calculation unit 55 calculates a subspace with a high contribution rate to the abnormal behavior based on the calculated principal component. Then, the subspace calculation unit 45 calculates a matrix for projecting the feature vector onto this subspace. The calculated matrix is stored in the abnormality learning data storage unit 24A. Further, the subspace calculating unit 55 calculates the center (center of gravity) of the set of feature vectors in the subspace and the inverse matrix of the variance-covariance matrix of the set of feature vectors in the subspace. The calculated center of gravity and the inverse matrix of the variance-covariance matrix are stored in the abnormal learning data storage unit 24A.

≪部分空間の算出処理≫
続いて、部分空間算出部５５は、図７に示す累積寄与率を判断基準として、異常行動への寄与率が大きい部分空間を算出することができる。なお、累積寄与率が何％となる段階で区切るかは、予め記憶されている。 ≪Subspace calculation process≫
Subsequently, the partial space calculation unit 55 can calculate a partial space having a large contribution rate to the abnormal behavior using the cumulative contribution rate shown in FIG. 7 as a criterion. Note that it is stored in advance how many percent the cumulative contribution rate is divided.

≪異常度の算出処理≫
続いて、異常度算出部２５ｄによる異常度の算出処理について詳細に説明する。図１０は、異常度算出部による異常度の算出処理を説明するための図である。異常度の算出は、異常度への寄与率が大きい部分空間において実行される。これは、この部分空間においては、異常行動の特徴量の分散が小さくなるのに対し、非異常行動、すなわち正常行動の特徴量の分散が大きくなると考えられるためである。本実施形態では、ｋ番目に大きい主成分以上の大きさを有する主成分で構成される部分空間を用いて正常度を算出する。
この部分空間はｋ次元であるが、図１０には便宜上１番目に大きい主成分（第１主成分）と２番目に大きい主成分（第２主成分）との２軸を選んで表示している。
特徴量の集合Ｃ２は、学習に用いた異常行動の特徴量を部分空間にプロットしたものである。異常行動への寄与率が小さい部分空間では、集合Ｃ２の重心ｙｃを中心としてその近傍に特徴量が分布する。したがって、現在評価している撮像データに関する特徴ベクトルｙ’が重心ｙｃに近い場合には、監視対象の行動は異常行動であると判定され、特徴ベクトルｙ’が重心ｙｃから離れている場合には、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定される。 ≪Abnormality calculation processing≫
Next, the abnormality degree calculation process by the abnormality degree calculation unit 25d will be described in detail. FIG. 10 is a diagram for explaining abnormality degree calculation processing by the abnormality degree calculation unit. The calculation of the degree of abnormality is executed in a subspace where the contribution rate to the degree of abnormality is large. This is because in this partial space, the variance of the feature value of the abnormal behavior is considered to be small, whereas the variance of the feature value of the non-abnormal behavior, that is, the normal behavior is considered to be large. In the present embodiment, the normality is calculated using a subspace composed of principal components having a size equal to or larger than the kth largest principal component.
Although this subspace is k-dimensional, in FIG. 10, for convenience, two axes of the first largest principal component (first principal component) and the second largest principal component (second principal component) are selected and displayed. Yes.
The feature value set C2 is obtained by plotting the feature values of abnormal behavior used for learning in a subspace. In the subspace where the contribution rate to the abnormal behavior is small, the feature amount is distributed around the center of gravity yc of the set C2. Therefore, when the feature vector y ′ related to the imaging data currently evaluated is close to the center of gravity yc, the behavior to be monitored is determined to be abnormal behavior, and when the feature vector y ′ is away from the center of gravity yc. It is determined that the behavior to be monitored is not abnormal behavior (non-abnormal behavior), that is, normal behavior.

ここで、現在評価している撮像データに関する特徴ベクトルｙ’と重心ｙｃとの距離を異常度と定義する。この異常度は、算出コストが小さいユークリッド距離として算出してもよいが、本実施形態では、集合Ｃ２の分散を考慮してマハラノビス距離Ｄ２として算出する。
特徴量の集合Ｃ２の分散共分散行列の逆行列をＳ_y ^-1とすると、マハラノビス距離Ｄ２は、下記式（４）により表される。
Ｄ２²＝（ｙ’−ｙｃ）^tＳ_y ^-1（ｙ’−ｙｃ） …式（４） Here, the distance between the feature vector y ′ and the center of gravity yc regarding the imaging data currently evaluated is defined as the degree of abnormality. This degree of abnormality may be calculated as a Euclidean distance with a low calculation cost, but in the present embodiment, it is calculated as the Mahalanobis distance D2 in consideration of the variance of the set C2.
When the inverse matrix of the variance-covariance matrix of the feature value set C2 is S _y ⁻¹ , the Mahalanobis distance D2 is expressed by the following equation (4).
D2 ² = (y′−yc) ^t S _y ⁻¹ (y′−yc) (4)

このようにして算出されたマハラノビス距離Ｄ２が異常度閾値Ｔ２以下である場合には、異常度判定部２５ｆは、監視対象の行動は異常行動であると判定する。一方、マハラノビス距離Ｄ２が異常度閾値Ｔ２よりも大きい場合には、異常度判定部２３ｆは、監視対象の行動は異常行動ではない（非異常行動）、すなわち正常行動であると判定する。ここでは、異常度閾値Ｔ２として、集合Ｃ２に属する各特徴量と重心ｙｃとの間のマハラノビス距離の中で最大のものを選んだ場合の例が、図１０に示されている。   When the Mahalanobis distance D2 calculated in this way is equal to or less than the abnormality threshold value T2, the abnormality determination unit 25f determines that the behavior to be monitored is an abnormal behavior. On the other hand, when the Mahalanobis distance D2 is larger than the abnormality threshold value T2, the abnormality determination unit 23f determines that the behavior to be monitored is not abnormal behavior (non-abnormal behavior), that is, normal behavior. Here, FIG. 10 shows an example in which the maximum value among the Mahalanobis distances between the feature quantities belonging to the set C2 and the center of gravity yc is selected as the abnormality level threshold T2.

≪総合判定部２６Ａの詳細構成≫
続いて、総合判定部２６Ａの詳細構成について説明する。図１１は、図１の総合判定部を示す詳細ブロック図である。図１１に示すように、総合判定部２６Ａは、総合判定テーブル記憶部２６ａと、正常／異常判定部２６ｂと、を備えている。 << Detailed Configuration of General Determination Unit 26A >>
Subsequently, a detailed configuration of the comprehensive determination unit 26A will be described. FIG. 11 is a detailed block diagram illustrating the comprehensive determination unit of FIG. As shown in FIG. 11, the comprehensive determination unit 26A includes a comprehensive determination table storage unit 26a and a normal / abnormal determination unit 26b.

総合判定テーブル記憶部２６ａは、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果と総合判定結果とを関連付けた総合判定テーブルを記憶している。   The comprehensive determination table storage unit 26a stores a comprehensive determination table in which the determination result of the normal determination unit 23A and the determination result of the abnormality determination unit 25A are associated with the comprehensive determination result.

正常／異常判定部２６ｂは、総合判定テーブル記憶部２６ａに記憶された総合判定テーブルを参照して、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果に基づいて、監視対象の行動が正常行動であるか異常行動であるかを判定する。判定結果は、発報部２７に出力される。   The normal / abnormality determination unit 26b refers to the comprehensive determination table stored in the comprehensive determination table storage unit 26a, and determines whether the behavior to be monitored is based on the determination result of the normality determination unit 23A and the determination result of the abnormality determination unit 25A. Determine whether the behavior is normal or abnormal. The determination result is output to the reporting unit 27.

≪総合判定テーブルの例≫
続いて、総合判定テーブルの例について説明する。図１２（ａ）（ｂ）は、総合判定テーブルの例を説明するための図である。
図１２（ａ）に示す総合判定テーブル２６ａ１は、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果がともに正常である場合に、総合判定結果を正常とし、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果の少なくとも一方が異常である場合に、総合判定結果を異常とするテーブルである。
図１２（ｂ）に示す総合判定テーブル２６ａ２は、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果の少なくとも一方が正常である場合に、総合判定結果を正常とし、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果がともに異常である場合に、総合判定結果を異常とするテーブルである。
総合判定テーブル２６ａ１は、失報を減らすことに重点を置いたテーブルであり、総合判定テーブル２６ａ２は、誤報を減らすことに重点を置いたテーブルである。 ≪Example of comprehensive judgment table≫
Next, an example of the comprehensive determination table will be described. 12A and 12B are diagrams for explaining an example of the comprehensive determination table.
The overall determination table 26a1 shown in FIG. 12A is that when the determination result of the normality determination unit 23A and the determination result of the abnormality determination unit 25A are both normal, the overall determination result is normal, and the determination result of the normal determination unit 23A. And when at least one of the determination results of 25 A of abnormality determination parts is abnormal, it is a table which makes a comprehensive determination result abnormal.
The overall determination table 26a2 shown in FIG. 12B is that the overall determination result is normal when at least one of the determination result of the normality determination unit 23A and the determination result of the abnormality determination unit 25A is normal, and the normal determination unit 23A The table is a table in which the overall determination result is abnormal when both the determination result and the determination result of the abnormality determination unit 25A are abnormal.
The comprehensive determination table 26a1 is a table that focuses on reducing the misreporting, and the comprehensive determination table 26a2 is a table that focuses on reducing false alarms.

≪異常検知装置２０Ａの動作例≫
続いて、本発明の第一の実施形態に係る異常検知装置２０Ａの動作例について説明する。図１３は、図１の異常検知装置の動作例を説明するためのフローチャートである。以下の動作例の説明において、適宜図１〜図１２を参照する。 << Operation Example of Abnormality Detection Device 20A >>
Subsequently, an operation example of the abnormality detection device 20A according to the first embodiment of the present invention will be described. FIG. 13 is a flowchart for explaining an operation example of the abnormality detection apparatus in FIG. 1. In the description of the following operation example, FIGS.

まず、映像取得部２１が、処理対象となる撮像データをデジタルデータとして取得する（ステップＳ１）。続いて、正常判定部２３Ａが、正常学習データに基づいて撮像データに含まれる監視対象の行動が正常であるか否かを判定する（ステップＳ２）。また、異常判定部２５Ａが、異常学習データに基づいて撮像データに含まれる監視対象の行動が異常であるか否かを判定する（ステップＳ３）。ちなみに、ステップＳ２，Ｓ３は、逆順に実行されてもよく、並列に実行されてもよい。   First, the video acquisition unit 21 acquires imaging data to be processed as digital data (step S1). Subsequently, the normality determination unit 23A determines whether or not the monitored action included in the imaging data is normal based on the normal learning data (step S2). Further, the abnormality determination unit 25A determines whether or not the monitored action included in the imaging data is abnormal based on the abnormality learning data (step S3). Incidentally, steps S2 and S3 may be executed in reverse order or may be executed in parallel.

続いて、総合判定部２６Ａが、正常判定部２３Ａの判定結果及び異常判定部２５Ａの判定結果に基づいて、撮像データに含まれる監視対象の行動が正常であるか異常であるかを総合的に判定する（ステップＳ４）。総合判定結果が正常である場合には（ステップＳ５でＮｏ）、発報部２７が、異常行動をしている監視対象が存在する旨を外部装置３０に発報する（ステップＳ６）。これらの一連の処理は、異常検知装置２０Ａの利用者から終了指示の入力を受けるまで、所定の頻度で繰り返される（ステップＳ７）。ここで、所定の頻度は、例えば、撮像データのフレームレートと同一（１秒あたり３０回）等である。   Subsequently, based on the determination result of the normality determination unit 23A and the determination result of the abnormality determination unit 25A, the comprehensive determination unit 26A comprehensively determines whether the behavior of the monitoring target included in the imaging data is normal or abnormal. Determine (step S4). When the comprehensive determination result is normal (No in step S5), the reporting unit 27 reports to the external device 30 that there is a monitoring target performing abnormal behavior (step S6). These series of processes are repeated at a predetermined frequency until an end instruction is input from the user of the abnormality detection device 20A (step S7). Here, the predetermined frequency is, for example, the same as the frame rate of the imaging data (30 times per second).

≪正常判定部２３Ａの動作例≫
続いて、ステップＳ２のサブルーチン、すなわち正常判定部２３Ａの動作例について説明する。図１４は、正常判定部の動作例を説明するためのフローチャートである。 << Operation Example of Normal Determination Unit 23A >>
Subsequently, a subroutine of step S2, that is, an operation example of the normality determination unit 23A will be described. FIG. 14 is a flowchart for explaining an operation example of the normality determination unit.

まず、動き抽出部２３ａが、撮像データ取得部２１により取得された撮像データから動きのある部分を抽出し、二値化する（ステップＳ２１）。続いて、特徴量算出部２３ｂが、動きのある部分が抽出され、二値化された撮像データの特徴量を算出する（ステップＳ２２）。続いて、特徴量変換部２３ｃが、算出された特徴量、すなわち特徴ベクトルを正常学習データ記憶部２２Ａの変換行列を用いて座標変換し、特徴ベクトルを変換した新たな特徴ベクトルを生成する（ステップＳ２３）。続いて、正常度算出部２３ｄが、座標変換された特徴ベクトルと正常行動との類似度合いを表す正常度を算出する（ステップＳ２４）。続いて、正常度判定部２３ｆが、正常度閾値と正常度とに基づいて、監視対象の行動が正常行動であるか否かを判定する（ステップＳ２５）。   First, the motion extraction unit 23a extracts a portion with motion from the imaging data acquired by the imaging data acquisition unit 21 and binarizes it (step S21). Subsequently, the feature amount calculation unit 23b calculates a feature amount of the binarized imaging data in which a portion with motion is extracted (step S22). Subsequently, the feature amount conversion unit 23c performs coordinate conversion of the calculated feature amount, that is, the feature vector, using the conversion matrix of the normal learning data storage unit 22A, thereby generating a new feature vector obtained by converting the feature vector (step). S23). Subsequently, the normality calculating unit 23d calculates a normality representing the degree of similarity between the coordinate-converted feature vector and the normal action (step S24). Subsequently, the normality determination unit 23f determines whether or not the action to be monitored is a normal action based on the normality threshold and the normality (step S25).

≪異常判定部２５Ａの動作例≫
続いて、ステップＳ３のサブルーチン、すなわち異常判定部２５Ａの動作例について説明する。図１５は、異常判定部の動作例を説明するためのフローチャートである。 << Operation Example of Abnormality Determination Unit 25A >>
Subsequently, a subroutine of step S3, that is, an operation example of the abnormality determination unit 25A will be described. FIG. 15 is a flowchart for explaining an operation example of the abnormality determination unit.

まず、動き抽出部２５ａが、撮像データ取得部２１により取得された撮像データから動きのある部分を抽出し、二値化する（ステップＳ３１）。続いて、特徴量算出部２５ｂが、動きのある部分が抽出され、二値化された撮像データの特徴量を算出する（ステップＳ３２）。続いて、特徴量変換部２５ｃが、算出された特徴量、すなわち特徴ベクトルを異常学習データ記憶部２４Ａの変換行列を用いて座標変換し、特徴ベクトルを変換した新たな特徴ベクトルを生成する（ステップＳ３３）。続いて、異常度算出部２５ｄが、座標変換された特徴ベクトルと異常行動との類似度合いを表す異常度を算出する（ステップＳ３４）。続いて、異常度判定部２５ｆが、異常度閾値と異常度とに基づいて、監視対象の行動が異常行動であるか否かを判定する（ステップＳ３５）。   First, the motion extraction unit 25a extracts a portion with motion from the imaging data acquired by the imaging data acquisition unit 21 and binarizes it (step S31). Subsequently, the feature amount calculating unit 25b calculates a feature amount of the binarized imaging data in which a portion with motion is extracted (step S32). Subsequently, the feature amount conversion unit 25c performs coordinate conversion of the calculated feature amount, that is, the feature vector, using the conversion matrix of the abnormality learning data storage unit 24A, and generates a new feature vector obtained by converting the feature vector (step). S33). Subsequently, the abnormality degree calculation unit 25d calculates an abnormality degree indicating the degree of similarity between the coordinate-converted feature vector and the abnormal action (step S34). Subsequently, the abnormality degree determination unit 25f determines whether or not the behavior to be monitored is an abnormal action based on the abnormality degree threshold value and the abnormality degree (step S35).

≪特徴量算出部２３ａ，２５ａの動作例≫
続いて、ステップＳ２２，Ｓ３２のサブルーチン、すなわち特徴量算出部２３ａ，２５ａの動作例について説明する。特徴量算出部２３ａ，２５ａの動作例は同一であるので、ここでは、特徴量算出部２３ａを例にとり説明する。図１６は、特徴量算出部の動作例を説明するためのフローチャートである。 << Operation Example of Feature Quantity Calculation Units 23a and 25a >>
Next, a subroutine of steps S22 and S32, that is, an operation example of the feature amount calculation units 23a and 25a will be described. Since the operation examples of the feature amount calculation units 23a and 25a are the same, the feature amount calculation unit 23a will be described as an example here. FIG. 16 is a flowchart for explaining an operation example of the feature amount calculation unit.

まず、特徴量算出部２３ａが、特徴ベクトルｖ_n（ｎ＝１，…，２５１）を初期化する（ステップＳ１０１）。続いて、特徴量算出部２３ａが、ｉ番目のマスクパターンＭＰに対するボクセルが全て１であるか否かを判定する（ステップＳ１０２）。ｉ番目のマスクパターンＭＰに対するボクセルが全て１である場合には（ステップＳ１０２でＹｅｓ）、特徴量算出部２３ａが、ｉ番目のマスクパターンＭＰに対する特徴ベクトルの要素に１を加算する（ステップＳ１０３）。ステップＳ１０２，Ｓ１０３の処理は、全てのマスクパターンｉに対して行われ（ループ１）、さらには処理対象のフレーム群の全てのボクセルに対して行われる（ループ２）
これらの一連の処理により、特徴量算出部２３ａは、立体高次局所自己相関による２５１次元の特徴ベクトルｖ_nを算出することができる。 First, the feature amount calculation unit 23a initializes a feature vector v _n (n = 1,..., 251) (step S101). Subsequently, the feature amount calculation unit 23a determines whether or not all voxels for the i-th mask pattern MP are 1 (step S102). If all the voxels for the i-th mask pattern MP are 1 (Yes in step S102), the feature amount calculation unit 23a adds 1 to the element of the feature vector for the i-th mask pattern MP (step S103). . The processes in steps S102 and S103 are performed on all mask patterns i (loop 1), and further performed on all voxels of the frame group to be processed (loop 2).
These series of processing, the feature amount calculating unit 23a can calculate the feature vector v _n of 251-D by cubic higher-order local autocorrelation.

≪正常学習データ生成装置４０の動作例≫
続いて、正常学習データ生成装置４０の動作例について説明する。図１７は、正常学習データ生成装置の動作例を説明するためのフローチャートである。 << Operation Example of Normal Learning Data Generating Device 40 >>
Next, an operation example of the normal learning data generation device 40 will be described. FIG. 17 is a flowchart for explaining an operation example of the normal learning data generation apparatus.

まず、動き抽出部４２が、学習用撮像データ取得部４１により取得された学習用撮像データの中から、動きのある部分を抽出し、二値化する（ステップＳ１１１）。続いて、特徴量算出部４３が、動きのある部分の特徴量を算出する（ステップＳ１１２）。ステップＳ１１１，Ｓ１１２の処理は、正常行動を学習するための学習用撮像データ全てに対して行われる（ループ３）。続いて、主成分分析部４４が、全ての学習用撮像データに関する特徴量に対して主成分分析を実行する（ステップＳ１１３）。続いて、部分空間算出部４５が、主成分分析結果に基づいて、正常行動への寄与率が低い部分空間を算出し、特徴ベクトルをこの部分空間に射影する行列を算出する（ステップＳ１１４）。   First, the motion extraction unit 42 extracts a portion with motion from the learning imaging data acquired by the learning imaging data acquisition unit 41, and binarizes the extracted portion (step S111). Subsequently, the feature amount calculation unit 43 calculates the feature amount of the moving part (step S112). The processing in steps S111 and S112 is performed on all the learning imaging data for learning normal behavior (loop 3). Subsequently, the principal component analysis unit 44 performs principal component analysis on the feature amounts regarding all of the learning imaging data (step S113). Subsequently, the subspace calculation unit 45 calculates a subspace with a low contribution rate to normal behavior based on the principal component analysis result, and calculates a matrix for projecting the feature vector onto this subspace (step S114).

≪異常学習データ生成装置５０の動作例≫
続いて、異常学習データ生成装置５０の動作例について説明する。図１８は、異常学習データ生成装置の動作例を説明するためのフローチャートである。 << Operation Example of Abnormal Learning Data Generation Device 50 >>
Subsequently, an operation example of the abnormality learning data generation device 50 will be described. FIG. 18 is a flowchart for explaining an operation example of the abnormality learning data generation apparatus.

まず、動き抽出部５２が、学習用撮像データ取得部５１により取得された学習用撮像データの中から、動きのある部分を抽出し、二値化する（ステップＳ１２１）。続いて、特徴量算出部５３が、動きのある部分の特徴量を算出する（ステップＳ１２２）。ステップＳ１２１，Ｓ１２２の処理は、異常行動を学習するための学習用撮像データ全てに対して行われる（ループ４）。続いて、主成分分析部５４が、全ての学習用撮像データに関する特徴量に対して主成分分析を実行する（ステップＳ１２３）。続いて、部分空間算出部５５が、主成分分析結果に基づいて、異常行動への寄与率が高い部分空間を算出し、特徴ベクトルをこの部分空間に射影する行列を算出する（ステップＳ１２４）。   First, the motion extraction unit 52 extracts a portion with motion from the learning imaging data acquired by the learning imaging data acquisition unit 51, and binarizes the extracted portion (step S121). Subsequently, the feature amount calculation unit 53 calculates the feature amount of the moving part (step S122). The processes in steps S121 and S122 are performed for all the learning imaging data for learning abnormal behavior (loop 4). Subsequently, the principal component analysis unit 54 performs principal component analysis on the feature amounts related to all learning imaging data (step S123). Subsequently, the subspace calculation unit 55 calculates a subspace with a high contribution rate to the abnormal behavior based on the principal component analysis result, and calculates a matrix for projecting the feature vector onto this subspace (step S124).

第一の実施形態に係る異常検知装置２０Ａは、正常学習データに基づく判定結果だけでなく、異常学習データに基づく判定結果も用いて総合的に判定するので、正常な監視対象を異常な監視対象として誤検知してしまう誤報だけでなく、異常な監視対象を正常な監視対象として誤検知してしまう失報も減らすことができる。   Since the abnormality detection device 20A according to the first embodiment comprehensively determines not only the determination result based on the normal learning data but also the determination result based on the abnormal learning data, the normal monitoring target is determined to be an abnormal monitoring target. As well as misreporting that is erroneously detected as a normal monitoring target, it is possible to reduce misreporting that is erroneously detected as a normal monitoring target.

＜第二の実施形態＞
続いて、第二の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図１９は、本発明の第二の実施形態に係る異常検知装置を示すブロック図である。 <Second Embodiment>
Next, the abnormality detection device according to the second embodiment will be described focusing on differences from the abnormality detection device 20A according to the first embodiment. FIG. 19 is a block diagram showing an abnormality detection apparatus according to the second embodiment of the present invention.

図１９に示すように、第二の実施形態に係る異常検知装置２０Ｂは、正常学習データ記憶部２２Ａ、正常判定部２３Ａ、異常学習データ記憶部２４Ａ及び異常判定部２５Ａに代えて、正常学習データ記憶部２２Ｂ、正常判定部２３Ｂ、異常学習データ記憶部２４Ｂ及び異常判定部２５Ｂを備えている。   As illustrated in FIG. 19, the abnormality detection device 20B according to the second embodiment replaces the normal learning data storage unit 22A, the normality determination unit 23A, the abnormal learning data storage unit 24A, and the abnormality determination unit 25A with normal learning data. A storage unit 22B, a normality determination unit 23B, an abnormal learning data storage unit 24B, and an abnormality determination unit 25B are provided.

正常学習データ記憶部２２Ｂは、複数の正常学習データ記憶ユニット２２−１，２２−２を備えている。複数の正常学習データ記憶ユニット２２−１，２２−２は、それぞれ種別の異なる正常学習データを記憶している。   The normal learning data storage unit 22B includes a plurality of normal learning data storage units 22-1 and 22-2. The plurality of normal learning data storage units 22-1 and 22-2 store different types of normal learning data.

正常判定部２３Ｂは、複数の正常判定ユニット２３−１，２３−２を備えている。複数の正常判定ユニット２３−１，２３−２は、それぞれ正常判定部２３Ａと同等の機能を有している。正常判定ユニット２３−１は、正常学習データ記憶ユニット２２−１に記憶された正常学習データに基づいて判定し、正常判定ユニット２３−２は、正常学習データ記憶ユニット２２−２に記憶された正常学習データに基づいて判定する。   The normality determination unit 23B includes a plurality of normality determination units 23-1 and 23-2. The plurality of normality determination units 23-1 and 23-2 each have a function equivalent to that of the normality determination unit 23A. The normality determination unit 23-1 determines based on the normal learning data stored in the normal learning data storage unit 22-1, and the normality determination unit 23-2 normalizes the normality stored in the normal learning data storage unit 22-2. The determination is made based on the learning data.

異常学習データ記憶部２４Ｂは、複数の異常学習データ記憶ユニット２４−１，２４−２を備えている。複数の異常学習データ記憶ユニット２４−１，２４−２は、それぞれ種別の異なる異常学習データを記憶している。   The abnormality learning data storage unit 24B includes a plurality of abnormality learning data storage units 24-1 and 24-2. The plurality of abnormal learning data storage units 24-1 and 24-2 store different types of abnormal learning data.

異常判定部２５Ｂは、複数の異常判定ユニット２５−１，２５−２を備えている。複数の異常判定ユニット２５−１，２５−２は、それぞれ正常判定部２５Ａと同等の機能を有している。異常判定ユニット２５−１は、異常学習データ記憶ユニット２４−１に記憶された異常学習データに基づいて判定し、異常判定ユニット２５−２は、異常学習データ記憶ユニット２４−２に記憶された異常学習データに基づいて判定する。   The abnormality determination unit 25B includes a plurality of abnormality determination units 25-1 and 25-2. Each of the plurality of abnormality determination units 25-1 and 25-2 has a function equivalent to that of the normality determination unit 25A. The abnormality determination unit 25-1 makes a determination based on the abnormality learning data stored in the abnormality learning data storage unit 24-1, and the abnormality determination unit 25-2 performs an abnormality stored in the abnormality learning data storage unit 24-2. The determination is made based on the learning data.

第二の実施形態に係る総合判定部２６Ａの正常／異常判定部２６ｂ（図１１参照）は、複数の正常判定ユニット２３−１，２３−２の判定結果の少なくとも一つが正常である場合に、正常判定部２３Ｂの判定結果が正常であるとし、複数の正常判定ユニット２３−１，２３−２の判定結果が全て異常である場合に、正常判定部２３Ｂの判定結果が異常であるとする。このように、複数の正常判定ユニット２３−１，２３−２は正常行動以外の行動を異常行動として間接的に検知するので、総合判定部２６Ａの正常／異常判定部２６ｂは、複数の正常判定ユニット２３−１，２３−２の全ての判定結果が異常である場合に正常判定部２３Ｂの判定結果が異常であると判定することが妥当である。   The normal / abnormal determination unit 26b (see FIG. 11) of the overall determination unit 26A according to the second embodiment, when at least one of the determination results of the plurality of normal determination units 23-1, 23-2 is normal, Assume that the determination result of the normal determination unit 23B is normal, and the determination result of the normal determination unit 23B is abnormal when the determination results of the plurality of normal determination units 23-1 and 23-2 are all abnormal. As described above, since the plurality of normality determination units 23-1 and 23-2 indirectly detect behavior other than normal behavior as abnormal behavior, the normality / abnormality determination unit 26b of the overall determination unit 26A includes a plurality of normality determinations. It is appropriate to determine that the determination result of the normal determination unit 23B is abnormal when all the determination results of the units 23-1 and 23-2 are abnormal.

また、正常／異常判定部２６ｂは、複数の異常判定ユニット２５−１，２５−２の判定結果の少なくとも一つが異常である場合に、異常判定部２５Ｂの判定結果が異常であるとし、複数の異常判定ユニット２５−１，２５−２の判定結果が全て正常である場合に、異常判定部２５Ｂの判定結果が正常であるとする。このように、複数の異常判定ユニット２５−１，２５−２は異常行動を直接的に検知するので、総合判定部２６Ａの正常／異常判定部２６ｂは、複数の異常判定ユニット２５−１，２５−２の少なくとも一つの判定結果が異常である場合に異常判定部２５Ｂの判定結果が異常であると判定することが妥当である。   The normal / abnormality determination unit 26b determines that the determination result of the abnormality determination unit 25B is abnormal when at least one of the determination results of the plurality of abnormality determination units 25-1 and 25-2 is abnormal. When the determination results of the abnormality determination units 25-1 and 25-2 are all normal, it is assumed that the determination result of the abnormality determination unit 25B is normal. As described above, since the plurality of abnormality determination units 25-1 and 25-2 directly detect abnormal behavior, the normality / abnormality determination unit 26b of the comprehensive determination unit 26A includes the plurality of abnormality determination units 25-1 and 25. When at least one determination result of -2 is abnormal, it is appropriate to determine that the determination result of the abnormality determination unit 25B is abnormal.

第二の実施形態に係る異常検知装置２０Ｂは、正常行動及び異常行動の種別ごとクラスタリングして独立して学習した結果を記憶する記憶ユニットを備えているので、種別ごとに部分空間を好適に構成することができ、判定精度を向上させることができる。   Since the abnormality detection device 20B according to the second embodiment includes a storage unit that stores the results of independent learning by clustering for each type of normal behavior and abnormal behavior, a partial space is preferably configured for each type. It is possible to improve the determination accuracy.

＜第三の実施形態＞
続いて、第三の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図２０及び図２１は、本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。 <Third embodiment>
Next, the abnormality detection device according to the third embodiment will be described focusing on differences from the abnormality detection device 20A according to the first embodiment. 20 and 21 are block diagrams showing the main part of the abnormality detection device according to the third embodiment of the present invention.

図２０及び図２１に示すように、第三の実施形態に係る異常検知装置２０Ｃは、正常学習データ記憶部２２Ａ，正常判定部２３Ａ，異常学習データ記憶部２４Ａ及び異常判定部２５Ａに代えて、複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２、正常判定部２３Ｃ、複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２及び異常判定部２５Ｃを備えている。また、異常検知装置２０Ｃは、時刻を知らせるための時計部２８をさらに備えている。   As shown in FIGS. 20 and 21, the abnormality detection device 20C according to the third embodiment is replaced with a normal learning data storage unit 22A, a normal determination unit 23A, an abnormal learning data storage unit 24A, and an abnormality determination unit 25A. A plurality of normal learning data storage units 22C1 and 22C2, a normality determination unit 23C, a plurality of abnormal learning data storage units 24C1 and 24C2, and an abnormality determination unit 25C are provided. The abnormality detection device 20C further includes a clock unit 28 for notifying the time.

複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２は、それぞれ異なる正常学習データを記憶している。   The plurality of normal learning data storage units 22C1 and 22C2 store different normal learning data.

正常判定部２３Ｃは、正常学習データ選択部２３ｇをさらに備えている。正常学習データ選択部２３ｇは、複数の正常学習データ記憶部２２Ｃ１，２２Ｃ２の中から、時計部２８から読み出された時刻に基づいて、特徴量算出部２３ｂ及び特徴量変換部２３ｃで用いられる正常学習データを選択する。   The normality determination unit 23C further includes a normal learning data selection unit 23g. The normal learning data selection unit 23g is used in the feature amount calculation unit 23b and the feature amount conversion unit 23c based on the time read from the clock unit 28 from the plurality of normal learning data storage units 22C1 and 22C2. Select learning data.

複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２は、それぞれ異なる異常学習データを記憶している。   The plurality of abnormality learning data storage units 24C1 and 24C2 store different abnormality learning data.

異常判定部２５Ｃは、異常学習データ選択部２５ｇをさらに備えている。異常学習データ選択部２５ｇは、複数の異常学習データ記憶部２４Ｃ１，２４Ｃ２の中から、時計部２８から読み出された時刻に基づいて、特徴量算出部２５ｂ及び特徴量変換部２５ｃで用いられる異常学習データを選択する。   The abnormality determination unit 25C further includes an abnormality learning data selection unit 25g. The abnormality learning data selection unit 25g is used in the feature amount calculation unit 25b and the feature amount conversion unit 25c based on the time read from the clock unit 28 from the plurality of abnormality learning data storage units 24C1 and 24C2. Select learning data.

第三の実施形態に係る異常検知装置２０Ｃは、時刻に基づいて判定用の学習データを切り替えるので、例えば事務所ビルのように監視対象の利用形態が時刻に大きく依存する場合であっても、好適な総合判定結果を得ることができる。   Since the abnormality detection device 20C according to the third embodiment switches the learning data for determination based on the time, even if the usage form of the monitoring target greatly depends on the time, such as an office building, A suitable comprehensive determination result can be obtained.

＜第四の実施形態＞
続いて、第四の実施形態に係る異常検知装置について、第一の実施形態に係る異常検知装置２０Ａとの相違点を中心に説明する。図２２は、本発明の第四の実施形態に係る異常検知装置の要部を示すブロック図である。 <Fourth embodiment>
Next, the abnormality detection device according to the fourth embodiment will be described focusing on differences from the abnormality detection device 20A according to the first embodiment. FIG. 22 is a block diagram showing a main part of the abnormality detection device according to the fourth embodiment of the present invention.

図２２に示すように、第四の実施形態に係る異常検知装置２０Ｄは、総合判定部２６Ａに代えて、総合判定部２６Ｄを備えている。また、異常検知装置２０Ｄは、時刻を知らせるための時計部２８をさらに備えている。   As shown in FIG. 22, the abnormality detection device 20D according to the fourth embodiment includes a comprehensive determination unit 26D instead of the comprehensive determination unit 26A. The abnormality detection device 20D further includes a clock unit 28 for notifying the time.

総合判定部２６Ｄは、総合判定テーブル選択部２６ｃを備えている。また、本実施形態に係る総合判定テーブル記憶部２６ａは、複数の総合判定テーブル２６ａ１，２６ａ２を記憶している。総合判定テーブル選択部２６ｃは、複数の総合判定テーブル２６ａ１，２６ａ２の中から、時計部２８から読み出された時刻に基づいて、正常／異常判定部２６ｂで用いられるテーブルを選択する。   The comprehensive determination unit 26D includes a comprehensive determination table selection unit 26c. The comprehensive determination table storage unit 26a according to the present embodiment stores a plurality of comprehensive determination tables 26a1 and 26a2. The comprehensive determination table selection unit 26c selects a table to be used by the normal / abnormal determination unit 26b based on the time read from the clock unit 28 from the multiple comprehensive determination tables 26a1 and 26a2.

第四の実施形態に係る異常検知装置２０Ｄは、時刻に基づいて総合判定テーブルを切り替えるので、例えば事務所ビルのように監視対象の利用形態が時刻に大きく依存する場合であっても、好適な総合判定結果を得ることができる。   Since the abnormality detection device 20D according to the fourth embodiment switches the comprehensive determination table based on the time, it is preferable even when the usage pattern of the monitoring target greatly depends on the time, such as an office building. A comprehensive judgment result can be obtained.

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、各実施形態に係る異常検知装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄを適宜組み合わせた構成であってもよい。また、正常学習データ生成装置４０及び異常学習データ生成装置５０を異常検知装置２０Ａに一体的に組み込む構成であってもよい。また、各選択部２３ｇ，２５ｇ，２６ｃは、時刻ではなく、例えば利用者により入力された選択指示に基づいて選択を実行する構成であってもよい。また、本発明は、コンピュータを前記した異常検知装置として機能させる異常検知プログラムとして具現化することも可能である。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention. For example, the structure which combined suitably the abnormality detection apparatus 20A, 20B, 20C, 20D which concerns on each embodiment may be sufficient. In addition, the normal learning data generation device 40 and the abnormal learning data generation device 50 may be integrated into the abnormality detection device 20A. Moreover, each selection part 23g, 25g, 26c may be the structure which performs selection based on the selection instruction | indication input by the user instead of time, for example. The present invention can also be embodied as an abnormality detection program that causes a computer to function as the above-described abnormality detection device.

本発明の第一の実施形態に係る異常検知装置を備えた異常検知システムを示すブロック図である。It is a block diagram which shows the abnormality detection system provided with the abnormality detection apparatus which concerns on 1st embodiment of this invention. 図１の正常判定部を示す詳細ブロック図である。It is a detailed block diagram which shows the normality determination part of FIG. 図１の異常判定部を示す詳細ブロック図である。It is a detailed block diagram which shows the abnormality determination part of FIG. （ａ）は撮像データを説明するための図、（ｂ）は特徴量の算出対象を説明するための図である。(A) is a figure for demonstrating imaging data, (b) is a figure for demonstrating the calculation object of a feature-value. 立体高次局所自己相関特徴の算出に用いられるマスクパターンの例を示す図である。It is a figure which shows the example of the mask pattern used for calculation of a solid higher-order local autocorrelation feature. 正常学習データを生成するために用いられる正常学習データ生成装置を示すブロック図である。It is a block diagram which shows the normal learning data production | generation apparatus used in order to produce | generate normal learning data. 主成分分析で得られた主成分ごとの累積寄与率を説明するための図である。It is a figure for demonstrating the cumulative contribution rate for every principal component obtained by principal component analysis. 正常度算出部による正常度の算出処理を説明するための図である。It is a figure for demonstrating the calculation process of the normality by the normality calculation part. 異常学習データを生成するために用いられる異常学習データ生成装置を示すブロック図である。It is a block diagram which shows the abnormality learning data generation apparatus used in order to generate | occur | produce abnormality learning data. 異常度算出部による異常度の算出処理を説明するための図である。It is a figure for demonstrating the calculation process of the abnormality degree by the abnormality degree calculation part. 図１の総合判定部を示す詳細ブロック図である。It is a detailed block diagram which shows the comprehensive determination part of FIG. （ａ）（ｂ）は総合判定テーブルの例を説明するための図である。(A) (b) is a figure for demonstrating the example of a comprehensive determination table. 図１の異常検知装置の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of the abnormality detection apparatus of FIG. 正常判定部の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of a normal determination part. 異常判定部の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of an abnormality determination part. 特徴量算出部の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of a feature-value calculation part. 正常学習データ生成装置の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of a normal learning data generation apparatus. 異常学習データ生成装置の動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the operation example of the abnormality learning data generation apparatus. 本発明の第二の実施形態に係る異常検知装置を示すブロック図である。It is a block diagram which shows the abnormality detection apparatus which concerns on 2nd embodiment of this invention. 本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。It is a block diagram which shows the principal part of the abnormality detection apparatus which concerns on 3rd embodiment of this invention. 本発明の第三の実施形態に係る異常検知装置の要部を示すブロック図である。It is a block diagram which shows the principal part of the abnormality detection apparatus which concerns on 3rd embodiment of this invention. 本発明の第四の実施形態に係る異常検知装置の要部を示すブロック図である。It is a block diagram which shows the principal part of the abnormality detection apparatus which concerns on 4th embodiment of this invention.

符号の説明Explanation of symbols

２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ 異常検知装置
２１ 撮像データ取得部
２２Ａ，２２Ｂ，２２Ｃ１，２２Ｃ２ 正常学習データ記憶部
２３Ａ，２３Ｂ，２３Ｃ 正常判定部
２４Ａ，２２Ｂ，２２Ｃ１，２２Ｃ２ 異常学習データ記憶部
２５Ａ，２５Ｂ，２５Ｃ 異常判定部
２６Ａ，２６Ｄ 総合判定部 20A, 20B, 20C, 20D Abnormality detection device 21 Imaging data acquisition unit 22A, 22B, 22C1, 22C2 Normal learning data storage unit 23A, 23B, 23C Normality determination unit 24A, 22B, 22C1, 22C2 Abnormal learning data storage unit 25A, 25B , 25C Abnormality determination unit 26A, 26D Comprehensive determination unit

Claims (13)

監視対象の撮像データを取得する撮像データ取得部と、
正常な前記監視対象を予め学習した正常学習データを記憶する正常学習データ記憶部と、
前記撮像データと前記正常学習データとに基づいて、前記撮像データに含まれる監視対象が正常であるか否かを判定する正常判定部と、
異常な前記監視対象を予め学習した異常学習データを記憶する異常学習データ記憶部と、
前記撮像データと前記異常学習データとに基づいて、前記撮像データに含まれる監視対象が異常であるか否かを判定する異常判定部と、
前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象が正常であるか異常であるかを判定する総合判定部と、
を備えていることを特徴とする異常検知装置。 An imaging data acquisition unit for acquiring imaging data to be monitored;
A normal learning data storage unit for storing normal learning data obtained by learning the normal monitoring target in advance;
A normality determination unit that determines whether or not the monitoring target included in the imaging data is normal based on the imaging data and the normal learning data;
An abnormal learning data storage unit for storing abnormal learning data obtained by learning abnormal monitoring targets in advance;
An abnormality determination unit that determines whether or not the monitoring target included in the imaging data is abnormal based on the imaging data and the abnormality learning data;
Based on the determination result of the normality determination unit and the determination result of the abnormality determination unit, a comprehensive determination unit that determines whether the monitoring target included in the imaging data is normal or abnormal;
An abnormality detection device characterized by comprising: 前記総合判定部は、前記正常判定部の判定結果が正常であり、かつ、前記異常判定部の判定結果が非異常である場合に、前記撮像データに含まれる監視対象が正常であると判定し、前記正常判定部の判定結果が非正常である、又は、前記異常判定部の判定結果が異常である場合に、前記撮像データに含まれる監視対象が異常であると判定することを特徴とする請求項１に記載の異常検知装置。   The overall determination unit determines that the monitoring target included in the imaging data is normal when the determination result of the normality determination unit is normal and the determination result of the abnormality determination unit is non-abnormal. When the determination result of the normal determination unit is abnormal or the determination result of the abnormality determination unit is abnormal, it is determined that the monitoring target included in the imaging data is abnormal The abnormality detection device according to claim 1. 前記総合判定部は、前記正常判定部の判定結果が正常である、又は、前記異常判定部の判定結果が非異常である場合に、前記撮像データに含まれる監視対象が正常であると判定し、前記正常判定部の判定結果が非正常であり、かつ、前記異常判定部の判定結果が異常である場合に、前記撮像データに含まれる監視対象が異常であると判定することを特徴とする請求項１に記載の異常検知装置。   The comprehensive determination unit determines that the monitoring target included in the imaging data is normal when the determination result of the normality determination unit is normal or the determination result of the abnormality determination unit is non-abnormal. When the determination result of the normality determination unit is abnormal and the determination result of the abnormality determination unit is abnormal, it is determined that the monitoring target included in the imaging data is abnormal The abnormality detection device according to claim 1. 前記正常学習データ記憶部は、正常学習データを種別ごとに記憶する複数の正常学習データ記憶ユニットを備え、
前記正常判定部は、前記複数の正常学習データ記憶ユニットに対応し、当該正常学習データ記憶ユニットに記憶された正常学習データの種別に基づいて、前記撮像データに含まれる監視対象の行動が正常であるか異常であるかを判定する複数の正常判定ユニットを備えており、
前記総合判定部は、前記複数の正常判定ユニットの判定結果が全て非正常である場合に、前記正常判定部の判定結果が非正常であるとする
ことを特徴とする請求項１に記載の異常検知装置。 The normal learning data storage unit includes a plurality of normal learning data storage units for storing normal learning data for each type,
The normality determination unit corresponds to the plurality of normal learning data storage units, and based on the type of normal learning data stored in the normal learning data storage unit, the behavior of the monitoring target included in the imaging data is normal It is equipped with a plurality of normality judgment units that judge whether it is abnormal or not,
2. The abnormality according to claim 1, wherein when the determination results of the plurality of normal determination units are all abnormal, the comprehensive determination unit determines that the determination result of the normal determination unit is abnormal. Detection device. 前記異常学習データ記憶部は、異常学習データを種別ごとに記憶する複数の異常学習データ記憶ユニットを備え、
前記異常判定部は、前記複数の異常学習データ記憶ユニットに対応し、当該異常学習データ記憶ユニットに記憶された異常学習データの種別に基づいて、前記撮像データに含まれる監視対象が異常であるか正常であるかを判定する複数の異常判定ユニットを備えており、
前記総合判定部は、前記複数の異常判定ユニットの判定結果の少なくとも一つが異常である場合に、前記異常判定部の判定結果が異常であるとする
ことを特徴とする請求項１に記載の異常検知装置。 The abnormal learning data storage unit includes a plurality of abnormal learning data storage units that store abnormal learning data for each type,
The abnormality determination unit corresponds to the plurality of abnormality learning data storage units, and based on the type of abnormality learning data stored in the abnormality learning data storage unit, is the monitoring target included in the imaging data abnormal? It has multiple abnormality determination units that determine whether it is normal,
The abnormality according to claim 1, wherein the comprehensive determination unit determines that the determination result of the abnormality determination unit is abnormal when at least one of the determination results of the plurality of abnormality determination units is abnormal. Detection device. 前記正常学習データ記憶部を複数備え、
前記正常判定部は、複数の前記正常学習データ記憶部から一つを選択して判定に用いることを特徴とする請求項１に記載の異常検知装置。 A plurality of normal learning data storage units;
The abnormality detection device according to claim 1, wherein the normality determination unit selects one from the plurality of normal learning data storage units and uses it for determination. 前記正常判定部は、時刻に基づいて複数の前記正常学習データ記憶部から一つを選択することを特徴とする請求項６に記載の異常検知装置。   The abnormality detection device according to claim 6, wherein the normality determination unit selects one from the plurality of normal learning data storage units based on time. 前記異常学習データ記憶部を複数備え、
前記異常判定部は、複数の前記異常学習データ記憶部から一つを選択して判定に用いることを特徴とする請求項１に記載の異常検知装置。 A plurality of the abnormal learning data storage unit,
The abnormality detection device according to claim 1, wherein the abnormality determination unit selects one from the plurality of abnormality learning data storage units and uses it for determination. 前記異常判定部は、時刻に基づいて複数の前記異常学習データ記憶部から一つを選択することを特徴とする請求項８に記載の異常検知装置。   The abnormality detection device according to claim 8, wherein the abnormality determination unit selects one from the plurality of abnormality learning data storage units based on time. 前記総合判定部は、
前記第一の判定部の判定結果及び前記第二の判定部の判定結果と当該総合判定部の判定結果とを関連付けた総合判定テーブルを記憶する総合判定テーブル記憶部と、
前記第一の判定部の判定結果、前記第二の判定部の判定結果及び前記総合判定テーブルに基づいて、前記撮像データに含まれる監視対象が正常であるか異常であるかを判定する正常／異常判定部と、
を備えていることを特徴とする請求項１に記載の異常検知装置。 The comprehensive determination unit
A comprehensive determination table storage unit that stores a comprehensive determination table in which the determination result of the first determination unit and the determination result of the second determination unit are associated with the determination result of the comprehensive determination unit;
Based on the determination result of the first determination unit, the determination result of the second determination unit, and the comprehensive determination table, normal / determining whether the monitoring target included in the imaging data is normal or abnormal An abnormality determination unit;
The abnormality detection device according to claim 1, further comprising: 前記総合判定テーブル記憶部は、複数の前記総合判定テーブルを備えており、
前記複数の総合判定テーブルから一つを選択する総合判定テーブル選択部をさらに備え、
前記正常／異常判定部は、前記総合判定テーブル選択部により選択された総合判定テーブルを用いて判定することを特徴とする請求項１０に記載の異常検知装置。 The comprehensive determination table storage unit includes a plurality of the comprehensive determination tables,
A comprehensive determination table selection unit for selecting one from the plurality of comprehensive determination tables;
The abnormality detection apparatus according to claim 10, wherein the normality / abnormality determination unit makes a determination using the comprehensive determination table selected by the comprehensive determination table selection unit. 前記総合判定テーブル選択手段は、時刻に基づいて前記複数の総合判定テーブルから一つを選択することを特徴とする請求項１１に記載の異常検知装置。   The abnormality detection device according to claim 11, wherein the comprehensive determination table selection unit selects one of the plurality of comprehensive determination tables based on time. コンピュータを、
監視対象の撮像データを取得する撮像データ取得部、
予め記憶されている正常な前記監視対象を予め学習した正常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象が正常であるか否かを判定する正常判定部、
予め記憶されている異常な前記監視対象を予め学習した異常学習データと前記撮像データとに基づいて、前記撮像データに含まれる監視対象が異常であるか否かを判定する異常判定部、及び、
前記正常判定部の判定結果と前記異常判定部の判定結果とに基づいて、前記撮像データに含まれる監視対象が正常であるか異常であるかを判定する総合判定部、
として機能させることを特徴とする異常検知プログラム。 Computer
An imaging data acquisition unit for acquiring imaging data to be monitored;
A normal determination unit that determines whether or not the monitoring target included in the imaging data is normal based on normal learning data and the imaging data that have been learned in advance for the normal monitoring target stored in advance;
An abnormality determination unit that determines whether or not the monitoring target included in the imaging data is abnormal based on the abnormal learning data that has previously learned the abnormal monitoring target stored in advance and the imaging data; and
Based on the determination result of the normality determination unit and the determination result of the abnormality determination unit, a comprehensive determination unit that determines whether the monitoring target included in the imaging data is normal or abnormal,
An anomaly detection program characterized by functioning as

Images