JP7092818B2 - 異常検知装置 - Google Patents

Description

本発明は、異常検知装置および方法に関する。

一般に、設備の異常または故障予兆などの状態は、設備の発する音として現れることが多いため、設備の稼動音に基づく異常音検知は重要である。しかし、正常な稼働音の特徴量が複雑な時間変化を伴う場合、異常音の検知を誤る可能性が高くなる。したがって、正常な稼働音の特徴量が複雑な時間変化を伴う場合にも、診断を誤らず高精度な異常音検知が求められる。

特許文献１には、「監視対象である所定装置の稼動データに基づき当該装置の振る舞いを予測する予測モデルを学習する処理と、前記予測モデルによる予測結果と前記装置から得た各稼動データとの乖離具合に基づく各異常スコアが、正常時の稼働データに関して得られるものについては所定範囲となるよう調整する処理と、前記調整した異常スコアに基づいて異常または異常の予兆を検知する処理と、前記異常スコアまたは前記検知の結果の少なくともいずれかの情報を出力装置に表示する処理とを実行する演算装置を備える。」技術が開示されている。

特開２０１８－１６００９３号公報

特許文献１では、過去から現在までの稼動データの時系列から、未来の稼動データの時系列を予測し、観測値と予測値との累積誤差に基づいて異常度スコアを算出する。もしも、特許文献１において、稼動音に対して算出される特徴量の時系列を入力できるとするならば、設備の異常音を検知することもできるであろう。ただし、この記載は、特許文献１を設備の異常な稼働音（異常音）の検知に適用できると述べているわけではなく、単なる仮定にすぎない。

しかし、上述の仮定がもしも成り立つとしても、電磁弁、摺動装置、産業用ロボットなど、正常な稼働音（正常音）の特徴量の時間変化が突発的である場合、未来の音を予測することは過剰に難しくなるため、異常度スコアの大きさが機械の正常／異常と対応しなくなる。したがって、異常音検知の精度が低下する。

本発明は、上記問題に鑑みてなされたもので、その目的は、対象物の振動に由来する信号に基づいて、対象物の異常を検知することができるようにした異常検知装置および方法を提供することにある。

上記課題を解決すべく、本発明の一つの観点に従う異常検知装置は、対象物の異常を検知する異常検知装置であって、対象物から取得された、振動に由来する第１信号のうち所定領域の第２信号に所定処理を行うことにより、対象物の異常を検知する。

本発明によれば、対象物の振動に由来する第１信号のうち所定領域の第２信号に基づいて、対象物の異常を検知することができる。

本実施例の全体概要を示す説明図である。 異音検知装置のハードウェアおよびソフトウェア構成図である。 正常モデルの学習時の処理ブロック図である。 異常検知時（異音検知時）の処理ブロック図である。 第２実施例に係り、正常モデルの学習時の処理ブロック図である。 異常検知時の処理ブロック図である。 第３実施例に係り、正常モデルの学習時の処理ブロック図である。 異常検知時の処理ブロック図である。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態に係る異音検知装置は、対象物の発する振動に由来する信号に基づいて、対象物に異常が生じているか判定することができる。振動に由来する信号には、振動の信号と音の信号とが含まれる。本実施例で使用するセンサ端末をマイクロフォンから加速度センサまたは変位センサに代えることにより、本実施例は振動の信号から異常を検知できる。

対象物は、例えば、電磁弁、摺動装置、ロボットなどの、突発的に正常音が変化しうる工場設備または家庭電気製品などである。しかし、対象物は、機械または電気製品に限定されない。突発的に変化しうる振動または音を発生させる物体であり、その振動または音に基づいて異常を検知可能な物体であれば、本実施例を適用可能である。そのような物体としては、例えば、人間、車、ドアなどがある。例えば、本実施例は、人間の生活音（話し声、足音、呼吸音など）、車の音、銃声、爆発音などの周囲環境の音を学習することにより、セキュリティ上の異常事態の発生を検知することもできる。

図１に示すように、本実施例では、対象物３の振動に由来する第１信号Ｄ１のうち時間軸上の中間部分の信号Ｄ２を用いて、対象物３の異常を検知する。本実施例では、中間部分の前後（時間軸上の前後）の信号Ｄ３を使用しないため、異常検知の精度を高めることができる。

本実施例の異音検知装置１の一つの例を挙げるならば、入力信号の特徴量時系列Ｄ１を算出する特徴量時系列算出部１０８と、特徴量時系列Ｄ１から、中間時刻の複数フレームＤ２（以下、中間特徴量時系列Ｄ２）を取り除いた特徴量時系列Ｄ３（以下、欠損後特徴量時系列Ｄ３）を算出する中間特徴量時系列除外部１０９と、欠損後特徴量時系列Ｄ３を入力として、中間特徴量時系列Ｄ２を予測するような写像を学習し、中間特徴量時系列の予測値Ｄ４（以下、予測中間特徴量時系列Ｄ４）を出力する中間特徴量時系列予測部２０１と、中間特徴量時系列Ｄ２と予測中間特徴量時系列Ｄ４との誤差に基づいて異常検知を行う異常検知部４０１とを備える。

本実施例によれば、欠損後特徴量時系列Ｄ３は特徴量時系列Ｄ１のうち前方の時刻と後方の時刻との特徴量から成るため、正常音の特徴量の時間変化が突発的であったとしても、中間特徴量時系列の予測Ｄ４は可能である。

したがって、本実施例の異音検知装置１は、中間特徴量時系列Ｄ２と予測中間特徴量時系列Ｄ４との誤差に基づいて異常を検知できる。本実施例の異音検知装置１は、中間特徴量時系列Ｄ４のみを予測すればよいので、同じ入力に対するオートエンコーダに比べると相対的にパラメタ数を少なくすることができる。したがって、本実施例の異音検知装置１は、学習時に最適パラメタにたどりやすい。また、本実施例の異音検知装置１は、入力と出力とが異なるので、学習の結果として恒等写像になることを避けることができる。

上述の特許文献１には、過去から現在までの稼動データの時系列が入力されたオートエンコーダが入力と同じ時系列を復元するときの、復元誤差に基づいて異常度スコアを算出する方法も開示されている。しかし、オートエンコーダでは、ボトルネック層が小さすぎると、復元が過剰に難しくなるため、異常度スコアの大きさが機械の正常／異常と対応しなくなる。

逆にボトルネック層が大きすぎると、パラメタ数が多いために学習時に最適パラメタにたどり着きにくくなる。また、オートエンコーダは学習用データの正常サンプルのベクトルを入力としてその入力ベクトルと同じベクトルを出力するように学習するので、学習の結果として、オートエンコーダが恒等写像となり、正常サンプルに限らず異常サンプルであっても誤差ゼロで完全に復元できるようになる可能性がある。その場合、異常度スコアの大きさが機械の正常／異常と対応しなくなるため、異常検知はできない。このように、ボトルネック層のチューニングは難しい。それに加えて、正常音の特徴量の時間変化が突発的である場合、未来の予測の場合と同様に時系列の最前方と最後方の復元は過剰に難しくなるため、異常度スコアの大きさが機械の正常／異常と対応しなくなる。したがって、異常音検知の精度が低下する。

これに対し、本実施例の異音検知装置１は、上述の通り、オートエンコーダに比べると相対的にパラメタ数を少なくすることができ、学習時に最適パラメタにたどりやすい。また、本実施例の異音検知装置１は、学習の結果として恒等写像になることを避けることができ、信頼性が向上する。

図１～図４を用いて第１実施例を説明する。図１は、本実施例の全体概要を示す説明図である。図２に示す異常検知装置１は、対象物３の発生する音を検出して記録するセンサ端末２と、異音検知装置１とを備える。異音検知装置１は、センサ端末２により異なる位置で録音された音データ（音信号）を処理する信号処理部１０８，１０９，２０１，４０１を有する。信号処理部の詳細は後述する。

本実施例の対象物３は、正常音が一定ではなく、正常音が突発的にまたは急に変化する物体である。そのような対象物３には、例えば、開弁と閉弁を繰り返す電磁弁、空気弁、油圧弁などの制御弁、または、決められた動作でアームなどを駆動するロボット、加減速を繰り返す摺動装置などがある。

センサ端末２は、例えば、可搬型の録音端末として構成される。センサ端末２の構成例は後述する。ユーザは、センサ端末２を把持して対象物３の音を録音する。録音されたデータは、センサ端末２から異音検知装置１へ送信される。センサ端末２と異音検知装置１とを一体化してもよい。例えば、録音機能を有する異音検知装置１を可搬型の装置として構成してもよい。この場合は、センサ端末２が不要となる。

特徴量時系列算出部１０８は、センサ端末２により検出された対象物３からの音データから特徴量時系列Ｄ１を算出する。中間特徴量時系列除外部１０９は、特徴量時系列Ｄ１から所定領域の中間特徴量時系列Ｄ２を除外することにより、欠損後特徴量時系列Ｄ３を算出する。

ここで、対象物３の音から生成される特徴量時系列Ｄ１は、図１に示すように、横軸が時間であり、縦軸が周波数である、入力された音のスペクトログラムであり、複数のフレームＦから形成される。

中間特徴量時系列予測部２０１は、欠損後特徴量時系列Ｄ３に基づいて、除去された中間特徴量時系列を予測し、その予測結果である中間特徴量時系列Ｄ４を出力する。異常検知部４０１は、元々の特徴量時系列Ｄ１から取り除かれた中間特徴量時系列Ｄ２と、欠損後特徴量時系列Ｄ３から予測された中間特徴量時系列Ｄ４とを比較することにより、対象物３の音に異常があるか否か、すなわち、対象物３に異常が生じているか否かを判定し、その判定結果を出力する。

図２を用いて、異音検知装置１の構成例を説明する。異音検知装置１は、例えば、演算部１１と、主記憶装置１２と、補助記憶装置１３と、入力部１４と、出力部１５と、通信部１６とを備える。

演算部１１は、一つまたは複数のマイクロプロセッサを含んでおり、補助記憶装置１３に記憶された所定のコンピュータプログラムを主記憶装置１２に読み出して実行することにより、図１で述べたような特徴量時系列算出部１０８、中間特徴量時系列除外部１０９、中間特徴量時系列予測部２０１、異常検知部４０１といった機能を実現する。演算部１１により実現される、図２に示した機能１０８，１０９，２０１，４０１以外の機能については後述する。

入力部１４は、例えば、キーボード、タッチパネル、ポインティングデバイスなどを含むことができ、異音検知装置１を使用するユーザからの入力を受け付ける。出力部１５は、例えば、ディスプレイ、スピーカー、プリンタなどを含むことができ、ユーザへ情報を提供する。

通信部１６は、通信ネットワークＣＮを介して、センサ端末２と通信する。通信部１６は、図示せぬ他のコンピュータと通信することもできる。

記憶媒体ＭＭは、例えば、フラッシュメモリまたはハードディスク等の記憶媒体であり、異音検知装置１へコンピュータプログラムまたはデータを転送して記憶させたり、異音検知装置１からコンピュータプログラムまたはデータを読み出して記憶したりする。記憶媒体ＭＭは、異音検知装置１に直接的に接続されてもよいし、通信ネットワークＣＮを介して異音検知装置１に接続されてもよい。

センサ端末２の構成を説明する。センサ端末２は、例えば、センサ部２１と、制御部２２と、記憶部２３と、通信部２４とを備える。

センサ部２１は、対象物３の音を検出するマイクロフォンである。したがって、以下では、センサ部２１をマイクロフォン２１と呼ぶ場合がある。センサ部２１により検出された音のデータは記憶部２３に記憶される。センサ端末２を制御する制御部２２は、記憶部２３に記憶された音データを異音検知装置１へ向けて送信する。

なお、センサ部２１をマイクロフォンから加速度センサなどに変更することにより、センサ端末２は対象物３の振動を検出することができる。そして、異音検知装置１は、対象物３の振動に基づいて異常を検出することができる。この場合、異音検知装置１は異常検知装置１と呼ぶこともできる。

図３は、異音検知装置１に係る正常モデルの学習時の処理ブロック図である。図中、データベースをＤＢと略記する。入力音取得部１０１は、マイクロフォン２１から入力されたアナログ入力信号をＡ／Ｄ（アナログ／デジタル）変換器によってデジタル入力信号に変換し、訓練用デジタル入力信号データベース１１２に格納する。

フレーム分割部１０２は、訓練用デジタル入力信号データベース１１２から取り出したデジタル入力信号に対して、規定した時間ポイント数 （以下、フレームサイズ） 毎にデジタル入力信号を分割し、フレーム信号を出力する。フレーム間はオーバーラップしてもよい。

窓関数乗算部１０３は、入力されたフレーム信号に窓関数を乗算することにより、窓関数乗算信号を出力する。窓関数には、例えばハニング窓を用いる。

周波数領域信号計算部１０４は、入力された窓関数乗算後信号に短時間フーリエ変換を施することにより、周波数領域信号を出力する。周波数領域信号は、フレームサイズがＮであれば、（Ｎ／２＋１）＝Ｍ個の周波数ビンそれぞれに１個の複素数が対応する、Ｍ個の複素数の組である。周波数領域信号計算部１０４は、短時間フーリエ変換の代わりに、ｃｏｎｓｔａｎｔ Ｑ変換（ＣＱＴ）などの周波数変換手法を用いてもよい。

パワースペクトログラム計算部１０５は、入力された周波数領域信号に基づいて、そのパワースペクトログラムを出力する。フィルタバンク乗算部１０６は、入力されたパワースペクトログラムにメルフィルタバンクを乗算することにより、メルパワースペクトログラムを出力する。フィルタバンク乗算部１０６は、メルフィルタバンクの代わりに、１／３オクターブバンドフィルタなどのフィルタバンクを用いてもよい。

瞬時特徴量計算部１０７は、入力されたメルパワースペクトログラムに対数を施すことにより、対数メルパワースペクトログラムを出力する。なお、対数メルパワースペクトログラムの代わりに、メル周波数ケプストラム係数（ＭＦＣＣ）を計算してもよい。その場合、フィルタバンク乗算部１０６と瞬時特徴量計算部１０７の代わりに、パワースペクトログラムの対数値を計算し、フィルタバンクを乗算し、離散コサイン変換を施し、ＭＦＣＣを出力する。

特徴量時系列算出部１０８は、入力された対数メルパワースペクトログラム、あるいは、ＭＦＣＣに対して、隣接するＬフレームを連結させて特徴量時系列Ｄ１を出力する。対数メルパワースペクトログラム、あるいは、ＭＦＣＣの代わりに、それらの時間差分あるいは時間微分の時系列（デルタ）を入力し、隣接するＬフレームを連結させて特徴量時系列Ｄ１を出力してもよい。

また、時間差分あるいは時間微分の時系列の時間差分あるいは時間微分の時系列（デルタデルタ）を入力して、隣接するＬフレームを連結させて特徴量時系列Ｄ１を出力してもよい。さらに、これらのいずれかの組み合わせを選んで特徴量軸方向に連結したものに対して、隣接するＬフレームを連結させて特徴量時系列Ｄ１を出力してもよい。

中間特徴量時系列除外部１０９は、入力された特徴量時系列Ｄ１の中間時刻の複数フレーム（所定領域にある複数フレーム）である、中間特徴量時系列Ｄ２を特徴量時系列Ｄ１から取り除くことにより、欠損後特徴量時系列Ｄ３を出力する。

ここで、中間特徴量時系列Ｄ２として、特徴量時系列Ｄ１において厳密に中央のＫ個の隣接フレームを選んでもよく、あるいは、中央から前後にずらしたＫ個の隣接フレームを選んでもよい。Ｋフレームを一つのクラスタとして、２個以上のＣ個のクラスタを欠損させてもよい。その場合、Ｌフレームのうち、ＣＫフレームが欠損し、（Ｌ－ＣＫ）フレームが入力特徴量として残ることになる。

いずれにしても本実施例では、前後のフレームを入力特徴量Ｄ３として残すことで、たとえ正常音の特徴量の時間変化が突発的であったとしても、中間特徴量時系列の予測（Ｄ４）が可能である。Ｋ＝１の場合でも、異常を検知できる。ただし、Ｋ＝１の場合、対象物３の正常または異常にかかわらず、前後のフレームの情報だけで中間特徴量時系列を高精度に補間ができる可能性が高い。

これに対して、Ｋを２以上に設定すると、Ｋ＝１の場合に比べて、前後のフレームだけから中間特徴量時系列を予測することが難しい。したがって、中間特徴量時系列の予測値（Ｄ４）は、学習した正常状態の特徴量の分布に強く依存することになる。

したがって、もしも対象物３が正常であれば、中間特徴量時系列の予測値（Ｄ４）と真値（Ｄ２）の両方が、学習した正常状態の特徴量の分布に従うので、予測値（Ｄ４）と真値（Ｄ２）との間の誤差が小さくなる。

これに対して、もしも対象物３が異常であれば、中間特徴量時系列の予測値（Ｄ４）は学習した正常状態の特徴量の分布に従う。しかし、中間特徴量時系列の真値（Ｄ２）は正常状態の特徴量の分布に従わないので、予測値（Ｄ４）と真値（Ｄ２）との間の誤差が大きくなる。したがって、Ｋ＝１の場合に比べてＫが２以上の場合の方が、異常検知の精度が高い。そのため、Ｋは２以上に設定することが望ましい。

欠損後特徴量時系列－中間特徴量時系列写像学習部１１０は、欠損後特徴量時系列Ｄ３と中間特徴量時系列Ｄ２とのペアの集合を訓練データとして、欠損後特徴量時系列Ｄ３を入力して中間特徴量時系列Ｄ２を予測するような写像を学習し、その写像（以下、欠損後特徴量時系列－中間特徴量時系列写像）を欠損後特徴量時系列－中間特徴量時系列写像データベース１１１に保存する。

欠損後特徴量時系列－中間特徴量時系列写像には、例えば、線形回帰、リッジ回帰、ＬＡＳＳＯ回帰、ＰＬＳ回帰、サポートベクター回帰、ニューラルネットワーク、変分ニューラルネットワーク、ガウス過程、深層ガウス過程、ＬＳＴＭ、Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＬＳＴＭ、ＧＲＵなどを用いてよい。

例えばニューラルネットワークを用いた場合は、ＳＧＤ、Ｍｏｍｅｎｔｕｍ ＳＧＤ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍなどの最適化アルゴリズムによって、欠損後特徴量時系列を入力した際に予測される中間特徴量時系列Ｄ４と、観測した中間特徴量時系列Ｄ２との間の差分（予測誤差ベクトル）のノルムが小さくなるように、内部パラメタを最適化する。予測誤差ベクトルのノルムは、Ｌ１ノルム、Ｌ２ノルム、Ｌ１／２ノルムなどの適当なノルムでよい。

図４は、異常検知を推論するときの処理ブロック図である。入力音取得部１０１から中間特徴量時系列除外部１０９までの処理は、図３で上述したため、説明を省略する。

欠損後特徴量時系列－中間特徴量時系列予測部２０１は、欠損後特徴量時系列－中間特徴量時系列写像データベース１１１から読み出された欠損後特徴量時系列－中間特徴量時系列写像と、中間特徴量時系列除外部１０９から入力された欠損後特徴量時系列Ｄ３とに基づいて、元の特徴量時系列Ｄ１から失われた中間特徴量時系列Ｄ２を予測し、その予測された中間特徴量時系列Ｄ４を出力する。

異常検知部２０２は、予測誤差に基づいて、対象物３に異常が生じているか否か（対象物３の稼働音が正常か否か）を検知する。

異常検知部２０２は、予測誤差として、中間特徴量時系列除外部１０９から入力された観測した中間特徴量時系列Ｄ２と、欠損後特徴量時系列－中間特徴量時系列予測部２０１が予測した中間特徴量時系列Ｄ４との差分（この差分を予測誤差ベクトルと呼ぶ。）を計算する。異常検知部２０２は、予測誤差ベクトルのノルムが、或る正の閾値より大きければ異常、小さければ正常と判定する。

欠損によって欠損後特徴量時系列Ｄ３の次元を減らすのではなく、欠損された次元をゼロ、適当な定数、あるいは、乱数で埋めてもよい。乱数を用い、かつ、学習でミニバッチ学習を行う場合は、ミニバッチごとに異なる乱数を生成する。

特徴量時系列Ｄ１の時間軸方向での変化がほとんどなく一定である場合、中間特徴量時系列を簡単に予測できる。特徴量時系列Ｄ１の時間的変化がない場合、正常音のサンプルに限らず異常音のサンプルであっても、中間特徴量時系列を誤差ゼロで完全に復元することができる。この場合、異常度スコアの大きさが対象物３の正常状態／異常状態と対応しなくなるため、異常を検知できない。

中間特徴量時系列の予測（Ｄ４）が難しくなるように、欠損フレーム数Ｋを大きい値に設定することも考えられる。欠損フレーム数Ｋを大きくすることにより、或る程度対処することもできるが、定常性が強いと十分な効果が得られない。

本実施例では、この問題を、特徴量時系列Ｄ１を、時間軸方向の欠損のみならず、特定の特徴量次元も欠損させることで解決する。欠損させる特徴量次元は、特徴量軸方向で互いに従属性が高い特徴量次元の集合とする。これにより、独立性が高い次元のみが残るため、その次元の特徴量のみを用いて欠損値を予測することは難しくなる。

したがって、予測値（Ｄ４）は、学習した正常状態の特徴量の分布に強く依存することになる。もしも対象物３が正常であれば、中間特徴量時系列の予測値（Ｄ４）と真値（Ｄ２）との両方が、学習した正常状態の特徴量の分布に従うので、予測値（Ｄ４）と真値（Ｄ２）の間の誤差が小さくなる。これに対して、もしも対象物３が異常であれば、中間特徴量時系列の予測値（Ｄ４）は学習した正常状態の特徴量の分布に従うが、中間特徴量時系列の真値（Ｄ２）は正常状態の特徴量の分布に従わないので、予測値（Ｄ４）と真値（Ｄ２）との間の誤差が大きくなる。ゆえに、異常検知が正しく働く。

異常検知装置１は、例えば、訓練用デジタル入力信号データベース１１２の全訓練サンプル（音データ）にわたる各特徴量次元ｉとｊの相互情報量ＭＩ（ｉ，ｊ）を計算し、その値をｉ行ｊ列とする隣接行列Ａ＝｛ＭＩ（ｉ，ｊ）｝＿ｉ，ｊを計算する。また、異常検知装置１は、Ａのｉ行目の要素の総和をｉ行ｉ列とする対角行列Ｄを計算する。

そして、グラフラプラシアンＬ＝Ｄ－Ａを計算する。酔歩正規化グラフラプラシアンＬ￣＝Ｄ＾｛－１｝Ｌを計算する。そして、酔歩正規化グラフラプラシアンＬ￣を固有値分解する。固有値分解によって得られた固有ベクトルを、固有値の大きさに従って昇順に並べる。規定のＶ個の最小固有値に対応するＶ個の固有ベクトルの各次元の要素の絶対値が規定の閾値以上かどうかを判断する。要素の絶対値が閾値以上である次元のみを欠損対象次元として選択する。欠損対象として選択された次元は、互いに従属性が高い特徴量次元の集合となっている。

対数メルパワースペクトログラムやＭＦＣＣを用いる場合、隣接次元の間での従属性が高いことを利用し、あらかじめ規定されたＫ＿ｍｉｎとＫ＿ｍａｘとに基づいて、特徴量次元ｉがＫ＿ｍｉｎ以上であり、かつＫ＿ｍａｘ以下である全ての次元を一括して欠損させてもよい。

図５および図６を用いて第２実施例を説明する。本実施例を含む以下の各実施例では、第１実施例との相違を中心に述べる。本実施例では、予測誤差ベクトルの分布が等方ガウス分布以外の場合を説明する。

第１実施例における予測誤差に基づく異常検知部２０２は、予測誤差ベクトルのノルムを基準として正常か異常かを判定していた。しかし、実際には、特徴量の次元によって予測誤差の分散が異なる場合、異なる特徴量の次元の間で予測誤差が相関を持つ場合、あるいは、予測誤差ベクトルがさらに複雑な分布に従う場合など、予測誤差ベクトルの分布が等方ガウス分布ではないことが多い。この場合は、異常検知の精度が低下しうる。そこで、本実施例では、予測誤差ベクトルの分布が等方ガウス分布ではない場合であっても、高精度な異常検知を可能とする方法を開示する。

図５は、正常モデルの学習時の処理ブロック図である。入力音取得部１０１から中間特徴量時系列除外部１０９までの処理は、図３で述べた通りなので説明を省略する。欠損後特徴量時系列－中間特徴量時系列予測部２０１については、図４で述べた通りなので説明を省略する。

予測誤差分布学習部３０１は、訓練用デジタル入力信号データベース１１２の各訓練サンプルのデータに対し、フレーム分割部１０２から欠損後特徴量時系列－中間特徴量時系列予測部２０１までの一連の処理によって計算された、観測した中間特徴量時系列Ｄ３と予測した中間特徴量時系列Ｄ４との組から、それらの差分である予測誤差ベクトルを計算する。

そして、全訓練サンプルにわたる予測誤差ベクトルに基づいて、それらが従う分布のパラメタを推定し、予測誤差分布データベース３０２に格納する。その分布としては、例えば多変量ガウス分布を用いることができる。多変量ガウス分布を用いることにより、特徴量の次元によって予測誤差の分散が異なる場合や、異なる特徴量の次元の間で予測誤差が相関を持つ場合であっても、予測誤差ベクトルを正規化することができるため、異常検知の精度は低下しない。

多変量ガウス分布のパラメタは、一つの平均ベクトルと一つの共分散行列とにより定義される。したがって、分布の推定は、全訓練サンプルにわたる予測誤差ベクトルからそれらの標本統計量を計算することによって実行される。

予測誤差ベクトルの分布がより複雑な多峰性の分布であっても、例えば混合ガウス分布を用いることにより、異常検知の精度が低下するのを抑制できる。混合ガウス分布のパラメタは、各ガウス分布モデルの混合率、各ガウス分布モデルの平均ベクトル、各ガウス分布モデルの共分散行列である。混合ガウス分布のこれらのパラメタは、全訓練サンプルにわたる予測誤差ベクトルから、ｅｘｐｅｃｔａｔｉｏｎ－ｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ）アルゴリズムなどの既知の方法によって推定することができる。

図６は、異常検知を推論するときの処理ブロック図である。予測誤差ベクトル尤度に基づく異常検知部４０１は、観測した中間特徴量時系列Ｄ３と予測した中間特徴量時系列Ｄ４との組から、それらの差分である予測誤差ベクトルを計算する。異常検知装置１は、予測誤差分布データベース３０２から取り出した予測誤差ベクトルの分布のパラメタを用いることにより、予測誤差ベクトルが発生する尤度を計算する。異常検知装置１は、その尤度が或る閾値より小さければ異常、大きければ正常と判定する。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、予測誤差ベクトルの分布が等方ガウス分布以外の場合であっても対応することができ、ユーザにとっての使い勝手が向上する。

図７および図８を用いて、第３実施例を説明する。第１実施例では、チャンネル数が１つの場合を説明した。しかし、例えば、電気的故障または風切り音などによって、一部のチャンネルだけがうまく働かない場合がある。これに対して、チャンネル数が２つ以上の場合は、複数チャンネルが有する冗長性、ならびに、音の到来方向の情報、を利用することにより、チャンネル毎のぶれに対して頑健な異常検知が可能となる。

図７は、正常モデルの学習時の処理ブロック図である。複数チャンネル入力音取得部５０１、複数チャンネルフレーム分割部５０２、複数チャンネル窓関数乗算部５０３、複数チャンネル周波数領域信号計算部５０４は、それぞれ図３で述べた入力音取得部１０１、フレーム分割部１０２、窓関数乗算部１０３、周波数領域信号計算部１０４を複数のチャンネルに対応できるように拡張したものである。

複数チャンネルパワースペクトログラム計算部５０５は、複数チャンネル周波数領域信号計算部５０４で計算された複数チャンネル周波数領域信号に基づいて、各時刻での音の到来方向スペクトラムを計算する。そして、複数チャンネルパワースペクトログラム計算部５０５は、計算された到来方向スペクトラムを時系列に連結した到来方向スペクトログラムを出力する。到来方向スペクトラムの計算には、例えば、Ｓｔｅｅｒｅｄ Ｒｅｓｐｏｎｓｅ Ｐｏｗｅｒ ｗｉｔｈ ｔｈｅ ＰＨＡｓｅ Ｔｒａｎｓｆｏｒｍ（ＳＲＰ－ＰＨＡＴ）や ＭＵｌｔｉｐｌｅ ＳＩｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ（ＭＵＳＩＣ）などの方法を用いることができる。

方向付き瞬時特徴量計算部５０７は、複数チャンネル入力音取得部５０１から複数チャンネルフィルタバンク乗算部５０６までの一連の処理によって計算された、複数チャンネルメルパワースペクトログラムと、到来方向特徴計算部５０８により計算された到来方向スペクトログラムとに基づいて、方向付き瞬時特徴量時系列を算出する。

方向付き瞬時特徴量計算部５０７は、全チャンネルのメルパワースペクトログラムを特徴量軸方向に連結し、さらに、到来方向スペクトログラムも特徴量軸方向に連結する。そして、方向付き瞬時特徴量計算部５０７は、連結された特徴量時系列を、方向付き瞬時特徴量時系列として出力する。これ以降は、第２実施例と同様の処理により学習する。

図８は、異常検知を推論するときの処理ブロック図である。図７の学習時の処理と同様に、方向付き瞬時特徴量時系列を計算し、計算された方向付き瞬時特徴量時系列を利用する点以外は、図７と同様である。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例では、それぞれが音を検出する複数のチャンネルに対応することができるため、複数チャンネルのうち一部のチャンネルに不具合が生じた場合でも、他のチャンネルから入力される音を利用することができ、信頼性が向上する。さらに、本実施例では、複数チャンネルを用いるため、音の到来する方向を計算することができ、複数のチャンネルから入力される音に変動が生じた場合でも異常を検知することができる。

なお、本発明は上述の実施例に限定されず、様々な変形例が含まれる。例えば、上述の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

本発明は、例えば、セキュリティ分野などにも適用可能である。家庭やオフィス、各種施設の通常状態の音を正常音として学習し、正常音以外の突発的な音（例えば、銃声、人または物体の倒れる音、悲鳴、警報など）を異常音として検出することができる。

さらに、本発明は、音に代えて振動から異常か否かを検出することもできる。上述のように、センサ部２１として振動センサ（加速度センサなど）を用いればよい。

さらに、特徴量時系列Ｄ１から中間特徴量時系列Ｄ３を欠損させる代わりに、特徴量時系列Ｄ１のうち所定の中間領域についての演算結果に重みをつける構成でもよい。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組合せることができる。

１：異常検知装置、２：センサ端末、３：対象物、１０１：入力音取得部、１０２：フレーム分割部、１０３：窓関数乗算部、１０４：周波数領域信号計算部、１０５：パワースペクトログラム計算部、１０６：フィルタバンク乗算部、１０７：瞬時特徴量計算部、１０８：特徴量時系列算出部、１０９：中間特徴量時系列除外部、１１０：欠損後特徴量時系列－中間特徴量時系列写像予測部、２０１：欠損後特徴量時系列－中間特徴量時系列予測部、２０２：予測誤差に基づく異常検知部、３０１：予測誤差分布学習部、４０１：予測誤差ベクトル尤度に基づく異常検知部、

Claims (1)

1. 正常な稼働音の特徴量が突発的に変化する対象物の異常を検知する異音検知装置であって、
   前記対象物から取得された振動に由来する入力信号の特徴量時系列を第１信号として算出し、
   前記第１信号から、時間軸上の中央領域に存在する中間特徴量時系列である第２信号と、前記第１信号から前記第２信号を取り除いた欠損後特徴量時系列である第３信号を、それぞれ算出し、
   予め、対象物が正常であるときの第３信号を入力として、第２信号を予測する写像を学習しておき、前記写像を用いて前記第３信号から中間特徴量時系列である第４信号を予測し、
   前記第２信号と前記第４信号との誤差に基づいて、前記対象物の異常を検知するものであって、
   正常な稼働音と異常な稼働音の時間変化が前記第１信号の中に収まるように前記第１信号の長さは設定されており、前記第２信号の期間は、前記第２信号が前記第３信号の情報のみから予測できないように設定される
   異常検知装置。

Images