JP6882397B2 - 異音等検出システム、装置、方法及びプログラム - Google Patents

Description

この発明は、所定の時系列信号から異常区間を検出するシステム等に関する。

従前より、自動車や電線等の工業製品の出荷前や定期点検の際に当該製品の異常の有無を検査することが行われている。その検査手法の一つとして、例えば、検査対象物たる工業製品を作動させたり外力（振動など）を与える等して特定の状態へとおき、その状態にて生成される様々な時系列信号の性状に基づいて、検査対象物の異常の有無を推定するという手法がある。

特許文献１には、時系列信号として検査対象物から発せられる音信号に着目し、異音の有無から検査対象物の異常の有無を推定する手法が開示されている。より詳細には、この例にあっては、異音を含む有異音サンプル音と異音を含まない無異音サンプル音に基づいて異音の有無を識別し、それにより検査対象物の異常の有無を推定している。

すなわち、従前の手法にあっては、所定の時系列信号中の異常区間を特定する場合には、まず、下処理として異常に相当するサンプル、音の場合では異音サンプルを特定し、それとの比較において異常区間の特定を行っていた。これらの作業は、従来、作業者により人手で行われていた。

特開２０１５−１７５７７０号公報

しかしながら、そもそも多量の検査対象データの中から異常を示すサンプルを特定することは大きな手間であり、また、そもそも異常を示すサンプルであるか否かの判断自体が困難である場合もあった。これにより、検査対象物から取得された時系列信号から異常区間を検出する作業は、作業者にとって過大な負担となっていた。

本発明は、上述の技術的背景の下になされたものであり、その目的とすることころは、検査対象物から取得された時系列信号から異常区間を検出する際の作業者の負担を軽減することにある。

本発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。

上述の技術的課題は、以下の構成を有する異常検出システム、方法、プログラムにより解決することができる。

すなわち、本発明に係る異常検出システムは、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備えている。

このような構成によれば、クラスタリング結果に基づいて検査対象物に係る時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。なお、特定の状態には、例えば、検査対象物を物理的に動作させた状態、検査対象物を電気的に作動させた状態、振動等の外力が加えられた状態などが含まれる。また、検査対象物を特定の状態へとおくことにより生成される時系列信号には、例えば、マイクや各種センサにより取得される時系列の音信号やセンサ信号が含まれる。

前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号を含む、ものであってもよい。

このような構成によれば、検査対象物から発生する音に基づいて異常検出を行うので、非破壊で検査を行うことができる。また、異常状態の場合の音サンプルの準備や当該音サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。

前記時系列信号は、さらに、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を含む、ものであってもよい。

このような構成によれば、対象物から発せられる音のみならず、異常と因果関係の生じ得る対象物の作動状態を示すセンサ情報（例えば、加速度など）も活用することで、異常の検出精度をさらに向上させることができる。

前記特徴量生成部は、さらに、前記時系列音信号と前記時系列センサ信号とを周波数領域に変換して、周波数領域音信号と周波数領域センサ信号とを生成する周波数領域信号生成部と、前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、前記周波数領域音信号と前記周波数領域センサ信号とに基づいて、メル周波数ケプストラム係数を含むＭＦＣＣ特徴量を生成するＭＦＣＣ特徴量生成部と、を備えるものであってもよい。

このような構成によれば、音の特徴を人の聴感特性を考慮した特徴量を用いるので、特に人が知覚しやすい異音を伴う異常の検出精度を向上させることができる。

前記特徴量生成部は、さらに、入力ニューロン、出力ニューロン及びそれらの間の中間ニューロンとを備え、オートエンコーダとして機能するよう学習させた学習済ニューラルネットワークに基づき、前記周波数領域音信号と前記周波数領域センサ信号とを入力としたときの前記中間ニューロンの発火値を符号化特徴量として出力する、符号化特徴量生成部を、備えるものであってもよい。

このような構成によれば、中間ニューロン（隠れ層のニューロン）に特徴が圧縮される性質を利用してクラスタリング精度を向上させ、さらに、異常の検出精度を向上させることができる。

前記検査対象物は回転体であり、前記時系列センサ信号は、前記回転体の時系列回転数信号を含み、前記特徴量生成部は、さらに、前記時系列回転数信号と前記周波数領域音信号とに基づき、所定の回転次数を特徴量として生成する回転次数特徴量生成処理部と、を備えるものであってもよい。

このような構成によれば、回転状態を示す回転数を回転次数へと変換して特徴量として用いるので、回転体における異常検出精度を向上させることができる。

前記検査対象物は回転体であり、前記時系列センサ信号は、加速度、トルク、回転数に係る時系列信号である、ものであってもよい。

このような構成によれば、回転体の異常検出を精度よく行うことができる。

前記クラスタリングアルゴリズムは、クラスタ数を予め決定する第１のクラスタリングアルゴリズムと、クラスタ数を予め決定しない第２のクラスタリングアルゴリズムを含む、ものであってもよい。

このような構成によれば、クラスタ数が有る程度予想できる場合と、そうでない場合の両方の場合に対応することができ、より堅牢に異常検出を行うことができる。

前記第１のクラスタリングアルゴリズムは、ｋ平均法、ＧＭＭのうちのいずれか１つ又はその両方であり、前記第２のクラスタリングアルゴリズムは、ＤＢＳＣＡＮである、ものであってもよい。

このような構成によれば、異音検出に好適なアルゴリズムを用いることで、より異常検出精度を向上させることができる。

前記異常検出システムは、さらに、異常検出モードを取得する異常検出モード取得部と、前記異常検出モードに基づいて、検出の基礎とする前記特徴量と前記クラスタリングアルゴリズムを決定する検出基礎決定部と、を備えるものであってもよい。

このような構成によれば、異常種別に応じて検出の基礎となるクラスタリングアルゴリズムが変更されるので、対象となる異常をより精度良く検出することができる。

前記異常検出システムは、さらに、前記検出部における異常検出の結果特定された異常区間を有する前記時系列音信号をグラフ表示するための表示用データを生成するグラフ出力データ生成部、を備えるものであってもよい。

このような構成によれば、異常箇所をグラフを介して視覚的に確認できるため、異常箇所の特定がより直観的かつ容易となる。

前記特徴量生成部は、さらに、前記時系列音信号を周波数領域に変換して、周波数領域音信号を生成する周波数領域信号生成部と、前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、を備えるものであってもよい。

このような構成によれば、音の特徴を人の聴感特性を考慮した特徴量を用いるので、特に、人が知覚しやすい異音を伴う異常の検出精度を向上させることができる。

前記異常検出システムは、さらに、前記クラスタリングの結果に基づいて、クラスタリング精度を判定するクラスタリング精度判定部を備え、前記検出部は、前記クラスタリング精度判定部において所定基準以上の精度を有すると判定された前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する、ものであってもよい。

このような構成によれば、クラスタリング精度が所定基準値以上のクラスタリング結果に基づいて異常検出を行うことができるので、より適切な異常検出を行うことができる。また、異常検出に使用するデータ数が削減されることから処理時間を短縮することができる。

前記クラスタリング精度判定部は、前記クラスタリングの結果について算出されたシルエット係数に基づいて、前記クラスタリングの結果の精度を判定する、ものであってもよい。

このような構成によれば、クラスタの凝集度と乖離度に基づいて各データが適切に分類されたか否かを判定することができる。

前記クラスタリング精度判定部は、前記クラスタリングの結果の外れ値の割合に基づいて前記クラスタリングの結果の精度を判定する、ものであってもよい。

このような構成によれば、外れ値の量に応じて各データが適切に分類されたか否かを判定することができる。

本発明は異常検出装置としても観念することができる。すなわち、本発明に係る異常検出装置は、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備えている。

本発明は異常検出方法としても観念することができる。すなわち、本発明に係る異常検出方法は、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得ステップと、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成ステップと、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理ステップと、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出ステップと、を備えている。

本発明は異常検出プログラムとしても観念することができる。すなわち、本発明に係る異常検出プログラムは、コンピュータを、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出装置として機能させるものである。

本発明は異音検出システムとしても観念することができる。すなわち、本発明に係る異常検出システムは、ドライブトレインから発生する音に関する時系列信号である時系列音信号と前記ドライブトレインの作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列音信号中の異常区間を検出する検出部と、を備えている。

本発明によれば、検査対象物から取得された時系列信号から異常区間を検出する際の作業者の負担を軽減することができる。

図１は、データ計測システムに関する全体構成図である。 図２は、異常検出装置に関する構成図である。 図３は、異常検出装置の動作に関するゼネラルフローチャート（第１の実施形態）である。 図４は、機能ブロック図（第１の実施形態）である。 図５は、異常区間の検出処理に関する説明図である。 図６は、機能ブロック図（第２の実施形態）である。 図７は、異常検出装置の動作に関するゼネラルフローチャート（第２の実施形態）である。 図８は、データ選択処理の詳細フローチャートである。 図９は、シルエットスコアの分布を示す説明図である。

以下、本発明に係る異常検出システム、装置、方法、及びプログラムの実施の一形態を、添付の図面を参照しつつ、詳細に説明する。

＜１．第１の実施形態＞
図１〜図５を参照しつつ、本発明の第１の実施形態について説明する。第１の実施形態では、自動車のエンジンからの回転動力を伝達するドライブトレイン（動力伝達機構）を検査対象物とし、当該検査対象物から発生する音の時系列データや当該検査対象物の回転加速度、トルク、回転数などの時系列センサデータを計測し、それらのデータに基づいて異常区間を検出し、それにより、ドライブトレインの異常を推定しようとするものである。

＜１．１ 構成＞
まず、図１及び図２を参照しつつ、本実施形態に係るデータ計測システム５０及び異常検出装置１０の構成について説明する。

＜１．１．１ データ計測システムの構成＞
図１は、検査対象物５１たるドライブトレインの作動状態に関連する時系列データを計測するためのデータ計測システム５０の全体構成について示している。

同図から明らかな通り、データ計測システム５０は、検査対象物５１、フロントエンド５３、計測システム５４、制御サーバ５２、及び記憶装置５５とから構成されている。制御サーバ５２は、自動計測プログラムに従ってドライブトレインへと接続されるエンジンの制御を行う。具体的には、所定のテストパターンの生成、測定条件の設定などを行って自動計測を行う。また、それらの測定条件等に関する情報は計測システム５４へと送信され、記憶装置５５へと記憶される。フロントエンド５３は、検査対象物５１に対して設置された図示しないマイク及び各種センサから取得された音、加速度、回転数及びトルクに関する時系列信号を各チャンネル信号として読み出して計測システム５４へと出力する。計測システム５４は、フロントエンド５３に対して、サンプリング周波数やチャンネルの設定などの所定の前処理を行う。また、フロントエンドを介して取得されたデータの記憶装置５５への記憶処理や、所定のデータの後処理を行う。

すなわち、データ計測システム５０を動作させることで、検査対象物５１たるドライブトレインに対して設置された図示しないマイク及び各種センサから取得された音、加速度、回転数及びトルクに関する時系列信号が、記憶装置５５へと蓄積されることとなる。

＜１．１．２ 異常検出装置の構成＞
図２は、データ計測システム５０で計測されたデータから異常検出を行うための異常検出装置１０の構成図である。

同図から明らかな通り、異常検出装置１０は、内部に制御部１、表示出力部２、記憶部３、操作入力部４、音声出力部５、通信部６、及びＩ／Ｏ部７を備えている。制御部１は、ＣＰＵ等から成り、各種プログラムの実行処理を行う。表示出力部２は、接続される図示しないディスプレイ等に表示するための画像出力処理を行う。記憶部３は、ＲＯＭ、ＲＡＭ等から成り、各種のプログラムやデータを記憶する。操作入力部４は、キーボード等を介して入力された操作信号の処理を行う。音声出力部５は、図示しないスピーカ等の音声出力機器に対して音声を出力する処理を行う。通信部６は、通信ユニット等から成り、外部装置との間の通信処理を行う。Ｉ／Ｏ部７は、外部機器との接続による入出力処理を行う。

すなわち、異常検出装置１０は、データ計測システム５０により計測された各種時系列データが記憶された記憶装置５５から、各種時系列データを逐次読み出して、又は、予め記憶部３へと読み出し、制御部１にて同時系列データ中に異常区間が含まれているかの検出処理を行う。

なお、本実施形態では、上述の通り、データ計測システム５０及び異常検出装置１０を構成したが、本発明はこのような構成に限定されず、既知の種々の構成を採用可能である。従って、例えば、記憶装置５５に代えて、異常検出装置１０へと直接記憶する構成としてもよい。

＜１．２ 異常検出装置の動作＞
次に、図３〜図５を参照しつつ、異常検出装置１０の動作について説明する。

＜１．２．１ 時系列信号の取得＞
図３は、異常検出装置１０の動作に関するゼネラルフローチャートである。また、図４は、異常検出装置１の機能に着目した機能ブロック図である。

同図から明らかな通り、処理が開始すると、記憶装置５５又は記憶部３から音に関する時系列信号、加速度、トルク、回転数に関する時系列信号が、それぞれ、制御部１へと読み出される（Ｓ１）。すなわち、音に関する時系列信号は音信号時系列データ取得部１１１、加速度に関する時系列信号は加速度信号時系列データ取得部１１２、トルクに関する時系列信号はトルク信号時系列データ取得部１１３、及び回転数に関する時系列信号は回転数信号時系列データ取得部１１４を介して制御部１へと読み込まれる。このとき、後述の種々の動作を規定するパラメータも、パラメータ取得部１１５を介して読み込まれる。

＜１．２．２ スペクトログラムへの変換処理＞
制御部１へと読み出された各時系列信号は、所定の単位で周波数領域へと変換（スペクトル変換）され、スペクトログラムが生成される（Ｓ２）。具体的には、音に関する時系列信号は、スペクトログラム変換部１３１を経て周波数領域の音信号へと変換され、加速度に関する時系列信号は、スペクトログラム変換部１３２を経て周波数領域の加速度信号へと変換され、トルクに関する時系列信号は、スペクトログラム変換部１３３を経て周波数領域のトルク信号へと変換され、回転数に関する時系列信号は、スペクトログラム変換部１３４を経て周波数領域の回転数信号へと変換される。

＜１．２．３ 特徴量の生成処理＞
各時系列信号についてスペクトログラム変換処理（Ｓ２）を行った後、それらに基づいて特徴量を生成する処理が行われる（Ｓ３）。本実施形態においては、特徴量として、ＭＦＣＣ特徴量、心理音響評価特徴量、回転次数特徴量、及び符号化特徴量の４つの特徴量が採用される。

＜ＭＦＣＣ特徴量＞
ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）（メル周波数ケプストラム係数）特徴量は、スペクトルグラム変換（Ｓ２）された後の周波数領域の音、加速度、トルク及び回転数信号をそれぞれ入力として、ＭＦＣＣ特徴量生成処理部１３５にて生成される。

ＭＦＣＣ特徴量は、人間の音の知覚特性から得られた尺度を応用したケプストラムに関する特徴量である。本実施形態において、ＭＦＣＣ特徴量は、メル周波数ケプストラム係数のみならず、その微分値とそのエネルギを含む。具体的には、ＭＦＣＣ特徴量には、本実施形態において２６次元であるメルケプストラム係数のみならず、それを一回微分したΔＭＦＣＣ（２６次元）、二回微分したΔΔＭＦＣＣ（２６次元）も含まれ、さらに、対応する時系列信号の二乗平均平方根エネルギ（ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｎｅｒｇｙ））、その一階微分（ΔＲＭＳＥ）及び、その二階微分（ΔΔＲＭＳＥ）がそれぞれ１次元ずつ含まれ、合計８１次元（２６×３＋３）の特徴量である。

このような構成によれば、人の聴感特性を考慮した特徴量を用いるので、特に、人が知覚しやすい異常区間の検出精度を向上させることができる。

＜心理音響評価特徴量＞
心理音響評価特徴量は、周波数領域の音信号を入力として、心理音響評価特徴量生成部１３６にて生成される。

心理音響評価特徴量は、音の聴こえを定量化する音質評価パラメータを含み、音の大きさに関するラウドネス（［ｓｏｎｅ］）、音の甲高さに関するシャープネス（［ａｃｕｍ］）、音のゆっくりとした変動に関する変動強度（［ｖａｃｉｌ］）及び、音のざらざら感に関するラフネス（［ａｓｐｅｒ］）に相当する４種の特徴量を含む。具体的には、心理音響評価特徴量は、ラウドネス、シャープネス、変動強度、及びラフネスの４つの特徴量についてそれぞれ、平均値（ＡＶＥ）、平均値の一回微分（ΔＡＶＥ）、平均値の二回微分（ΔΔＡＶＥ）、標準偏差（ＳＴＤＥＶ）、標準偏差の一回微分（ΔＳＴＤＥＶ）、標準偏差の二回微分（ΔΔＳＴＤＥＶ）を算出した数値を含む合計２４次元（４×６）の特徴量として定義される。

このような構成によれば、音の聴こえを考慮した特徴量を用いるので、特に、人が気になる異音を伴う異常の検出精度を向上させることができる。

＜回転次数特徴量＞
回転次数特徴量は、時系列回転数信号と周波数領域の音信号を入力として、回転次数特徴量生成部１３７にて生成される。

回転次数特徴量は、回転次数トラッキング解析に基づいて抽出される１次元の特徴量である。回転次数トラッキングとは、検査対象物の回転数（［ＲＰＭ］）とその時の周波数領域の音信号（［Ｈｚ］）との関係を求めたもので、そこから信号強度に基づいて特異な信号成分を検出し、その対応する回転次数を特徴量として抽出したものが回転次数特徴量である。

このような構成によれば、回転状態を示す回転数を回転次数へと変換して特徴量として用いるので、回転体における異常検出精度を向上させることができる。

＜符号化特徴量＞
符号化特徴量は、周波数領域の音、加速度、トルク及び回転数信号をそれぞれ入力として、符号化特徴量生成処理部１３８にてそれぞれ生成される。

符号化特徴量は、入力層、中間層（隠れ層）及び出力層から成る人工ニューラルネットワークを用いたオートエンコーダの中間層のニューロンの発火値に相当する特徴量である。オートエンコーダは、入力と同一の教師データによりニューラルネットワークを教師あり学習することにより獲得され、入力に対応する特徴がその中間層のニューロンに表現されることが知られている。すなわち、中間層のニューロンの発火値を用いて特徴抽出又は次元圧縮を行うことができる。

なお、本実施形態では、１フレームあたり入出力層の次元数は１０２５個であり、中間層（出力次元）の次元数は３２次元である。すなわち、周波数領域の音、加速度、トルク及び回転数信号のそれぞれに対応して、それぞれ３２次元の特徴量が生成されることとなる。また、本実施形態では、符号化特徴量として、さらに、ダイナミックレンジが所定の閾値以上である一又は複数の中間層ニューロンの発火値に相当する特徴量（１次元又は複数次元）が加えられる。

このような構成によれば、中間層に特徴が圧縮される性質を利用してクラスタリング精度を向上させ、異常の検出精度を向上させることができる。

＜１．２．４ クラスタリング処理＞
各特徴量が生成されると（Ｓ３）、次に、クラスタリング処理部１３９にて各特徴量のクラスタリング処理が行われる（Ｓ４）。本実施形態においては、ｋ平均法、ＧＭＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ）、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ−ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）の３つのクラスタリング手法を用いて、各特徴量のクラスタリング処理が行われる。

ｋ平均法は、予めクラスタ数を設定することで各サンプルがいずれか一つのクラスタに属することとなるクラスタリング手法であり、クラスタ数等のパラメータは、予めパラメータ取得部１１５等により設定される。ＧＭＭは、予めクラスタ数を設定することで各サンプルがいずれか一つのクラスタに確率的に属することとなるクラスタリング手法であり、クラスタ数等のパラメータは、予めパラメータ取得部１１５等により設定される。ＤＢＳＣＡＮは、サンプル点の密度を元にクラスタ数を自動的に決定するクラスタリング手法であり、半径（ε）等のパラメータは、予めパラメータ取得部１１５等により設定される。

このような構成によれば、クラスタリング結果に基づいて検査対象物から取得された時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。

＜１．２．５ 異常検出モードの取得処理＞
各特徴量のクラスタリング処理（Ｓ４）終了後、異常検出モードの取得処理が行われる（Ｓ５）。ユーザ等により設定されて記憶部３へと記憶されていた異常検出モードは、異常検出モード取得部１１６により読み出されて異常検出モード設定部１４１へと出力される。この出力に応じて、異常検出モード設定部１４１は、異常検出部１４０に対して異常検出モードを設定する。

異常検出モードとは、検出対象となる異常の特性に応じて設定されるものであり、後述するように、異常検出モードに応じて異常検出を行う際の基礎となる特徴量とクラスタリングアルゴリズムが決定される。本実施形態においては、いずれの異常検出モードも非定常性の異常信号を検出することを目的とし、異常検出モードは、対象信号中の継続時間が極めて短い衝撃性の異常（分離衝撃騒音）の有無を検出する第１の異常検出モード、対象信号の定常性や間欠性に関する異常（間欠騒音）の有無を検出する第２の異常検出モード、対象信号中から検査対象の加減速中の回転上昇又は回転下降に伴う衝撃性の異常（変動騒音）の有無を検出する第３の異常検出モード、及び、対象信号中の継続時間が極めて短い衝撃性の異常（準定常衝撃騒音）の有無をより精度良く検出する第４の異常検出モード、を含んでいる。

＜１．２．６ 異常検出処理＞
異常検出モードが設定されると（Ｓ５）、異常検出部１４０は、異常の検出処理を行う（Ｓ６）。より詳細には、異常検出部１４０は、異常検出モードに応じて異常検出の基礎となる特徴量及びクラスタリングアルゴリズムを特定し、そのクラスタリング結果に基づいて異常検出を行う。

第１の異常検出モードが設定されると、異常検出部１４０は、音、加速度、トルク及び回転数に係るＭＦＣＣ特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてＤＢＳＣＡＮを適用した結果を異常検出の基礎として特定する。その後、異常検出部１４０は、異常検出の基礎とした各分類結果のいずれかにおいて、外れ値を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。

第２の異常検出モードが設定されると、異常検出部１４０は、音、加速度、トルク及び回転数に係るＭＦＣＣ特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてｋ平均法及びＧＭＭを適用した結果を異常検出の基礎として特定する。その後、異常検出部１４０は、異常検出の基礎とした各分類結果のいずれかにおいて、所定のクラスへの所属を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間（例えば６０秒に相当する時間フレーム）において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。

第３の異常検出モードが設定されると、異常検出部１４０は、音、加速度、トルク及び回転数に係るＭＦＣＣ特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてｋ平均法及びＧＭＭを適用した結果と、回転次数特徴量に対してクラスタリングアルゴリズムとしてｋ平均法、ＧＭＭ及びＤＢＳＣＡＮを適用した結果と、を異常検出の基礎として特定する。その後、異常検出部１４０は、異常検出の基礎とした各分類結果のいずれかにおいて、ｋ平均法及びＧＭＭの場合には所定のクラスへの所属を示す特徴量、又は、ＤＢＳＣＡＮの場合には外れ値を示す特徴量が発見された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間（例えば６０秒に相当する時間フレーム）において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。

第４の異常検出モードが設定されると、異常検出部１４０は、音、加速度、トルク及び回転数に係るＭＦＣＣ特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてｋ平均法及びＧＭＭを適用した結果と、ダイナミックレンジが所定の閾値以上であるとして抽出された符号化特徴量に対してクラスタリングアルゴリズムとしてｋ平均法及びＧＭＭを適用した結果と、を異常検出の基礎として特定する。その後、異常検出部１４０は、異常検出の基礎とした各分類結果のいずれかにおいて、ｋ平均法及びＧＭＭの場合には所定のクラスへの所属を示す特徴量、又は、ＤＢＳＣＡＮの場合には外れ値を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間（例えば６０秒に相当する時間フレーム）において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。

図５は、異常区間の検出処理に関する例示のための説明図である。同図は、第１の異常検出モードにおいて、音に関するＭＦＣＣ特徴量をＤＢＳＣＡＮによりクラスタリングした場合を表し、時間（［ｍｉｎ］）に対する音信号の周波数強度（上段）と、そのときのクラス遷移の様子（下段）がグラフで表されている。

同図から明らかな通り、時間‐クラスグラフの中央やや右寄りの時点において、クラスが０から−１へと２度遷移していることが確認される。同グラフにおいて−１は外れ値を示している。従って、当該音に関するＭＦＣＣ特徴量及び当該特徴量と対応する時系列信号区間が異常（すなわち、この場合には異音）として検出される。

なお、本実施形態においてはいずれかの特徴量のクラスタリング結果において、異常が検出された場合に、当該時間区間を異常として検出する構成としたが、このような形態に限定されない。従って、例えば、同一の時間区間について複数の又は全ての特徴量において異常検出された場合に限り、当該時間区間を異常として検出する構成としてもよい。

＜１．２．７ 出力処理＞
異常検出処理（Ｓ６）が終了すると、検出結果を出力する処理が行われる（Ｓ７）。出力態様として、異常出力部１５１を介した出力と、グラフ出力部１５２を介した出力がある。これらの出力処理の後、処理は終了する。

異常出力部１５１を介した出力によれば、これまでに得られた各種のデータをＣＳＶ（Ｃｏｍｍａ Ｓｅｐｅｒａｔｅｄ Ｖａｌｕｅｓ）等の任意のデータ形式で出力することができる。また、グラフ出力部１５２を介した出力によれば、表示出力部２を介してディスプレイ等に異常区間を含み得る各信号（音、加速度、トルク、回転数）の時系列データやスペクトログラムを表示することができる。このとき、特徴量毎に異常個所を強調して表示してもよい。また、複数の特徴量において異常と認められる部分についてのみ異常箇所として表示してもよい。さらに、音声出力部５を介して異常信号に相当する箇所の音信号を再生し、異常個所に異音等が含まれていないかを確認できるよう構成してもよい。

このような構成によれば、異常箇所をグラフや音声を介して視覚的又は聴覚的に確認できるため、異常箇所の特定がより直観的かつ容易となる。

すなわち、本実施形態に係る構成によれば、クラスタリング結果に基づいて検査対象物に係る時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。

また、本実施形態に係る構成によれば、検査対象物から発生する音に基づいて異常検出を行うので、非破壊で検査を行うことができる。また、異常状態の場合の音サンプルの準備や当該音サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。

さらに、本実施形態に係る構成によれば、対象物から発せられる音のみならず、異常と因果関係の生じ得る対象物の作動状態を示すセンサ情報（例えば、加速度など）も活用することで（マルチセンシング）、異常の検出精度をさらに向上させることができる。

＜２．第２の実施形態＞
次に、図６〜図９を参照しつつ、本発明の第２の実施形態について説明する。

第１の実施形態においては、クラスタリング処理（Ｓ４）を行った後、当該クラスタリング結果に基づいて異常検出（Ｓ５）を行った。しかしながら、データの性質によっては、クラスタリングを行っても適切にクラスタリングが進まない場合がある。そのようなクラスタリング結果に基づく場合、適切に異常検出を行うことができないおそれがある。また、適切にクラスタリングが進まなかった結果も含めてすべてのクラスタリング結果を参照する場合、無用な処理時間が発生するおそれもある。本実施形態では、クラスタリング結果を選択的に使用することで、異常検出の精度を高めると共に処理時間を短縮化する。

本実施形態においては、ハードウェア構成は、第１の実施形態と略同一であるので記載を省略する。なお、第１の実施形態と同一の構成については、同一の符号が付されることに留意されたい。

図６は、本実施形態に係る機能ブロック図である。同図から明らかな通り、本実施形態においては、第１の実施形態の機能構成に加えて、クラスタリング処理部１３９と異常検出部１６２との間にデータ選択部１６１が設けられている。データ選択部１６１は、後述の通り、適切なクラスタリング結果を選択する処理を行う。

図７は、本実施形態に係る異常検出判定装置の動作に関するゼネラルフローチャートである。処理が開始されると、第１の実施形態と同様に時系列信号の取得処理（Ｓ１）、スペクトログラムへの変換処理（Ｓ２）、特徴量の生成処理（Ｓ３）、及びクラスタリング処理（Ｓ４）が行われる。本実施形態においては、クラスタリング処理（Ｓ４）が完了した後、データ選択部１６１にてデータ選択処理（Ｓ１１）が行われる。

図８は、データ選択処理（Ｓ１１）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、分類結果に基づいてシルエットスコア（−１から１の数値）を算出する処理が行われる。

シルエットスコアの算出方法について説明する。まず、対象となるクラスタリング結果に対して、クラスタの凝集度を表す値（ａ^（ｉ））とクラスタ乖離度を表す値（ｂ^（ｉ））に基づいて、次式より所定のサンプル数だけシルエット係数Ｓ^（ｉ）を算出する。

なお、クラスタの凝集度を表す値（ａ^（ｉ））は、同じクラスタ内のその他すべてのサンプルとの平均距離であり、クラスタ乖離度（ｂ^（ｉ））は、最も近くにあるクラスタ内のすべてのサンプルとの平均距離である。また、ｍａｘ｛ａ^（ｉ），ｂ^（ｉ）｝は、ａ^（ｉ）とｂ^（ｉ）のいずれか大きい方を表す。さらに、ｉはサンプル番号を示している。

シルエット係数Ｓ^（ｉ）を算出した後、シルエットスコアを算出する。シルエットスコアは、シルエット係数Ｓ^（ｉ）の相加平均値として算出される。

図８に戻り、算出されたシルエットスコアに基づいて参照データを特定する処理が行われる（Ｓ１１３）。より詳細には、各特徴量に基づいて算出された複数のシルエットスコアのうち所定の閾値以上のシルエットスコアを有するデータを参照データとして特定する。

図９は、複数のシルエットスコアを昇順（数値が大きい順）で並び替えた時の分布を示す説明図である。同図から明らかな通り、昇順で並び替えられたシルエットスコアのうち、第４０番目のシルエットスコア（モデル番号が４０）をおよそ超えたあたりでシルエットスコアが急落している。データ選択部１６１は、この急落する変曲点を傾き等を利用して自動的に検出することにより、閾値Ｔｈを設定する。そして、シルエットスコアが閾値Ｔｈ以上（同図の例にあっては、およそ０．３以上）となるシルエットスコアを有するデータを参照データとして選択する。なお、閾値Ｔｈは、固定値であってもよいし、ユーザにより設定されてもよい。

参照データが特定された後、当該参照データに対してフラグを立てる（フラグＯＮ）処理（Ｓ１１５）が行われ、データ選択処理（Ｓ１１）は終了する。

図７に戻り、データ選択処理（Ｓ１１）が終了すると、第１の実施形態と同様に、異常検出モードの取得処理が行われる（Ｓ５）。すなわち、ユーザ等により設定されて記憶部３へと記憶されていた異常検出モードは、異常検出モード取得部１１６により読み出されて異常検出モード設定部１４１へと出力される。

その後、異常検出部１４０は、異常検出モードと、データ選択処理（Ｓ１１）によりフラグが立てられたクラスタリング結果に基づいて異常検出処理を行う（Ｓ１６）。すなわち、第１の実施形態と同様に、異常検出部１４０は、異常検出モードに応じて異常検出の基礎となる特徴量及びクラスタリングアルゴリズムを特定し、フラグが立てられたクラスタリング結果に基づいて異常検出を行う。その後、第１の実施形態と同様に出力処理が行われて（Ｓ７）、処理は終了する。

このような構成によれば、クラスタリングが良好に進んだ結果のみに基づいて異常検出を行うことができるので、より適切に異常検出を行うことができる。また、異常検出に使用するデータ数が減るので処理時間を短縮することができる。

＜３．変形例＞
上述の実施形態においては、音、加速度、トルク及び回転数に関する時系列信号を用いて、異常検出を行った。しかしながら、本発明の適用対象は、上述の信号に限定されず、種々の時系列信号に対して適用可能である。従って、他の時系列信号であっても異常検出を行うことができる。また、必ずしも音に関する信号を含まなくてもよい。

また、上述の実施形態においては、自動車のエンジンからの回転動力を伝達するドライブトレイン（動力伝達機構）を検査対象物としたが、本発明の検査対象はそれに限定されず、また、回転体にも限定されない。従って、本発明は、例えば、他の回転を伴わない動作を行う対象、又は物理的な動作を伴わない対象の異常検出にも適用可能である。

さらに、上述の実施形態においては、クラスタリング手法として、ｋ平均法、ＧＭＭ及びＤＢＳＣＡＮを用いることとした。しかしながら、本発明には、他のクラスタリング手法を適用することも可能であり、例えば、ＳＯＭ（Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐｓ）等を利用することもできる。

加えて、上述の実施形態においては、クラスタリング対象となる特徴量としてＭＦＣＣ特徴量、心理音響評価特徴量、回転次数特徴量、及び、符号化特徴量を使用した。しかしながら、本発明はこのような構成に限定されない。従って、例えば、上記特徴量のうちの一部のみを使用してもよいし、全く別異の他の特徴量を採用してもよい。

また、第２の実施形態においては、シルエットスコアを利用してデータ選択処理を行ったが、本発明はこのような構成に限定されない。従って、例えば、クラスタリングの精度を示す他の指標を用いてデータ選択を行ってもよい。また、例えば、ＤＢＳＣＡＮ等を用いて外れ値の割合を算出して外れ値の割合が高いデータを排除するよう選択してもよい。

本発明は、工業製品の検査等を必要とするすべての産業において利用可能である。

１ 制御部
２ 表示出力部
３ 記憶部
４ 操作入力部
５ 音声出力部
６ 通信部
７ Ｉ／Ｏ部
１０ 異常検出装置
５０ データ計測システム
５１ 検査対象
５２ 制御サーバ
５３ フロントエンド
５４ 計測システム
５５ 記憶装置

Claims (17)

1. 検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
   前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
   前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
   前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備え、
   前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号とを含む、異常検出システム。
2. 前記特徴量生成部は、さらに、
   前記時系列音信号と前記時系列センサ信号とを周波数領域に変換して、周波数領域音信号と周波数領域センサ信号とを生成する周波数領域信号生成部と、
   前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、
   前記周波数領域音信号と前記周波数領域センサ信号とに基づいて、メル周波数ケプストラム係数を含むＭＦＣＣ特徴量を生成するＭＦＣＣ特徴量生成部と、を備える、請求項１に記載の異常検出システム。
3. 前記特徴量生成部は、さらに、
   入力ニューロン、出力ニューロン及びそれらの間の中間ニューロンとを備え、オートエンコーダとして機能するよう学習させた学習済ニューラルネットワークに基づき、前記周波数領域音信号と前記周波数領域センサ信号とを入力としたときの前記中間ニューロンの発火値を符号化特徴量として出力する、符号化特徴量生成部を、備える請求項２に記載の異常検出システム。
4. 前記検査対象物は回転体であり、
   前記時系列センサ信号は、前記回転体の時系列回転数信号を含み、
   前記特徴量生成部は、さらに、
   前記時系列回転数信号と前記周波数領域音信号とに基づき、所定の回転次数を特徴量として生成する回転次数特徴量生成処理部と、を備える請求項３に記載の異常検出システム。
5. 前記検査対象物は回転体であり、
   前記時系列センサ信号は、加速度、トルク、回転数に係る時系列信号である、請求項１に記載の異常検出システム。
6. 前記クラスタリングアルゴリズムは、クラスタ数を予め決定する第１のクラスタリングアルゴリズムと、クラスタ数を予め決定しない第２のクラスタリングアルゴリズムを含む、請求項１に記載の異常検出システム。
7. 前記第１のクラスタリングアルゴリズムは、ｋ平均法、ＧＭＭのうちのいずれか１つ又はその両方であり、
   前記第２のクラスタリングアルゴリズムは、ＤＢＳＣＡＮである、請求項６に記載の異常検出システム。
8. 前記異常検出システムは、さらに、
   異常検出モードを取得する異常検出モード取得部と、
   前記異常検出モードに基づいて、検出の基礎とする前記特徴量と前記クラスタリングアルゴリズムを決定する検出基礎決定部と、を備える請求項１に記載の異常検出システム。
9. 前記異常検出システムは、さらに、
   前記検出部における異常検出の結果特定された異常区間を有する前記時系列音信号をグラフ表示するための表示用データを生成するグラフ出力データ生成部、を備える請求項１に記載の異常検出システム。
10. 前記特徴量生成部は、さらに、
    前記時系列音信号を周波数領域に変換して、周波数領域音信号を生成する周波数領域信号生成部と、
    前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、を備える、請求項１に記載の異常検出システム。
11. 前記異常検出システムは、さらに、
    前記クラスタリングの結果に基づいて、クラスタリング精度を判定するクラスタリング精度判定部を備え、
    前記検出部は、前記クラスタリング精度判定部において所定基準以上の精度を有すると判定された前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する、請求項１に記載の異常検出システム。
12. 前記クラスタリング精度判定部は、前記クラスタリングの結果について算出されたシルエット係数に基づいて、前記クラスタリングの結果の精度を判定する、請求項１１に記載の異常検出システム。
13. 前記クラスタリング精度判定部は、前記クラスタリングの結果の外れ値の割合に基づいて前記クラスタリングの結果の精度を判定する、請求項１１に記載の異常検出システム。
14. 検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
    前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
    前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
    前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備え、
    前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号とを含む、異常検出装置。
15. 検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得ステップと、
    前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成ステップと、
    前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理ステップと、
    前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出ステップと、を備え、
    前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号とを含む、異常検出方法。
16. コンピュータを、
    検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
    前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
    前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
    前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出装置として機能させるものであって、
    前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号とを含む、異常検出プログラム。
17. ドライブトレインから発生する音に関する時系列信号である時系列音信号と前記ドライブトレインの作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を取得する時系列信号取得部と、
    前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
    前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
    前記クラスタリングの結果に基づいて、前記時系列音信号中の異常区間を検出する検出部と、を備える異音検出システム。

Images