JP7149197B2 - 異常音検知装置および異常音検知方法 - Google Patents
異常音検知装置および異常音検知方法 Download PDFInfo
- Publication number
- JP7149197B2 JP7149197B2 JP2019019876A JP2019019876A JP7149197B2 JP 7149197 B2 JP7149197 B2 JP 7149197B2 JP 2019019876 A JP2019019876 A JP 2019019876A JP 2019019876 A JP2019019876 A JP 2019019876A JP 7149197 B2 JP7149197 B2 JP 7149197B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- new
- normal
- learning
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims description 61
- 238000001514 detection method Methods 0.000 title claims description 58
- 238000001228 spectrum Methods 0.000 claims description 89
- 238000000605 extraction Methods 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000003745 diagnosis Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 28
- 230000005856 abnormality Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 30
- 239000013598 vector Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
図1は、異常音検知装置100の構成図の例である。
図2は、設備異常音検知処理部111による設備異常音検知処理のフローチャートを示す。
ステップS101において、所定の周期ごとに起動されて、診断対象の機械設備の稼動音を収集するために設置されていた該当集音機器170、171から、通信部150を介して音響信号を取得する。音響信号は、該当集音機器のマイクロフォンで取得したアナログ信号をデジタル信号に変換した時間領域デジタル信号として入力される。
診断対象の機械設備の異常音検知処理を実施するに先立ち、予め、診断対象の機械設備の正常音を学習して正常音基底スペクトルデータベース122に登録する正常音基底スペクトルの学習方法とデータ構造について説明する。
(1) 正常音基底スペクトル学習部116がユーザによる指示により起動して、稼働音を発している指示された機械設備あるいは部品がいずれも正常であると見なせる状態で集音機器により音響信号を取得する。
(2) 前処理部112により、前記音響信号を周波数領域信号に変換して、更に、振幅スペクトログラムあるいはパワースペクトログラムX{Xは、縦軸が時間を表し、横軸が周波数を表す。フレームサイズ(単位期間)ごとに作成した周波数スペクトル(K個の領域に分けた各周波数の強さ(振幅)の成分より成る)を各行に配列して、縦軸(時間軸)方向に、解析期間Tだけ時系列に配置したT行×K列の行列である。}に変換する。
(3) パワースペクトログラムXをT行×K列の行列とみなし、教師なしNMFによって、T行×C列の行列であるアクティベーションWと、C行×K列の行列である基底スペクトルHに分解する。ただし、Cは基底数である。教師なしNMFには、ユークリッドノルムNMF、KL divergence NMF、IS divergence NMFなどいずれの種類のNMFを用いてもよい。
(4) 得られた基底スペクトルHを正常音基底スペクトルデータベース122に格納する。
新規音・新規振動抽出部103は、診断対象の機械設備から収集された稼動音の音響信号を、前処理部112が周波数領域信号に変換した信号を入力として、先ず、振幅スペクトログラムあるいはパワースペクトログラムX(T行×K列の行列)を計算する。
新規音・新規振動抽出では、数式(2)を満たす行列W、H、Rを計算するものと考えられる。ただし、Wが各正常音源のアクティベーションの縦ベクトルを横に並べたもの、Hが各正常音基底スペクトルの縦ベクトルを横に並べたもの、Rが新規音・新規振動を表す行列である。
次に、ステップS206において、kが予め定めた閾値未満であるかどうかを判定し、閾値未満であればS207に進み、そうでなければS212に進む。
次に、ステップS207において、数式(6)により、一時変数Mを更新する。
ここで、反復回数kは、例えば、フロベニウスノルム(数式(3))が所定の閾値を下回る数値に収束するように、予め実験的または統計的に選定される。
ステップS212において、新規音・新規振動Rkを出力し、終了する。
診断対象の機械設備の異常音検知処理を実施するに先立ち、予め、診断対象の機械設備の正常音を入力して、新規音・新規振動抽出部103で抽出した新規音・新規振動Rに基づき、新規音・新規振動抽出後正常音モデルの学習方法、および、データ構造について説明する。
(1) 新規音・新規振動抽出後正常音モデル学習部117がユーザによる指示により起動して、稼働音を発している指示された機械設備あるいは部品がいずれも正常であると見なせる状態で集音機器により音響信号を取得する。
(2) 取得された音響信号を、前処理部112、および、新規音・新規振動抽出部113を通して、新規音・新規振動Rを抽出する。RはT行×K列の行列である。
(3) Rの各行をK次元ベクトルと考え、それらを入力として正常音モデルを学習する。もしくは、行方向に隣接ないし間引きした近傍の或るL個の時間フレームを結合し、L×K次元ベクトルと考え、それらを入力として正常音モデルを学習する。
(4) 正常音モデルには、公知の1クラスサポートベクター分類器、部分空間法の部分空間ベクトル、局所部分空間法の部分空間ベクトル、k-meansクラスタリングのクラスタ中心、Gaussian Mixture Model (GMM)、Deep Neural Network (DNN) autoencoder、Deep Autoencoding Gaussian Mixture Model (DAGMM)、Convolutional Neural Network (CNN) autoencoder、Long Short Term Memory (LSTM) autoencoder、variational autoencoder (VAE) などを用いればよい。
それぞれのモデルに適したアルゴリズムが知られており、それを用いる。例えば、GMMであればEMアルゴリズムにより、あらかじめ定めたクラスタ数の個数だけのガウス分布の組み合わせによるあてはめがなされる。
(5) 学習された正常音モデルは、算出されたモデルパラメタによって規定される。そのモデルパラメタ全てを新規音・新規振動抽出後正常音モデルデータベース123に格納する。
新規音・新規振動抽出後正常音モデルデータベース123に格納されるモデルパラメタは、例えばGMMの場合、Q個の各クラスタq = 1、・・・Qの平均ベクトル(L×K次元)μq、各クラスタの共分散行列(L×K×L×K次元)Γq、各クラスタの重み係数(1次元)πqである。
設備異常音検知処理部111が起動されて、指定された診断対象の機械設備の稼動音(音響信号)を入力して、前処理部112、および、新規音・新規振動抽出部113の処理を経て、新規音・新規振動Rが抽出されると、異常検知部114が起動される。
なお、本判定では、診断対象の機械設備の外部環境の異常音も含むと考えられるが、それは判定に影響が無いほど小さいものと仮定している。
異常表示部115は、異常検知部114が診断対象の機械設備の稼動音(音響信号)は異常音を含むと判定した場合に起動され、該当機械設備が異常音を発している旨を表示部140に表示して、または外部の監視システムへ通知する。
また、異常有の表示の他に、今回の新規音・新規振動が新規音・新規振動抽出後正常音モデルから生成される確率に基づき、異常度、異常確率などを算出して、表示を行っても良い。
図3との違いは、ステップS208とステップS209の間に正常音基底スペクトルHk非負制約付更新(ステップS301)が挿入され、ステップS301において、数式(12)により、正常音基底スペクトルHkがラグランジュ乗数より更新される点である。 数式(12)は、数式(4)のHkの更新式から導出される。
実施例1および2で開示した方法は、SN比が低い場合には高い抽出精度を示すが、SN比が高い場合には従来の教師有りNMFの残差や教師有りNonnegative Matrix Underapproximation (NMU)の残差を新規音・新規振動とした方が高い抽出精度を示す。そこで、本実施例では、SN比に依らずに高い抽出精度、ひいては、高い異常検知精度を得る方法を開示する。
(1)複数の新規音・新規振動抽出方法(教師有りNMF、教師有りNMU、実施例1、実施例2)の中から、SN比に応じて一つを選択する。SN比は、抽出した新規音・新規振動RのパワーP(R)と、入力音パワースペクトログラムXのパワーP(X)の比率P(R)/P(X)で算出する。SN比が或る閾値以上であれば教師有りNMFまたは教師有りNMUを選択し、SN比が閾値未満であれば、実施例1または2を選択する。選択した新規音・新規振動抽出方法が抽出した新規音・新規振動Rを入力として学習した正常音モデルによる異常検知を実施する。
(2)複数の新規音・新規振動抽出方法(教師有りNMF、教師有りNMU、実施例1、実施例2)が抽出したそれぞれの新規音・新規振動Rに対し、対応する正常音モデルを用いた異常検知を別々に実施する。そして、それぞれの異常検知処理で算出した異常確率の平均値を算出する。
110 演算部
111 設備異常音検知処理部
112 前処理部
113 新規音・新規振動抽出部
114 異常検知部
115 異常表示部
116 正常音基底スペクトル学習部
117 新規音・新規振動抽出後正常音モデル学習部
120 記憶部
121 異常音検知プログラム
122 正常音基底スペクトルデータベース
123 新規音・新規振動抽出後正常音モデルデータベース
130 入力部
140 表示部
150 通信部
160 ネットワーク
170,171 集音機器
180,181 機械設備
Claims (9)
- 診断時に診断対象の機械設備の稼動音を入力して、異常音の有無を判定する異常音検知装置であって、
前記診断時の前の第1学習時に、前記機械設備の第1学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第1のデータベースへ登録する第1の学習部と、
前記診断時に入力した前記稼働音を示す音響信号に対して、前記第1学習時に前記第1の学習部によって前記第1のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する新規音・新規振動抽出部と、
前記診断時の前であり、且つ、前記第1学習時の後の第2学習時に、前記機械設備の第2学習対象の稼働音である正常稼動音を前記新規音・新規振動抽出部に入力して、前記新規音・新規振動抽出部に、前記第1の学習部によって前記第1のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より正常音モデルを学習して、学習した前記正常音モデルを第2のデータベースへ登録する第2の学習部と、
前記診断時に前記新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第2学習時に前記第2の学習部によって前記第2のデータベースに登録された前記正常音モデルである登録済み正常音モデルから生成される確率を算出する異常検知部と、
を備えたことを特徴とする異常音検知装置。 - 前記新規音・新規振動抽出部は、前記診断時において、前記診断対象の前記機械設備から入力した前記音響信号を振幅スペクトログラムXに変換して、前記第1のデータベースに登録されている前記登録済み正常音基底スペクトルである正常音基底スペクトルHを教師データとする教師あり非負値行列因子分解を実行して、正常音音源のアクティベーションW、新規音・新規振動成分Rを計算し、
数式(1)に定義される行列W、H、Rが全て非負値行列であり、数式X=WH+Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数kだけ、行列W、Rを反復計算して得られた新規音・新規振動Rkを前記新規音・新規振動成分として出力することを特徴とする請求項1に記載の異常音検知装置。
- 前記新規音・新規振動抽出部は、前記診断時において、数式(1)に定義される行列W、H、Rが全て非負値行列であり、数式X=WH+Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数kだけ、行列W、Rに加えて、行列Hも反復計算して、前記新規音・新規振動Rkを出力すると共に、前記所定の反復回数k回の前記反復計算の結果として得られる前記行列HであるH k により、前記第1データベースに登録されている前記登録済み正常音基底スペクトルを更新することを特徴とする請求項2に記載の異常音検知装置。
- 前記新規音・新規振動抽出部は、数式(1)に定義される行列W、H、Rが全て非負値行列であり、数式X=WH+Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数kだけ、行列W、Rに加えて、行列Hも反復計算するに際して、Hkの更新の大きさを制限して学習時の正常音基底スペクトルHと近づけるような制約をかけることを特徴とする請求項3に記載の異常音検知装置。
- 前記新規音・新規振動抽出部によって実行される前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する新規音・新規振動抽出方法以外の他の新規音・新規振動抽出方法であって、入力した前記稼働音を示す音響信号から新規音・新規振動成分を抽出する前記他の新規音・新規振動抽出方法を実行することが可能な他の新規音・新規振動抽出部と、
前記診断時の前の他の学習時に、前記機械設備の他の学習対象の稼働音である正常稼動音を前記他の新規音・新規振動抽出部に入力して、前記他の新規音・新規振動抽出部に、前記他の新規音・新規振動抽出方法を実行させて、前記他の正常稼働音から新規音・新規振動成分を抽出させて、抽出させた前記新規音・新規振動成分より他の正常音モデルを学習して、学習した前記他の正常音モデルを他のデータベースへ登録する他の学習部と、
を更に備え、
前記異常検知部は、前記診断時に前記新規音・新規振動抽出部によって抽出された前記新規音・新規振動成分のSN比を、前記診断時に前記新規音・新規振動抽出部によって抽出された新規音・新規振動成分及び入力した前記音響信号に基づいて計算し、
前記異常検知部は、
計算した前記SN比が、所定の閾値未満である場合に限って、前記第2学習時に前記第2の学習部によって前記第2のデータベースに登録された前記正常音モデルである前記登録済み正常音モデルから生成される前記確率を算出し、
前記異常検知部は、
計算した前記SN比が、所定の閾値以上である場合、前記他の新規音・新規振動抽出部に前記診断時に入力した前記稼働音を示す音響信号から新規音・新規振動成分を抽出させ、前記他の新規音・新規振動抽出部に抽出させた前記新規音・新規振動成分が、前記他の学習時に前記他の学習部によって前記他のデータベースに登録された前記他の正常音モデルである登録済み他の正常音モデルから生成される確率を算出することを特徴とする請求項1に記載の異常音検知装置。 - 診断時に診断対象の機械設備の稼動音を入力して、異常音の有無を判定する異常音検知装置であって、
前記診断時の前の第1学習時に、前記機械設備の第1学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第1のデータベースへ登録する第1の学習部と、
前記診断時に入力した前記稼働音を示す音響信号に対して、前記第1学習時に前記第1の学習部によって前記第1のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する第1の新規音・新規振動抽出部と、
前記診断時の前であり、且つ、前記第1学習時の後の第2学習時に、前記機械設備の第2学習対象の稼働音である正常稼動音を前記第1の新規音・新規振動抽出部に入力して、前記第1の新規音・新規振動抽出部に、前記第1の学習部によって前記第1のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より第1正常音モデルを学習して、学習した前記第1正常音モデルを第2のデータベースへ登録する第2の学習部と、
前記診断時の前の第3学習時に、前記機械設備の第3学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第3のデータベースへ登録する第3の学習部と、
前記診断時に入力した前記稼働音を示す音響信号に対して、前記第3学習時に前記第3の学習部によって前記第3のデータベースに登録された前記正常音基底スペクトルである登録済み更新可能正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み更新可能正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力すると共に新たな正常音基底スペクトルを計算し、計算した新たな正常音基底スペクトルにより前記登録済み更新可能正常音基底スペクトルを更新する第2の新規音・新規振動抽出部と、
前記診断時の前であり、且つ、前記第3学習時の後の第4学習時に、前記機械設備の第4学習対象の稼働音である正常稼動音を前記第2の新規音・新規振動抽出部に入力して、前記第2の新規音・新規振動抽出部に、前記第3の学習部によって前記第3のデータベースに登録された前記登録済み更新可能正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み更新可能正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より第2正常音モデルを学習して、学習した前記第2正常音モデルを第4のデータベースへ登録する第4の学習部と、
前記診断時に前記第1の新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第2学習時に前記第2の学習部によって前記第2のデータベースに登録された前記第1正常音モデルである登録済み第1正常音モデルから生成される第1確率と、前記診断時に前記第2の新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第4学習時に前記第4の学習部によって前記第4のデータベースに登録された前記第2正常音モデルである登録済み第2正常音モデルから生成される第2確率と、を算出して、算出した前記第1確率及び前記第2確率の平均値を算出することを特徴とする異常音検知装置。 - 前記診断時に診断対象の機械設備の稼動音を集音機器で入力して、計算機が異常音の有無を判定する異常音検知方法であって、
計算機が、
前記診断時の前の第1学習時に、前記機械設備の第1学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第1のデータベースへ登録する第1の工程と、
前記診断時に入力した前記稼働音を示す音響信号に対して、前記第1学習時に前記第1の工程によって前記第1のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する第2の工程と、
前記診断時の前であり、且つ、前記第1学習時の後の第2学習時に、前記機械設備の第2学習対象の稼働音である正常稼動音を入力して、前記第1の工程によって前記第1のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行し、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出し、抽出した前記新規音・新規振動成分より正常音モデルを学習して、学習した前記正常音モデルを第2のデータベースへ登録する第3の工程と、
前記診断時に前記第2の工程によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第2学習時に前記第3の工程によって前記第2のデータベースに登録された前記正常音モデルである登録済み正常音モデルから生成される確率を算出する第4の工程と、
を有することを特徴とする異常音検知方法。 - 計算機が、前記新規音・新規振動成分として出力する前記第2の工程において、
前記診断時において、前記診断対象の前記機械設備から入力した前記音響信号を振幅スペクトログラムXに変換して、前記第1のデータベースに登録されている前記登録済み正常音基底スペクトルである正常音基底スペクトルHを教師データとする教師あり非負値行列因子分解を実行して、正常音音源のアクティベーションW、新規音・新規振動成分Rを計算し、
数式(1)に定義される行列W、H、Rが全て非負値行列であり、数式X=WH+Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数kだけ、行列W、Rを反復計算して得られた新規音・新規振動Rkを前記新規音・新規振動成分として出力することを特徴とする請求項7に記載の異常音検知方法。
- 計算機が、前記新規音・新規振動成分として出力する前記第2の工程において、
前記診断時において、数式(1)に定義される行列W、H、Rが全て非負値行列であり、数式X=WH+Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数kだけ、行列W、Rに加えて、行列Hも反復計算して、前記新規音・新規振動Rkを出力すると共に、前記所定の反復回数k回の前記反復計算の結果として得られる前記行列HであるH k により、前記第1データベースに登録されている前記登録済み正常音基底スペクトルを更新することを特徴とする請求項8に記載の異常音検知方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019019876A JP7149197B2 (ja) | 2019-02-06 | 2019-02-06 | 異常音検知装置および異常音検知方法 |
US16/565,820 US10832698B2 (en) | 2019-02-06 | 2019-09-10 | Abnormal sound detection device and abnormal sound detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019019876A JP7149197B2 (ja) | 2019-02-06 | 2019-02-06 | 異常音検知装置および異常音検知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126021A JP2020126021A (ja) | 2020-08-20 |
JP7149197B2 true JP7149197B2 (ja) | 2022-10-06 |
Family
ID=71837817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019019876A Active JP7149197B2 (ja) | 2019-02-06 | 2019-02-06 | 異常音検知装置および異常音検知方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10832698B2 (ja) |
JP (1) | JP7149197B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220246165A1 (en) * | 2019-06-19 | 2022-08-04 | Nippon Telegraph And Telephone Corporation | Abnormality estimation device, abnormality estimation method, and program |
US11579598B2 (en) * | 2019-10-17 | 2023-02-14 | Mitsubishi Electric Research Laboratories, Inc. | Manufacturing automation using acoustic separation neural network |
CN112669879B (zh) * | 2020-12-24 | 2022-06-03 | 山东大学 | 一种基于时频域深度学习算法的空调内机噪声异常检测方法 |
CN112700437B (zh) * | 2021-01-14 | 2022-04-29 | 武汉大学 | 基于分块和低秩先验的发射率域热红外高光谱异常探测方法 |
KR102509699B1 (ko) * | 2021-01-14 | 2023-03-14 | 서울대학교 산학협력단 | 사운드 기반 다중 기기 운영 모니터링 방법과 이를 위한 시스템 |
WO2022234635A1 (ja) * | 2021-05-07 | 2022-11-10 | 日本電気株式会社 | データ分析装置、データ分析方法、および記録媒体 |
CN113240022A (zh) * | 2021-05-19 | 2021-08-10 | 燕山大学 | 多尺度单分类卷积网络的风电齿轮箱故障检测方法 |
CN113657221A (zh) * | 2021-08-04 | 2021-11-16 | 浙江浙能台州第二发电有限责任公司 | 一种基于智能感知技术的电厂设备状态监测方法 |
CN113838480B (zh) * | 2021-11-26 | 2022-03-11 | 青岛海尔工业智能研究院有限公司 | 一种洗衣机异音检测方法、装置及电子设备 |
CN114131202B (zh) * | 2021-12-30 | 2022-09-20 | 华中科技大学 | 激光-电弧复合焊时异常声信号的提取方法、***及装置 |
CN114417665B (zh) * | 2022-01-11 | 2024-06-28 | 南京安广电力设备有限公司 | 一种风机机舱设备异常声音检测方法及装置 |
CN115762558B (zh) * | 2022-11-18 | 2023-08-01 | 沃克斯迅达电梯有限公司 | 自动扶梯生产用性能检测***及其方法 |
CN115856628B (zh) * | 2023-02-28 | 2023-06-27 | 宁波慧声智创科技有限公司 | 一种基于pso-svm检测模型的微特电机声学质量检测方法 |
CN117292709B (zh) * | 2023-11-23 | 2024-02-09 | 中瑞恒(北京)科技有限公司 | 一种暖通机房异常音频识别方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008058876A (ja) | 2006-09-04 | 2008-03-13 | Nippon Telegr & Teleph Corp <Ntt> | 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体 |
JP2009128906A (ja) | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
JP2013134331A (ja) | 2011-12-26 | 2013-07-08 | Yamaha Corp | 音響処理装置 |
JP2020123229A (ja) | 2019-01-31 | 2020-08-13 | 株式会社明電舎 | 異常予兆検出システム、異常予兆検出方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100111499A (ko) * | 2009-04-07 | 2010-10-15 | 삼성전자주식회사 | 목적음 추출 장치 및 방법 |
US20130070928A1 (en) * | 2011-09-21 | 2013-03-21 | Daniel P. W. Ellis | Methods, systems, and media for mobile audio event recognition |
-
2019
- 2019-02-06 JP JP2019019876A patent/JP7149197B2/ja active Active
- 2019-09-10 US US16/565,820 patent/US10832698B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008058876A (ja) | 2006-09-04 | 2008-03-13 | Nippon Telegr & Teleph Corp <Ntt> | 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体 |
JP2009128906A (ja) | 2007-11-19 | 2009-06-11 | Mitsubishi Electric Research Laboratories Inc | 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム |
JP2013134331A (ja) | 2011-12-26 | 2013-07-08 | Yamaha Corp | 音響処理装置 |
JP2020123229A (ja) | 2019-01-31 | 2020-08-13 | 株式会社明電舎 | 異常予兆検出システム、異常予兆検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020126021A (ja) | 2020-08-20 |
US20200251127A1 (en) | 2020-08-06 |
US10832698B2 (en) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7149197B2 (ja) | 異常音検知装置および異常音検知方法 | |
JP7223839B2 (ja) | 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム | |
Fulcher | Feature-based time-series analysis | |
JP4413915B2 (ja) | 異常兆候検出装置および方法 | |
US10228994B2 (en) | Information processing system, information processing method, and program | |
US20170308810A1 (en) | Event prediction and object recognition system | |
JP6828807B2 (ja) | データ解析装置、データ解析方法およびデータ解析プログラム | |
CN106030589A (zh) | 使用开源数据的疾病预测*** | |
US9866954B2 (en) | Performance metric based stopping criteria for iterative algorithms | |
JP6967197B2 (ja) | 異常検出装置、異常検出方法及びプログラム | |
WO2020009210A1 (ja) | 異常予測システム及び異常予測方法 | |
Hernandez-Garcia et al. | Application of statistical monitoring using latent-variable techniques for detection of faults in sensor networks | |
JP6645441B2 (ja) | 情報処理システム、情報処理方法、及び、プログラム | |
WO2024021108A1 (en) | Method and device for predicting service life of rolling bearing and computer readable storage medium | |
JP6850709B2 (ja) | 音による診断装置、診断方法、および診断システム | |
JP5771317B1 (ja) | 異常診断装置及び異常診断方法 | |
US20220187486A1 (en) | Computer system and data processing method | |
WO2017046976A1 (ja) | 信号検知装置、信号検知方法、および信号検知プログラム | |
JP2020123229A (ja) | 異常予兆検出システム、異常予兆検出方法 | |
JP2019105871A (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
CN114548254A (zh) | 设备故障分类方法、装置、设备及介质 | |
CN114167487B (zh) | 一种基于特征波形的地震震级估算方法和装置 | |
US20230105970A1 (en) | Systems and methods for time-series forecasting | |
US20220358352A1 (en) | Data analysis system, data analysis method, and program | |
US20230075453A1 (en) | Generating machine learning based models for time series forecasting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7149197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |