JPH0990977A - Abnormality detection method by acoustic signal - Google Patents

Abstract

PROBLEM TO BE SOLVED: To detect with a good precision an abnormality existing in an object by judging that an abnormality occurs in the object when a numerical distance value between individual feature values exceeds a specified value. SOLUTION: When an acoustic feature value and first and second section information to an input acoustic pattern are decided, a pattern matching part 8 matches the input acoustic pattern and the registered standard of each pattern. Further, a distance comparison part 13 compares the normalization distance values received at terminals (a) and terminal (b) and determines smaller one of them as the matched result to this standard pattern. And, when a small distance value indicates a bigger distance value than a prescribed threshold in a result sum-up part 9, the distance calculation result to each standard pattern outputs 'failure', 'an abnormality has occurred' or other label names to a higher rank host computer or a display part. Thus, a diagnosis of failure is possible by mutual comparisons of acoustic signals.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】この発明は、音響信号による
異常検出方法に関し、特に、対象が発生している音声を
含む音響と対象が過去に発生した音響とを比較すること
により対象の異常の有無を検知する音響信号による異常
検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of detecting an abnormality by an acoustic signal, and more particularly, by comparing the sound including the voice generated by the target with the sound generated in the past by the target, the presence or absence of the target abnormality. The present invention relates to a method of detecting an abnormality by an acoustic signal that detects a.

【０００２】[0002]

【従来の技術】音響信号による異常検出方法の従来例に
ついて説明する。音声を含む音響を発する対象の音響の
変動に着目して対象の異常を検知する最も良く知られた
事例は医者が患者に対して行う胸郭部に対する“打診”
である。この様に、対象が発生する音響は対象の異常を
如実に示す情報の発露である。この原理に基づいて、大
工或は土木建築に従事する者は金槌による打撃、超音波
を含む音響信号を対象に与て返ってくる音響信号の変動
を認識して異常の有無を検知していた。メカニックエン
ジニアがエンジン音或は走行音を聞き分けて自動車車、
バイクその他の走行車の異常を診断することもよく見聞
きする事例である。2. Description of the Related Art A conventional example of an abnormality detection method using an acoustic signal will be described. The most well-known case of detecting an abnormality of an object by paying attention to the fluctuation of the sound of the object which emits sound including voice is the “percussion” for the thorax performed by the doctor to the patient
It is. In this way, the sound generated by the target is the release of information that clearly indicates the abnormality of the target. Based on this principle, a carpenter or a person engaged in civil engineering and construction detected the presence or absence of abnormalities by recognizing the impact of a hammer and the fluctuation of the acoustic signal returned by applying the acoustic signal including ultrasonic waves to the target. . A mechanic engineer can hear the engine sound or the running sound,
Diagnosis of abnormalities in motorcycles and other traveling vehicles is also a common example.

【０００３】これらの事例は何れも深い経験と専門知識
に基づく人間の判断が鍵となっている。従って、当該技
術分野の経験に乏しい者が見聞きしたこれらの事例に基
づいて類似の診断、異常の検出を行なおうとしてもこれ
は到底望み得べくもない。ここで、この発明と関連の深
い音声認識技術の開発状況について簡単に説明してお
く。人の手の操作の代わりに音声を入力し電気機器或は
機械機器の操作を行う音声認識装置については、従来よ
り様々な研究が行われている。音声認識技術は、人間が
任意の場所において任意のタイミングで発生した任意長
の音声を１００％の確率で認識するのが理想である。し
かし、実際の使用条件下においては騒音の存在する環境
があり、そして任意の時刻で発生された音声を捕えよう
とすると、雑音も含めて観測される音声信号区間の中か
ら音声の始端と終端とを何度も検出し、かつ雑音のみを
除外する複雑な手順を経る必要が生じ、計算量が膨大に
なる。このために、最も広く利用されている音声認識技
術は、或る一定時間中において音声の始端と終端とをそ
れぞれ一回のみ検出する孤立単語の音声認識技術であ
る。In each of these cases, human judgment based on deep experience and expertise is key. Therefore, even if a person having little experience in the technical field tries to make similar diagnosis and detection of abnormality on the basis of these cases, it is extremely hopeless. Here, a brief description will be made on the development status of the speech recognition technology which is closely related to the present invention. BACKGROUND ART Various studies have been conventionally performed on a voice recognition device which inputs a voice instead of operating a human hand to operate an electric device or a mechanical device. Ideally, the voice recognition technology should have a 100% probability of recognizing a voice of arbitrary length generated at an arbitrary timing at an arbitrary location. However, under actual usage conditions, there is a noisy environment, and when trying to capture the voice generated at an arbitrary time, the start and end of the voice will be selected from the voice signal section that also includes noise. It becomes necessary to perform a complicated procedure in which and are detected many times and only noise is excluded, resulting in a huge amount of calculation. For this reason, the most widely used speech recognition technology is an isolated word speech recognition technology that detects the beginning and end of speech only once during a certain period of time.

【０００４】図３を参照して一般的に使用されている孤
立単語音声認識装置の先行例を説明する。図３におい
て、音声入力部１はマイクロホンその他音声を受信して
これを音声波形データに変換する入力部である。波形変
換部２は音声波形データをディジタルの数値に変換する
変換部である。音響特徴抽出部３は音声波形から音声認
識のための特徴を抽出する抽出部である。起動スイッチ
部４は単語音声認識実現のために音声区間検出時の始端
検出開始のトリガーを与える。音声区間検出部５は音響
特徴抽出部３から得られる音響特徴量より音声の始端・
終端をそれぞれ一箇所だけ決定する検出部である。入力
パターン格納部６は音声区間検出部５において決定され
た音声始端から終端までの音響特徴量を取り込んで未知
入力パターンとして格納しておく記憶部である。標準パ
ターンは、入力パターンを入力パターン格納部６に格納
する手順と同様の手順により、標準パターン記憶部７に
格納され、ラベル名の付与された認識のための複数の単
語音声パターンとして記憶されている。パターンマッチ
ング部８は入力パターン格納部６および標準パターン記
憶部７に格納された未知の入力音声パターンと各標準パ
ターンとの間のマッチングを行い、その結果、入力音声
パターンとの間の距離値を出力する。ここで、距離値と
して、マハラノビス距離その他の数式で定義される音響
特徴量上の距離値を使用する。結果集計部９は各標準パ
ターンについてそれぞれ出力された未知入力音声パター
ンとの間の距離値より最も小さい距離値を有する標準パ
ターンを決定する計算部である。出力部１０は結果集計
部９において最も小さい距離値を有すると決定された標
準パターンのラベル名を上位ホストシステム（例えばコ
ンピュータ）へ出力する。A prior art example of a generally used isolated word speech recognition apparatus will be described with reference to FIG. In FIG. 3, a voice input unit 1 is an input unit that receives a microphone or other voice and converts it into voice waveform data. The waveform conversion unit 2 is a conversion unit that converts voice waveform data into digital numerical values. The acoustic feature extraction unit 3 is an extraction unit that extracts a feature for voice recognition from a voice waveform. The start-up switch unit 4 gives a trigger for starting the detection of the start edge at the time of detecting a voice section for realizing word voice recognition. The voice section detection unit 5 detects the start point of the voice based on the acoustic feature amount obtained from the acoustic feature extraction unit 3.
It is a detection unit that determines only one end. The input pattern storage unit 6 is a storage unit that captures the acoustic feature amount from the voice start end to the end determined by the voice section detection unit 5 and stores it as an unknown input pattern. The standard pattern is stored in the standard pattern storage unit 7 by a procedure similar to the procedure of storing the input pattern in the input pattern storage unit 6, and is stored as a plurality of word voice patterns for recognition with label names. There is. The pattern matching unit 8 performs matching between the unknown input voice pattern stored in the input pattern storage unit 6 and the standard pattern storage unit 7 and each standard pattern, and as a result, obtains the distance value between the input voice pattern. Output. Here, as the distance value, the distance value on the acoustic feature quantity defined by the Mahalanobis distance and other mathematical expressions is used. The result totaling unit 9 is a calculating unit that determines the standard pattern having the smallest distance value from the distance value between each standard pattern and the unknown input voice pattern output. The output unit 10 outputs the label name of the standard pattern determined to have the smallest distance value in the result totaling unit 9 to the host system (for example, a computer).

【０００５】図３の孤立単語音声認識装置の動作を説明
する。音声は音声入力部１、波形変換部２、音声特徴抽
出部３を介して受信および分析され、その分析結果の一
部の情報である音声信号の対数パワーについては音声区
間検出部５へ送られ、音声区間検出の情報となる。ここ
で、発声者或は音声認識装置を動作させる上位ホストコ
ンピュータの操作により起動スイッチ部４が操作され、
音声区間検出開始のトリガーが発生したとする。音声区
間検出部５は初期化され、音声特徴抽出部３から入力さ
れる情報により音声始端の検出を開始する。音声始端の
検出方法としては、例えば、信号パワー値が音声のない
状態からある一定閾値以上の大きな値で一定時間継続し
たとき、その信号パワー値の立ち上がり位置を始端とす
る方法が一般的である。次いで、音声区間検出部５は音
声の信号パワー値の減衰点を検出し、これを音声の終端
とし動作を終了する。検出された音声の始端から終端に
到る区間についての音声特徴抽出部３による分析結果
は、入力パターン格納部６に入力音声パターンとして格
納する。格納が完了した時点において、パターンマッチ
ング部８は入力パターン格納部６に格納した入力音声パ
ターンと標準パターン記憶部７に記憶した各標準パター
ンの内容を、例えば、ＤＰマッチングその他のパターン
マッチング手法により照合し、距離計算を行う。各標準
パターンに対する距離計算結果は結果集計部９により小
さい距離値の順に整理され、最も小さい距離値となった
標準パターンのラベル名が出力部１０から上位ホストコ
ンピュータへ出力される。The operation of the isolated word speech recognition apparatus of FIG. 3 will be described. The voice is received and analyzed via the voice input unit 1, the waveform conversion unit 2, and the voice feature extraction unit 3, and the logarithmic power of the voice signal which is a part of the analysis result is sent to the voice section detection unit 5. , Becomes the information of voice section detection. Here, the activation switch unit 4 is operated by the operation of the speaker or the host computer that operates the voice recognition device.
It is assumed that a trigger for starting the voice section detection is generated. The voice section detection unit 5 is initialized, and starts detecting a voice start end based on information input from the voice feature extraction unit 3. As a method for detecting the voice start point, for example, when the signal power value continues from a state without voice at a large value of a certain threshold value or more for a certain period of time, a method of setting the rising position of the signal power value as the start point is general. . Next, the voice section detection unit 5 detects the attenuation point of the voice signal power value, sets this as the end of the voice, and ends the operation. The analysis result by the voice feature extraction unit 3 regarding the section from the beginning to the end of the detected voice is stored in the input pattern storage unit 6 as an input voice pattern. When the storage is completed, the pattern matching unit 8 collates the input voice pattern stored in the input pattern storage unit 6 with the contents of each standard pattern stored in the standard pattern storage unit 7 by, for example, DP matching or another pattern matching method. And calculate the distance. The result calculation unit 9 sorts the distance calculation results for each standard pattern in ascending order of distance values, and the label name of the standard pattern having the smallest distance value is output from the output unit 10 to the host computer.

【０００６】ところで、高性能電子計算機、例えばスー
パーコンピュータ並みの演算処理能力を有するワークテ
ーションを使用して機械の発する連続音を認識する試み
がなされている。しかし、コストが掛かること、ワーク
ステーションの設置面積が大きくて適用分野に制限が生
ずること、或は、この種の高性能コンピュータが機械の
置かれる振動の多い場所に不適合であること、その他種
々の理由から、この試みは研究段階に止まっているのが
実情である。一方、上述のコスト的に安価な単語音声認
識装置を機械その他の対象が発する連続音の認識に使用
するには大きな障害がある。即ち、車のエンジン音、機
械の動作音その他の対象の発生する音響信号は音声信号
とは異なって連続して発生しており、連続して発生して
いる音響信号については、音声認識の様に、始端、区間
および終端の検出が困難である。また、強制的に音響信
号を採録したとしても、比較対象となる過去の良好な時
の採録音響信号との間のタイミングを見い出すことは困
難であり、従って、精度のよい音響信号相互の距離値計
算を行うことは望むべくもない。By the way, an attempt has been made to recognize a continuous sound generated by a machine by using a high performance electronic computer, for example, a work station having an arithmetic processing capability comparable to that of a super computer. However, the cost is high, the installation area of the workstation is large, and the application field is limited, or the high-performance computer of this kind is not suitable for the place where the machine is placed in a lot of vibration, and various other reasons. For this reason, this trial is still in the research stage. On the other hand, there is a major obstacle in using the above-described inexpensive word speech recognition device for recognition of continuous sounds generated by machines and other objects. That is, the sound signals of the car engine, the operation sound of the machine, and other objects are continuously generated unlike the sound signals, and the sound signals continuously generated are different from those of the voice recognition. In addition, it is difficult to detect the start end, section, and end. Moreover, even if the sound signals are forcibly recorded, it is difficult to find the timing between the sound signals acquired in good time in the past, which is the comparison target, and therefore, the distance value between the sound signals with good accuracy is obtained. There is no hope of doing calculations.

【０００７】ここで、連続して発生している入力音響パ
ターンと標準パターンとの間のマッチング方法の従来例
の一つとしては、採録された未知の入力パターンおよび
標準パターンの信号に含まれるパワースペクトル信号に
着目し、スペクトル信号の最大或は極大ピーク位置を検
出し、両者のマッチングを行う際の基準位置とする方法
がある。具体的に説明すると、両者のピーク位置を対応
付けて音響信号相互の距離値計算を行う。他の従来例と
しては、未知入力パターンの時系列データの前部或は後
部或はそれら両者の一部をマスキングして、未知入力パ
ターンの区間長が標準パターンの区間長より短くなる様
な第二の区間長を設定する方法である。第二の区間長は
採録した音響信号のデータを一部のみ利用する形で設定
され、例えば、入力パターン格納部からデータを一部の
み読み出す形で実現できる。この際、音響特徴パターン
の形に加工したデータを入力パターン格納部に保存する
こともできるが、該格納部には採録した音響信号をその
まま保存する手立てがより、望ましい。この理由は、対
象の異常を示さない場合においては、採録した音響信号
を次の標準パターンとして利用するため、より多くの情
報を保存することが得策となるからである。Here, as one conventional example of the matching method between the continuously generated input acoustic pattern and the standard pattern, the power contained in the signals of the recorded unknown input pattern and standard pattern is used. There is a method of paying attention to the spectrum signal, detecting the maximum or maximum peak position of the spectrum signal, and using it as the reference position when matching the two. More specifically, the distance values between the acoustic signals are calculated by associating the peak positions of both. In another conventional example, the front part or the rear part of the time-series data of the unknown input pattern or a part of both of them is masked so that the section length of the unknown input pattern becomes shorter than the section length of the standard pattern. This is a method of setting the second section length. The second section length is set in such a manner that only a part of the data of the recorded acoustic signal is used, and it can be realized, for example, by reading out only part of the data from the input pattern storage unit. At this time, the data processed into the shape of the acoustic feature pattern may be stored in the input pattern storage unit, but it is more preferable to store the recorded acoustic signal in the storage unit as it is. The reason for this is that, when the target abnormality is not shown, the recorded acoustic signal is used as the next standard pattern, and therefore it is a good idea to store more information.

【０００８】ここで、第一および第二の区間長について
の制約に言及しておく。図２を参照するに、機械その他
の連続した音響信号を発生する発生源からは、最大或は
極大を示す固有のピークを有する固有の周波数信号が得
られる。予め取得しておいたこの固有周波数Ｈ_c に着
目する。先ず、第一の区間長および第二の区間長は固有
周波数Ｈ_C の逆数より長いことが必要である。これら
が短いと、固有ピークを与える時系列パターンが記録さ
れない場合が発生し、この後に続く距離値の計算におい
て似て非なるものの相互参照を行うケースが皆無とは言
えなくなるからである。これらの関係は模式的に図２に
示されている。Here, the restrictions on the first and second section lengths will be mentioned. With reference to FIG. 2, a machine or other source that produces a continuous acoustic signal provides a unique frequency signal with a unique peak exhibiting a maximum or maximum. Attention is paid to this natural frequency H _c acquired in advance. First, the first section length and the second section length need to be longer than the reciprocal of the natural frequency H _C. This is because if these are short, a time series pattern giving a unique peak may not be recorded, and it may not be said that there is no case of performing cross reference although it is similar in the calculation of the distance value that follows. These relationships are schematically shown in FIG.

【０００９】ここで、ａ₁ ：標準パターン始端、ａ
₂ ：標準パターンゆらぎ部分前端、ａ_s ：標準パター
ン最大（極大）ピーク位置、ａ_e ：標準パターンゆら
ぎ部分後端、ａ_M ：標準パターン終端、ｂ₁ ：入力
パターン始端、ｂ₂ ：入力パターンゆらぎ前端、ｂ
_s ：入力パターン最大（極大）ピーク位置、ｂ_e ：入
力パターンゆらぎ後端、ｂ_N ：入力パターン終端、で
ある。Here, a ₁ : standard pattern start end, a
₂ : Standard pattern fluctuation part front end, a _s : Standard pattern maximum (maximum) peak position, a _e : Standard pattern fluctuation part rear end, a _M : Standard pattern end, b ₁ : Input pattern start end, b ₂ : Input pattern fluctuation Front end, b
_s: input pattern maximum (maximum) peak position, b _e: input pattern fluctuation rear, b _N: input pattern end is.

【００１０】第一の音響区間Ｔ₁ は以下の関係におい
て、 ｉｘ（１／Ｈ_c ）≦Ｔ₁ ≦ｊｘ（１／Ｈ_c ）・・・・・（１） 但し、ｉ、ｊは正の整数で ｉ＜ｊ ｉが２、ｊが３の場合を例として図示した。この結果、
第一の音響区間中にはピーク位置が３ケ所認められる。
同様に、第二の音響区間Ｔ₂ に関し、 １／Ｈ_c ≦Ｔ₂ ≦ｋｘ（１／Ｈ_C ）・・・・・・・・・（２） 但し、ｋは正の整数で ｋ≦ｉ の関係を仮定し、ｋが２の場合を例として図示した。こ
の結果、未知入力パターンのピークは唯一つがＴ₂ に
含まれる。この位置は、図２中においてｂ_s により示
される。音響信号のマッチングは、図２中の標準パター
ン最大（極大）ピーク位置ａ_s と入力パターン最大
（極大）ピーク位置ｂ_s が一致するポイントＰから
右上および左下に向かって距離値を計算し、尤度を比較
することとなる。この様な計算の手順を採用するのは以
下の理由による。ゆらぎが音響信号の始端・終端の何れ
にも存在すると、パターンマッチングアルゴリズムにつ
いても制約が生じる。音響始端を固定し、終端位置を自
由にするいわゆる終端フリー形マッチング方式、逆に終
端を固定し、始端位置を自由にするいわゆる始端フリー
形マッチング方式においては、それぞれ固定とした音響
始端或は終端の側に音響信号のゆらぎが生じた場合の距
離計算の誤差の増大を防ぐことが困難となる。このため
に、音響信号のピークを与えるａ_s およびｂ_s が一
致するポイントＰから右上および左下に向かって距離値
の計算を行う手順によりこの様な困難を克服することが
できる。[0010] In a first sound segment T ₁ is the following _{relationship, ix (1 / H c)} ≦ T 1 ≦ jx (1 / H c) ····· (1) where, i, j is a positive An integer, i <j i is 2 and j is 3 as an example. As a result,
Three peak positions are recognized in the first sound section.
Similarly, regarding the second sound section T ₂ , 1 / H _c ≦ T ₂ ≦ kx (1 / H _C ) ... (2) where k is a positive integer k ≦ i Assuming the relationship of, the case where k is 2 is shown as an example. As a result, only one peak of the unknown input pattern is included in T ₂ . This position is indicated by b _{s in} FIG. Matching of the acoustic signal, and calculates a distance value towards the upper right and lower left from the point P the standard pattern up to (maximum) peak position a _s and the input pattern largest (maximum) peak position b _s in FIG. 2 are identical, likelihood The degree will be compared. The reason for adopting such a calculation procedure is as follows. If the fluctuation exists at both the beginning and the end of the acoustic signal, the pattern matching algorithm is also restricted. In the so-called end-free type matching system in which the sound start end is fixed and the end position is free, and conversely, in the so-called start end free type matching system in which the end position is fixed and the start end position is free, the fixed sound start end or end It becomes difficult to prevent the error in the distance calculation from increasing when the fluctuation of the acoustic signal occurs on the side of. For this reason, such a difficulty can be overcome by the procedure of calculating the distance value from the point P where a _s and b _s giving the peak of the acoustic signal coincide with each other to the upper right and the lower left.

【００１１】[0011]

【発明が解決しようとする課題】以上の通り、連続する
音響信号の切り出しを行い、格納されている標準音響パ
ターンとの間のマッチングを行う場合、マッチング方法
の従来例によっては正確なマッチング、即ち音響信号相
互の距離値を正確に計算することは難しい。この困難は
音響信号採録のタイミングに起因する。As described above, when the continuous acoustic signal is cut out and the matching with the stored standard acoustic pattern is performed, accurate matching, that is, depending on the conventional example of the matching method, It is difficult to accurately calculate the distance value between acoustic signals. This difficulty is due to the timing of sound signal acquisition.

【００１２】この発明は、機械その他の対象の過去の正
常な動作時の音響信号を記録し、これらを標準パターン
として利用し、正常な時とは異なる音響信号の変化を過
去の正常な時代に記録した音響信号と比較することによ
り、上述の通りの問題を解消した音響信号による異常検
出方法を提供するものである。The present invention records acoustic signals during normal operation in the past of a machine or other object and uses them as a standard pattern, and changes acoustic signals different from those during normal operation in the past normal times. By comparing the recorded acoustic signal with the recorded acoustic signal, an abnormality detection method using the acoustic signal that solves the above-mentioned problems is provided.

【００１３】[0013]

【課題を解決するための手段】音響信号を発生する対象
から採録された第１の区間長を有する音響信号に対して
音響特徴パターンを抽出して記録し、直近で採録された
音響特徴パターンを未知入力音響パターンとし、これ以
前に採録されたものを標準音響パターンとして記録し、
採録区間の始端或は終端或は両端の一部分を除外して第
１の区間長より短い第２の区間長を設定し、未知入力音
響パターンを第２の区間長に対応する診断用音響特徴パ
ターンに加工し、診断用音響特徴パターンと第１の区間
長を有する標準音響パターンとの間でパターンマッチン
グを行って各特徴量間の数値的な距離値を求め、距離値
が所定の値を超えている場合は対象に異常が発生してい
ると判定する音響信号による異常検出方法を構成した。An acoustic feature pattern is extracted and recorded for an acoustic signal having a first section length recorded from an object that generates an acoustic signal, and the most recently recorded acoustic feature pattern is recorded. The unknown input sound pattern is recorded, and the one recorded before this is recorded as the standard sound pattern,
A diagnostic acoustic feature pattern corresponding to the second segment length is set by setting a second segment length shorter than the first segment length by excluding a part of the beginning or end or both ends of the recording segment. And then perform pattern matching between the diagnostic acoustic feature pattern and the standard acoustic pattern having the first section length to obtain a numerical distance value between each feature quantity, and the distance value exceeds a predetermined value. If so, an abnormality detection method using an acoustic signal that determines that an abnormality has occurred in the object is configured.

【００１４】そして、抽出された複数の音響特徴パター
ンはこれらの採録日時と関連付けて記録する音響信号に
よる異常検出方法を構成した。ここで、未知入力音響パ
ターンから得られる第２の区間長を有する診断用音響特
徴パターンが最大或は極大ピークを示す位置と第１の区
間長を有する標準音響パターンの最大或は極大ピークを
示す位置とを一致させて両者間でパターンマッチングを
行って各特徴量間の数値的な距離値を求める音響信号に
よる異常検出方法を構成した。Then, the plurality of extracted acoustic feature patterns constitute an abnormality detection method by an acoustic signal recorded in association with the recording date and time. Here, the diagnostic acoustic feature pattern having the second section length, which is obtained from the unknown input acoustic pattern, shows the maximum or maximum peak position and the maximum or maximum peak of the standard acoustic pattern having the first section length. We constructed an anomaly detection method using acoustic signals that matches the position and performs pattern matching between the two to obtain the numerical distance value between each feature.

【００１５】また、採録される第１の区間長を有する複
数の音響特徴パターンについて採録してからの日時が長
く経過したもの程頻度を少なく選択し、選択した音響特
徴パターンと第２の区間長を有する診断用音響特徴パタ
ーンとの間でパターンマッチングを行って各特徴量間の
数値的な距離値を求める音響信号による異常検出方法を
構成した。In addition, for a plurality of acoustic characteristic patterns having the first section length to be recorded, the frequency is selected to be smaller as the date and time after recording is longer, and the selected acoustic characteristic pattern and the second section length are selected. We constructed an anomaly detection method using an acoustic signal that performs pattern matching with a diagnostic acoustic feature pattern that has a numerical value to obtain a numerical distance value between each feature amount.

【００１６】更に、採録される第１の区間長を有する複
数の音響特徴パターンについて採録時の月日を要素とし
たグループ分けを行い、グループ毎に対応する標準音響
特徴パターンを構成し、グループ分けされた標準音響特
徴パターンの内から診断用音響特徴パターンの採録月日
と同一グループ視することができる音響特徴パターンを
選択し、選択された標準音響特徴パターンと第２の区間
長を有する診断用音響特徴パターンとの間でパターンマ
ッチングを行って各特徴量間の数値的な距離値を求める
異常検出方法を構成した。また、採録された第１の区間
長を有する複数の音響特徴パターンに対してパターン情
報の累積平均を求めて、累積平均した音響特徴パターン
を標準音響特徴パターンとし、第１の区間長を有するこ
の標準音響パターンと第２の区間長を有する診断用音響
特徴パターンとの間でパターンマッチングを行って各特
徴量間の数値的な距離値を求める音響信号による異常検
出方法を構成した。このようなグループ分けは、車のよ
うな季節の変動を受ける対象に関して大きな効果をも
つ。良く知られているように、夏期の車はクーラが、冬
期の車はヒータが必需装備である。この発明が適用され
るエンジンスタート直後において、この種の装備は既に
利用されており、その騒音も同時に発生するものであ
る。従って、季節毎にグループ分けして比較すること
は、正確な異常検出に効果を発揮する。Further, a plurality of acoustic feature patterns having the first section length to be recorded are divided into groups with the date of recording as an element, and a standard acoustic feature pattern corresponding to each group is formed and grouped. From the selected standard acoustic feature patterns, an acoustic feature pattern that can be viewed in the same group as the recording date of the diagnostic acoustic feature pattern is selected, and the selected standard acoustic feature pattern and the diagnostic feature having the second section length are selected. We constructed an anomaly detection method that finds a numerical distance value between each feature quantity by performing pattern matching with an acoustic feature pattern. Further, the cumulative average of the pattern information is obtained for the plurality of recorded acoustic feature patterns having the first section length, and the cumulatively averaged acoustic feature pattern is set as the standard acoustic feature pattern, which has the first section length. An anomaly detection method using an acoustic signal is performed, in which pattern matching is performed between the standard acoustic pattern and the diagnostic acoustic feature pattern having the second section length to obtain a numerical distance value between the feature amounts. Such grouping has a great effect on an object subject to seasonal fluctuations such as a car. As is well known, a cooler is a must for summer cars and a heater is a must for winter cars. Immediately after the start of the engine to which the present invention is applied, this type of equipment is already in use, and its noise is also generated. Therefore, grouping and comparing for each season is effective for accurate abnormality detection.

【００１７】[0017]

【発明の実施の形態】この発明の実施の形態を図１の実
施例を参照して説明する。図１において、音響入力部１
はオーディオマイクロホンの受信する音響波形データを
受信する信号入力端子である。波形変換部２は音響入力
部１より得られた音響波形データをディジタル数値へ変
換する変換部である。波形変換部２には、アナログの音
響波形をディジタルデータへ変換する処理、音響波形デ
ータをＡＤＰＣＭその他の圧縮されたデータとして受信
し、線形のデータへ変換する過程も含むものとすること
ができる。音響特徴抽出部３は波形変換部２により得ら
れた音響波形データから音響区間検出および音響認識の
ための特徴量を抽出する部分であり、その分析手法とし
ては、例えば、短時間対数パワー分析およびケプストラ
ム分析その他、音響認識技術において良く知られている
分析方法を使用する。外部インタフェース部１１は所定
の音響信号を第一の区間長の幅で切り出すスイッチ部分
であり、上位コンピュータその他の外部からの命令或は
内蔵のタイマーにより動作する。音響区間検出部５は音
響特徴抽出部３から得られる音響特徴量について、外部
インタフェース部１１の信号に応動して音響始端および
終端をそれぞれ一箇所だけ決定する部分である。入力パ
ターン格納部６は音響区間検出部５において決定された
音響始端から終端に到る音響特徴量を取り込んで未知入
力パターンとして記憶する記憶部である。部分区間決定
部１７は音響区間検出部５により検出された音響区間の
情報に基づいて、第２の音響始端および終端からなる音
響区間を計算して求めるものである。標準パターン記憶
部７は入力パターン格納部６と同様の手順で分析および
格納され、ラベル名を付与された認識に使用される複数
の音響標準パターンを格納した記憶部である。この標準
パターン情報には音響区間検出部５で検出したものに相
当する音響区間情報も含まれる。マッチング同期部１５
は標準パターン記憶部７より得られる音響区間情報およ
び部分区間決定部１７で決定された第２の音響始端およ
び終端情報に基づいて各標準パターンについて第２の音
響始端および終端を決定するものである。スイッチ１４
およびスイッチ１６はパターンマッチング部８へ与える
音響区間情報を第１の音響始端および終端情報或は第２
の音響始端および終端情報の何れかに切り替えるもので
あり、スイッチ位置ａおよびスイッチ位置ｂはそれぞれ
連動して切り替えられる。パターンマッチング部８は入
力パターン格納部６に格納された未知の入力音響パター
ンと標準パターン記憶部７に格納された各標準パターン
との間のマッチングを行い、両者の間のマハラノビス距
離その他の数式で定義される特徴量上の距離値を出力す
るものであり、パターンマッチング演算の基本形式は例
えばＤＰマッチングである。距離比較部１３は、スイッ
チ１４およびスイッチ１６によりスイッチ位置を切り替
えたときのそれぞれのパターンマッチング演算結果を蓄
積し、第１の音響始端および終端情報或は第２の音響始
端および終端情報の何れの音響区間情報の場合に、マッ
チング結果として得られる正規化距離値が小さくなるか
を判定してその値を結果集計部９へ出力するものであ
る。結果集計部９は各標準パターンについて距離比較部
１３よりそれぞれ出力された未知入力音響パターンとの
間の距離値の内から最も小さい距離値を有する標準パタ
ーンを決定する計算部である。出力部１０は結果集計部
９において最も小さい距離値を有すると決定されたパタ
ーンに関し、予め設定された閾値より大きな距離値が得
られた場合は、“故障”、或は“システムに異常が発生
しました”その他のラベル名を上位ホストコンピュータ
或は図示されない表示部へ出力表示するものである。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described with reference to the example of FIG. In FIG. 1, the sound input unit 1
Is a signal input terminal for receiving acoustic waveform data received by the audio microphone. The waveform conversion unit 2 is a conversion unit that converts the acoustic waveform data obtained from the acoustic input unit 1 into digital numerical values. The waveform conversion unit 2 may include a process of converting an analog acoustic waveform into digital data, a process of receiving acoustic waveform data as ADPCM or other compressed data, and converting into linear data. The acoustic feature extraction unit 3 is a unit that extracts a feature amount for acoustic section detection and acoustic recognition from the acoustic waveform data obtained by the waveform conversion unit 2, and its analysis method includes, for example, short-time logarithmic power analysis and Cepstrum analysis and other analysis methods well known in the acoustic recognition art are used. The external interface unit 11 is a switch unit that cuts out a predetermined acoustic signal with a width of a first section length, and operates by a command from the outside such as a host computer or an internal timer. The acoustic section detection unit 5 is a unit that determines one acoustic start end and one acoustic end in response to a signal from the external interface unit 11 with respect to the acoustic feature amount obtained from the acoustic feature extraction unit 3. The input pattern storage unit 6 is a storage unit that takes in the acoustic feature amount from the acoustic start end to the end determined by the acoustic section detection unit 5 and stores it as an unknown input pattern. The partial section determination unit 17 calculates and obtains a sound section including a second sound start end and a second sound end based on the information of the sound section detected by the sound section detection unit 5. The standard pattern storage unit 7 is a storage unit that stores and stores a plurality of acoustic standard patterns that are analyzed and stored in the same procedure as the input pattern storage unit 6 and are used for recognition with label names. This standard pattern information also includes sound segment information corresponding to that detected by the sound segment detection unit 5. Matching synchronization unit 15
Is to determine the second acoustic start and end for each standard pattern based on the acoustic section information obtained from the standard pattern storage unit 7 and the second acoustic start and end information determined by the partial section determination unit 17. . Switch 14
And the switch 16 sends the sound section information to be given to the pattern matching section 8 to the first sound start and end information or the second sound.
The switch position a and the switch position b are switched in conjunction with each other. The pattern matching unit 8 performs matching between the unknown input acoustic pattern stored in the input pattern storage unit 6 and each standard pattern stored in the standard pattern storage unit 7, and calculates the Mahalanobis distance between them and other mathematical expressions. The distance value on the defined feature amount is output, and the basic form of the pattern matching operation is, for example, DP matching. The distance comparison unit 13 accumulates the respective pattern matching calculation results when the switch positions are switched by the switch 14 and the switch 16, and stores either the first sound start end and the end information or the second sound start end and the end information. In the case of sound segment information, it is determined whether the normalized distance value obtained as a matching result is small, and the value is output to the result totaling unit 9. The result totaling unit 9 is a calculating unit that determines the standard pattern having the smallest distance value among the distance values with respect to the unknown input acoustic pattern output from the distance comparing unit 13 for each standard pattern. The output unit 10 relates to the pattern determined to have the smallest distance value by the result totaling unit 9, and when a distance value larger than a preset threshold value is obtained, “failure” or “system abnormality occurs. The other label names are output and displayed on the host computer or a display unit (not shown).

【００１８】以上に述べた音響信号による異常検出方法
においては、抽出される音響特徴パターンに採録時の時
刻データを関連付けて記録することも実施される。以
下、この採録時刻データの記録について説明する。採録
時刻データを記録するには、異常検出方法を実施する装
置の有する内部時計或いは上位ホストシステムの持つ同
様な時計を利用する。時計の年、月、日、時、秒のデー
タを装置の有するコマンド或は標準関数を使用して採録
する。例えば、装置の有するデータ転送を容易にする手
法であるいわゆる「パイプ機能」を使用し、採録した音
響データの先頭８バイトに年、月、日、時、秒のデータ
を自動的に加える構成である。この時刻データの形式は
問わず、この発明の異常検出方法に馴染みのよい形式を
採用することは音響特徴パターンの採録を容易にする。
例えば、年は西暦の下２桁を使用し、或は秒を省略する
ことにより使用バイト数を少なくすることができる。前
回のデータ採録からどれほど時間が経過したかを示すデ
ータを併せて記録することは、使用バイト数を増加する
こととなるが、これはこの発明において有効なことであ
る。In the above-described abnormality detection method using acoustic signals, recording is also performed by associating the time data at the time of recording with the extracted acoustic feature pattern. The recording of the recording time data will be described below. To record the recording time data, an internal clock included in the device that implements the abnormality detection method or a similar clock included in the host system is used. The year, month, day, hour, and second data of the clock are recorded using the command or standard function of the device. For example, a so-called “pipe function”, which is a method for facilitating data transfer of the device, is used, and the year, month, day, hour, and second data are automatically added to the first 8 bytes of the recorded audio data. is there. Regardless of the format of this time data, adopting a format that is familiar to the abnormality detection method of the present invention facilitates recording of acoustic feature patterns.
For example, the number of bytes used can be reduced by using the last two digits of the year or omitting the second. Recording the data indicating how much time has passed since the previous data recording also increases the number of bytes used, which is effective in the present invention.

【００１９】以下、図１の動作を説明する。標準パター
ンは予め未知の入力音響パターンと同様に分析され整備
されたものが標準パターン記憶部７に既に登録されてい
るものとする。音響は、常時、音響入力部１、波形変換
部２、音響特徴抽出部３を介して受信および分析され、
その分析結果の一部の情報である音響信号の対数パワー
が音響区間検出部５に入力され、パターンマッチングの
基準点の検出の情報とされる。The operation of FIG. 1 will be described below. It is assumed that the standard pattern that has been analyzed and prepared in advance in the same manner as the unknown input acoustic pattern is already registered in the standard pattern storage unit 7. Sound is always received and analyzed via the sound input unit 1, the waveform conversion unit 2, and the sound feature extraction unit 3,
The logarithmic power of the acoustic signal, which is a part of the analysis result, is input to the acoustic section detection unit 5 and is used as the information for detecting the reference point of the pattern matching.

【００２０】ここで、内蔵タイマー或は音響認識装置を
動作させる上位ホストコンピュータの操作により外部イ
ンタフェース部１１を起動すると、これから音響区間検
出開始のトリガが発生し、音響区間検出部５は初期化さ
れ、音響特徴抽出部３から入力する情報により音響始端
の検出を行う。次いで、音響区間検出部５は音響の終端
を検出する。ここで得られた音響区間情報は第１の音響
区間としてスイッチ１４の端子ａに送出され、同時に入
力パターン格納部６は第１の音響区間に対応する音響特
徴抽出部３の分析結果を入力音響パターンとして格納す
る。部分区間決定部１７は音響区間検出部５より第１の
音響区間情報を得て第２の音響区間情報を決定し、スイ
ッチ１４の端子ｂへ送出する。Here, when the external interface unit 11 is activated by the operation of the host timer for operating the built-in timer or the sound recognition device, a trigger for starting the sound section detection is generated from this, and the sound section detection unit 5 is initialized. The sound start edge is detected based on the information input from the sound feature extraction unit 3. Next, the sound section detection unit 5 detects the end of sound. The sound section information obtained here is sent to the terminal a of the switch 14 as the first sound section, and at the same time, the input pattern storage unit 6 outputs the analysis result of the sound feature extraction unit 3 corresponding to the first sound section to the input sound. Store as a pattern. The partial section determination unit 17 obtains the first sound section information from the sound section detection unit 5, determines the second sound section information, and sends it to the terminal b of the switch 14.

【００２１】音響区間検出部５と部分区間決定部１７と
によりそれぞれ決定する音響区間情報の関係を図２に示
す。図２は説明の都合上音響波形を短時間対数パワー値
として示した模式図である。端点ａ₁ および端点ａ
_M は、それぞれ音響区間検出部５が決定した波形から得
られた第１の音響区間の始端位置および終端位置であ
り、端点ｂ₂ および端点ｂ_e はそれぞれ部分区間決
定部１７が決定した第２の音響区間の始端位置および終
端位置である。端点ｂ₂ および端点ｂ_e は、端点
ａ₁ および端点ａ_M に対して、それぞれ区間長ｂ
₁ ｂ₂ および区間長ｂ_e ｂ_N の音響始端および音
響終端の一部を除外する位置関係にある。ここで、区間
長ｂ₁ ｂ₂ および区間長ｂ_eｂ_N の長さは未知
入力パターンの音響信号の特徴を表わし易く、１／Ｈ
_C より短い時間、例えば経験的に予め決定された０．１
秒程度の一定時間長とし、或は、検出した音響区間全長
に一定値を乗じて得る長さ、例えば端点ｂ₂ および端
点ｂ_e 間が１．２秒としてその約１／１０倍の０．１
２秒とすることができる。また、区間長ｂ₁ ｂ₂ と
区間長ｂ_e ｂ_N とを各別の時間長としてもよい。但
し先の式（１）および式（２）により与えられた関係を
満足する必要がある。ここで、マッチング同期部１５
は、パターンマッチングすべき各標準パターンについ
て、標準パターン記憶部７から第１の音響区間情報が入
力されると同時に、同一の情報はスイッチ１６の端子ａ
へも送出され、部分区間決定部１７で決定された入力音
響パターンの有する最大或は極大ピーク位置と標準パタ
ーンの区間長内に存在する最大或は極大ピーク位置との
間の同期を取るタイミングを決定し、これをスイッチ１
６の端子ｂへ送出する。入力音響パターンに対する音響
特徴量および第１および第２の音響区間情報が決定され
た時点でパターンマッチング部８は入力音響パターンと
登録された各標準パターンとの間のマッチングを行う。
なお、パターンマッチングの方法は、ＤＰマッチングと
してよく知られている方法を使用する例を示したが、文
献「Ｓｔａｇｇｅｒｅｄ Ａｒｒａｙ ＤＰマッチン
グ」、音響学会音響研資Ｓ８２−１５、１９８２年発
表、鹿野、相川著、その他に示されるＤＰマッチングを
採用することができる。この場合、効率的な認識のアル
ゴリズムを採用することが肝要である。それぞれのマッ
チング結果である正規化距離値は距離比較部１３へ出力
される。ここで、正規化とはパターンマッチングを行っ
たときの各音響区間長で正規化したという意味である。
距離比較部１３は端子ａおよび端子ｂで受信した正規化
距離値を比較し、何れか小さい方をこの標準パターンに
対するマッチング結果とする。各標準パターンに対する
距離計算結果は結果集計部９において小さい距離値の順
に整理され、得られた最も小さい距離値が予め設定され
た閾値より大きな距離値を示した場合、“故障”、或は
“システムに異常が発生しました”その他のラベル名を
上位ホストコンピュータ或は図示されない表示部へ出力
することにより音響信号の相互比較による故障診断をす
ることができる。当然のことであるが、先の閾値より小
さな距離値を示した場合は“正常”、或は“システムに
異常はありません”その他のラベル名が出力部１０を介
して上位ホストコンピュータ或は表示部に送出される。FIG. 2 shows the relationship between the acoustic segment information determined by the acoustic segment detection unit 5 and the partial segment determination unit 17, respectively. FIG. 2 is a schematic diagram showing the acoustic waveform as a short-time logarithmic power value for convenience of explanation. End point a ₁ and end point a
_M is a start position and end position of the first sound segment obtained from each waveform sound segment detecting unit 5 is determined, a second terminal point b ₂ and the end point b _e is each subinterval determination unit 17 has determined Is the start position and the end position of the sound section. The end point b ₂ and the end point b _e are respectively the section length b with respect to the end point a ₁ and the end point a _M.
In exclude positional relationship part of the acoustic beginning and acoustic end of ₁ b ₂ and segment length b _e b _N. Here, the lengths of the section lengths b ₁ b ₂ and the section lengths b _e b _N easily represent the characteristics of the acoustic signal of the unknown input pattern, and are 1 / H
Time shorter than _C , eg empirically predetermined 0.1
Or a length obtained by multiplying the total length of the detected sound section by a constant value, for example, 1.2 seconds between the end points b ₂ and be _{e, which} is about 1/10 of that. 1
It can be 2 seconds. Further, the section length b ₁ b ₂ and the section length b _e b _N may each different time length. However, it is necessary to satisfy the relationships given by the above equations (1) and (2). Here, the matching synchronization unit 15
For each standard pattern to be pattern-matched, the first sound section information is input from the standard pattern storage unit 7 and at the same time, the same information is input to the terminal a of the switch 16.
The maximum or maximum peak position of the input acoustic pattern determined by the partial interval determining unit 17 and the maximum or maximum peak position existing within the interval length of the standard pattern are synchronized with each other. Decide, switch 1
6 to the terminal b. The pattern matching unit 8 performs matching between the input sound pattern and each of the registered standard patterns when the sound feature amount and the first and second sound section information for the input sound pattern are determined.
Although the pattern matching method has shown an example in which a method well known as DP matching is used, the document “Staggered Array DP Matching”, Acoustical Society of Acoustics S82-15, announced in 1982, Shikano, Aikawa It is possible to adopt the DP matching shown in the authors and others. In this case, it is important to adopt an efficient recognition algorithm. The normalized distance value which is each matching result is output to the distance comparison unit 13. Here, the normalization means that normalization is performed by each acoustic section length when pattern matching is performed.
The distance comparison unit 13 compares the normalized distance values received at the terminals a and b, and takes the smaller one as the matching result for this standard pattern. The result calculation unit 9 arranges the distance calculation results for each standard pattern in the order of the smallest distance value. When the smallest obtained distance value indicates a distance value larger than a preset threshold value, "failure" or " An error has occurred in the system. "Other label names can be output to a host computer or a display unit (not shown) to perform fault diagnosis by mutual comparison of acoustic signals. As a matter of course, when the distance value is smaller than the above threshold value, "normal" or "there is no system error" and other label names are output via the output unit 10 to the host computer or display unit. Sent to.

【００２２】ここで、この発明は、抽出される音響特徴
パターンに採録時の時刻データを関連付けて記録して以
下の如くに実施することができる。標準パターンとして
採録された第１の区間長を有する複数の音響特徴パター
ンについて、採録してからの日時が長く経過したもの程
それらの参照頻度を少なく複数の音響特徴パターンを選
択する構成を採用する。これにより、直近の情報は詳し
く、古い時期の情報は疎になり、同一の計算機能力に対
して、より古い情報まで参照することができる。或は、
同一の計算機能力に対して、直近の情報を詳しく扱うこ
とができ、異常の発見を早めることができる。Here, the present invention can be implemented as follows by recording the time data at the time of recording in association with the extracted acoustic feature pattern. Regarding a plurality of acoustic feature patterns having the first section length recorded as standard patterns, a configuration is adopted in which the reference frequency is lower and the plurality of acoustic feature patterns are selected as the date and time after recording is longer. . As a result, the latest information is detailed, the old information is sparse, and it is possible to refer to older information for the same computing power. Or,
The latest information can be handled in detail for the same computing power, and the abnormality can be found earlier.

【００２３】更に、標準パターンとする過去の正常な時
期に採録した音響パターン情報を累積平均することも効
率化に効果がある。先の方法においては、入力音響パタ
ーンは選択されたすべての標準パターンとの間の距離値
の計算が必要となるが、累積平均化した情報を標準パタ
ーンとすると唯一の信号となり、未知の入力音響パター
ンとの間の比較が極めて簡略化される。累積平均化を採
録した信号の特定のグループ毎に行い、計算機能力の許
す範囲内において標準パターンの数を増やす方法も効果
的である。Further, accumulating and averaging the acoustic pattern information recorded in the normal period in the past as a standard pattern is also effective for efficiency improvement. In the previous method, the input acoustic pattern requires calculation of the distance value between all the selected standard patterns, but if the information obtained by cumulative averaging is used as the standard pattern, it becomes the only signal, and the unknown input acoustic pattern The comparison between the patterns is greatly simplified. It is also effective to perform cumulative averaging for each specific group of the acquired signals and increase the number of standard patterns within the range allowed by the calculation function.

【００２４】以上の方法を少し具体的に説明する。即
ち、異常検出方法について、記録された第１の区間長を
有する複数の音響特徴パターンに対して採録時の月日を
要素としたグループ分けを行う。例えば、自動車のエン
ジンスタート時の騒音は冬は大きく、夏は小さいことが
知られている。そして、この時、エアーコンデショナが
動作していると、そのブロア音が重畳するばかりでな
く、消費電力を補うためにエンジンの回転数が自動的に
上昇するのが普通である。この様に、機械の多くは季節
により或は日時によってその発生する音響信号が異なる
ものである。これらの異なる音響信号を信号採録時の情
報に基づいてグループ化することは比較対象とする信号
の精度を高めることとなり、故障の検出率を向上するこ
とができる。The above method will be described in more detail. That is, in the abnormality detection method, the plurality of acoustic feature patterns having the recorded first section length are divided into groups with the date of recording as an element. For example, it is known that the noise when starting the engine of an automobile is large in winter and small in summer. Then, at this time, when the air conditioner is operating, not only the blower noise is superimposed, but also the engine speed normally increases automatically to supplement the power consumption. As described above, most of the machines have different acoustic signals depending on the season or the date and time. Grouping these different acoustic signals based on the information at the time of signal acquisition increases the accuracy of the signals to be compared and can improve the failure detection rate.

【００２５】次に、この様にグループに対応する音響特
徴パターンが複数個形成された訳であるが、これらの音
響特徴パターンの内から診断用音響特徴パターンの採録
月日と同一グループ視することができるものを選択し、
選択された音響特徴パターンと第２の区間長を有する診
断用音響特徴パターンとの間でパターンマッチングを行
って各特徴量間の数値的な距離値を求め、距離値が所定
の値を超えているか否かにより対象の異常を検出するこ
とができる。Next, a plurality of acoustic feature patterns corresponding to groups are formed in this way. Among these acoustic feature patterns, the same group as the recording date of the diagnostic acoustic feature pattern should be viewed. Select the one that
Pattern matching is performed between the selected acoustic feature pattern and the diagnostic acoustic feature pattern having the second section length to obtain a numerical distance value between the feature amounts, and the distance value exceeds a predetermined value. It is possible to detect the target abnormality depending on whether or not there is.

【００２６】更に、採録された第１の区間長を有する複
数の音響特徴パターンに対して、採録時の月日を要素と
したグループ分けを行い、グループ毎に複数個の音響特
徴パターン群とする。次に、直近で採録された音響特徴
パターンが含まれる音響特徴パターン群を選択し、直近
で採録された音響特徴パターンを除外した後、同一グル
ープの他の採録された複数の音響特徴パターンに対して
パターン情報の累積平均を求める。この様にして求めた
累積平均化した音響特徴パターンを第１の区間長を有す
る標準パターンとする。一方、直近で採録された音響特
徴パターンを第２の区間長を有する診断用音響特徴パタ
ーンに加工する。これら二つの間でパターンマッチング
を行って各特徴量間の数値的な距離値を求め、距離値が
所定の値を超えているか否かにより対象の異常を判定す
ることができる。Furthermore, a plurality of acoustic feature patterns having the first section length that have been recorded are divided into groups with the date of recording as an element, and a plurality of acoustic feature pattern groups are formed for each group. . Next, after selecting the acoustic feature pattern group that includes the most recently recorded acoustic feature pattern and excluding the most recently recorded acoustic feature pattern, for other recorded acoustic feature patterns of the same group, Then, the cumulative average of the pattern information is obtained. The cumulatively averaged acoustic feature pattern thus obtained is used as a standard pattern having a first section length. On the other hand, the most recently recorded acoustic feature pattern is processed into a diagnostic acoustic feature pattern having a second section length. It is possible to determine the abnormality of the target by performing pattern matching between these two to obtain a numerical distance value between the respective feature amounts and determining whether or not the distance value exceeds a predetermined value.

【００２７】ここで、実際の音響に対して実験した結果
例を示す。認識対象はマブチ社製の模型用モータで駆動
されたギアボックスとした。ギアボックスの出力軸の一
端に金属片を打鍵する微小ハンマーを装着し、モータの
連続音に重畳した周期音を生成した。採録した機械音は
３００Ｈｚ〜３．４ｋＨｚのフィルタを通して８ｋＨｚ
で音響信号に変換され、１２８ｍｓｅｃ毎の短時間ＬＰ
Ｃケプストラム分析が実行された。第２の音響区間を決
定するための音響始端および終端における除外区間長は
前後何れも０．１２８秒に固定した。パターンマッチン
グ方式は始端固定、終端フリーＳｔａｇｇｅｒｅｄ Ａ
ｒｒａｙ ＤＰである。この発明は、ギアボックスに人
為的に加えた回転異常をたちどころに検出し、その有効
性が確認された。この実験例は模型に対してなされたも
のであるが、これは生産機械、車両その他の対象に拡張
することができる。Here, an example of a result of an experiment performed on an actual sound will be shown. The recognition target was a gearbox driven by a model motor manufactured by Mabuchi. A small hammer that taps a metal piece was attached to one end of the output shaft of the gearbox, and a periodic sound superimposed on the continuous sound of the motor was generated. The recorded mechanical sound is 8kHz through a filter of 300Hz-3.4kHz.
Is converted into an acoustic signal by a short time LP every 128 msec.
C-Cepstrum analysis was performed. The length of the excluded section at the start and end of the sound for determining the second sound section was fixed at 0.128 seconds both before and after. The pattern matching method is fixed at the beginning and free at the end Staged A
It is rray DP. This invention was able to detect abnormal rotations artificially added to the gearbox, and confirmed its effectiveness. This experimental example was made on a model, but it can be extended to production machines, vehicles and other objects.

【００２８】この発明は、対象とする事物は車、産業機
械その他のメカニカルな動作に伴って音響信号を発生す
るものすべてを含むが、鳴き声を発するペットその他の
生物をもその対象とすることができる。そして、静止し
ていて音響信号を発生していない事物に対しても、打撃
或は音響信号の強制伝搬を行うことによりこれらをこの
発明の対象とすることができる。また、音声認識のアル
ゴリズムに関しては、目的に合うものでありさえすれば
よく、進歩の目覚ましいこの分野の成果を逐次、取り入
れることでこの発明の一層の高性能化が達成されるもの
である。In the present invention, the target objects include all things that generate acoustic signals in accordance with mechanical movements such as cars, industrial machines and the like, but it is also applicable to pets and other living things that make a squeal. it can. Then, even for an object that is stationary and does not generate an acoustic signal, it is possible to make the object of the present invention by hitting or forcibly propagating the acoustic signal. Further, the speech recognition algorithm need only meet the purpose, and the achievement of this invention can be further improved by successively incorporating the achievements of this remarkable field of progress.

【００２９】[0029]

【発明の効果】以上の通りであって、この発明は、所定
の時間区間長で音声波形を含む音響波形より特徴抽出さ
れた入力音響特徴パターンを入力音響パターン格納部に
格納する。このとき、音響情報サンプリングのタイミン
グ生成部である音響区間検出部から出力される第１の音
響区間情報と、音響始端および終端の小部分を除外する
第２の音響区間情報を共に得る。パターンマッチング部
において、第１の音響区間情報を有する過去に採録され
た第１の音響情報に対して第２の音響区間情報を有する
直近で再録された音響情報との間のマッチングを行う。
マッチング結果として得られる正規化距離値の尤度が所
定の値以下であるならば対象に異常が生じていると判定
する。この様に、対象が発生する音響情報に関し、予め
記録した所定の記録区間長を有する音響情報と新に取り
込まれた音響情報のパターンマッチングと、当該音響情
報の始端および終端の小部分をマッチング範囲から除外
したパターンマッチングとを併用することにより、対象
に内在する異常を精度良く検出することができる。そし
て、抽出される音響特徴パターンに採録時の時刻データ
を関連付けて記録してこれを使用することにより、パタ
ーンマッチングをより効率的に実行することができる。As described above, according to the present invention, the input acoustic characteristic pattern extracted from the acoustic waveform including the speech waveform in the predetermined time interval length is stored in the input acoustic pattern storage unit. At this time, the first acoustic segment information output from the acoustic segment detection unit, which is the acoustic information sampling timing generation unit, and the second acoustic segment information excluding the small portions at the acoustic start end and the acoustic end are obtained together. In the pattern matching unit, the first sound information recorded in the past having the first sound section information is matched with the most recently re-recorded sound information having the second sound section information.
If the likelihood of the normalized distance value obtained as the matching result is less than or equal to a predetermined value, it is determined that the target has an abnormality. In this way, regarding the acoustic information generated by the target, the pattern matching between the acoustic information having a predetermined recording section length recorded in advance and the newly captured acoustic information, and the small range at the beginning and the end of the acoustic information are matched within the matching range. By using together with the pattern matching excluded from the above, it is possible to accurately detect an abnormality inherent in the target. By recording and recording the time data at the time of recording in association with the extracted acoustic feature pattern, the pattern matching can be performed more efficiently.

【図面の簡単な説明】[Brief description of drawings]

【図１】実施例を説明する図。FIG. 1 is a diagram illustrating an example.

【図２】ＤＰマッチングによるパターンマッチング演算
を行ったときの時間伸縮関数を説明する図。FIG. 2 is a diagram illustrating a time expansion / contraction function when a pattern matching calculation based on DP matching is performed.

【図３】先行例を説明する図FIG. 3 is a diagram illustrating a preceding example.

【符号の説明】[Explanation of symbols]

１ 音響入力部 ２ 波形変換部 ３ 音響特徴抽出部 ４ 起動スイッチ部 ５ 音響区間検出部 ６ 入力パターン格納部 ７ 標準パターン記憶部 ８ パターンマッチング部 ９ 結果集計部 １０ 出力部 １１ 外部インタフェース部 １２ パターンマッチング部 １３ 距離比較部 １４ スイッチ １５ マッチング同期部 １６ スイッチ １７ 部分区間決定部 1 acoustic input unit 2 waveform conversion unit 3 acoustic feature extraction unit 4 activation switch unit 5 acoustic section detection unit 6 input pattern storage unit 7 standard pattern storage unit 8 pattern matching unit 9 result aggregation unit 10 output unit 11 external interface unit 12 pattern matching Part 13 Distance comparison part 14 Switch 15 Matching synchronization part 16 Switch 17 Partial section determination part

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 音響信号を発生する対象から採録された
第１の区間長を有する音響信号に対して音響特徴パター
ンを抽出して記録し、直近で採録された音響特徴パター
ンを未知入力音響パターンとし、これ以前に採録された
ものを標準音響パターンとして記録し、採録区間の始端
或は終端或は両端の一部分を除外して第１の区間長より
短い第２の区間長を設定し、未知入力音響パターンを第
２の区間長に対応する診断用音響特徴パターンに加工
し、診断用音響特徴パターンと第１の区間長を有する標
準音響パターンとの間でパターンマッチングを行って各
特徴量間の数値的な距離値を求め、距離値が所定の値を
超えている場合は対象に異常が発生していると判定する
ことを特徴とする音響信号による異常検出方法。1. An acoustic feature pattern is extracted and recorded for an acoustic signal having a first section length recorded from an object generating an acoustic signal, and the most recently recorded acoustic feature pattern is an unknown input acoustic pattern. Then, what is recorded before this is recorded as a standard acoustic pattern, and a second section length shorter than the first section length is set by excluding the start end, end, or part of both ends of the recording section. The input acoustic pattern is processed into a diagnostic acoustic feature pattern corresponding to the second section length, pattern matching is performed between the diagnostic acoustic feature pattern and the standard acoustic pattern having the first section length, and the feature amounts are separated from each other. The method for detecting an abnormality by an acoustic signal, wherein the numerical distance value is calculated, and if the distance value exceeds a predetermined value, it is determined that an abnormality has occurred in the target. 【請求項２】 請求項１に記載される音響信号による異
常検出方法において、抽出された複数の音響特徴パター
ンはこれらの採録日時と関連付けて記録することを特徴
とする音響信号による異常検出方法。2. The abnormality detection method by an acoustic signal according to claim 1, wherein the plurality of extracted acoustic feature patterns are recorded in association with the recording dates and times of these. 【請求項３】 請求項２に記載される音響信号による異
常検出方法において、未知入力音響パターンから得られ
る第２の区間長を有する診断用音響特徴パターンが最大
或は極大ピークを示す位置と第１の区間長を有する標準
音響パターンの最大或は極大ピークを示す位置とを一致
させて両者間でパターンマッチングを行って各特徴量間
の数値的な距離値を求めることを特徴とする音響信号に
よる異常検出方法。3. The acoustic signal abnormality detection method according to claim 2, wherein a diagnostic acoustic characteristic pattern having a second section length obtained from an unknown input acoustic pattern has a maximum or maximum peak position and a second maximum position. An acoustic signal characterized by obtaining a numerical distance value between each feature quantity by matching the position showing the maximum or maximum peak of the standard acoustic pattern having a section length of 1 and performing pattern matching between the two. Anomaly detection method. 【請求項４】 請求項２および請求項３の内の何れかに
記載される音響信号による異常検出方法において、採録
される第１の区間長を有する複数の音響特徴パターンに
ついて採録してからの日時が長く経過したもの程頻度を
少なく選択し、選択した音響特徴パターンと第２の区間
長を有する診断用音響特徴パターンとの間でパターンマ
ッチングを行って各特徴量間の数値的な距離値を求める
ことを特徴とする音響信号による異常検出方法。4. The method for detecting an abnormality by an acoustic signal according to claim 2, wherein the plurality of acoustic feature patterns having a first section length to be recorded are recorded. Numerical distance values between the respective feature quantities are selected by selecting the less frequent ones as the date and time has passed, and performing pattern matching between the selected acoustic feature pattern and the diagnostic acoustic feature pattern having the second section length. An anomaly detection method using an acoustic signal, characterized by: 【請求項５】 請求項２および請求項３の内の何れかに
記載される音響信号による異常検出方法において、採録
される第１の区間長を有する複数の音響特徴パターンに
ついて採録時の月日を要素としたグループ分けを行い、
グループ毎に対応する標準音響特徴パターンを構成し、
グループ分けされた標準音響特徴パターンの内から診断
用音響特徴パターンの採録月日と同一グループ視するこ
とができる音響特徴パターンを選択し、選択された標準
音響特徴パターンと第２の区間長を有する診断用音響特
徴パターンとの間でパターンマッチングを行って各特徴
量間の数値的な距離値を求めることを特徴とする音響信
号による異常検出方法。5. The method of detecting an abnormality by an acoustic signal according to claim 2, wherein the plurality of acoustic feature patterns having a first section length to be recorded are recorded at the date of recording. Grouped with
Configure standard acoustic feature patterns for each group,
An acoustic feature pattern that can be viewed in the same group as the recording date of the diagnostic acoustic feature pattern is selected from the grouped standard acoustic feature patterns, and has the selected standard acoustic feature pattern and second section length. An abnormality detection method using an acoustic signal, which comprises performing pattern matching with a diagnostic acoustic feature pattern to obtain a numerical distance value between each feature amount. 【請求項６】 請求項５に記載される音響信号による異
常検出方法において、採録された第１の区間長を有する
複数の音響特徴パターンに対してパターン情報の累積平
均を求めて、累積平均した音響特徴パターンを標準音響
特徴パターンとし、第１の区間長を有するこの標準音響
パターンと第２の区間長を有する診断用音響特徴パター
ンとの間でパターンマッチングを行って各特徴量間の数
値的な距離値を求めることを特徴とする音響信号による
異常検出方法。6. The method for detecting an abnormality using an acoustic signal according to claim 5, wherein a cumulative average of pattern information is obtained for a plurality of recorded acoustic feature patterns having a first section length, and the cumulative average is calculated. The acoustic feature pattern is used as a standard acoustic feature pattern, and pattern matching is performed between the standard acoustic pattern having the first section length and the diagnostic acoustic feature pattern having the second section length, and numerical values between the respective feature quantities are calculated. Method for detecting anomalies by means of acoustic signals, which is characterized by obtaining various distance values.