JP2009025015A - 知識作成支援装置及びプログラム - Google Patents

Abstract

【課題】 同じ異常原因等の同一グループに属する音データをひとまとめに扱うことなく、より細かく分類し、評価することで、異音検査等を行なうのに適する特性指標を決定するための有用な情報を提供することができる知識作成支援装置を提供すること
【解決手段】 波形ファイル保存部１１から読み出した音データを再生し、その音データを表す聴感音と、その聴感音らしさを示す聴感レベルと、を関連付けて波形ファイル保存部に格納する分類付加部１２と、その波形ファイル保存部に登録された同じ聴感音が関連付けられた各音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の相関（線形性）を表すグラフを作成し、そのグラフを出力する波形分析／知識作成部１７とを備えた。
【選択図】 図１

Description

この発明は、検査対象から取得した音声データを構成する波形信号に対し、その波形信号の特徴を表す特徴量を演算して得られた特徴量演算結果に基づいて良否判定を行なう検査装置に設定するための、その良否判定を行なう際に使用する特徴量を含む特性指標を決定するための情報を提供する知識作成支援装置及びプログラムに関するものである。

自動車や家電製品などには、モータが組み込まれた回転機器が非常に多く用いられている。例えば自動車を例にとってみると、エンジン，パワーステアリング，パワーシート，ミッションその他の至る所に回転機器が実装されている。また、家電製品は、冷蔵庫，エアコン，洗濯機その他各種の製品がある。係る回転機器が実際に稼働した場合、モータ等の回転に伴って音が発生する。

係る音は、正常な動作に伴い必然的に発生するものもあれば、不良に伴い発生する音もある。不良に伴う異常音の発生原因は、ベアリングの異常，内部の異常接触，アンバランス，異物混入などがある。例えば、ギア１回転について１度の頻度で異常音が発生する原因は、ギアの欠け，異物のかみ込み，スポット傷，モータ内部の回転部と固定部が回転中の一瞬だけこすれ合うことなどがある。また、人が不快と感じる音は、例えば人間の可聴範囲である２０Ｈｚから２０ｋＨｚの中で様々な音がある。不快と感じる音の周波数の一例としては、例えば約１５ｋＨｚ程度のものがある。従って、係る所定の周波数成分の音が発生している場合も異常音となる。もちろん、異常音はこの周波数（１５ｋＨｚ）に限らない。

係る不良に伴う音は、不快であるばかりでなく、さらなる故障を発生させるおそれもある。そこで、それら各製品に対する品質保証を目的とし、生産工場においては、通常検査員による聴覚や触覚などの五感に頼った「官能検査」を行ない、異常音の有無の判断を行なっている。具体的には、耳で聞いたり、手で触って振動を確認したりすることによって行なっている。ここで官能検査とは、人間の感覚器官が感知できる属性を人間の感覚器官そのものによっておこなう検査のことである。

ところで、数年前から自動車に対する音品質の要求が急速に高くなってきている。すなわち、自動車業界では、エンジン，ミッション，パワーシートなどの車載駆動パーツの検査を定量的に自動検査するニーズが高まっており、従来から行なわれている検査員による上記の官能検査のように定性的で曖昧な検査ではそのニーズに応える品質を得ることができなくなってきている。

そこで、係る問題を解決するため、定量的かつ明確な基準による安定した検査を目的とした異音検査装置が開発されている。この異音検査装置は、「官能検査」工程の自動化を目的とした装置であり、マイクロフォンで取得した音データから特徴量を抽出し、抽出した特徴量から異常の有無やその原因などを求めるものである。

上記の異音検査装置は、検査を実行する際に使用する最適な特徴量の選択および特徴量演算用の諸パラメータの選択を行なう必要がある。適切な選択を行なうには、収集したサンプルの音データを構成する波形信号についての分析を正しく行なう必要があるが、その前提として収集したサンプルの音データ（波形信号：波形データ）のグループ分けを正しく行なう必要がある。

係るグループ分けを行なう場合、例えば、“バルブクリアランス異常”，“ギア傷”等の異常種類がわかっているサンプルの検査対象品がある場合、その検査対象品から得た音データに対しそれぞれの異常種類を関係づける。また、異常種類が不明なサンプルの検査対象品から得た音声の波形データに対しては、実際にその音を再生し、ユーザが感じ取った特徴的な聴感音を関係づける。そして、それら関係づけた異常種類が同じ波形データや、聴感音が同じ波形データをグループ化する。ここで、聴感音は、“ガリガリ”，“ゴリゴリ”，“ギーギー”等のユーザが聞き取ったときの音を表すもので、擬音語とも称される。この波形データと異常種類或いは聴感音との関係付けは、ユーザの実験ノートに記録することで行なっている。なお、音声ファイルに擬音語を対応させて記憶させ、検索等を容易にするものとしては、特許文献１に開示された技術がある。
特開平１０−３１２３８９

異音検査装置に設定する知識を作成するには、同じ異常原因（異常種類のように直接的に表すものや聴感音のように間接的に表すもの）に基づく音データを構成する波形信号を読み出し、良品から得られた音データと識別するための適切な特徴量を含む特性指標を決定する必要がある。従来は、ＮＧとなった同じ異常原因の音データは、ひとまとめに扱い、それらと、良品である検査対象品から得られた音データとを比較していたため、適切な特性指標を決定できなかったり、本来、より適切な特性指標があるにもかかわらず、それを見つけることができなかったりすることがある。

この発明は、同じ異常原因等の同一グループに属する音データをひとまとめに扱うことなく、より細かく分類し、評価することで、異音検査等を行なうのに適する特性指標を決定するための有用な情報を提供することができる知識作成支援装置及びプログラムを提供することを目的とする。

この発明による知識作成支援装置は、（１）検査対象から取得した音声データを構成する波形信号に対し、その波形信号の特徴を表す特徴量を演算して得られた特徴量演算結果に基づいて良否判定を行なう検査装置に設定するための、その良否判定を行なう際に使用する特徴量を含む特性指標を決定するための情報を提供する知識作成支援装置であって、取得した音データに対し、その音データを表す聴感音と、その聴感音らしさを示すレベルと、を関連付ける分類付加手段と、同じ聴感音が関連付けられた各音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段と、を備えた。

（２）別の解決手段としては、検査対象から取得した音声データを構成する波形信号に対し、その波形信号の特徴を表す特徴量を演算して得られた特徴量演算結果に基づいて良否判定を行なう検査装置に設定するための、その良否判定を行なう際に使用する特徴量を含む特性指標を決定するための情報を提供する知識作成支援装置であって、ＮＧとなった音データに対し、異常種類と、その異常種類らしさを示すレベルと、を関連付ける分類付加手段と、同じ異常種類が関連付けられた各音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段と、を備えた。

（３）上記の（１），（２）の発明を前提とし、グラフは、一方の軸をレベルとし、他方の軸を特性指標値としたものであり、レベルの増減と特性指標値の増減の線形性を求め、線形性の良好な特性指標を通知する手段を備えるとよい。

（４）本発明のプログラムは、コンピュータを、取得した音データに対し、その音データを表す聴感音と、その聴感音らしさを示すレベルと、を関連付ける分類付加手段、その音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段、として機能させるためのプログラムである。

本発明は、音データに対して、聴感音のように人間が聞き取ったときの感じ（擬音語）をそのまま文字で表したものや、具体的な異常種類を関連づけてグループ化するに際し、そのレベルを関連付けて登録するようにした。このレベルは、聴感音に対しては、その聴感音らしさを規定するもので、実施形態で聴感レベルとも称されるものである。異常種類についても、その異常種類らしさを規定するものである。いずれも、そのグループに属する確からしさの度合いとも言える。

レベルが大きいものほど、そのグループに属する確からしさも高くなるので、そのグループを特定する（“ＯＫ”或いは“他のＮＧ”等の他のグループと弁別する）ための特性指標値も大きくなるのが好ましい特性指標と言える。

本発明は、このレベルと、音データから特徴量演算して求めた特性指標値と、を関連付けたグラフを提供する。ユーザは、このグラフを見ることで、特性指標値とレベルの増減が対応しているか否かを容易に理解できる。つまり、特性指標値が増加しているのにレベルが増減し、特性指標値に対してレベルが一意に特定できないような特性指標は、有用な特性指標とは言えない。逆に、特性指標値が増加した場合には、レベルも増加するような場合は、特性指標値とレベルとが一意に特定でき、有用な特性指標といえる。

音データは、実施形態では、波形ファイルに格納された波形データに対応する。分類付加手段は、実施形態では、分類付加部１２に対応する。グラフを作成し、そのグラフを出力する手段は、実施形態では、形分析／知識作成部１７に対応する。

本発明は、音データに対して聴感音や異常種類を関連付けるに際し、レベルも合わせて関連付けたため、そのレベルも考慮して適切な特性指標を決定するための有用な情報を提供することができる。

まず、本発明の実施形態で、官能検査をする際に使用する特徴量およびパラメータ並びに判定閾値を含む知識ファイルを設定する対象となる検査装置を簡単に説明する。異音検査装置は、振動センサやマイクロフォンなどのセンサで取得した波形データに対し前処理を行なった後、１または複数の特徴量を演算し、求めた特徴量値と判定用の閾値とを比較し、良品／不良品並びに異常種類等の判断を行なうことを基本構成としている。

その前処理としてのフィルタには、バンドパスフィルタ，ローパスフィルタ，ハイパスフィルタなど複数種類用意されるとともに、演算する特徴量も多数用意される。ここでは、前処理に用いるフィルタの種類（周波数）はパラメータとしている。

検査装置の判定結果の正確さは、使用する特徴量やパラメータの組み合わせはもちろんのこと、判定用の閾値を適切に設定する必要がある。そこで、本実施形態の装置は、特徴量とパラメータの適した組み合わせを容易に見つけるとともに、その組み合わせにおける有効な閾値を設定するための情報を提供する機能を備えた。なお、ここでいう特徴量値（特性指標値）は、特徴量演算をして得られた結果そのものはもちろんのこと、その特徴量演算結果を正規化した値も含む。

図１は、本発明の知識作成支援装置の好適な一実施形態を示している。この知識作成支援装置１０は、波形ファイル保存部１１，分類付加部１２，分類変更部１３，変更履歴保存部１４，変更履歴表示部１５，波形ファイル検索部１６，波形分析／知識作成部１７を備えている。知識作成支援装置１０は、例えば、パーソナルコンピュータに以下の機能を備えたツールをインストールすることで実現される。もちろん、知識作成支援装置１０は、専用のツール装置で構成しても良い。

波形ファイル保存部１１は、複数の音声の波形データを記憶する。この複数の波形データは、良品の測定対象品や不良品の測定対象品などの複数の測定対象品からそれぞれ取得したものを記憶保持する。

分類付加部１２は、処理対象の波形ファイルに対し、異常種類或いは聴感音等の分類情報を付加する。実際には、知識作成支援装置１０の入力装置をユーザが操作して与えられた情報を認識し、その分類情報と波形ファイルとを関連づけて波形ファイル保存部１１に登録する。この分類付加部１２は、それら分類情報を入力するためのマンマシンインタフェースとして、知識作成支援装置１０の表示装置に、所定の入力画面を表示する。この入力画面は、例えば図２に示すような表示レイアウトで構成することができる。この例では、分類情報を波形ファイルのメモとして関連付けて記録するようにしている。処理対象の波形ファイルは、ファイル指定領域Ｒ１中に格納場所並びにファイル名を入力することで指定する。

分類付加部１２は、ファイル指定領域Ｒ１で指定されたファイルにアクセスし、波形データを読み出すと共に、その読み出した波形データを波形表示ウインドウＷ１に表示する。この波形表示ウインドウＷ１の下方には、“音再生”ボタンが設定されている。分類付加部１２は、この“音再生”ボタンがクリックされたことを認識すると、波形表示ウインドウＷ１に表示されている波形データを再生する。これにより、ユーザは、再生された音を聞き、異音の有無や状態を確認することができる。なお、再生される音は、呼び出された波形データのうち、開始時間と終了時間で指定された範囲内である。

さらに、ユーザは、知識作成支援装置１０の入力装置を操作し、入力画面の下方に設定されたメモ入力領域Ｒ２の各エリアに、波形に関するメモリを入力する。分類付加部１２は、入力画面の右下に用意された“ＯＫ”ボタンがクリックされたことを契機とし、そのメモ入力領域Ｒ２に入力されたメモの内容を取得し、現在呼び出されている波形データの波形ファイル（ファイル指定領域Ｒ１で指定されたファイル）に書き込む。図示するように、メモは、複数種類の内容が登録できる。

メモ入力領域Ｒ２を用いて登録できるメモの内容は、以下の通りである。“異音発生箇所”は、入力するメモの内容をユーザ等が識別するための名前を入力する欄である。“開始時間”と“終了時間”は、それぞれ異音発生箇所を特定するための開始時間と終了時間を登録するための欄である。このように、開始時間と終了時間を指定することで、波形データの一部に対して異常種類或いは聴感音を付加して登録することができる。

“聴感判定”は、ＯＫかＮＧかを登録する欄であり、プルダウンメニューから選択可能となっている。“聴感音”は、分類の属性を登録する欄である。この“聴感音”の欄には、聴感音はもちろんのこと異常種類も登録される。

聴感音は、擬音語とも称されるもので、異常と判断した波形データをグループ化するために、その音の聞いた感じを言葉に表したものである。例えば、“ガタガタ”，”ガリガリ”，“ゴリゴリ”，“ギーギー”などがある。異音は、異常の種類に対応して特有の音を発する。従って、具体的な異常の種類が特定できない場合でも、同種の異常種類に伴い発生する音は似通ったものとなるので、聴感音を用いて異常の種類単位で波形データをグループ化できる。もちろん、例えば、“バルブクリアランス異常”等の異常の種類がわかっているものについては、その異常の種類を登録する。この“聴感音”の欄は、過去に入力した語句は登録され、プルダウンメニュー方式でリストアップされるので、その中から選択して入力することができると共に、新たな語句もテキスト入力できる。このテキスト入力された語句は、プルダウンメニューリストに追加される。なお、多くの場合、聴感音は異常原因を間接的に規定するものであるが、良品から得た音を表す聴感音を登録することもできる。

“レベル”は、聴感レベルを登録する欄である。ここで、聴感レベルとは、聴感音らしさの程度を表すもので、本実施形態では、“１”から“５”の５段階評価で規定する。例えば、聴感音が“ガタガタ”の場合、波形データを再生した音を聞いたユーザが、その音がより“ガタガタ”らしいと感じた場合には、より大きい数値を入力し、どちらかというと“ガタガタ”かなと感じた程度の場合には、小さい数値を入力する。このように、実際に音を聞いたユーザの感覚により聴感レベルが決定され、入力される。聴感レベルは、５段階としたことから、ユーザが行なう実際の入力処理は、プルダウンメニュー表示された“１”から“５”の中のいずれかの数値を選択する。なお、本実施形態では、レベル分けを５段階としたが、本発明はこれに限ることはなく、任意の数で段階分けをすることができるとともに、数値以外のもので段階分けをするのも妨げない。さらには、異常種類のレベルを登録するのもさまたげない。

上記の実施形態では、分類分けを“聴感音”と“レベル”とを別々に登録するようにしたが、たとえば図３に示すように“聴感音“と”レベル“とを一緒に登録するようにしてもよい。図３の”聴感音“の欄には、”ガタガタ 大“というように、聴感音である”ガタガタ“と、その聴感レベルを表す”大“を一緒に入力している。

波形ファイル保存部１１に格納された波形データは、波形ファイル検索部１６により所望の条件に合致するものが抽出される。波形ファイル検索部１６は、知識作成支援装置１０の表示装置に対し、たとえば、図４に示す検索画面を表示する。ユーザは、この検索画面中に設定された検索キーワード入力領域Ｒ３に、目的とする波形ファイル（分析したいファイル）を特定するための異常種類あるいは聴感音を入力する。波形ファイル検索部１６は、この入力された聴感音などをキーワードとしてフィルタをかけ、該当する波形ファイルを抽出する。つまり、波形ファイル検索部１６は、波形ファイル保存部１１にアクセスし、波形ファイル中の分類情報をサーチし、指定された聴感音等を探す。そして、波形ファイル検索部１６は、抽出した波形ファイルのファイル名を、波形リスト表示ウインドウＷ３に表示する。なお、この抽出対象の波形ファイルは、波形ファイル保存部１１に格納されているすべてのファイルとしてもよいし、たとえば対象となる機器についての波形データのみを予めグループ化しておき、その対象となる機器についての波形ファイルとしてもよい。分類情報は、聴感音とレベルとにより構成されるため、検索キーワード入力領域Ｒ３に聴感音が入力された場合、レベルの大小は、問わず聴感音が一致したものすべてが抽出される。

さらに、波形リスト表示ウインドウＷ３に表示された波形リストの中から、任意のファイル名をクリックされた場合、波形ファイル検索部１６は、波形ファイル保存部１１にアクセスし、該当する波形データを読み出すとともに、波形データ表示ウインドウＷ４に出力する。波形ファイル検索部１６は、波形データ表示ウインドウＷ４中に設定された“音再生”ボタンがクリックされたことを認識すると、波形データ表示ウインドウＷ４に表示されている波形データを再生する。これにより、ユーザは、再生された音を聞き、異音の状態を確認することができる。なお、再生される音は、呼び出された波形データのうち、開始時間と終了時間で指定された範囲内である。

図５に示すように、検索キーワード入力領域Ｒ３に、目的とする波形ファイルを特定するための“聴感音”と“レベル”とを一緒に入力することもできる。係る入力は、図３に示すように、分類分けの登録を“聴感音“と”レベル“とを一緒に行なったものに対する検索用となる。

目的とする波形ファイルの検索が行なわれたならば、従来からある各種の方法で分析をする。分析の一例は、波形データ表示ウインドウＷ４に表示された波形グラフを見たり、“音再生”ボタンをクリックして表示された波形データに基づく音を再生したりすることで得られる情報から、ユーザが各種の判断をすることがある。

また、波形分析／知識作成部１７を用いて、各種の分析を行なうこともできる。一例としては、波形分析／知識作成部１７は、指定された波形データに対して、予め設定された特徴量抽出を行ない、図６に示すように、フレーム特徴量推移を波形グラフ表示する。或いは、波形分析／知識作成部１７は、分析対象の同種の機器から得られた、ＯＫの波形データと、ＮＧ（異常種類／聴感音ごと）の波形データとに基づき、各種のプロファイルを求め、図７に示すように、２軸の直交座標系上に表示することができる。図示の例では、縦軸を特徴量とし、横軸をパラメータ（前処理するバンドパスフィルタの通過帯域等）としているが、この組み合わせはプロファイルにより決定される。

このプロファイルは、直交座標系の各交点のマスＭは、対応する縦軸，横軸にそれぞれ割り付けられた条件で特徴量が演算され、算出された特徴量値の大きさに対応した濃淡で示される。図示の例では、特徴量値が大きいほど色が濃くなるように設定される。すなわち、特徴量値の最大から最小まで複数段階に分け、求めた特徴量値が最大の範囲に属する場合には、その領域は黒色となり、最小の範囲に属する場合には、その領域は白色となる。

特徴量値の大小を濃淡で示しているため、ユーザは濃度の濃いマスＭを簡単に見つけることができ、そのマスに対応するそれぞれの縦軸と横軸の値の組み合わせを見ることにより、対象の波形データにとって有効な特徴量・パラメータの組み合わせなどの条件を容易に見つけることができる。このように、マスＭは、有効な特性の組み合わせ（特徴量×パラメータ）を見つけるための目印となることから、このマスＭを、“特性指標”と称する。各マスの表示態様は、特徴量値の大小を濃淡で表すものに限ることはなく、表示色を変えたり、パターン・模様を替えたりするなど、視覚的に相違がわかるものであればよい。

図７中、ＰＡは複数の良品（ＯＫ）から得た波形データについてのプロファイルであり、ＰＢは複数の不良品（ＮＧ）から得た波形データについてのプロファイルである。ＰＣはそれら両プロファイルの差分を採ったＳＮプロファイルである。図では、パラメータとしてバンドパスフィルタ番号が記載されており、各バンドパスフィルタ番号に対応して、それぞれ異なる通過帯域が設定されている。同様に、特徴量番号（図では、１から５）ごとに、所定の特徴量が割り付けられている。

分類変更部１３は、設定した分類の属性を変更するものである。例えば、当初は異常種類が特定できずに聴感音で分類の属性を登録し、グループ化したものの、聴感音の指定が間違っていて、より正しい聴感音に替えたい場合（例：ゴリゴリ→ガリガリ）や、その後の分析により異常種類が特定できたような場合（例：ガリガリ→バルブクリアランス異常）には、この分類変更部１３により変更する。分類変更部１３は、表示装置に図８に示すような変更入力画面を表示し、ユーザに対して、現在の分類をプルダウンメニューにより選択させると共に、変更後の分類を入力させる。現在の属性は、図８（ａ）に示すように、属性のみの場合と、図８（ｂ）に示すように、属性＋レベルの場合のいずれにも対応できる。いずれをリスト表示するかは、分類を登録する際の仕様、つまり、図２に示すように、属性とレベルとを別々に入力するようにした仕様では、図８（ａ）のようになり、図３に示すように属性とレベルとを一緒に入力するようにした仕様では、図８（ｂ）のようになる。

分類変更部１３は、“分類変更”ボタンがクリックされたことを認識すると、そのときに各入力欄に記載されている現在の分類の属性を、変更後の分類の属性に変更する。つまり、分類変更部１３は、波形ファイル保存部１１にアクセスし、分類の属性が指定された現在の属性（図の例では、“ゴリゴリ”／“ゴリゴリ 大”）になっている波形ファイルを全て抽出し、変更後の属性に更新する。

この分類の変更は、何回でもできると共に、履歴を残すことで元に戻すこともできる。履歴の保存方法としては、図９に示すように、各波形ファイルに履歴情報を記録することができる。図示の例では、当初は、“ガリガリ”で登録したものの、“ゴリゴリ”→“バルブクリアランス異常”と、複数回変更した状態を示している。また、変更した日時情報も関連付けて登録する。

図１０（ａ）に示すように、分類属性の変更履歴を、変更履歴保存テーブルとして保存し、図１０（ｂ）に示すように各波形ファイルでは、対応する変更履歴保存テーブルを参照するための情報を格納するようにしても良い。このようすると、実際に更新するのは、変更履歴保存テーブルだけで済む。

同様に、分類属性とレベルを一緒に登録する仕様において図８（ｂ）の変更入力画面を用いて更新処理された場合、図１１に示すように、各波形ファイルごとに履歴情報を格納する方法と、図１２に示すように履歴情報を別途テーブルとして保存する方法のいずれもとれる。

図１３，図１４は、分類の属性を変更した波形ファイルの具体的なファイル構造を示している。波形ファイルＡは、“カキカキ”という聴感音から“ギア傷”という異常種類に更新している。波形ファイルＢは、“ガキガキ”という聴感音から“ギア傷”という異常種類に更新している。このように、異なる聴感音から同じ異常種類に統合されることもある。また、波形ファイルＣは、“ボーボー”という聴感音から“部品欠品”という異常種類に更新している。なお、図１３に示すように分類の属性のみの変更の場合、レベルは、そのまま維持される。また、図１４に示すように、分類の属性とレベルを一括して変更するものにも対応できる。図１４では、いずれも変更前と変更後へのレベルは同じにしているが、異ならせても良い。例えば、“カキカキ 中”は、“ギア傷 小”に変更し、“ガキガキ 中”は“ギア傷 中”に変更するというように、異なる聴感音から同種の異常種類に変更するに際し、聴感音の相違が異常種類のレベルに現れることもある。

この分類属性の変更履歴は、変更履歴保存部１４に格納される。そして、この変更履歴保存部１４に格納された変更履歴情報は、変更履歴表示部１５に表示することで、ユーザは後で確認することができる。この変更履歴表示部１５は、表示装置に、例えば図１５（ａ），（ｂ）に示すような履歴画面を表示する。そして、変更履歴表示部１５は、現在の分類の属性が入力されると、その入力された属性に対応する過去の属性を一覧表示する。

上述したように、波形ファイルには、過去の分類の属性に関する情報も登録されている。そこで、波形ファイル検索部１６による検索は、“最新の分類で検索”と“履歴も含めて検索”のいずれも行なえるようにすると良い。例えば、図１６，図１７に示すように、検索画面中の検索キーワード入力領域Ｒ３の上に、履歴を含めるか否かを選択するためのチェック欄（白丸）を設け、いずれかをクリックすることで、該当する波形ファイルを検索する。

つまり、図１６のように、“履歴も含めてから検索”を選択した場合、波形ファイル検索部１６は、波形ファイル保存部１１に格納された波形ファイルの中から現在の分類の属性が指定された“ゴリゴリ”である波形ファイルと、履歴情報として“ゴリゴリ”が登録されている波形ファイルを抽出し、波形リスト表示ウインドウＷ３にリストを表示する。また、この波形リスト表示ウインドウＷ３に表示されたリストの中から選択された波形ファイル（図では、“ｃｃｃｃ．ｗａｖ”）の波形データは、波形データ表示ウインドウＷ４に表示される。

また、図１７に示すように“最新の分類から検索”を選択した場合、現在の分類の属性が指定された“ギア傷”の波形ファイルのみが抽出され、そのファイル名が、波形リスト表示ウインドウＷ３にリストを表示される。

また、分類付加の際に、図３に示すように分類の属性とレベルを一括して登録するタイプの装置においても、波形ファイル検索部１６による検索は、“最新の分類で検索”と“履歴も含めて検索”のいずれも行なえる（図１６，図１７参照）。なお、図１６から図１９に示す検索画面は、図４，図５に示す検索画面を模式的に示したものである。

図２０以降に基づき、レベルに基づく波形分析／知識作成部１７の機能を説明する。本実施形態では、波形データに関連付ける分類情報として、分類の属性と、そのレベル（聴感レベル）を登録した。本実施形態では、そのレベルを利用して、より適切な特性指標（特徴量等）を選択できる。

図２０は、ある聴感音についての各聴感レベルごとにグループ分けし、各グループごとの特性指標Ａ，Ｂを求め、その平均値とばらつき具合を示したものである。従来は、例えば、ＯＫとＮＧを分離するのに適した特性指標を見つけると共に、その特性指標を用いて良否判定するための閾値を設定するようにした。この場合、本実施形態のように聴感レベルは考慮されず、同じ聴感音に属する波形データは、一つのＮＧグループとして扱われている。しかし、聴感レベルに対する特性指標の相関が図２０に示すようになっている場合、図２１に示すように、特製指標Ａは、聴感レベルが増加するに連れて特性指標値も増加し、その相関特性は実線で示すように線形性を有しているのに対し、特性指標Ｂは聴感レベルが増加するに連れて特性指標値が増減し、その相関特性は波線で示すように曲線になっている。よって、特性指標値がＸの場合、特性指標Ａではその聴感レベルが一意に特定できるものの、特性指標Ｂでは対応する聴感レベルが複数存在し、一意に特定できない。このように、聴感レベルと特性指標値の組み合わせが一意に決まる場合、特性指標値を見て、異常／聴感の程度を推し測ることができるので、係る特性指標Ａの方が特性指標Ｂよりも優れていると言える。よって、レベルまで考慮した場合、特性指標Ａを知識として採用すべきであると言える。このことは、異常種類が特定される場合であっても、その異常種類らしさの程度を示すレベルが設定される場合には同様のことが言える。

そこで、波形分析／知識作成部１７は、波形ファイル検索部１６により同一の聴感或いは異常種類について、全てのレベルについての波形データを取得すると共に、レベルごとに予め設定された複数の特性指標についての各特性指標値を求め、図２０等に示す“レベル−特性指標値”のようなグラフを作成すると共に、表示装置に表示する。ユーザは、係る表示されたグラフを見ることで、視覚的にどの特性指標が適しているかを把握できる。なお、特性指標として取り得る組み合わせは多数あるので、全ての組み合わせについて係るグラフを作成し表示するのは得策ではない。そこで、波形分析／知識作成部１７は、例えば、図７に示すようなプロファイルを表示し、そこで選択された数個の特性指標について、レベルを考慮したグラフを作成し、表示するようにするとよい。

レベルと特性指標値とが一意に関連付けられる態様としては、上述した線形性に限ることはなく、例えば図２２中波線で示すように下に膨らむ曲線や、二点差線で示すように上に膨らむ曲線がある。この場合、特性指標値が０から１０に増加するときと、１０から２０に増加するときを考えると、同じ“＋１０”ずつ増加されても、レベル上では増加幅が異なる。実線で示す線形性を有するものの方が、特性指標値の２倍がレベルの２倍となり、特性指標値から直感的にレベルを推し測りやすい。係る点で、一般的に、線形性を有する特性指標の方が、より適切なものといえる。

但し、人間の聴力の特性等から、その変化を認識しやすい領域と認識しにくい領域とがある。つまり、聴感レベルが２倍，３倍と増加したと判断されるような場合でも、所定の演算処理によって算出された特性指標値は必ずしも２倍，３倍とはならない特性指標もある。そのような場合には、線形性を有する特性指標よりも非線形性を有する特性指標の方が優れた特性指標といえる。

このようにレベルまで考慮して知識に使用する特性指標を最終的に決定するのは、ユーザが行なうようにしているが、波形分析／知識作成部１７は、その決定を行なうのに参考となる情報を作成し、出力する。この参考となる情報は、例えば、図２０等に示すようなグラフとすることができる。

また、波形分析／知識作成部１７が、各特性指標についての特性指標値とレベルとの線形性の程度を求め、線形性の高いもの上位ｎ個を通知するようにしても良い。係る線形性を算出するアルゴリズムは、例えば、図２３に示すように、各レベルのそれぞれの特性指標値が算出されたならば、回帰直線を求め、各レベルＭにおける各データの回帰直線に対する残差ε＿Ｍｉを求め（ｉは各レベルでのデータインデックス）、下記式に従い残差の総和を算出する。

その残差の総和が小さいほど、各波形データに基づいて得られた特性指標値が回帰直線に近い地点をプロットしており、直線性が高いと推定できる。

上記の残差の総和を求める式では、データ数の違いやレベルごとのデータ数の違いさらには回帰直線の傾きの違いがあると適切に比較することができない。そこで、それらを補正する下記式に基づき算出した値同士を比較し、線形性の良否を判断するようにしても良い。

ここで、ｙ（Ｍ）は回帰直線であり、#M_dataはレベルＭのデータ数である。

図２４は、聴感（異常）レベルと特性指標値の線形性等を人が判断して、特性指標の採用／不採用を決めるために参考情報として提供する別の表示例である。この例では、“ゴリゴリ”という聴感音に対するレベルとして“大”“中”“小”の３段階に分けたものであり、データインデックスごとに並べたものである。また、図２５は、同様の前提において、分類ごとに別々の散布図で表現したものを示している。

いずれの場合も、同じレベルでは、特性指標値が同じ値を採るのが、ばらつきが少ないものといえる。図では、１つの特性指標Ａについて表示しているが、別の特性指標についても表示し、適宜比較することで、レベルを考慮した良好な特性指標を決定することができる。図示のように、別のレベルに属するデータ同士の特性指標値が上下することなく、キレイに分離されている（“ゴリゴリ 小”のデータの特性指標値の取り得る範囲と、“ゴリゴリ 中”のデータの特性指標値の取り得る範囲が重複せず、“ゴリゴリ 中”のデータの特性指標値の取り得る範囲と、“ゴリゴリ 大”のデータの特性指標値の取り得る範囲が重複せず、“小→中→大”とレベルが上がるにつれて特性指標値の存在範囲も大きい値となる）場合には、線形性を有すると推定できる。

上記の各実施形態では、具体的にグラフに表示するのは聴感音に基づくもののみであったが、異常種類とその異常種類らしさを規定するレベルが登録されている場合、“異常種類＋レベル”と、特性指標値と、を関連付けたグラフを表示し、その異常種類を検出するに適切な特性指標を選択することもできる。

さらには、良品についての聴感音と、その聴感レベルが登録されている場合、それらと特性指標値とを関連付けたグラフを作成し、出力することができる。係るグラフは、より良品らしさの程度（良品としての合格ラインは超えているもののなかでの優劣）を判定するような場合に適する特性指標を決定するのに有用な情報となる。

本発明の知識作成支援装置の好適な一実施形態を示すブロック図である。 分類付加部の機能を説明する図で、入力画面の一例を示す図である。 分類付加部の機能を説明する図で、入力画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。 分類変更部の機能を説明する図で、変更入力画面の一例を示す図である。 分類の更新履歴の保存の一形態を説明する図である。 分類の更新履歴の保存の一形態を説明する図である。 分類の更新履歴の保存の一形態を説明する図である。 分類の更新履歴の保存の一形態を説明する図である。 分類の更新履歴の保存の一形態を説明する図である。 分類の更新履歴の保存の一形態を説明する図である。 変更履歴表示部により表示される履歴画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形ファイル検索部の機能を説明する図で、検索画面の一例を示す図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。 波形分析／知識作成部１７の機能を説明する図である。

符号の説明

１０ 知識作成支援装置
１１ 波形ファイル保存部
１２ 分類付加部
１３ 分類変更部
１４ 変更履歴保存部
１５ 変更履歴表示部
１６ 波形ファイル検索部
１７ 波形分析／知識作成部

Claims (4)

1. 検査対象から取得した音声データを構成する波形信号に対し、その波形信号の特徴を表す特徴量を演算して得られた特徴量演算結果に基づいて良否判定を行なう検査装置に設定するための、その良否判定を行なう際に使用する特徴量を含む特性指標を決定するための情報を提供する知識作成支援装置であって、
   取得した音データに対し、その音データを表す聴感音と、その聴感音らしさを示すレベルと、を関連付ける分類付加手段と、
   同じ聴感音が関連付けられた各音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段と、
   を備えた、知識作成支援装置。
2. 検査対象から取得した音声データを構成する波形信号に対し、その波形信号の特徴を表す特徴量を演算して得られた特徴量演算結果に基づいて良否判定を行なう検査装置に設定するための、その良否判定を行なう際に使用する特徴量を含む特性指標を決定するための情報を提供する知識作成支援装置であって、
   ＮＧとなった音データに対し、異常種類と、その異常種類らしさを示すレベルと、を関連付ける分類付加手段と、
   同じ異常種類が関連付けられた各音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段と、
   を備えた、知識作成支援装置。
3. 前記グラフは、一方の軸をレベルとし、他方の軸を特性指標値としたものであり、
   レベルの増減と特性指標値の増減の線形性を求め、線形性の良好な特性指標を通知する手段を備えたことを特徴とする請求項１または２に記載の知識作成支援装置。
4. コンピュータを、
   取得した音データに対し、その音データを表す聴感音と、その聴感音らしさを示すレベルと、を関連付ける分類付加手段、
   その音データを構成する波形信号について特徴量を演算して得られた特徴量演算結果である特性指標値と、その音データに対して前記分類付加手段で関連付けられたレベルと、の関係を表すグラフを作成し、そのグラフを出力する手段、
   として機能させるためのプログラム。

Images