JP2022113282A - 異音の発生箇所特定方法、およびアプリケーションプログラム - Google Patents

Abstract

【課題】人が異音と感知した音の発生箇所を特定できるようにした異音の発生箇所特定方法を提供する。【解決手段】ＣＰＵ２２は、スピーカ３０を操作して、異音の発生箇所の候補となる音の周波数成分を選択して再生する。ＣＰＵ２２は、再生した音のうちタッチパネル２８を介して指示された音に対応する周波数を指示周波数とする。ＣＰＵ２２は、対象物体が複数に分割された領域のそれぞれに携帯端末２０が近接配置された際に録音された音データから指示周波数成分を抽出し、その音圧レベルを算出する。ＣＰＵ２２は、音圧レベルが最大となる領域の音データを解析装置５０に送信する。解析装置５０は、受信した音データに基づき異音の発生箇所を特定する。【選択図】図１

Description

本発明は、異音の発生箇所特定方法、およびアプリケーションプログラムに関する。

たとえば下記特許文献１には、画像データをニューラルネットワークに入力した際の出力と、音響信号を周波数解析した波形データをニューラルネットワークに入力した際の出力とに基づき、異常を検知する装置が記載されている。

特開平９－１９６８２５号公報

ところで、たとえば車両等、正常時にも音が生じる物体にあっては、異常が生じているときに生じる異音の音圧レベルが、正常時から生じている音の音圧レベルを上回るとは限らない。そのため、上記のようにニューラルネットワークを用いて異常の発生箇所を特定可能とする上では、ニューラルネットワークが識別すべき情報が多く、学習が困難となりやすい。さらに、画像データが表現する画像と、音響信号が示す音との関係を特定する作業をする必要もある。しかし、異常にかかる音の発生箇所を人が特定することは困難となりうることから、関係の特定には高度な情報処理能力が必要となる。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．再生装置によって複数の周波数成分のそれぞれの音を再生する再生工程と、前記再生工程の後に、ヒューマンインターフェースを介して前記複数の周波数成分のうちのいずれの成分が発生箇所の特定を希望する異音に近い成分であるかの指示を受け付ける指示受付工程と、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ前記録音装置によって録音された音データを、撮像装置によって撮像された前記対象物体の画像データのうちの録音時に前記録音装置が近接していた前記対象物体の部分に関するデータに紐づけて記憶装置に記憶する紐づけ工程と、前記紐づけ工程において前記画像データに紐づけられた前記音データのうち、前記指示受付工程において指示された周波数成分である指示周波数成分の音圧レベルが最大となるデータに紐づけられた前記画像データを選択する選択工程と、前記選択工程によって選択された前記画像データに基づき、前記異音の発生箇所を特定する特定工程と、を有する異音の発生箇所特定方法である。

上記方法では、複数の周波数成分のそれぞれの音を再生することによって、人が異音と感じている音に特徴的な周波数成分を、人が指示することができる。そのため、人が異音と感じている音の音圧レベルが、対象物体から生じている音の音圧レベルの最大値であるか否かにかかわらず、異音を適切に把握できる。そして、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ録音装置によって録音した音データを、対象物体のうちの録音装置が近接していた部分に関する画像データに紐づけて記憶する。そして、指示周波数成分の音圧レベルが最大となるデータに紐づけられた画像データを選択することにより、選択された画像データは、異音の発生箇所に近い部分の画像データを示す確率が高い。そのため、人が感知する異音の発生箇所を特定することが可能となる。

２．前記対象物体から生じる音を前記録音装置によって録音して音データとして前記記憶装置に記憶する録音工程と、前記音データが示す音の前記複数の周波数成分を抽出する抽出工程と、を有し、前記再生工程は、前記抽出工程によって抽出した前記複数の周波数成分のそれぞれの音を再生する工程である上記１記載の異音の発生箇所特定方法である。

上記方法では、音データの複数の周波数成分を抽出し、それらを再生することによって、実際に聞いている音に基づき、異音と感じている成分を特定できる。
３．前記対象物体は、回転機を備え、前記複数の周波数成分は、前記回転機の回転周波数に比例する、予め定められた成分である上記２記載の異音の発生箇所特定方法である。

対象物体が回転機を備える場合、回転機、または回転機に連結された回転体が、回転に応じて異音を発生することがある。そしてその場合、異音の周波数は、回転機の回転周波数に比例する。そこで上記方法では、抽出すべき複数の周波数成分を、回転機の回転周波数に比例する、予め定められた成分とすることにより、回転機の回転に伴って生じうる異音の成分を的確に抽出できる。

４．前記回転機の回転速度を示す変数の値を計測する装置による計測結果を取得する計測結果取得工程を有し、前記抽出工程は、前記計測結果が示す回転周波数に基づき、前記複数の周波数成分を抽出する工程を有する上記３記載の異音の発生箇所特定方法である。

上記方法では、計測結果が示す回転周波数に基づき複数の周波数成分を抽出することから、回転機の回転速度を予め定められた値に固定しなくても、適切に狙いとする成分を抽出することができる。

５．前記発生箇所の特定を希望する成分が前記回転機の回転周波数に依存する成分であるか否かを問い合わせる問い合わせ工程を有し、前記抽出工程は、前記問い合わせの結果が前記依存しない旨の回答である場合に、前記回転機の回転周波数とは独立に予め定められた複数の成分を抽出する工程と、前記問い合わせの結果が前記依存する成分である旨の回答である場合に前記回転機の回転周波数に比例する、予め定められた成分を抽出する工程と、を有する上記３または４記載の異音の発生箇所特定方法である。

上記方法では、異音が回転機の回転周波数に依存する成分であるか否かを問い合わせることにより、異音の種類を特定するうえで有益な情報を得ることができる。
６．前記特定工程は、前記画像データを入力とし、前記異音の発生箇所の１または複数の候補が、前記画像データが示す画像によって示される箇所である確率を算出する第１確率算出工程と、前記選択工程によって選択された前記画像データに紐づけられた前記音データに基づき、前記異音の発生箇所の１または複数の候補が実際に異音の発生箇所である確率を算出する第２確率算出工程と、前記第１確率算出工程による確率の算出結果と前記第２確率算出工程による確率の算出結果とに基づき、前記異音の発生箇所の１または複数の候補が実際に異音の発生箇所である総合的な確率を算出する総合確率算出工程と、を有する上記１～５のいずれか１つに記載の異音の発生箇所特定方法である。

上記方法では、指示周波数成分の音圧レベルが最大となるときの画像データに示される対象物体の位置情報のみならず、そのときの音データに基づき異音の発生箇所を特定する。これにより、位置情報のみから特定する場合と比較して、異音の発生箇所を高精度に特定できる。

７．前記第２確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、前記異音の発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の１または複数の候補に対応する確率を算出する工程である上記６記載の異音の発生箇所特定方法である。

上記方法では、発生箇所の候補と周波数に対する音圧レベルの波形のパターンデータとの類似度に基づき発生箇所の候補と対応する確率とを算出する。これにより、異音に特徴的な特定の周波数のみならず、異音が生じるときの音圧波形を利用して異音の発生箇所を特定できる。

８．前記第１確率算出工程は、前記画像データを入力として、その画像データが示す発生箇所の候補と対応する確率を算出する工程であり、前記第２確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の候補と対応する確率とを算出する工程である上記１～７のいずれか１つに記載の異音の発生箇所特定方法である。

上記方法では、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置のみならず撮像装置を近接配置する。これにより、録音された音と、録音装置が対向していた対象物体の位置情報とを簡易に紐づけることができる。

９．上記１～８のいずれか１つに記載の異音の発生箇所特定方法における前記再生工程、前記指示受付工程、前記紐づけ工程、および前記選択工程をコンピュータに実行させるアプリケーションプログラムである。

１０．前記選択工程によって選択した前記画像データと、該画像データに紐づけられた前記音データとを送信する送信工程と、前記送信工程によって送信された前記画像データおよび前記音データに基づく前記特定工程によって特定された前記異音の発生箇所に関する情報を示す信号を受信する受信工程と、を前記コンピュータに実行させる上記９記載のアプリケーションプログラムである。

上記方法では、送信工程および受信工程をコンピュータに実行させることから、当該コンピュータとは別のコンピュータに特定工程を実行させることができる。したがって、再生工程等を実行するコンピュータが特定工程をも実行する場合と比較して、同コンピュータの演算負荷を軽減できる。

一実施形態にかかる異音発生箇所特定システムの構成を示す図。 同実施形態にかかる携帯端末が実行する処理の手順を示す流れ図。 （ａ）～（ｃ）は、上記携帯端末が実行する処理および人が実行する工程を示す図。 同実施形態にかかる回転同期の異音の周波数成分を規定するデータを示す図。 （ａ）および（ｂ）は、携帯端末および解析装置が実行する処理の手順を示す流れ図。 同実施形態にかかる波形データを例示する図。 同実施形態にかかる携帯端末の表示例を示す平面図。

以下、一実施形態について図面を参照しつつ説明する。
図１に、本実施形態にかかる異音の発生箇所を特定するシステムを示す。
車両１０は、ユーザによって異音が感知され、修理工場に持ち込まれたものである。車両１０には、内燃機関１２と内燃機関１２の制御装置１４とが搭載されている。なお、修理工場は、販売店を兼ねていてもよい。

携帯端末２０は、修理工場の作業員が所持する携帯性を有した端末である。携帯端末２０は、ＣＰＵ２２、記憶装置２４、ディスプレイ２６、タッチパネル２８、スピーカ３０、マイク３２、カメラ３４、および通信機３６を備えており、それらが通信線３８を介して互いに通信可能となっている。ここで、記憶装置２４は、電気的に書き換え可能な不揮発性のメモリである。ディスプレイ２６は、たとえばＬＣＤやＬＥＤ等によって構成されている。タッチパネル２８は、ディスプレイ２６に重ねて配置されている。通信機３６は、車両１０の制御装置１４との通信を可能とする。また、通信機３６は、ネットワーク４０を介して、車両の製造メーカが所持する解析装置５０との通信を可能とする。

解析装置５０は、ＣＰＵ５２、記憶装置５４および通信機５６を備え、それらが通信線５８を介して通信可能となっている。記憶装置５４は、電気的に書き換え可能な不揮発性のメモリである。

携帯端末２０の記憶装置２４には、アプリケーションプログラム２４ａが記憶されている。一方、解析装置５０の記憶装置５４には、特定プログラム５４ａが記憶されている。アプリケーションプログラム２４ａに規定された指令をＣＰＵ２２が実行し、且つ、特定プログラム５４ａによって規定された指令をＣＰＵ５２が実行することにより、車両１０に生じた異音を特定する処理がなされる。以下、これについて詳述する。

図２および図５（ａ）に、アプリケーションプログラム２４ａによって規定された処理の手順を示す。図２および図５（ａ）に示す処理は、ＣＰＵ２２が、たとえば所定の条件が成立する都度、実行することによって実現される。一方、図５（ｂ）に、特定プログラム５４ａによって規定された処理の手順を示す。図５（ｂ）に示す処理は、ＣＰＵ５２が、たとえば所定の条件が成立する都度、実行することによって実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ２２は、まず、異音が発生している付近の物体である対象物体の動画を撮影する（Ｓ１０）。詳しくは、ＣＰＵ２２は、カメラ３４によって対象物体を撮影するとともに、マイク３２によって、そのときの周囲の音を録音する。この処理は、たとえば、異音の発生箇所を特定するための上記アプリケーションプログラム２４ａが起動されると、対象物体の動画を撮影するように案内する情報を出力することによって実現すればよい。ここで、案内する情報は、ディスプレイ２６を操作することによって視覚情報として出力してもよいし、スピーカ３０を操作することによって聴覚情報として出力してもよい。

図３（ａ）に、対象物体が、エンジンコンパートメント１６内に収容された物体である場合を示す。その場合、携帯端末２０による指示に従って、作業員は、ボンネット１５をあけ、エンジンコンパートメント１６内に収容された物体全体の動画の撮影を開始する。換言すれば、対象物体の全体の動画の撮影を開始する。

図２に戻り、ＣＰＵ２２は、ディスプレイ２６を操作して、異音が内燃機関１２の回転速度に同期する音であるか否かを問い合わせる（Ｓ１２）。ここでＣＰＵ２２は、たとえば、アクセルを操作するなどして内燃機関１２の回転速度を変更するのに伴って異音の周波数が変化するのであれば同期する音である旨の補足的な説明をディスプレイ２６に表示させてもよい。

そしてＣＰＵ２２は、タッチパネル２８に対する入力操作が、回転同期である旨の入力操作であるのか、あるいは同期しない旨の入力操作であるのかを判定する（Ｓ１４）。ＣＰＵ２２は、同期する旨の入力操作であると判定する場合（Ｓ１４：ＹＥＳ）、制御装置１４と通信することによって、内燃機関１２の回転軸であるクランク軸の回転速度ＮＥに関するデータを受信する（Ｓ１６）。そしてＣＰＵ２２は、回転速度ＮＥに基づき、異音の候補に特徴的な周波数成分である所定周波数成分として、回転ｎ次の周波数帯を設定する（Ｓ１８）。この処理において、ＣＰＵ２２は、図１に示した記憶装置２４に記憶されている周波数成分データ２４ｂを参照する。

図４に、周波数成分データ２４ｂを例示する。
図４に示すように、周波数成分データ２４ｂは、異音の発生箇所の複数の候補のそれぞれに対し、回転速度ＮＥと異音の周波数との関係を定めたデータである。図４において、回転速度ＮＥに対する周波数の関係を定めた線分ｆ１，ｆ２，…は、それぞれが異音の発生箇所の候補に関する回転速度ＮＥと発生する音の周波数との関係を示す。これら候補には、たとえば、内燃機関１２の潤滑油を循環させるオイルポンプが含まれてよいし、またたとえば、クランク軸の動力をカム軸に伝えるチェーンが含まれてもよい。

Ｓ１８の処理は、線分ｆ１，ｆ２，…のそれぞれと回転速度ＮＥとから定まる周波数帯を設定する処理である。すなわち、ここで所定の周波数帯として設定される周波数帯の個数は、線分ｆ１，ｆ２，…の数に等しい。

図２に戻り、ＣＰＵ２２は、同期しない旨の入力操作であると判定する場合（Ｓ１４：ＮＯ）、所定周波数帯として、回転速度ＮＥに依存しない異音にとって特徴的な複数個の周波数帯を設定する（Ｓ２０）。この処理は、周波数成分データ２４ｂに、回転速度ＮＥに同期しない音の発生箇所の候補毎に、特徴的な周波数帯を設定しておくことで実現できる。

ＣＰＵ２２は、Ｓ１８，Ｓ２０の処理が完了する場合、スピーカ３０を操作することによって、Ｓ１８の処理またはＳ２０の処理によって設定した複数の周波数帯の音を再生する（Ｓ２２）。この処理は、Ｓ１０の処理において録音した音をバンドパスフィルタ処理することによって、Ｓ１８の処理またはＳ２０の処理によって設定した周波数帯の音データを生成することによって実現できる。

次にＣＰＵ２２は、ディスプレイ２６を操作することによって、再生音のうち異音に最も近い音を指示するように促す視覚情報を表示する（Ｓ２４）。ＣＰＵ２２は、タッチパネル２８への入力操作によって、異音に最も近い周波数帯が指示されるまで（Ｓ２６：ＮＯ）、Ｓ２２，Ｓ２４の処理を継続する。具体的には、Ｓ２２～Ｓ２６の処理は、ＣＰＵ２２が、ディスプレイ２６に、再生する周波数帯の数だけのボタンを表示し、再生しているボタンの色を他のボタンの色とは異なるように表示することによって行えばよい。すなわち、ＣＰＵ２２は、特定のボタンがタッチパネル２８を介して指示される場合に、異音に最も近い音が指示されたと判定すればよい。

ＣＰＵ２２は、異音に最も近い音を指示する入力操作があったと判定する場合（Ｓ２６：ＹＥＳ）、指示された周波数帯を、指示周波数帯に決定する（Ｓ２８）。
続いてＣＰＵ２２は、図５（ａ）に示すように、ディスプレイ２６を操作して、対象物体を複数の領域に分割した際のそれぞれの領域に携帯端末２０を対向配置しつつ動画を撮影する指示する（Ｓ３０）。詳しくは、ＣＰＵ２２は、Ｓ１０の処理によって撮影された対象物体の全体画像上に携帯端末２０の移動経路を重畳させてディスプレイ２６に表示する。

図３（ｂ）に、ディスプレイ２６の表示例を示す。図３（ｂ）には、車両の前後方向の位置をずらしつつ、携帯端末２０を左右に３往復させる移動経路の例を示した。すなわち、図３（ｂ）には、エンジンコンパートメント１６のうちの車両の後方且つ左側から、右側へ携帯端末を移動させた後、携帯端末２０を車両１０の前方に移動させるなどした移動経路の例を示した。

なお、近接動画の撮影は、対象物と携帯端末２０との距離および携帯端末２０を移動させるスピードを定めておき、作業員がその定めに従って行うことが望ましい。これは、たとえば、図５に示したＳ３０の処理において、ディスプレイ２６またはスピーカ３０を操作することによって、距離およびスピードについての指示をすることで実現できる。もっとも、これに代えて、作業マニュアルに記載しておくこととしてもよい。

ＣＰＵ２２は、作業員の操作によって近接動画の撮影が開始されると、カメラ３４による画像データと、マイク３２による音データとを、対象物体を複数に分割した領域毎に記憶装置２４に記憶する（Ｓ３２）。

図３（ｃ）に、分割された領域を例示する。図３（ｃ）に示す例では、対象物体を、車両１０の前後方向に６分割、左右方向に１２分割した例を示す。図３（ｃ）示す例では、複数の領域Ａ１１，Ａ１２，…，Ａ２１，Ａ２２，…に分割されると記載している。

領域の分割は、たとえばＣＰＵ２２が、Ｓ１０の処理において記憶した全体画像における近接動画が示す画像の位置づけを判別することによって実現できる。もっとも、これに代えて、ＣＰＵ２２が、図３（ｂ）に示した移動経路上の現在の位置をディスプレイ２６上に表示し、携帯端末２０が表示位置に近接配置されている前提で領域を特定してもよい。ここで、たとえば、領域Ａ１１は、対象物体のうちの近接配置によって携帯端末２０が対向する領域である。したがって、Ｓ３２の処理によって、携帯端末２０が近接していた対象物体の部分に関する画像データと、その時の音データとが紐づけられて記憶されることとなる。

図５に戻り、ＣＰＵ２２は、近接配置されているときにマイク３２によって録音された音から、指示周波数成分を抽出する（Ｓ３４）。そして、ＣＰＵ２２は、指示周波数成分の音圧レベルを、現在の領域を示すラベル変数ｉによって特定される音圧レベルＬ（ｉ）に代入する（Ｓ３６）。

ＣＰＵ２２は、Ｓ３２～Ｓ３６の処理を、対象物体の全領域について行う。すなわち、ＣＰＵ２２は、未だ全領域について処理が完了していないと判定する場合（Ｓ３８：ＮＯ）、ラベル変数ｉを更新し（Ｓ４０）、Ｓ３２の処理に戻る。これに対しＣＰＵ２２は、全領域が完了したと判定する場合（Ｓ３８：ＹＥＳ）、音圧レベルＬ（ｉ）のうち最大となるときに対応するＳ３２の処理によって記憶された画像データと、音データとを選択する（Ｓ４２）。そして、ＣＰＵ２２は、通信機３６を操作して、選択した画像データと音データとを解析装置５０へと送信する（Ｓ４４）。

これに対し、図５（ｂ）に示すように、解析装置５０のＣＰＵ５２は、送信された画像データおよび音データを受信する（Ｓ５０）。そしてＣＰＵ５２は、図１に示す、記憶装置５４に記憶された写像データ５４ｂによって規定される写像に画像データを入力することによって、異音発生箇所の候補ｊのそれぞれに関する第１確率ａ（ｊ）を算出する（Ｓ５２）。ここで写像は、畳み込みニューラルネットワーク（ＣＮＮ）であり、出力層の活性化関数をソフトマックス関数としたものである。出力層の次元数は、異音の発生箇所の候補の数となっており、出力層の各ノードの値が、対応する候補が異音の発生箇所である確率を示す。

写像データ５４ｂによって規定される写像は、画像データと、画像データが示す物体に対応するノードの値を「１」とし、それ以外のノードの値を「０」とする訓練データを用いて学習された学習済みモデルである。

次にＣＰＵ５２は、受信した音データが示す周波数に対する音圧レベルの波形に基づき、異音の発生箇所の候補ｊに関する第２確率ｂ（ｊ）を算出する（Ｓ５４）。この処理は、図１に示す、記憶装置５４に記憶された異音の発生箇所の候補のそれぞれにおける波形パターンデータ５４ｃが示す波形パターンと、受信した音データが示す周波数に対する音圧レベルの波形の類似度に基づく処理である。

図６に、波形パターンデータ５４ｃを示す。図６に示すように、波形パターンデータ５４ｃは、異音の発生箇所の候補毎に、その異音が生じているときの対象物体全体から生じる音の周波数と音圧レベルとの関係を示す波形パターンを示す。ここで、１つの候補の波形パターンにおける周波数は、その候補が発する異音に特徴的な周波数のみに限らず、その周波数を包含する広域の周波数である。これは、異音が生じるときに典型的な音の情報に基づき、異音の発生箇所を特定する処理である。これにより、たとえば、複数の異音の発生箇所が、クランク軸の回転周波数の同一次数の周波数の異音を生じる場合であっても、それらのうちいずれで異音が生じているかを識別することが可能となる。

なお、ＣＰＵ５２は、波形パターンデータ５４ｃが示す波形パターンのうち、受信した音データが示す周波数に対する音圧レベルの波形との類似度が所定以下の場合、そのパターンに対応する候補が異音の発生箇所である第２確率ｂを「０」とすればよい。

図５（ｂ）に戻り、ＣＰＵ５２は、第１確率ａ（ｊ）と第２確率ｂ（ｊ）とに基づき、各候補の総合確率を算出する（Ｓ５６）。詳しくは、ＣＰＵ５２は、各候補について、第１確率ａと第２確率ｂとの積を総合確率とする。

そして、ＣＰＵ５２は、通信機５６を操作することによって、異音の発生箇所の特定結果を、Ｓ５０の処理によって受信したデータの送信元に送信する（Ｓ５８）。ここで、ＣＰＵ５２は、総合確率の大きいものから上位３個の発生箇所の候補についての情報を送信する。なお、ＣＰＵ５２は、Ｓ５８の処理を完了する場合、図５（ｂ）に示す一連の処理を一旦終了する。

これに対し、図５（ａ）に示すように、携帯端末２０のＣＰＵ２２は、特定結果を受信すると（Ｓ４６：ＹＥＳ）、ディスプレイ２６を操作して、受信した情報を視覚情報として表示する（Ｓ４８）。

図７に、携帯端末２０のディスプレイ２６への表示例を示す。
図７に示すように、総合確率が高いものから順に、部品Ａ，Ｂ，Ｃが表示されている。
なお、ＣＰＵ２２は、Ｓ４８の処理を完了する場合、図２および図５（ａ）に示す一連の処理を一旦終了する。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ２２は、発生箇所の特定が望まれる異音がクランク軸の回転周波数に比例するものである場合、比例する異音を生じうる部品である発生箇所の候補部品のそれぞれの周波数の音を再生する。そして、ＣＰＵ２２は、再生した音のうちの異音に最も近い周波数が作業員によって指示されると、その周波数を指示周波数に設定する。そしてＣＰＵ２２は、対象物体を複数に分割した領域のそれぞれに携帯端末２０が近接配置された際の画像を撮影するとともに、音を録音する。そして、録音した音のうち指示周波数成分の音圧レベルを算出して記憶する。ＣＰＵ２２は、複数の領域のうち上記記憶した音圧レベルが最大となる領域を選択し、その領域の画像データと音データとを解析装置５０に送信する。

解析装置５０のＣＰＵ５２は、送信された画像データが示す物体が、複数の発生箇所の候補のそれぞれである第１確率ａを算出する。また、ＣＰＵ５２は、送信された音データが示す波形と、波形パターンデータ５４ｃが示す波形との類似度に基づき、複数の発生箇所の候補のそれぞれについて、実際に異音の発生箇所である第２確率ｂを算出する。そして、第１確率ａと第２確率ｂとの互いに同一の候補の値同士の積によって、その候補の総合確率を算出し、ＣＰＵ２２に送信する。ＣＰＵ２２は、送信された異音の発生箇所の特定結果を表示する。

これにより、異音の発生箇所を高精度に算出できる。すなわち、たとえば内燃機関１２の圧縮上死点の時間間隔の逆数の周波数は、燃焼行程の周期の逆数の周波数であることから、音圧レベルが大きい周波数となりうる。しかし、異音として感知された音は、この周波数の音とは限らない。そのため、ユーザが何を異音として認識しているかについて、音データの周波数解析のみから把握することは困難である。これに対し、本実施形態では、異音の発生箇所の候補に特徴的な周波数の音を再生し、いずれの周波数の音が異音に近いかを人が指示することにより、異音を正確に把握したうえで、異音の発生箇所を特定でき、ひいては異音の発生箇所を高精度に把握できる。

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）対象物体を複数に分割したそれぞれの領域に携帯端末２０が近接配置された際に録音された音から指示周波数成分を抽出し、音圧レベルが最大となる箇所を特定した。これにより、対象物体からの異音を聞いた作業員が異音の発生箇所として誤った先入観を抱いていた場合であっても、その先入観によらずに、指示周波数の音が生じてる可能性が高い場所を特定できる。

（２）クランク軸の回転周波数に比例する異音の場合、制御装置１４から回転速度ＮＥを取得し、回転速度ＮＥに基づき、異音の発生箇所の候補のそれぞれが発する音にとって特徴的な周波数成分を抽出した。これにより、クランク軸の回転速度ＮＥを予め定められた値に固定しなくても、狙いとする成分を適切に抽出することができる。

（３）人に、異音がクランク軸の回転周波数に比例するか否かを問い合わせた。これにより、異音の種類を特定するうえで有益な情報を得ることができる。
（４）ＣＰＵ５２は、指示周波数が最大となるときの画像データから、各候補が発生箇所である第１確率ａを算出し、同最大となるときの音データが示す波形と波形パターンデータ５４ｃが示す波形との類似度に基づき、各候補が発生箇所である第２確率ｂを算出した。これにより、異音に特徴的な特定の周波数である指示周波数のみならず、異音が生じるときの音圧波形を利用して異音の発生箇所を特定できる。したがって、たとえば複数の発生候補が生じる音の周波数が、クランク軸の回転周波数の同一次数の周波数である場合であっても、そのうちのいずれが発生箇所であるかを特定することが可能となる。

（５）Ｓ５２，Ｓ５４の処理を、解析装置５０によって実行した。これにより、Ｓ５２，Ｓ５４の処理を携帯端末２０が実行する場合と比較して、携帯端末２０の演算負荷を軽減できる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，８］対象物体は、図３（ａ）に示すエンジンコンパートメント１６に収容されている物体に対応する。記憶装置は、記憶装置２４に対応する。再生装置は、スピーカ３０に対応する。再生工程は、Ｓ２２の処理に対応する。指示受付工程は、Ｓ２４，Ｓ２６の処理に対応する。紐づけ工程は、Ｓ３２の処理に対応する。選択工程は、Ｓ３４～Ｓ４２の処理に対応する。特定工程は、Ｓ５２～Ｓ５６の処理に対応する。［２］録音工程は、Ｓ１０の処理に対応する。抽出工程は、Ｓ１８，Ｓ２０の処理に対応する。［３］回転機は、内燃機関１２に対応する。［４］計測する装置は、制御装置１４に対応する。計測結果取得工程は、Ｓ１６の処理に対応する。［５］問い合わせ工程は、Ｓ１２の処理に対応する。［６］第１確率算出工程は、Ｓ５２の処理に対応する。第２確率算出工程は、Ｓ５４の処理に対応する。総合確率算出処理は、Ｓ５６の処理に対応する。［７］パターンデータは、波形パターンデータ５４ｃに対応する。［９］アプリケーションプログラムは、アプリケーションプログラム２４ａに対応する。［１０］送信工程は、Ｓ４４の処理を実行する工程に対応し、受信工程は、Ｓ４６の処理を実行する工程に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「回転機について」
・車両が備える回転機としては、内燃機関に限らず、たとえばモータジェネレータであってもよい。

・回転機としては、車両に備えられるものに限らない。
「計測結果取得工程について」
・上記実施形態では、音の録音中にリアルタイムで制御装置１４から回転速度ＮＥを送信することとしたが、これに限らない。たとえば、都度の回転速度ＮＥを、計測時の時刻と紐づけて制御装置１４内に記憶しておき、携帯端末２０がリクエストすることにより、制御装置１４が一括で回転速度ＮＥの時系列データと時刻情報とを送信することとしてもよい。

・たとえば、録音する際の内燃機関１２等の回転機の回転速度を予め定められた値に制御することとしておくのであれば、回転速度ＮＥに関するデータを受信しなくてもよい。
「問い合わせ工程について」
・上記実施形態では、録音開始後に問い合わせ工程を実行したが、これに限らず、問い合わせ工程の完了後に録音をスタートさせてもよい。

・たとえば、アプリケーションプログラム２４ａを、回転に同期した異音を特定することに特化したプログラムとし、Ｓ１２，Ｓ１４，Ｓ２０の処理を削除してもよい。すなわち、この場合、問い合わせ工程を省くことができる。

「再生工程、指示受付工程について」
・上記実施形態では、Ｓ２２の処理として、Ｓ１０の処理において録音した音データのバンドパスフィルタ処理によって、再生用のデータを生成したが、これに限らない。たとえば、周波数成分データ２４ｂに、サンプル音源データを含め、これを再生してもよい。

・上記実施形態では、携帯端末２０側で順次、複数の周波数成分の音を再生した後、いずれの音が発生箇所の特定を希望する音であるかを指示させたが、これに限らない。たとえば、ディスプレイ２６に、複数の周波数成分のそれぞれが割り振られたボタンを表示し、押下されたボタンに対応する周波数成分の音を再生する処理としてもよい。その場合、たとえば、ボタンが長押しされる場合に発生箇所の特定を希望する音である旨を指示する操作とすればよい。

・人が、発生箇所の特定を希望する音である旨を指示するために操作するヒューマンインターフェースとしては、タッチパネル２８に限らない。たとえばヒューマンインターフェースとしてマイク３２を採用し、音声入力操作によって発生箇所の特定を希望する音である旨を指示してもよい。

「紐づけ工程について」
・上記実施形態では、携帯端末２０を対象物体に近接配置しつつ動画の撮影および録音を実行することにより、対象物体のうちの携帯端末２０が対向する部分の画像データと音データとを紐づけたがこれに限らない。たとえば、携帯端末２０を微小に変位させる都度、対象物体のうちの携帯端末２０に対向する部分の静止画像を撮影することとし、携帯端末２０が固定されている期間に録音された音に関するデータと、対応する静止画の画像データとを紐づけてもよい。

・携帯端末２０を対象物体に近接配置した際に対象物体の画像を撮影することは必須ではない。たとえば、対象物体の全体の動画または静止画を撮影した後、対象物体の全体画像のうちの携帯端末２０を近接配置すべき箇所をマーキング表示してもよい。その場合、マーキング表示しているときに携帯端末２０によって録音された音データについては、マーキング表示した部分に携帯端末２０が近接配置されているとみなせばよい。これにより、マーキング表示した部分の画像データとそのときに録音された音データとを紐づけることができる。

「第１確率算出工程について」
・上記実施形態では、写像の出力変数の次元を、発生箇所の候補の数と等しくしたが、これに限らない。たとえば、発生箇所の候補の数に「１」を加えた数とし、いずれの候補でもない確率を示す出力変数を加えてもよい。

「第２確率算出工程について」
・上記実施形態では、指示周波数成分の音圧レベルが最大となるときの音データの周波数に対する音圧レベルの波形と、異音の発生箇所の候補毎の波形データのパターンとの類似度に基づき、発生箇所の確率を算出したが、これに限らない。たとえば、指示周波数成分の音圧レベルが最大となるときの音データが示す各周波数の音圧レベルを入力変数とし、発生箇所の候補毎の確率を出力する学習済みモデルを用いて、確率を算出してもよい。ここで、学習済みモデルは、たとえばニューラルネットワークとすればよい。もっとも、これに限らず、たとえば、サポートベクトルマシン等を用いた識別モデルとしてもよく、またたとえば決定木を用いてもよい。なお、学習済みモデルとしては、一度の入力で発生箇所の候補毎の確率を出力するものに限らず、たとえばＬＳＴＭ等の回帰結合型ニューラルネットワークを用いて、複数回の入力変数の入力によって、精度の良い出力値を得るようにしてもよい。

「総合確率について」
・上記実施形態では、第１確率ａと第２確率ｂとの積によって、総合確率を算出したが、これに限らない。たとえば、第１確率ａと第２確率ｂとの和を総合確率としてもよい。

「特定結果の表示について」
・上記実施形態では、発生箇所の候補のうち実際の発生箇所である確率が高いものから上位３個を表示したが、これに限らない。たとえば上位１個でもよく、またたとえば上位５個までを表示してもよい。

・上記実施形態では、発生箇所の候補のみを表示したが、その候補が実際の発生箇所である確率を同時に表示してもよい。
「発生箇所を特定する処理を実行するコンピュータについて」
・上記実施形態では、携帯端末２０のＣＰＵ２２と、解析装置５０のＣＰＵ５２との協働で、異音の発生箇所を特定する処理を実行したが、これに限らない。たとえば、携帯端末２０のＣＰＵ２２によって、Ｓ５２～Ｓ５６の処理をも実行してもよい。また、たとえば、製造メーカが備える解析装置５０に代えて、修理工場が備えるスキャンツール内蔵のコンピュータが図５（ｂ）に示した処理を実行してもよく、またたとえば、製造メーカとは無関係な、ビッグデータを扱うコンピュータが図５（ｂ）に示した処理を実行してもよい。またたとえば、図２および図５（ａ）に示した処理を実行するコンピュータを、ユーザの携帯端末内蔵のものとして且つ、図５（ｂ）に示した処理を実行するコンピュータを、修理工場の作業員が所持する携帯端末内蔵のものとしてもよい。

「コンピュータについて」
・コンピュータとしては、ソフトウェア処理を実行するものに限らない。ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。さらに、プログラムを実行するソフトウェア実行装置と、専用のハードウェア処理回路との組み合わせであってもよい。すなわち、コンピュータとしては、以下の（ａ）～（ｃ）のいずれかの構成であってよい。（ａ）上記処理の全てを、プログラムに従って実行するソフトウェア実行装置を備える。（ｂ）上記処理の一部をプログラムに従って実行するソフトウェア実行装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、ソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「異音の発生箇所の特定対象とされる対象物体について」
・上記実施形態では、対象物体として、エンジンコンパートメントに収容されている物体を例示したが、これに限らない。たとえば、車室内のインストゥルメントパネル内の異音の発生箇所を特定する処理であってもよい。さらに、車両内で生じる音にも限らない。

１０…車両
１２…内燃機関
１４…制御装置
１５…ボンネット
１６…エンジンコンパートメント
２０…携帯端末
４０…ネットワーク
５０…解析装置

Claims (10)

1. 再生装置によって複数の周波数成分のそれぞれの音を再生する再生工程と、
   前記再生工程の後に、ヒューマンインターフェースを介して前記複数の周波数成分のうちのいずれの成分が発生箇所の特定を希望する異音に近い成分であるかの指示を受け付ける指示受付工程と、
   対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ前記録音装置によって録音された音データを、撮像装置によって撮像された前記対象物体の画像データのうちの録音時に前記録音装置が近接していた前記対象物体の部分に関するデータに紐づけて記憶装置に記憶する紐づけ工程と、
   前記紐づけ工程において前記画像データに紐づけられた前記音データのうち、前記指示受付工程において指示された周波数成分である指示周波数成分の音圧レベルが最大となるデータに紐づけられた前記画像データを選択する選択工程と、
   前記選択工程によって選択された前記画像データに基づき、前記異音の発生箇所を特定する特定工程と、を有する異音の発生箇所特定方法。
2. 前記対象物体から生じる音を前記録音装置によって録音して音データとして前記記憶装置に記憶する録音工程と、
   前記音データが示す音の前記複数の周波数成分を抽出する抽出工程と、を有し、
   前記再生工程は、前記抽出工程によって抽出した前記複数の周波数成分のそれぞれの音を再生する工程である請求項１記載の異音の発生箇所特定方法。
3. 前記対象物体は、回転機を備え、
   前記複数の周波数成分は、前記回転機の回転周波数に比例する、予め定められた成分である請求項２記載の異音の発生箇所特定方法。
4. 前記回転機の回転速度を示す変数の値を計測する装置による計測結果を取得する計測結果取得工程を有し、
   前記抽出工程は、前記計測結果が示す回転周波数に基づき、前記複数の周波数成分を抽出する工程を有する請求項３記載の異音の発生箇所特定方法。
5. 前記発生箇所の特定を希望する成分が前記回転機の回転周波数に依存する成分であるか否かを問い合わせる問い合わせ工程を有し、
   前記抽出工程は、前記問い合わせの結果が前記依存しない旨の回答である場合に、前記回転機の回転周波数とは独立に予め定められた複数の成分を抽出する工程と、前記問い合わせの結果が前記依存する成分である旨の回答である場合に前記回転機の回転周波数に比例する、予め定められた成分を抽出する工程と、を有する請求項３または４記載の異音の発生箇所特定方法。
6. 前記特定工程は、
   前記画像データを入力とし、前記異音の発生箇所の１または複数の候補が、前記画像データが示す画像によって示される箇所である確率を算出する第１確率算出工程と、
   前記選択工程によって選択された前記画像データに紐づけられた前記音データに基づき、前記異音の発生箇所の１または複数の候補が実際に異音の発生箇所である確率を算出する第２確率算出工程と、
   前記第１確率算出工程による確率の算出結果と前記第２確率算出工程による確率の算出結果とに基づき、前記異音の発生箇所の１または複数の候補が実際に異音の発生箇所である総合的な確率を算出する総合確率算出工程と、
   を有する請求項１～５のいずれか１項に記載の異音の発生箇所特定方法。
7. 前記第２確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、前記異音の発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の１または複数の候補に対応する確率を算出する工程である請求項６記載の異音の発生箇所特定方法。
8. 前記紐づけ工程は、前記対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに前記録音装置および撮像装置の２つの装置を近接配置しつつ前記録音装置によって録音された音データと前記撮像装置によって撮像された画像データとを紐づける工程である請求項１～７のいずれか１項に記載の異音の発生箇所特定方法。
9. 請求項１～８のいずれか１項に記載の異音の発生箇所特定方法における前記再生工程、前記指示受付工程、前記紐づけ工程、および前記選択工程をコンピュータに実行させるアプリケーションプログラム。
10. 前記選択工程によって選択した前記画像データと、該画像データに紐づけられた前記音データとを送信する送信工程と、
    前記送信工程によって送信された前記画像データおよび前記音データに基づく前記特定工程によって特定された前記異音の発生箇所に関する情報を示す信号を受信する受信工程と、を前記コンピュータに実行させる請求項９記載のアプリケーションプログラム。

Images