JP2022113282A - 異音の発生箇所特定方法、およびアプリケーションプログラム - Google Patents
異音の発生箇所特定方法、およびアプリケーションプログラム Download PDFInfo
- Publication number
- JP2022113282A JP2022113282A JP2021009401A JP2021009401A JP2022113282A JP 2022113282 A JP2022113282 A JP 2022113282A JP 2021009401 A JP2021009401 A JP 2021009401A JP 2021009401 A JP2021009401 A JP 2021009401A JP 2022113282 A JP2022113282 A JP 2022113282A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- abnormal noise
- location
- frequency
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 49
- 238000012545 processing Methods 0.000 description 33
- 238000002485 combustion reaction Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000010687 lubricating oil Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L21/14—Transforming into visible information by displaying frequency domain information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
- G01H3/04—Frequency
- G01H3/06—Frequency by electric means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
- G01H3/10—Amplitude; Power
- G01H3/12—Amplitude; Power by electric means
- G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】人が異音と感知した音の発生箇所を特定できるようにした異音の発生箇所特定方法を提供する。【解決手段】CPU22は、スピーカ30を操作して、異音の発生箇所の候補となる音の周波数成分を選択して再生する。CPU22は、再生した音のうちタッチパネル28を介して指示された音に対応する周波数を指示周波数とする。CPU22は、対象物体が複数に分割された領域のそれぞれに携帯端末20が近接配置された際に録音された音データから指示周波数成分を抽出し、その音圧レベルを算出する。CPU22は、音圧レベルが最大となる領域の音データを解析装置50に送信する。解析装置50は、受信した音データに基づき異音の発生箇所を特定する。【選択図】図1
Description
本発明は、異音の発生箇所特定方法、およびアプリケーションプログラムに関する。
たとえば下記特許文献1には、画像データをニューラルネットワークに入力した際の出力と、音響信号を周波数解析した波形データをニューラルネットワークに入力した際の出力とに基づき、異常を検知する装置が記載されている。
ところで、たとえば車両等、正常時にも音が生じる物体にあっては、異常が生じているときに生じる異音の音圧レベルが、正常時から生じている音の音圧レベルを上回るとは限らない。そのため、上記のようにニューラルネットワークを用いて異常の発生箇所を特定可能とする上では、ニューラルネットワークが識別すべき情報が多く、学習が困難となりやすい。さらに、画像データが表現する画像と、音響信号が示す音との関係を特定する作業をする必要もある。しかし、異常にかかる音の発生箇所を人が特定することは困難となりうることから、関係の特定には高度な情報処理能力が必要となる。
以下、上記課題を解決するための手段およびその作用効果について記載する。
1.再生装置によって複数の周波数成分のそれぞれの音を再生する再生工程と、前記再生工程の後に、ヒューマンインターフェースを介して前記複数の周波数成分のうちのいずれの成分が発生箇所の特定を希望する異音に近い成分であるかの指示を受け付ける指示受付工程と、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ前記録音装置によって録音された音データを、撮像装置によって撮像された前記対象物体の画像データのうちの録音時に前記録音装置が近接していた前記対象物体の部分に関するデータに紐づけて記憶装置に記憶する紐づけ工程と、前記紐づけ工程において前記画像データに紐づけられた前記音データのうち、前記指示受付工程において指示された周波数成分である指示周波数成分の音圧レベルが最大となるデータに紐づけられた前記画像データを選択する選択工程と、前記選択工程によって選択された前記画像データに基づき、前記異音の発生箇所を特定する特定工程と、を有する異音の発生箇所特定方法である。
1.再生装置によって複数の周波数成分のそれぞれの音を再生する再生工程と、前記再生工程の後に、ヒューマンインターフェースを介して前記複数の周波数成分のうちのいずれの成分が発生箇所の特定を希望する異音に近い成分であるかの指示を受け付ける指示受付工程と、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ前記録音装置によって録音された音データを、撮像装置によって撮像された前記対象物体の画像データのうちの録音時に前記録音装置が近接していた前記対象物体の部分に関するデータに紐づけて記憶装置に記憶する紐づけ工程と、前記紐づけ工程において前記画像データに紐づけられた前記音データのうち、前記指示受付工程において指示された周波数成分である指示周波数成分の音圧レベルが最大となるデータに紐づけられた前記画像データを選択する選択工程と、前記選択工程によって選択された前記画像データに基づき、前記異音の発生箇所を特定する特定工程と、を有する異音の発生箇所特定方法である。
上記方法では、複数の周波数成分のそれぞれの音を再生することによって、人が異音と感じている音に特徴的な周波数成分を、人が指示することができる。そのため、人が異音と感じている音の音圧レベルが、対象物体から生じている音の音圧レベルの最大値であるか否かにかかわらず、異音を適切に把握できる。そして、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ録音装置によって録音した音データを、対象物体のうちの録音装置が近接していた部分に関する画像データに紐づけて記憶する。そして、指示周波数成分の音圧レベルが最大となるデータに紐づけられた画像データを選択することにより、選択された画像データは、異音の発生箇所に近い部分の画像データを示す確率が高い。そのため、人が感知する異音の発生箇所を特定することが可能となる。
2.前記対象物体から生じる音を前記録音装置によって録音して音データとして前記記憶装置に記憶する録音工程と、前記音データが示す音の前記複数の周波数成分を抽出する抽出工程と、を有し、前記再生工程は、前記抽出工程によって抽出した前記複数の周波数成分のそれぞれの音を再生する工程である上記1記載の異音の発生箇所特定方法である。
上記方法では、音データの複数の周波数成分を抽出し、それらを再生することによって、実際に聞いている音に基づき、異音と感じている成分を特定できる。
3.前記対象物体は、回転機を備え、前記複数の周波数成分は、前記回転機の回転周波数に比例する、予め定められた成分である上記2記載の異音の発生箇所特定方法である。
3.前記対象物体は、回転機を備え、前記複数の周波数成分は、前記回転機の回転周波数に比例する、予め定められた成分である上記2記載の異音の発生箇所特定方法である。
対象物体が回転機を備える場合、回転機、または回転機に連結された回転体が、回転に応じて異音を発生することがある。そしてその場合、異音の周波数は、回転機の回転周波数に比例する。そこで上記方法では、抽出すべき複数の周波数成分を、回転機の回転周波数に比例する、予め定められた成分とすることにより、回転機の回転に伴って生じうる異音の成分を的確に抽出できる。
4.前記回転機の回転速度を示す変数の値を計測する装置による計測結果を取得する計測結果取得工程を有し、前記抽出工程は、前記計測結果が示す回転周波数に基づき、前記複数の周波数成分を抽出する工程を有する上記3記載の異音の発生箇所特定方法である。
上記方法では、計測結果が示す回転周波数に基づき複数の周波数成分を抽出することから、回転機の回転速度を予め定められた値に固定しなくても、適切に狙いとする成分を抽出することができる。
5.前記発生箇所の特定を希望する成分が前記回転機の回転周波数に依存する成分であるか否かを問い合わせる問い合わせ工程を有し、前記抽出工程は、前記問い合わせの結果が前記依存しない旨の回答である場合に、前記回転機の回転周波数とは独立に予め定められた複数の成分を抽出する工程と、前記問い合わせの結果が前記依存する成分である旨の回答である場合に前記回転機の回転周波数に比例する、予め定められた成分を抽出する工程と、を有する上記3または4記載の異音の発生箇所特定方法である。
上記方法では、異音が回転機の回転周波数に依存する成分であるか否かを問い合わせることにより、異音の種類を特定するうえで有益な情報を得ることができる。
6.前記特定工程は、前記画像データを入力とし、前記異音の発生箇所の1または複数の候補が、前記画像データが示す画像によって示される箇所である確率を算出する第1確率算出工程と、前記選択工程によって選択された前記画像データに紐づけられた前記音データに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である確率を算出する第2確率算出工程と、前記第1確率算出工程による確率の算出結果と前記第2確率算出工程による確率の算出結果とに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である総合的な確率を算出する総合確率算出工程と、を有する上記1~5のいずれか1つに記載の異音の発生箇所特定方法である。
6.前記特定工程は、前記画像データを入力とし、前記異音の発生箇所の1または複数の候補が、前記画像データが示す画像によって示される箇所である確率を算出する第1確率算出工程と、前記選択工程によって選択された前記画像データに紐づけられた前記音データに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である確率を算出する第2確率算出工程と、前記第1確率算出工程による確率の算出結果と前記第2確率算出工程による確率の算出結果とに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である総合的な確率を算出する総合確率算出工程と、を有する上記1~5のいずれか1つに記載の異音の発生箇所特定方法である。
上記方法では、指示周波数成分の音圧レベルが最大となるときの画像データに示される対象物体の位置情報のみならず、そのときの音データに基づき異音の発生箇所を特定する。これにより、位置情報のみから特定する場合と比較して、異音の発生箇所を高精度に特定できる。
7.前記第2確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、前記異音の発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の1または複数の候補に対応する確率を算出する工程である上記6記載の異音の発生箇所特定方法である。
上記方法では、発生箇所の候補と周波数に対する音圧レベルの波形のパターンデータとの類似度に基づき発生箇所の候補と対応する確率とを算出する。これにより、異音に特徴的な特定の周波数のみならず、異音が生じるときの音圧波形を利用して異音の発生箇所を特定できる。
8.前記第1確率算出工程は、前記画像データを入力として、その画像データが示す発生箇所の候補と対応する確率を算出する工程であり、前記第2確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の候補と対応する確率とを算出する工程である上記1~7のいずれか1つに記載の異音の発生箇所特定方法である。
上記方法では、対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置のみならず撮像装置を近接配置する。これにより、録音された音と、録音装置が対向していた対象物体の位置情報とを簡易に紐づけることができる。
9.上記1~8のいずれか1つに記載の異音の発生箇所特定方法における前記再生工程、前記指示受付工程、前記紐づけ工程、および前記選択工程をコンピュータに実行させるアプリケーションプログラムである。
10.前記選択工程によって選択した前記画像データと、該画像データに紐づけられた前記音データとを送信する送信工程と、前記送信工程によって送信された前記画像データおよび前記音データに基づく前記特定工程によって特定された前記異音の発生箇所に関する情報を示す信号を受信する受信工程と、を前記コンピュータに実行させる上記9記載のアプリケーションプログラムである。
上記方法では、送信工程および受信工程をコンピュータに実行させることから、当該コンピュータとは別のコンピュータに特定工程を実行させることができる。したがって、再生工程等を実行するコンピュータが特定工程をも実行する場合と比較して、同コンピュータの演算負荷を軽減できる。
以下、一実施形態について図面を参照しつつ説明する。
図1に、本実施形態にかかる異音の発生箇所を特定するシステムを示す。
車両10は、ユーザによって異音が感知され、修理工場に持ち込まれたものである。車両10には、内燃機関12と内燃機関12の制御装置14とが搭載されている。なお、修理工場は、販売店を兼ねていてもよい。
図1に、本実施形態にかかる異音の発生箇所を特定するシステムを示す。
車両10は、ユーザによって異音が感知され、修理工場に持ち込まれたものである。車両10には、内燃機関12と内燃機関12の制御装置14とが搭載されている。なお、修理工場は、販売店を兼ねていてもよい。
携帯端末20は、修理工場の作業員が所持する携帯性を有した端末である。携帯端末20は、CPU22、記憶装置24、ディスプレイ26、タッチパネル28、スピーカ30、マイク32、カメラ34、および通信機36を備えており、それらが通信線38を介して互いに通信可能となっている。ここで、記憶装置24は、電気的に書き換え可能な不揮発性のメモリである。ディスプレイ26は、たとえばLCDやLED等によって構成されている。タッチパネル28は、ディスプレイ26に重ねて配置されている。通信機36は、車両10の制御装置14との通信を可能とする。また、通信機36は、ネットワーク40を介して、車両の製造メーカが所持する解析装置50との通信を可能とする。
解析装置50は、CPU52、記憶装置54および通信機56を備え、それらが通信線58を介して通信可能となっている。記憶装置54は、電気的に書き換え可能な不揮発性のメモリである。
携帯端末20の記憶装置24には、アプリケーションプログラム24aが記憶されている。一方、解析装置50の記憶装置54には、特定プログラム54aが記憶されている。アプリケーションプログラム24aに規定された指令をCPU22が実行し、且つ、特定プログラム54aによって規定された指令をCPU52が実行することにより、車両10に生じた異音を特定する処理がなされる。以下、これについて詳述する。
図2および図5(a)に、アプリケーションプログラム24aによって規定された処理の手順を示す。図2および図5(a)に示す処理は、CPU22が、たとえば所定の条件が成立する都度、実行することによって実現される。一方、図5(b)に、特定プログラム54aによって規定された処理の手順を示す。図5(b)に示す処理は、CPU52が、たとえば所定の条件が成立する都度、実行することによって実現される。なお、以下では、先頭に「S」が付与された数字によって、各処理のステップ番号を表現する。
図2に示す一連の処理において、CPU22は、まず、異音が発生している付近の物体である対象物体の動画を撮影する(S10)。詳しくは、CPU22は、カメラ34によって対象物体を撮影するとともに、マイク32によって、そのときの周囲の音を録音する。この処理は、たとえば、異音の発生箇所を特定するための上記アプリケーションプログラム24aが起動されると、対象物体の動画を撮影するように案内する情報を出力することによって実現すればよい。ここで、案内する情報は、ディスプレイ26を操作することによって視覚情報として出力してもよいし、スピーカ30を操作することによって聴覚情報として出力してもよい。
図3(a)に、対象物体が、エンジンコンパートメント16内に収容された物体である場合を示す。その場合、携帯端末20による指示に従って、作業員は、ボンネット15をあけ、エンジンコンパートメント16内に収容された物体全体の動画の撮影を開始する。換言すれば、対象物体の全体の動画の撮影を開始する。
図2に戻り、CPU22は、ディスプレイ26を操作して、異音が内燃機関12の回転速度に同期する音であるか否かを問い合わせる(S12)。ここでCPU22は、たとえば、アクセルを操作するなどして内燃機関12の回転速度を変更するのに伴って異音の周波数が変化するのであれば同期する音である旨の補足的な説明をディスプレイ26に表示させてもよい。
そしてCPU22は、タッチパネル28に対する入力操作が、回転同期である旨の入力操作であるのか、あるいは同期しない旨の入力操作であるのかを判定する(S14)。CPU22は、同期する旨の入力操作であると判定する場合(S14:YES)、制御装置14と通信することによって、内燃機関12の回転軸であるクランク軸の回転速度NEに関するデータを受信する(S16)。そしてCPU22は、回転速度NEに基づき、異音の候補に特徴的な周波数成分である所定周波数成分として、回転n次の周波数帯を設定する(S18)。この処理において、CPU22は、図1に示した記憶装置24に記憶されている周波数成分データ24bを参照する。
図4に、周波数成分データ24bを例示する。
図4に示すように、周波数成分データ24bは、異音の発生箇所の複数の候補のそれぞれに対し、回転速度NEと異音の周波数との関係を定めたデータである。図4において、回転速度NEに対する周波数の関係を定めた線分f1,f2,…は、それぞれが異音の発生箇所の候補に関する回転速度NEと発生する音の周波数との関係を示す。これら候補には、たとえば、内燃機関12の潤滑油を循環させるオイルポンプが含まれてよいし、またたとえば、クランク軸の動力をカム軸に伝えるチェーンが含まれてもよい。
図4に示すように、周波数成分データ24bは、異音の発生箇所の複数の候補のそれぞれに対し、回転速度NEと異音の周波数との関係を定めたデータである。図4において、回転速度NEに対する周波数の関係を定めた線分f1,f2,…は、それぞれが異音の発生箇所の候補に関する回転速度NEと発生する音の周波数との関係を示す。これら候補には、たとえば、内燃機関12の潤滑油を循環させるオイルポンプが含まれてよいし、またたとえば、クランク軸の動力をカム軸に伝えるチェーンが含まれてもよい。
S18の処理は、線分f1,f2,…のそれぞれと回転速度NEとから定まる周波数帯を設定する処理である。すなわち、ここで所定の周波数帯として設定される周波数帯の個数は、線分f1,f2,…の数に等しい。
図2に戻り、CPU22は、同期しない旨の入力操作であると判定する場合(S14:NO)、所定周波数帯として、回転速度NEに依存しない異音にとって特徴的な複数個の周波数帯を設定する(S20)。この処理は、周波数成分データ24bに、回転速度NEに同期しない音の発生箇所の候補毎に、特徴的な周波数帯を設定しておくことで実現できる。
CPU22は、S18,S20の処理が完了する場合、スピーカ30を操作することによって、S18の処理またはS20の処理によって設定した複数の周波数帯の音を再生する(S22)。この処理は、S10の処理において録音した音をバンドパスフィルタ処理することによって、S18の処理またはS20の処理によって設定した周波数帯の音データを生成することによって実現できる。
次にCPU22は、ディスプレイ26を操作することによって、再生音のうち異音に最も近い音を指示するように促す視覚情報を表示する(S24)。CPU22は、タッチパネル28への入力操作によって、異音に最も近い周波数帯が指示されるまで(S26:NO)、S22,S24の処理を継続する。具体的には、S22~S26の処理は、CPU22が、ディスプレイ26に、再生する周波数帯の数だけのボタンを表示し、再生しているボタンの色を他のボタンの色とは異なるように表示することによって行えばよい。すなわち、CPU22は、特定のボタンがタッチパネル28を介して指示される場合に、異音に最も近い音が指示されたと判定すればよい。
CPU22は、異音に最も近い音を指示する入力操作があったと判定する場合(S26:YES)、指示された周波数帯を、指示周波数帯に決定する(S28)。
続いてCPU22は、図5(a)に示すように、ディスプレイ26を操作して、対象物体を複数の領域に分割した際のそれぞれの領域に携帯端末20を対向配置しつつ動画を撮影する指示する(S30)。詳しくは、CPU22は、S10の処理によって撮影された対象物体の全体画像上に携帯端末20の移動経路を重畳させてディスプレイ26に表示する。
続いてCPU22は、図5(a)に示すように、ディスプレイ26を操作して、対象物体を複数の領域に分割した際のそれぞれの領域に携帯端末20を対向配置しつつ動画を撮影する指示する(S30)。詳しくは、CPU22は、S10の処理によって撮影された対象物体の全体画像上に携帯端末20の移動経路を重畳させてディスプレイ26に表示する。
図3(b)に、ディスプレイ26の表示例を示す。図3(b)には、車両の前後方向の位置をずらしつつ、携帯端末20を左右に3往復させる移動経路の例を示した。すなわち、図3(b)には、エンジンコンパートメント16のうちの車両の後方且つ左側から、右側へ携帯端末を移動させた後、携帯端末20を車両10の前方に移動させるなどした移動経路の例を示した。
なお、近接動画の撮影は、対象物と携帯端末20との距離および携帯端末20を移動させるスピードを定めておき、作業員がその定めに従って行うことが望ましい。これは、たとえば、図5に示したS30の処理において、ディスプレイ26またはスピーカ30を操作することによって、距離およびスピードについての指示をすることで実現できる。もっとも、これに代えて、作業マニュアルに記載しておくこととしてもよい。
CPU22は、作業員の操作によって近接動画の撮影が開始されると、カメラ34による画像データと、マイク32による音データとを、対象物体を複数に分割した領域毎に記憶装置24に記憶する(S32)。
図3(c)に、分割された領域を例示する。図3(c)に示す例では、対象物体を、車両10の前後方向に6分割、左右方向に12分割した例を示す。図3(c)示す例では、複数の領域A11,A12,…,A21,A22,…に分割されると記載している。
領域の分割は、たとえばCPU22が、S10の処理において記憶した全体画像における近接動画が示す画像の位置づけを判別することによって実現できる。もっとも、これに代えて、CPU22が、図3(b)に示した移動経路上の現在の位置をディスプレイ26上に表示し、携帯端末20が表示位置に近接配置されている前提で領域を特定してもよい。ここで、たとえば、領域A11は、対象物体のうちの近接配置によって携帯端末20が対向する領域である。したがって、S32の処理によって、携帯端末20が近接していた対象物体の部分に関する画像データと、その時の音データとが紐づけられて記憶されることとなる。
図5に戻り、CPU22は、近接配置されているときにマイク32によって録音された音から、指示周波数成分を抽出する(S34)。そして、CPU22は、指示周波数成分の音圧レベルを、現在の領域を示すラベル変数iによって特定される音圧レベルL(i)に代入する(S36)。
CPU22は、S32~S36の処理を、対象物体の全領域について行う。すなわち、CPU22は、未だ全領域について処理が完了していないと判定する場合(S38:NO)、ラベル変数iを更新し(S40)、S32の処理に戻る。これに対しCPU22は、全領域が完了したと判定する場合(S38:YES)、音圧レベルL(i)のうち最大となるときに対応するS32の処理によって記憶された画像データと、音データとを選択する(S42)。そして、CPU22は、通信機36を操作して、選択した画像データと音データとを解析装置50へと送信する(S44)。
これに対し、図5(b)に示すように、解析装置50のCPU52は、送信された画像データおよび音データを受信する(S50)。そしてCPU52は、図1に示す、記憶装置54に記憶された写像データ54bによって規定される写像に画像データを入力することによって、異音発生箇所の候補jのそれぞれに関する第1確率a(j)を算出する(S52)。ここで写像は、畳み込みニューラルネットワーク(CNN)であり、出力層の活性化関数をソフトマックス関数としたものである。出力層の次元数は、異音の発生箇所の候補の数となっており、出力層の各ノードの値が、対応する候補が異音の発生箇所である確率を示す。
写像データ54bによって規定される写像は、画像データと、画像データが示す物体に対応するノードの値を「1」とし、それ以外のノードの値を「0」とする訓練データを用いて学習された学習済みモデルである。
次にCPU52は、受信した音データが示す周波数に対する音圧レベルの波形に基づき、異音の発生箇所の候補jに関する第2確率b(j)を算出する(S54)。この処理は、図1に示す、記憶装置54に記憶された異音の発生箇所の候補のそれぞれにおける波形パターンデータ54cが示す波形パターンと、受信した音データが示す周波数に対する音圧レベルの波形の類似度に基づく処理である。
図6に、波形パターンデータ54cを示す。図6に示すように、波形パターンデータ54cは、異音の発生箇所の候補毎に、その異音が生じているときの対象物体全体から生じる音の周波数と音圧レベルとの関係を示す波形パターンを示す。ここで、1つの候補の波形パターンにおける周波数は、その候補が発する異音に特徴的な周波数のみに限らず、その周波数を包含する広域の周波数である。これは、異音が生じるときに典型的な音の情報に基づき、異音の発生箇所を特定する処理である。これにより、たとえば、複数の異音の発生箇所が、クランク軸の回転周波数の同一次数の周波数の異音を生じる場合であっても、それらのうちいずれで異音が生じているかを識別することが可能となる。
なお、CPU52は、波形パターンデータ54cが示す波形パターンのうち、受信した音データが示す周波数に対する音圧レベルの波形との類似度が所定以下の場合、そのパターンに対応する候補が異音の発生箇所である第2確率bを「0」とすればよい。
図5(b)に戻り、CPU52は、第1確率a(j)と第2確率b(j)とに基づき、各候補の総合確率を算出する(S56)。詳しくは、CPU52は、各候補について、第1確率aと第2確率bとの積を総合確率とする。
そして、CPU52は、通信機56を操作することによって、異音の発生箇所の特定結果を、S50の処理によって受信したデータの送信元に送信する(S58)。ここで、CPU52は、総合確率の大きいものから上位3個の発生箇所の候補についての情報を送信する。なお、CPU52は、S58の処理を完了する場合、図5(b)に示す一連の処理を一旦終了する。
これに対し、図5(a)に示すように、携帯端末20のCPU22は、特定結果を受信すると(S46:YES)、ディスプレイ26を操作して、受信した情報を視覚情報として表示する(S48)。
図7に、携帯端末20のディスプレイ26への表示例を示す。
図7に示すように、総合確率が高いものから順に、部品A,B,Cが表示されている。
なお、CPU22は、S48の処理を完了する場合、図2および図5(a)に示す一連の処理を一旦終了する。
図7に示すように、総合確率が高いものから順に、部品A,B,Cが表示されている。
なお、CPU22は、S48の処理を完了する場合、図2および図5(a)に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。
CPU22は、発生箇所の特定が望まれる異音がクランク軸の回転周波数に比例するものである場合、比例する異音を生じうる部品である発生箇所の候補部品のそれぞれの周波数の音を再生する。そして、CPU22は、再生した音のうちの異音に最も近い周波数が作業員によって指示されると、その周波数を指示周波数に設定する。そしてCPU22は、対象物体を複数に分割した領域のそれぞれに携帯端末20が近接配置された際の画像を撮影するとともに、音を録音する。そして、録音した音のうち指示周波数成分の音圧レベルを算出して記憶する。CPU22は、複数の領域のうち上記記憶した音圧レベルが最大となる領域を選択し、その領域の画像データと音データとを解析装置50に送信する。
CPU22は、発生箇所の特定が望まれる異音がクランク軸の回転周波数に比例するものである場合、比例する異音を生じうる部品である発生箇所の候補部品のそれぞれの周波数の音を再生する。そして、CPU22は、再生した音のうちの異音に最も近い周波数が作業員によって指示されると、その周波数を指示周波数に設定する。そしてCPU22は、対象物体を複数に分割した領域のそれぞれに携帯端末20が近接配置された際の画像を撮影するとともに、音を録音する。そして、録音した音のうち指示周波数成分の音圧レベルを算出して記憶する。CPU22は、複数の領域のうち上記記憶した音圧レベルが最大となる領域を選択し、その領域の画像データと音データとを解析装置50に送信する。
解析装置50のCPU52は、送信された画像データが示す物体が、複数の発生箇所の候補のそれぞれである第1確率aを算出する。また、CPU52は、送信された音データが示す波形と、波形パターンデータ54cが示す波形との類似度に基づき、複数の発生箇所の候補のそれぞれについて、実際に異音の発生箇所である第2確率bを算出する。そして、第1確率aと第2確率bとの互いに同一の候補の値同士の積によって、その候補の総合確率を算出し、CPU22に送信する。CPU22は、送信された異音の発生箇所の特定結果を表示する。
これにより、異音の発生箇所を高精度に算出できる。すなわち、たとえば内燃機関12の圧縮上死点の時間間隔の逆数の周波数は、燃焼行程の周期の逆数の周波数であることから、音圧レベルが大きい周波数となりうる。しかし、異音として感知された音は、この周波数の音とは限らない。そのため、ユーザが何を異音として認識しているかについて、音データの周波数解析のみから把握することは困難である。これに対し、本実施形態では、異音の発生箇所の候補に特徴的な周波数の音を再生し、いずれの周波数の音が異音に近いかを人が指示することにより、異音を正確に把握したうえで、異音の発生箇所を特定でき、ひいては異音の発生箇所を高精度に把握できる。
以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
(1)対象物体を複数に分割したそれぞれの領域に携帯端末20が近接配置された際に録音された音から指示周波数成分を抽出し、音圧レベルが最大となる箇所を特定した。これにより、対象物体からの異音を聞いた作業員が異音の発生箇所として誤った先入観を抱いていた場合であっても、その先入観によらずに、指示周波数の音が生じてる可能性が高い場所を特定できる。
(1)対象物体を複数に分割したそれぞれの領域に携帯端末20が近接配置された際に録音された音から指示周波数成分を抽出し、音圧レベルが最大となる箇所を特定した。これにより、対象物体からの異音を聞いた作業員が異音の発生箇所として誤った先入観を抱いていた場合であっても、その先入観によらずに、指示周波数の音が生じてる可能性が高い場所を特定できる。
(2)クランク軸の回転周波数に比例する異音の場合、制御装置14から回転速度NEを取得し、回転速度NEに基づき、異音の発生箇所の候補のそれぞれが発する音にとって特徴的な周波数成分を抽出した。これにより、クランク軸の回転速度NEを予め定められた値に固定しなくても、狙いとする成分を適切に抽出することができる。
(3)人に、異音がクランク軸の回転周波数に比例するか否かを問い合わせた。これにより、異音の種類を特定するうえで有益な情報を得ることができる。
(4)CPU52は、指示周波数が最大となるときの画像データから、各候補が発生箇所である第1確率aを算出し、同最大となるときの音データが示す波形と波形パターンデータ54cが示す波形との類似度に基づき、各候補が発生箇所である第2確率bを算出した。これにより、異音に特徴的な特定の周波数である指示周波数のみならず、異音が生じるときの音圧波形を利用して異音の発生箇所を特定できる。したがって、たとえば複数の発生候補が生じる音の周波数が、クランク軸の回転周波数の同一次数の周波数である場合であっても、そのうちのいずれが発生箇所であるかを特定することが可能となる。
(4)CPU52は、指示周波数が最大となるときの画像データから、各候補が発生箇所である第1確率aを算出し、同最大となるときの音データが示す波形と波形パターンデータ54cが示す波形との類似度に基づき、各候補が発生箇所である第2確率bを算出した。これにより、異音に特徴的な特定の周波数である指示周波数のみならず、異音が生じるときの音圧波形を利用して異音の発生箇所を特定できる。したがって、たとえば複数の発生候補が生じる音の周波数が、クランク軸の回転周波数の同一次数の周波数である場合であっても、そのうちのいずれが発生箇所であるかを特定することが可能となる。
(5)S52,S54の処理を、解析装置50によって実行した。これにより、S52,S54の処理を携帯端末20が実行する場合と比較して、携帯端末20の演算負荷を軽減できる。
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。[1,8]対象物体は、図3(a)に示すエンジンコンパートメント16に収容されている物体に対応する。記憶装置は、記憶装置24に対応する。再生装置は、スピーカ30に対応する。再生工程は、S22の処理に対応する。指示受付工程は、S24,S26の処理に対応する。紐づけ工程は、S32の処理に対応する。選択工程は、S34~S42の処理に対応する。特定工程は、S52~S56の処理に対応する。[2]録音工程は、S10の処理に対応する。抽出工程は、S18,S20の処理に対応する。[3]回転機は、内燃機関12に対応する。[4]計測する装置は、制御装置14に対応する。計測結果取得工程は、S16の処理に対応する。[5]問い合わせ工程は、S12の処理に対応する。[6]第1確率算出工程は、S52の処理に対応する。第2確率算出工程は、S54の処理に対応する。総合確率算出処理は、S56の処理に対応する。[7]パターンデータは、波形パターンデータ54cに対応する。[9]アプリケーションプログラムは、アプリケーションプログラム24aに対応する。[10]送信工程は、S44の処理を実行する工程に対応し、受信工程は、S46の処理を実行する工程に対応する。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。[1,8]対象物体は、図3(a)に示すエンジンコンパートメント16に収容されている物体に対応する。記憶装置は、記憶装置24に対応する。再生装置は、スピーカ30に対応する。再生工程は、S22の処理に対応する。指示受付工程は、S24,S26の処理に対応する。紐づけ工程は、S32の処理に対応する。選択工程は、S34~S42の処理に対応する。特定工程は、S52~S56の処理に対応する。[2]録音工程は、S10の処理に対応する。抽出工程は、S18,S20の処理に対応する。[3]回転機は、内燃機関12に対応する。[4]計測する装置は、制御装置14に対応する。計測結果取得工程は、S16の処理に対応する。[5]問い合わせ工程は、S12の処理に対応する。[6]第1確率算出工程は、S52の処理に対応する。第2確率算出工程は、S54の処理に対応する。総合確率算出処理は、S56の処理に対応する。[7]パターンデータは、波形パターンデータ54cに対応する。[9]アプリケーションプログラムは、アプリケーションプログラム24aに対応する。[10]送信工程は、S44の処理を実行する工程に対応し、受信工程は、S46の処理を実行する工程に対応する。
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
「回転機について」
・車両が備える回転機としては、内燃機関に限らず、たとえばモータジェネレータであってもよい。
・車両が備える回転機としては、内燃機関に限らず、たとえばモータジェネレータであってもよい。
・回転機としては、車両に備えられるものに限らない。
「計測結果取得工程について」
・上記実施形態では、音の録音中にリアルタイムで制御装置14から回転速度NEを送信することとしたが、これに限らない。たとえば、都度の回転速度NEを、計測時の時刻と紐づけて制御装置14内に記憶しておき、携帯端末20がリクエストすることにより、制御装置14が一括で回転速度NEの時系列データと時刻情報とを送信することとしてもよい。
「計測結果取得工程について」
・上記実施形態では、音の録音中にリアルタイムで制御装置14から回転速度NEを送信することとしたが、これに限らない。たとえば、都度の回転速度NEを、計測時の時刻と紐づけて制御装置14内に記憶しておき、携帯端末20がリクエストすることにより、制御装置14が一括で回転速度NEの時系列データと時刻情報とを送信することとしてもよい。
・たとえば、録音する際の内燃機関12等の回転機の回転速度を予め定められた値に制御することとしておくのであれば、回転速度NEに関するデータを受信しなくてもよい。
「問い合わせ工程について」
・上記実施形態では、録音開始後に問い合わせ工程を実行したが、これに限らず、問い合わせ工程の完了後に録音をスタートさせてもよい。
「問い合わせ工程について」
・上記実施形態では、録音開始後に問い合わせ工程を実行したが、これに限らず、問い合わせ工程の完了後に録音をスタートさせてもよい。
・たとえば、アプリケーションプログラム24aを、回転に同期した異音を特定することに特化したプログラムとし、S12,S14,S20の処理を削除してもよい。すなわち、この場合、問い合わせ工程を省くことができる。
「再生工程、指示受付工程について」
・上記実施形態では、S22の処理として、S10の処理において録音した音データのバンドパスフィルタ処理によって、再生用のデータを生成したが、これに限らない。たとえば、周波数成分データ24bに、サンプル音源データを含め、これを再生してもよい。
・上記実施形態では、S22の処理として、S10の処理において録音した音データのバンドパスフィルタ処理によって、再生用のデータを生成したが、これに限らない。たとえば、周波数成分データ24bに、サンプル音源データを含め、これを再生してもよい。
・上記実施形態では、携帯端末20側で順次、複数の周波数成分の音を再生した後、いずれの音が発生箇所の特定を希望する音であるかを指示させたが、これに限らない。たとえば、ディスプレイ26に、複数の周波数成分のそれぞれが割り振られたボタンを表示し、押下されたボタンに対応する周波数成分の音を再生する処理としてもよい。その場合、たとえば、ボタンが長押しされる場合に発生箇所の特定を希望する音である旨を指示する操作とすればよい。
・人が、発生箇所の特定を希望する音である旨を指示するために操作するヒューマンインターフェースとしては、タッチパネル28に限らない。たとえばヒューマンインターフェースとしてマイク32を採用し、音声入力操作によって発生箇所の特定を希望する音である旨を指示してもよい。
「紐づけ工程について」
・上記実施形態では、携帯端末20を対象物体に近接配置しつつ動画の撮影および録音を実行することにより、対象物体のうちの携帯端末20が対向する部分の画像データと音データとを紐づけたがこれに限らない。たとえば、携帯端末20を微小に変位させる都度、対象物体のうちの携帯端末20に対向する部分の静止画像を撮影することとし、携帯端末20が固定されている期間に録音された音に関するデータと、対応する静止画の画像データとを紐づけてもよい。
・上記実施形態では、携帯端末20を対象物体に近接配置しつつ動画の撮影および録音を実行することにより、対象物体のうちの携帯端末20が対向する部分の画像データと音データとを紐づけたがこれに限らない。たとえば、携帯端末20を微小に変位させる都度、対象物体のうちの携帯端末20に対向する部分の静止画像を撮影することとし、携帯端末20が固定されている期間に録音された音に関するデータと、対応する静止画の画像データとを紐づけてもよい。
・携帯端末20を対象物体に近接配置した際に対象物体の画像を撮影することは必須ではない。たとえば、対象物体の全体の動画または静止画を撮影した後、対象物体の全体画像のうちの携帯端末20を近接配置すべき箇所をマーキング表示してもよい。その場合、マーキング表示しているときに携帯端末20によって録音された音データについては、マーキング表示した部分に携帯端末20が近接配置されているとみなせばよい。これにより、マーキング表示した部分の画像データとそのときに録音された音データとを紐づけることができる。
「第1確率算出工程について」
・上記実施形態では、写像の出力変数の次元を、発生箇所の候補の数と等しくしたが、これに限らない。たとえば、発生箇所の候補の数に「1」を加えた数とし、いずれの候補でもない確率を示す出力変数を加えてもよい。
・上記実施形態では、写像の出力変数の次元を、発生箇所の候補の数と等しくしたが、これに限らない。たとえば、発生箇所の候補の数に「1」を加えた数とし、いずれの候補でもない確率を示す出力変数を加えてもよい。
「第2確率算出工程について」
・上記実施形態では、指示周波数成分の音圧レベルが最大となるときの音データの周波数に対する音圧レベルの波形と、異音の発生箇所の候補毎の波形データのパターンとの類似度に基づき、発生箇所の確率を算出したが、これに限らない。たとえば、指示周波数成分の音圧レベルが最大となるときの音データが示す各周波数の音圧レベルを入力変数とし、発生箇所の候補毎の確率を出力する学習済みモデルを用いて、確率を算出してもよい。ここで、学習済みモデルは、たとえばニューラルネットワークとすればよい。もっとも、これに限らず、たとえば、サポートベクトルマシン等を用いた識別モデルとしてもよく、またたとえば決定木を用いてもよい。なお、学習済みモデルとしては、一度の入力で発生箇所の候補毎の確率を出力するものに限らず、たとえばLSTM等の回帰結合型ニューラルネットワークを用いて、複数回の入力変数の入力によって、精度の良い出力値を得るようにしてもよい。
・上記実施形態では、指示周波数成分の音圧レベルが最大となるときの音データの周波数に対する音圧レベルの波形と、異音の発生箇所の候補毎の波形データのパターンとの類似度に基づき、発生箇所の確率を算出したが、これに限らない。たとえば、指示周波数成分の音圧レベルが最大となるときの音データが示す各周波数の音圧レベルを入力変数とし、発生箇所の候補毎の確率を出力する学習済みモデルを用いて、確率を算出してもよい。ここで、学習済みモデルは、たとえばニューラルネットワークとすればよい。もっとも、これに限らず、たとえば、サポートベクトルマシン等を用いた識別モデルとしてもよく、またたとえば決定木を用いてもよい。なお、学習済みモデルとしては、一度の入力で発生箇所の候補毎の確率を出力するものに限らず、たとえばLSTM等の回帰結合型ニューラルネットワークを用いて、複数回の入力変数の入力によって、精度の良い出力値を得るようにしてもよい。
「総合確率について」
・上記実施形態では、第1確率aと第2確率bとの積によって、総合確率を算出したが、これに限らない。たとえば、第1確率aと第2確率bとの和を総合確率としてもよい。
・上記実施形態では、第1確率aと第2確率bとの積によって、総合確率を算出したが、これに限らない。たとえば、第1確率aと第2確率bとの和を総合確率としてもよい。
「特定結果の表示について」
・上記実施形態では、発生箇所の候補のうち実際の発生箇所である確率が高いものから上位3個を表示したが、これに限らない。たとえば上位1個でもよく、またたとえば上位5個までを表示してもよい。
・上記実施形態では、発生箇所の候補のうち実際の発生箇所である確率が高いものから上位3個を表示したが、これに限らない。たとえば上位1個でもよく、またたとえば上位5個までを表示してもよい。
・上記実施形態では、発生箇所の候補のみを表示したが、その候補が実際の発生箇所である確率を同時に表示してもよい。
「発生箇所を特定する処理を実行するコンピュータについて」
・上記実施形態では、携帯端末20のCPU22と、解析装置50のCPU52との協働で、異音の発生箇所を特定する処理を実行したが、これに限らない。たとえば、携帯端末20のCPU22によって、S52~S56の処理をも実行してもよい。また、たとえば、製造メーカが備える解析装置50に代えて、修理工場が備えるスキャンツール内蔵のコンピュータが図5(b)に示した処理を実行してもよく、またたとえば、製造メーカとは無関係な、ビッグデータを扱うコンピュータが図5(b)に示した処理を実行してもよい。またたとえば、図2および図5(a)に示した処理を実行するコンピュータを、ユーザの携帯端末内蔵のものとして且つ、図5(b)に示した処理を実行するコンピュータを、修理工場の作業員が所持する携帯端末内蔵のものとしてもよい。
「発生箇所を特定する処理を実行するコンピュータについて」
・上記実施形態では、携帯端末20のCPU22と、解析装置50のCPU52との協働で、異音の発生箇所を特定する処理を実行したが、これに限らない。たとえば、携帯端末20のCPU22によって、S52~S56の処理をも実行してもよい。また、たとえば、製造メーカが備える解析装置50に代えて、修理工場が備えるスキャンツール内蔵のコンピュータが図5(b)に示した処理を実行してもよく、またたとえば、製造メーカとは無関係な、ビッグデータを扱うコンピュータが図5(b)に示した処理を実行してもよい。またたとえば、図2および図5(a)に示した処理を実行するコンピュータを、ユーザの携帯端末内蔵のものとして且つ、図5(b)に示した処理を実行するコンピュータを、修理工場の作業員が所持する携帯端末内蔵のものとしてもよい。
「コンピュータについて」
・コンピュータとしては、ソフトウェア処理を実行するものに限らない。ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。さらに、プログラムを実行するソフトウェア実行装置と、専用のハードウェア処理回路との組み合わせであってもよい。すなわち、コンピュータとしては、以下の(a)~(c)のいずれかの構成であってよい。(a)上記処理の全てを、プログラムに従って実行するソフトウェア実行装置を備える。(b)上記処理の一部をプログラムに従って実行するソフトウェア実行装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、ソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
・コンピュータとしては、ソフトウェア処理を実行するものに限らない。ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。さらに、プログラムを実行するソフトウェア実行装置と、専用のハードウェア処理回路との組み合わせであってもよい。すなわち、コンピュータとしては、以下の(a)~(c)のいずれかの構成であってよい。(a)上記処理の全てを、プログラムに従って実行するソフトウェア実行装置を備える。(b)上記処理の一部をプログラムに従って実行するソフトウェア実行装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、ソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
「異音の発生箇所の特定対象とされる対象物体について」
・上記実施形態では、対象物体として、エンジンコンパートメントに収容されている物体を例示したが、これに限らない。たとえば、車室内のインストゥルメントパネル内の異音の発生箇所を特定する処理であってもよい。さらに、車両内で生じる音にも限らない。
・上記実施形態では、対象物体として、エンジンコンパートメントに収容されている物体を例示したが、これに限らない。たとえば、車室内のインストゥルメントパネル内の異音の発生箇所を特定する処理であってもよい。さらに、車両内で生じる音にも限らない。
10…車両
12…内燃機関
14…制御装置
15…ボンネット
16…エンジンコンパートメント
20…携帯端末
40…ネットワーク
50…解析装置
12…内燃機関
14…制御装置
15…ボンネット
16…エンジンコンパートメント
20…携帯端末
40…ネットワーク
50…解析装置
Claims (10)
- 再生装置によって複数の周波数成分のそれぞれの音を再生する再生工程と、
前記再生工程の後に、ヒューマンインターフェースを介して前記複数の周波数成分のうちのいずれの成分が発生箇所の特定を希望する異音に近い成分であるかの指示を受け付ける指示受付工程と、
対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに録音装置を近接配置しつつ前記録音装置によって録音された音データを、撮像装置によって撮像された前記対象物体の画像データのうちの録音時に前記録音装置が近接していた前記対象物体の部分に関するデータに紐づけて記憶装置に記憶する紐づけ工程と、
前記紐づけ工程において前記画像データに紐づけられた前記音データのうち、前記指示受付工程において指示された周波数成分である指示周波数成分の音圧レベルが最大となるデータに紐づけられた前記画像データを選択する選択工程と、
前記選択工程によって選択された前記画像データに基づき、前記異音の発生箇所を特定する特定工程と、を有する異音の発生箇所特定方法。 - 前記対象物体から生じる音を前記録音装置によって録音して音データとして前記記憶装置に記憶する録音工程と、
前記音データが示す音の前記複数の周波数成分を抽出する抽出工程と、を有し、
前記再生工程は、前記抽出工程によって抽出した前記複数の周波数成分のそれぞれの音を再生する工程である請求項1記載の異音の発生箇所特定方法。 - 前記対象物体は、回転機を備え、
前記複数の周波数成分は、前記回転機の回転周波数に比例する、予め定められた成分である請求項2記載の異音の発生箇所特定方法。 - 前記回転機の回転速度を示す変数の値を計測する装置による計測結果を取得する計測結果取得工程を有し、
前記抽出工程は、前記計測結果が示す回転周波数に基づき、前記複数の周波数成分を抽出する工程を有する請求項3記載の異音の発生箇所特定方法。 - 前記発生箇所の特定を希望する成分が前記回転機の回転周波数に依存する成分であるか否かを問い合わせる問い合わせ工程を有し、
前記抽出工程は、前記問い合わせの結果が前記依存しない旨の回答である場合に、前記回転機の回転周波数とは独立に予め定められた複数の成分を抽出する工程と、前記問い合わせの結果が前記依存する成分である旨の回答である場合に前記回転機の回転周波数に比例する、予め定められた成分を抽出する工程と、を有する請求項3または4記載の異音の発生箇所特定方法。 - 前記特定工程は、
前記画像データを入力とし、前記異音の発生箇所の1または複数の候補が、前記画像データが示す画像によって示される箇所である確率を算出する第1確率算出工程と、
前記選択工程によって選択された前記画像データに紐づけられた前記音データに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である確率を算出する第2確率算出工程と、
前記第1確率算出工程による確率の算出結果と前記第2確率算出工程による確率の算出結果とに基づき、前記異音の発生箇所の1または複数の候補が実際に異音の発生箇所である総合的な確率を算出する総合確率算出工程と、
を有する請求項1~5のいずれか1項に記載の異音の発生箇所特定方法。 - 前記第2確率算出工程は、前記選択工程によって選択された前記画像データに紐づけられた前記音データと、前記異音の発生箇所の候補が音を生じるときに特徴的な周波数と音圧レベルとの関係を示す波形のパターンデータとの類似度に基づき、前記異音の発生箇所の1または複数の候補に対応する確率を算出する工程である請求項6記載の異音の発生箇所特定方法。
- 前記紐づけ工程は、前記対象物体を複数の領域に分割した際のそれら複数の領域のそれぞれに前記録音装置および撮像装置の2つの装置を近接配置しつつ前記録音装置によって録音された音データと前記撮像装置によって撮像された画像データとを紐づける工程である請求項1~7のいずれか1項に記載の異音の発生箇所特定方法。
- 請求項1~8のいずれか1項に記載の異音の発生箇所特定方法における前記再生工程、前記指示受付工程、前記紐づけ工程、および前記選択工程をコンピュータに実行させるアプリケーションプログラム。
- 前記選択工程によって選択した前記画像データと、該画像データに紐づけられた前記音データとを送信する送信工程と、
前記送信工程によって送信された前記画像データおよび前記音データに基づく前記特定工程によって特定された前記異音の発生箇所に関する情報を示す信号を受信する受信工程と、を前記コンピュータに実行させる請求項9記載のアプリケーションプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021009401A JP2022113282A (ja) | 2021-01-25 | 2021-01-25 | 異音の発生箇所特定方法、およびアプリケーションプログラム |
US17/581,381 US20220238133A1 (en) | 2021-01-25 | 2022-01-21 | Method of specifying generation point of abnormal sound and application program |
CN202210069211.5A CN114898770A (zh) | 2021-01-25 | 2022-01-21 | 异常音的发生部位确定方法以及应用程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021009401A JP2022113282A (ja) | 2021-01-25 | 2021-01-25 | 異音の発生箇所特定方法、およびアプリケーションプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022113282A true JP2022113282A (ja) | 2022-08-04 |
Family
ID=82494865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021009401A Withdrawn JP2022113282A (ja) | 2021-01-25 | 2021-01-25 | 異音の発生箇所特定方法、およびアプリケーションプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220238133A1 (ja) |
JP (1) | JP2022113282A (ja) |
CN (1) | CN114898770A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022100163A (ja) * | 2020-12-23 | 2022-07-05 | トヨタ自動車株式会社 | 音源推定サーバ、音源推定システム、音源推定装置、音源推定方法 |
-
2021
- 2021-01-25 JP JP2021009401A patent/JP2022113282A/ja not_active Withdrawn
-
2022
- 2022-01-21 US US17/581,381 patent/US20220238133A1/en not_active Abandoned
- 2022-01-21 CN CN202210069211.5A patent/CN114898770A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114898770A (zh) | 2022-08-12 |
US20220238133A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10362180B2 (en) | Diagnosing an image forming apparatus based on sound signal analysis | |
CN110082723A (zh) | 一种声源定位方法、装置、设备及存储介质 | |
CN103945109B (zh) | 摄像装置及其控制方法、远程控制装置及其控制方法 | |
WO2014189084A1 (ja) | 演奏記録装置 | |
JP2022113282A (ja) | 異音の発生箇所特定方法、およびアプリケーションプログラム | |
JP2006350577A (ja) | 動作分析装置 | |
US9992355B2 (en) | Diagnostic apparatus, diagnostic system, and non-transitory computer readable medium | |
JP5939480B1 (ja) | 端末装置、診断システムおよびプログラム | |
US11869465B2 (en) | Musical performance analysis method and musical performance analysis apparatus | |
JP2015128510A (ja) | 評価プログラム、評価方法及び評価装置 | |
JP6840971B2 (ja) | 診断装置、診断システムおよびプログラム | |
CN106915166A (zh) | 诊断装置、诊断***和诊断方法 | |
WO2020180500A1 (en) | Video game guidance system | |
CN115731945A (zh) | 异常声音确定装置、异常声音确定方法以及异常声音确定程序 | |
JP6307814B2 (ja) | 基音可視化装置、基音可視化方法およびプログラム | |
CN112861784B (zh) | 答题方法及装置 | |
WO2017094270A1 (ja) | 診断装置、診断システム、診断方法およびプログラム | |
JP2003005623A (ja) | 職人技再現システム | |
CN114245281A (zh) | 一种语音性能测试方法及*** | |
JP2004246095A (ja) | 携帯電話装置及び遠隔制御方法 | |
CN115346553A (zh) | 基于音乐节拍检测用户动作的方法和设备 | |
JP6822036B2 (ja) | 診断装置、診断システムおよびプログラム | |
CN111176125A (zh) | 基于智能终端的家电控制方法、智能终端及存储介质 | |
JP4044469B2 (ja) | 自動トラッキングシステムおよび自動トラッキング方法 | |
JP2021056922A (ja) | 人動作支援システム及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230223 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230630 |