JP6840971B2 - Diagnostic equipment, diagnostic systems and programs - Google Patents
Diagnostic equipment, diagnostic systems and programs Download PDFInfo
- Publication number
- JP6840971B2 JP6840971B2 JP2016184069A JP2016184069A JP6840971B2 JP 6840971 B2 JP6840971 B2 JP 6840971B2 JP 2016184069 A JP2016184069 A JP 2016184069A JP 2016184069 A JP2016184069 A JP 2016184069A JP 6840971 B2 JP6840971 B2 JP 6840971B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- frequency
- frequency analysis
- analysis result
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、診断装置、診断システムおよびプログラムに関する。 The present invention relates to diagnostic devices, diagnostic systems and programs.
特許文献1には、画像形成装置の正常時の動作音を記憶しているRAMまたはROMと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、RAMまたはROMに記憶されている第1の音情報と、マイクロフォンにより検知された第2の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の異常箇所を特定するようなシステムが開示されている。 Patent Document 1 has a RAM or ROM for storing the normal operating sound of the image forming apparatus, and a microphone for detecting the operating sound generated from the image forming apparatus, which is stored in the RAM or ROM. A system for identifying an abnormal portion of an image forming apparatus based on the first sound information, the second sound information detected by the microphone, and the operation information of the image forming apparatus is disclosed.
特許文献2には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。 Patent Document 2 describes a sound conversion unit that converts sound inside the device into an electric signal in an image processing device having an image forming unit that forms an image on the printing paper and a conveying unit that conveys the printing paper. An image processing device including a sound analysis unit that analyzes an electric signal converted by a sound conversion unit to obtain a component for each frequency and an output unit that outputs a component for each frequency obtained by the sound analysis unit is disclosed. There is.
ある装置において異音(異常音)が発生した場合、解析対象の装置において発生した音を入力して音信号を取得し、取得した音信号と、解析対象の装置と同等の装置において過去に発生した異音の音信号とを比較して、その異音の原因を解明しようとする場合がある。 When an abnormal sound (abnormal sound) occurs in a certain device, the sound generated in the device to be analyzed is input to acquire a sound signal, and the acquired sound signal and the device equivalent to the device to be analyzed have generated in the past. In some cases, it is attempted to clarify the cause of the abnormal sound by comparing it with the sound signal of the abnormal sound.
しかし、そもそも経験の少ないユーザにとっては、取得した音信号に異音が含まれているのかいないのかを判定することが容易ではない。 However, it is not easy for an inexperienced user to determine whether or not the acquired sound signal contains an abnormal sound.
本発明の目的は、取得した音信号に異音が含まれているのか否かを判定可能な診断装置、診断システムおよびプログラムを提供することである。 An object of the present invention is to provide a diagnostic device, a diagnostic system and a program capable of determining whether or not an acquired sound signal contains an abnormal sound.
[診断装置]
請求項1に係る本発明は、発生した音を入力して音情報を取得する取得手段と、
前記音情報の周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果波形を生成する解析手段と、
前記解析手段により生成された周波数解析結果波形において、周期的に発生している周波数成分の合計面積が予め設定された値以上の場合、取得された前記音情報に異音が含まれると判定する判定手段と、
前記判定手段において取得された前記音情報に異音が含まれると判定された場合、当該判定結果を表示する表示手段とを備えた診断装置である。
[Diagnostic device]
The present invention according to claim 1 comprises an acquisition means for inputting generated sound and acquiring sound information.
An analysis means that performs frequency analysis of the sound information and generates a frequency analysis result waveform that represents a time change of the intensity distribution for each frequency.
In the frequency analysis result waveform generated by the analysis means, when the total area of the frequency components generated periodically is equal to or more than a preset value, it is determined that the acquired sound information includes abnormal sound. Judgment means and
It is a diagnostic apparatus provided with a display means for displaying the determination result when it is determined that the sound information acquired by the determination means contains an abnormal sound.
請求項2に係る本発明は、前記取得手段により取得された音情報を格納するための格納手段と、
異音が含まれると前記判定手段において判定された音情報を前記格納手段に格納するよう制御する制御手段とをさらに備えた請求項1記載の診断装置である。
The present invention according to claim 2 includes a storage means for storing sound information acquired by the acquisition means and a storage means for storing the sound information.
Abnormal sound is a diagnostic apparatus according to claim 1, wherein the sound information determined in the determination means to be further provided with a control means for controlling so as to be stored in the storage means included.
請求項3に係る本発明は、外部装置との間で通信を行う通信手段と、
前記解析手段により得られた周波数解析結果波形から得られた情報を前記通信手段を介して外部装置に送信する送信手段と、
前記周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記送信手段は、異音が含まれると前記判定手段において判定された音情報の周波数解析結果波形から得られた情報を前記通信手段を介して外部装置に送信する請求項1又は2記載の診断装置である。
The present invention according to claim 3 is a communication means for communicating with an external device and a communication means.
A transmission means for transmitting information obtained from the frequency analysis result waveform obtained by the analysis means to an external device via the communication means, and a transmission means.
Further provided with a receiving means for receiving the frequency analysis result waveform corresponding to the frequency analysis result waveform from the external device via the communication means.
The diagnosis according to claim 1 or 2 , wherein the transmitting means transmits information obtained from a frequency analysis result waveform of sound information determined by the determining means to include abnormal sounds to an external device via the communication means. It is a device.
[診断システム]
請求項4に係る本発明は、発生した音を入力して音情報を取得する取得手段と、前記音情報の周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果波形を生成する解析手段と、前記解析手段により生成された周波数解析結果波形において、周期的に発生している周波数成分の合計面積が予め設定された値以上の場合、取得された前記音情報に異音が含まれると判定する判定手段と、前記判定手段において取得された前記音情報に異音が含まれると判定された場合、当該判定結果を表示する表示手段と、外部装置との間で通信を行う通信手段と、前記解析手段により得られた周波数解析結果波形から得られた情報を前記通信手段を介して外部装置に送信する第1の送信手段と、前記周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異常音の音情報の周波数解析を行って得た複数の周波数解析結果波形を格納する格納手段と、前記診断装置から取得された音情報の周波数解析結果波形から得られた情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果波形の中から、受信した周波数解析結果波形に類似する周波数解析結果波形を選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置とを備えた診断システムである。
[Diagnostic system]
According to the fourth aspect of the present invention, the acquisition means for inputting the generated sound to acquire the sound information and the frequency analysis of the sound information are performed to generate a frequency analysis result waveform representing a time change of the intensity distribution for each frequency. When the total area of the frequency components generated periodically in the analysis means and the frequency analysis result waveform generated by the analysis means is equal to or larger than a preset value, an abnormal sound is generated in the acquired sound information. When it is determined that the sound information acquired by the determination means includes an abnormal sound, communication is performed between the determination means for determining that the determination means is included, the display means for displaying the determination result, and the external device. The communication means, the first transmission means for transmitting the information obtained from the frequency analysis result waveform obtained by the analysis means to the external device via the communication means, and the frequency analysis result corresponding to the frequency analysis result waveform. A diagnostic device including a receiving means for receiving a waveform from an external device via the communication means, and a diagnostic device.
When the storage means for storing a plurality of frequency analysis result waveforms obtained by performing frequency analysis of the sound information of abnormal sounds and the information obtained from the frequency analysis result waveforms of the sound information acquired from the diagnostic device are received. A second transmission means for selecting a frequency analysis result waveform similar to the received frequency analysis result waveform from the plurality of frequency analysis result waveforms stored in the storage means and transmitting the frequency analysis result waveform to the diagnostic apparatus is provided. It is a diagnostic system equipped with a server device.
[プログラム]
請求項5に係る本発明は、発生した音を入力して音情報を取得する取得ステップと、
前記音情報の周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果波形を生成する生成ステップと、
前記生成ステップにおいて生成された周波数解析結果波形において、周期的に発生している周波数成分の合計面積が予め設定された値以上の場合、取得された前記音情報に異音が含まれると判定する判定ステップと、
前記判定ステップにおいて取得された前記音情報に異音が含まれると判定された場合、当該判定結果を表示する表示ステップとをコンピュータに実行させるためのプログラムである。
[program]
The present invention according to claim 5 includes an acquisition step of inputting generated sound and acquiring sound information.
A generation step of performing frequency analysis of the sound information and generating a frequency analysis result waveform showing a time change of the intensity distribution for each frequency.
In the frequency analysis result waveform generated in the generation step, when the total area of the frequency components generated periodically is equal to or more than a preset value, it is determined that the acquired sound information includes abnormal sound. Judgment step and
This is a program for causing a computer to execute a display step for displaying the determination result when it is determined that the sound information acquired in the determination step contains an abnormal sound.
請求項1に係る本発明によれば、取得した音情報に異音が含まれているのか否かを判定可能な診断装置を提供することができる。 According to the first aspect of the present invention, it is possible to provide a diagnostic device capable of determining whether or not the acquired sound information includes abnormal sounds.
請求項2に係る本発明によれば、異音が含まれる音情報のみを格納することが可能な診断装置を提供することができる。 According to the second aspect of the present invention, it is possible to provide a diagnostic device capable of storing only sound information including abnormal sounds.
請求項3に係る本発明によれば、異音が含まれる音情報から得られる情報のみを外部装置に送信して、外部装置に格納されている周波数解析結果波形と取得した音情報の周波数解析結果波形とを比較することが可能な診断装置を提供することができる。 According to the third aspect of the present invention, only the information obtained from the sound information including the abnormal sound is transmitted to the external device, and the frequency analysis result waveform stored in the external device and the frequency analysis of the acquired sound information are performed. It is possible to provide a diagnostic device capable of comparing with the result waveform.
請求項4に係る本発明によれば、取得した音情報に異音が含まれているのか否かを判定可能な診断システムを提供することができる。 According to the fourth aspect of the present invention, it is possible to provide a diagnostic system capable of determining whether or not the acquired sound information includes abnormal sounds.
請求項5に係る本発明によれば、取得した音情報に異音が含まれているのか否かを判定可能なプログラムを提供することができる。 According to the fifth aspect of the present invention, it is possible to provide a program capable of determining whether or not the acquired sound information includes abnormal sounds.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings.
図1は本発明の一実施形態の異音診断システムの構成を示すシステム図である。 FIG. 1 is a system diagram showing a configuration of an abnormal noise diagnosis system according to an embodiment of the present invention.
本発明の一実施形態の異音診断システムは、図1に示されるように、パーソナルコンピュータ、スマートフォン、タブレット端末装置等の携帯可能な異音診断装置10と、サーバ装置50とから構成されている。 As shown in FIG. 1, the abnormal noise diagnostic system according to the embodiment of the present invention includes a portable abnormal noise diagnostic device 10 such as a personal computer, a smartphone, and a tablet terminal device, and a server device 50. ..
なお、異音診断装置10は、通信ネットワークを介してサーバ装置50に接続可能な装置であればどのような装置であっても本発明は適用可能である。ただし、本実施形態では、異音診断装置10が、音声信号を取得可能なマイク等の装置および、タッチ入力が可能なタッチパネルを備えたタブレット端末装置の場合を用いて説明する。 The present invention can be applied to any device as long as the abnormal noise diagnostic device 10 can be connected to the server device 50 via a communication network. However, in the present embodiment, the case where the abnormal sound diagnostic device 10 is a device such as a microphone capable of acquiring an audio signal and a tablet terminal device provided with a touch panel capable of touch input will be described.
異音診断装置10は、エンドユーザが使用しているプリンタ等の画像形成装置20の保守管理、修理等を行うサービスマン(保守要員)により携帯され、画像形成装置20において発生した異音(異常音)信号を取得して、取得した異音信号を周波数解析したり、サーバ装置50から取得した過去の異音信号の周波数解析結果の波形と取得した異音信号の周波数解析結果波形とを表示するために使用される。 The abnormal sound diagnostic device 10 is carried by a serviceman (maintenance personnel) who performs maintenance management, repair, etc. of the image forming device 20 such as a printer used by the end user, and the abnormal noise (abnormality) generated in the image forming device 20 is carried. Sound) The signal is acquired and the acquired abnormal noise signal is frequency-analyzed, and the waveform of the frequency analysis result of the past abnormal noise signal acquired from the server device 50 and the frequency analysis result waveform of the acquired abnormal noise signal are displayed. Used to do.
異音診断装置10と、サーバ装置50とは、Wi−Fiルータ等の無線LANターミナル30や、インターネット通信網40を介して接続され情報の送受信を行っている。 The abnormal noise diagnosis device 10 and the server device 50 are connected to each other via a wireless LAN terminal 30 such as a Wi-Fi router or an Internet communication network 40 to transmit and receive information.
なお、異音診断装置10が携帯電話装置やスマートフォン等の場合には、異音診断装置10とサーバ装置50とを携帯電話回線網を介して接続して、不具合情報の送受信を行うようにすることも可能である。 When the abnormal noise diagnostic device 10 is a mobile phone device, a smartphone, or the like, the abnormal noise diagnostic device 10 and the server device 50 are connected via the mobile phone network to transmit and receive defect information. It is also possible.
本実施形態の異音診断システムでは、エンドユーザの場所に設置された対象電子機器である画像形成装置20に異音が発生した場合、サービスマンが異音診断装置10を携帯して画像形成装置20の場所に出向く。そして、このサービスマンが、異音診断装置10を用いて発生している異音を録音することにより異音信号を取得して、異音の原因を特定する異音診断を行う。 In the abnormal noise diagnosis system of the present embodiment, when an abnormal noise is generated in the image forming apparatus 20 which is a target electronic device installed at the end user's place, a serviceman carries the abnormal noise diagnostic apparatus 10 with the image forming apparatus. Go to 20 places. Then, the serviceman acquires the abnormal noise signal by recording the abnormal noise generated by using the abnormal noise diagnosis device 10, and performs the abnormal noise diagnosis to identify the cause of the abnormal noise.
なお、画像形成装置20にマイク等を設けて録音機能を持たせて、異音が発生した場合にその録音機能により異音を録音ことも技術的には可能であるが、画像形成装置20がエンドユーザのオフィス等に設置される場合、この画像形成装置20に音声を録音する機能を設けることはセキュリティ上の理由により実現することができない。 Although it is technically possible to provide the image forming apparatus 20 with a microphone or the like to have a recording function and record the abnormal sound by the recording function when an abnormal sound is generated, the image forming apparatus 20 may provide a recording function. When installed in an end user's office or the like, it is not possible to provide the image forming apparatus 20 with a function of recording sound for security reasons.
次に、本実施形態の異音診断システムにおける異音診断装置10のハードウェア構成を図2に示す。 Next, FIG. 2 shows the hardware configuration of the abnormal noise diagnosis device 10 in the abnormal noise diagnosis system of the present embodiment.
異音診断装置10は、図2に示されるように、CPU11、一時的にデータを保存可能なメモリ12、フラッシュメモリ等の記憶装置13、無線LANターミナル30との間で無線通信を行ってデータの送信及び受信を行う無線LANインタフェース(IF)14、タッチセンサ等の入力装置15、表示装置16、マイク17を有する。これらの構成要素は、制御バス18を介して互いに接続されている。 As shown in FIG. 2, the abnormal noise diagnostic device 10 performs wireless communication with the CPU 11, the memory 12 capable of temporarily storing data, the storage device 13 such as a flash memory, and the wireless LAN terminal 30 to perform data. It has a wireless LAN interface (IF) 14 for transmitting and receiving data, an input device 15 such as a touch sensor, a display device 16, and a microphone 17. These components are connected to each other via a control bus 18.
本実施形態の異音診断装置10では、表示装置16上にタッチ位置を検出するためのタッチセンサが入力装置15として設けられたタッチパネルが備えられていて、このタッチパネルを用いて表示が行われるとともにユーザからの入力が行われる。 The abnormal noise diagnostic device 10 of the present embodiment is provided with a touch panel provided as an input device 15 with a touch sensor for detecting a touch position on the display device 16, and the display is performed using the touch panel. Input from the user is performed.
CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、異音診断装置10の動作を制御する。なお、この制御プログラムは、インターネット通信網40や携帯電話回線網を介してダウンロードすることにより入手してCPU11に提供することも可能であるし、当該プログラムをCD−ROM等の記憶媒体に格納してCPU11に提供することも可能である。 The CPU 11 executes a predetermined process based on the control program stored in the memory 12 or the storage device 13 to control the operation of the abnormal noise diagnosis device 10. This control program can also be obtained by downloading via the Internet communication network 40 or the mobile phone line network and provided to the CPU 11, and the program is stored in a storage medium such as a CD-ROM. It is also possible to provide it to the CPU 11.
本実施形態の異音診断装置10は、上記の制御プログラムが実行されることにより以下に説明するような動作を行って、サービスマンが異音の原因を特定する業務の手助けを行う。 The abnormal noise diagnostic device 10 of the present embodiment performs the operations as described below when the above control program is executed, and assists the serviceman in the work of identifying the cause of the abnormal noise.
図3は、上記の制御プログラムが実行されることにより実現される異音診断装置10の機能構成を示すブロック図である。 FIG. 3 is a block diagram showing a functional configuration of the abnormal noise diagnostic device 10 realized by executing the above control program.
本実施形態の異音診断装置10は、図3に示されるように、音声取得部31と、周波数解析部32と、制御部33と、音声データ格納部34と、表示部35と、通信部36と、音声再生部37とを備えている。 As shown in FIG. 3, the abnormal noise diagnosis device 10 of the present embodiment includes a voice acquisition unit 31, a frequency analysis unit 32, a control unit 33, a voice data storage unit 34, a display unit 35, and a communication unit. 36 and a sound reproduction unit 37 are provided.
表示部35は、制御部33による制御に基づいて各種データの表示を行う。通信部36は、外部装置であるサーバ装置50との間で通信を行う。音声再生部37は制御部33による制御に基づいて、録音された音声データ等を再生して音声信号に変換する。 The display unit 35 displays various data based on the control by the control unit 33. The communication unit 36 communicates with the server device 50, which is an external device. The voice reproduction unit 37 reproduces the recorded voice data or the like and converts it into a voice signal based on the control by the control unit 33.
音声取得部31は、解析対象の装置である画像形成装置20において発生した異音の音声を入力して音声信号を取得する。 The voice acquisition unit 31 acquires a voice signal by inputting the voice of the abnormal sound generated in the image forming device 20 which is the device to be analyzed.
なお、本実施形態では、音声取得部31が、画像形成装置20において発生した異音の音声を入力して音声信号を取得するものとして説明しているが、音声は音の一例であり、音声信号は音情報の一例である。 In the present embodiment, the voice acquisition unit 31 is described as inputting the voice of the abnormal sound generated in the image forming apparatus 20 to acquire the voice signal. However, the voice is an example of the sound, and the voice is used. The signal is an example of sound information.
周波数解析部32は、音声取得部31により取得された音声信号の時間周波数解析(時間依存周波数解析)を行って、取得された異音信号の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形データを生成する。なお、周波数スペクトル波形データは、周波数解析を行うことにより得られた周波数解析結果である。 The frequency analysis unit 32 performs time-frequency analysis (time-dependent frequency analysis) of the voice signal acquired by the voice acquisition unit 31, and represents the time change of the signal intensity distribution for each frequency of the acquired abnormal sound signal. Generate spectral waveform data. The frequency spectrum waveform data is a frequency analysis result obtained by performing frequency analysis.
具体的には、周波数解析部32は、音声取得部31により取得された音声信号に対してSTFT(Short time Fourier transform:短時間フーリエ変換)を行うことにより周波数スペクトル波形データを生成する。このSTFTの説明については後述する。 Specifically, the frequency analysis unit 32 generates frequency spectrum waveform data by performing an STFT (Short time Fourier transform) on the voice signal acquired by the voice acquisition unit 31. The description of this FTFT will be described later.
制御部33は、周波数解析部32により得られた周波数スペクトル波形データを音声データとともに音声データ格納部34に格納する。 The control unit 33 stores the frequency spectrum waveform data obtained by the frequency analysis unit 32 in the voice data storage unit 34 together with the voice data.
また、制御部33は、周波数解析部32により得られた周波数スペクトル波形データのうち、異音であると推定される周波数成分に対して時間軸方向に周波数解析を行う高速フーリエ変換(1D−FFT(Fast Fourier Transform))を行うよう周波数解析部32に対して指示を行う。 Further, the control unit 33 performs a fast Fourier transform (1D-FFT) that performs frequency analysis in the time axis direction on a frequency component estimated to be an abnormal sound in the frequency spectrum waveform data obtained by the frequency analysis unit 32. (Fast Fourier Transform)) is instructed to the frequency analysis unit 32.
ここで、制御部33は、周波数スペクトル波形データの中から周期性を有する信号成分を抽出して、その信号成分を異音である可能性が高い信号成分であると選択するようにしても良い。また、制御部33は、得られた周波数スペクトル波形データを表示部35に表示させて、その周波数スペクトル波形を見たユーザが異音である可能性が高い周波数成分を指定することにより、その周波数成分を異音である可能性が高い信号成分であると選択するようにしても良い。 Here, the control unit 33 may extract a signal component having periodicity from the frequency spectrum waveform data and select the signal component as a signal component having a high possibility of being an abnormal sound. .. Further, the control unit 33 displays the obtained frequency spectrum waveform data on the display unit 35, and specifies a frequency component that is likely to be an abnormal sound by the user who sees the frequency spectrum waveform, thereby that frequency. The component may be selected as a signal component that is likely to be an abnormal sound.
そして、周波数解析部32では、制御部33による指示に基づいて、異音であると推定される周波数成分に対して時間軸方向に高速フーリエ変換を行う。 Then, the frequency analysis unit 32 performs a fast Fourier transform in the time axis direction on the frequency component presumed to be an abnormal sound based on the instruction by the control unit 33.
そして、制御部33は、周波数解析部32における高速フーリエ変換の解析結果により、異音の周期および周波数の情報を取得する。 Then, the control unit 33 acquires information on the period and frequency of the abnormal sound based on the analysis result of the fast Fourier transform in the frequency analysis unit 32.
また、制御部33は、取得した異音の周期および周波数の情報を、画像形成装置20の機種名、シリアル番号等の機種情報、画像形成装置20の動作状態を示す動作状態情報とともに通信部36を介してサーバ装置50に送信する。具体的には、この動作状態情報には、カラー印刷なのか白黒印刷なのか、両面印刷なのか片面印刷なのか、動作モードはスキャン、プリント、複写のいずれなのか、使用用紙の種類等の情報を含めるようにすることができる。このようにして、制御部33は、周波数解析部32により得られた周波数スペクトル波形データから得られた情報を、通信部36を介してサーバ装置50に送信する。 Further, the control unit 33 uses the acquired information on the period and frequency of the abnormal noise together with the model information such as the model name and serial number of the image forming apparatus 20 and the operating state information indicating the operating state of the image forming apparatus 20 together with the communication unit 36. Is transmitted to the server device 50 via. Specifically, this operation status information includes information such as whether it is color printing or black-and-white printing, double-sided printing or single-sided printing, whether the operation mode is scan, print, or copy, and the type of paper used. Can be included. In this way, the control unit 33 transmits the information obtained from the frequency spectrum waveform data obtained by the frequency analysis unit 32 to the server device 50 via the communication unit 36.
サーバ装置50では、画像形成装置20の装置と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られるスペクトル波形データを、元の音声データ、その音声データが取得された際の装置の動作状態、異音原因、異音への対処方法等の情報とともに格納している。 In the server device 50, the original audio data and the audio data were acquired from the spectral waveform data obtained by performing frequency analysis of the audio signal of the abnormal sound generated in the past in an apparatus equivalent to the apparatus of the image forming apparatus 20. It stores information such as the operating status of the device, the cause of abnormal noise, and how to deal with abnormal noise.
そしてサーバ装置50は、異音診断装置10から送信されてきた異音の周期および周波数の情報から、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データを検索して、見つかった周波数スペクトル波形データを異音のサンプル波形データとして格納している音声データ等の情報等とともに異音診断装置10に送信する。 Then, the server device 50 obtains frequency spectrum waveform data corresponding to the frequency spectrum waveform data obtained as a result of frequency analysis by the frequency analysis unit 32 from the information on the period and frequency of the abnormal sound transmitted from the abnormal sound diagnostic device 10. The frequency spectrum waveform data found by searching is transmitted to the abnormal sound diagnostic device 10 together with information such as voice data stored as sample waveform data of abnormal sound.
この結果、制御部33は、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データを通信部36を介してサーバ装置50から受信する。 As a result, the control unit 33 receives the frequency spectrum waveform data corresponding to the frequency spectrum waveform data obtained as a result of the frequency analysis by the frequency analysis unit 32 from the server device 50 via the communication unit 36.
制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から受信したスペクトル波形とを表示部35に並列に表示する。 The control unit 33 displays the frequency spectrum waveform obtained by performing frequency analysis of the voice signal acquired by the voice acquisition unit 31 and the spectrum waveform received from the server device 50 in parallel on the display unit 35.
そして、本実施形態における制御部33は、周波数解析部32により生成された周波数解析結果波形に基づいて、取得された音信号に異音が含まれか否かの判定を行う。そして、制御部33は、音声取得部31により取得された音信号に異音が含まれると判定した場合、その判定結果を表示部35に表示する。 Then, the control unit 33 in the present embodiment determines whether or not the acquired sound signal contains abnormal sound based on the frequency analysis result waveform generated by the frequency analysis unit 32. Then, when the control unit 33 determines that the sound signal acquired by the voice acquisition unit 31 contains an abnormal sound, the control unit 33 displays the determination result on the display unit 35.
具体的には、制御部33は、周波数解析部32により生成された周波数解析結果波形において、予め設定された周波数以上の成分が予め設定された強度以上の場合、取得された前記音情報に異音が含まれると判定する。 Specifically, in the frequency analysis result waveform generated by the frequency analysis unit 32, the control unit 33 differs from the acquired sound information when the component of the preset frequency or higher is equal to or higher than the preset intensity. It is determined that the sound is included.
また、制御部33は、周波数解析部32により生成された周波数解析結果波形において、周期的に発生している周波数成分の面積が予め設定された値以上の場合、音声取得部31により取得された音信号に異音が含まれると判定する。 Further, when the area of the frequency component periodically generated in the frequency analysis result waveform generated by the frequency analysis unit 32 is equal to or larger than a preset value, the control unit 33 is acquired by the voice acquisition unit 31. It is determined that the sound signal contains abnormal noise.
また、制御部33は、音声データ格納部34に取得した音信号を格納する際に、異音が含まれると判定された音信号のみを音声データ格納部34に格納するよう制御しても良い。 Further, the control unit 33 may control to store only the sound signal determined to contain abnormal noise in the voice data storage unit 34 when the sound signal acquired in the voice data storage unit 34 is stored. ..
さらに、制御部33は、取得された音信号から得られた異音の周波数および周期の情報を、通信部36を介してサーバ装置50に送信する際に、異音が含まれると判定された音信号の周波数解析結果波形から得られた情報のみを通信部36を介してサーバ装置50に送信するようにしても良い。 Further, when the control unit 33 transmits the frequency and period information of the abnormal sound obtained from the acquired sound signal to the server device 50 via the communication unit 36, it is determined that the abnormal sound is included. Only the information obtained from the frequency analysis result waveform of the sound signal may be transmitted to the server device 50 via the communication unit 36.
また、制御部33は、サーバ装置50から送信されてきた周波数スペクトル波形データが複数存在する場合、複数の周波数スペクトル波形データのうち、周波数解析部32の周波数解析によって得られた周波数スペクトル波形データとの類似度が高いものを優先して表示部33に表示する。 Further, when there are a plurality of frequency spectrum waveform data transmitted from the server device 50, the control unit 33 may use the frequency spectrum waveform data obtained by the frequency analysis of the frequency analysis unit 32 among the plurality of frequency spectrum waveform data. The ones having a high degree of similarity are displayed on the display unit 33 with priority.
さらに、制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から送信されてきた周波数スペクトル波形のうちのいずれか一方の波形のうちのいずれか一方の波形が拡大または縮小された場合、他方の波形を同等の大きさとなるように拡大または縮小して表示する。 Further, the control unit 33 has a waveform of either one of the frequency spectrum waveform obtained by performing frequency analysis of the voice signal acquired by the voice acquisition unit 31 and the frequency spectrum waveform transmitted from the server device 50. When one of the waveforms is enlarged or reduced, the other waveform is enlarged or reduced so as to have the same size.
次に、本実施形態の異音解析システムにおけるサーバ装置50の機能構成を図4のブロック図を参照して説明する。 Next, the functional configuration of the server device 50 in the abnormal noise analysis system of the present embodiment will be described with reference to the block diagram of FIG.
本実施形態のサーバ装置50は、図4に示されるように、通信部51と、制御部52と、波形データ格納部53とを備えている。 As shown in FIG. 4, the server device 50 of the present embodiment includes a communication unit 51, a control unit 52, and a waveform data storage unit 53.
波形データ格納部53は、解析対象の装置である画像形成装置20と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られる複数の周波数スペクトル波形データを格納する。 The waveform data storage unit 53 stores a plurality of frequency spectrum waveform data obtained by performing frequency analysis of an audio signal of an abnormal sound generated in the past in a device equivalent to the image forming device 20 which is a device to be analyzed.
具体的には、波形データ格納部53は、図5に示されるように、予め取得された異音の音声データを時間周波数解析することにより得られた周波数スペクトル波形データと、元となった音声データと、異音の原因と、その対処方法等の情報が機種毎に格納されている。 Specifically, as shown in FIG. 5, the waveform data storage unit 53 includes frequency spectrum waveform data obtained by time-frequency analysis of previously acquired abnormal sound audio data, and original audio. Information such as data, the cause of abnormal noise, and how to deal with it is stored for each model.
そして、制御部52は、異音診断装置10から異音の周期や周波数の情報を受信した場合、波形データ格納部53に格納されている複数の周波数スペクトルの波形データの中から、受信した異音周期や周波数の情報に基づいて、異音診断装置10において取得された異音に基づく周波数スペクトルの波形データに類似するものを選択して、通信部51を介して異音診断装置10に送信する。 Then, when the control unit 52 receives the information on the period and frequency of the abnormal sound from the abnormal sound diagnostic device 10, the received difference is obtained from the waveform data of the plurality of frequency spectra stored in the waveform data storage unit 53. Based on the sound cycle and frequency information, a waveform data similar to the frequency spectrum based on the abnormal sound acquired by the abnormal sound diagnostic device 10 is selected and transmitted to the abnormal sound diagnostic device 10 via the communication unit 51. To do.
なお、本実施形態では、異音診断装置10において異音の音声データのSTFT、高速フーリエ変換を行って、異音の周期および周波数の情報をサーバ装置50に送信するものとして説明しているが、高速フーリエ変換またはSTFT、高速フーリエ変換の両方をサーバ装置50側において実行するようにしても良い。 In the present embodiment, it is described that the abnormal sound diagnostic device 10 performs the STFT and the fast Fourier transform of the abnormal sound voice data and transmits the information on the period and frequency of the abnormal sound to the server device 50. , Fast Fourier Transform or STFT, and both Fast Fourier Transform may be executed on the server device 50 side.
この場合には、異音診断装置10からサーバ装置50に対して音声データをそのまま送信したり、音声データに対してSTFTを行った結果の周波数スペクトル波形データを送信し、サーバ装置50において音声データに対するSTFTや高速フーリエ変換を実行することになる。 In this case, the abnormal sound diagnostic device 10 transmits the voice data as it is to the server device 50, or the frequency spectrum waveform data as a result of performing the FTFT on the voice data is transmitted, and the voice data is transmitted in the server device 50. SFTF and Fast Fourier Transform will be performed on the data.
次に、本実施形態の異音診断システムの動作を図6のシーケンスチャートを参照して説明する。 Next, the operation of the abnormal noise diagnosis system of the present embodiment will be described with reference to the sequence chart of FIG.
異音診断装置10において異音の原因を特定するための異音診断を行おうとする場合、図7に示すような画像が表示されて機種名、シリアル番号、動作状態等の各種情報が入力される(ステップS101)。 When the abnormal noise diagnosis device 10 attempts to perform abnormal noise diagnosis to identify the cause of abnormal noise, an image as shown in FIG. 7 is displayed and various information such as a model name, serial number, and operating state is input. (Step S101).
そして、異音診断装置10では、動作モードを音声録音モードにして、マイク17を画像形成装置20の異音発生個所に近づけて異音の録音を行って音声データを取得する(ステップS102)。 Then, in the abnormal noise diagnosis device 10, the operation mode is set to the voice recording mode, the microphone 17 is brought close to the abnormal noise generation portion of the image forming device 20, and the abnormal sound is recorded to acquire the voice data (step S102).
すると、異音診断装置10では、取得された音声データが周波数解析部32においてSTFTが行われることにより周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形が生成される(ステップS103)。 Then, in the abnormal sound diagnostic apparatus 10, the acquired voice data is settled by the frequency analysis unit 32 to generate a frequency spectrum waveform representing the time change of the signal intensity distribution for each frequency (step S103).
このSTFTとは、図8に示されるように、短時間毎にフーリエ変換を行って周波数成分毎の信号強度を時間変化に応じて演算したものである。そして、このSTFTにより得られた解析結果を1つの周波数スペクトル波形の画像とした場合の波形例を図9に示す。 As shown in FIG. 8, this FTFT is obtained by performing a Fourier transform every short time and calculating the signal intensity for each frequency component according to the time change. FIG. 9 shows an example of a waveform when the analysis result obtained by this FTFT is used as an image of one frequency spectrum waveform.
図9に示した周波数スペクトル波形例では、横軸が時間、縦軸が周波数を表していて、周波数毎の強度は色によって表現されている。なお、図9では、この色の違いをハッチングパターンにより表現している。また、図9では周波数毎の強度が色によって表現される場合を例示しているが、この強度を階調により表現することも可能である。 In the frequency spectrum waveform example shown in FIG. 9, the horizontal axis represents time and the vertical axis represents frequency, and the intensity of each frequency is represented by color. In FIG. 9, this difference in color is represented by a hatching pattern. Further, although FIG. 9 illustrates a case where the intensity for each frequency is expressed by color, it is also possible to express this intensity by gradation.
この図9の周波数スペクトル波形例では、異音の周波数成分61が特定の周波数に周期的に発生しているのが表示されているのが分かる。なお、この図9に示した周波数スペクトル波形例において、低い周波数成分は通常の動作音であり異音の周波数成分ではない。 In the frequency spectrum waveform example of FIG. 9, it can be seen that the frequency component 61 of the abnormal sound is periodically generated at a specific frequency. In the frequency spectrum waveform example shown in FIG. 9, the low frequency component is a normal operating sound and is not a frequency component of an abnormal sound.
この図9に示したような周波数スペクトル波形が得られると、制御部33は、得られた周波数スペクトル波形に異音の周波数成分が含まれるか否かを判定する(ステップS104)。 When the frequency spectrum waveform as shown in FIG. 9 is obtained, the control unit 33 determines whether or not the obtained frequency spectrum waveform contains an abnormal frequency component (step S104).
具体的には、制御部33は、図9に示した周波数スペクトル波形において周期的に発生している異音の周波数成分61を検出して、この異音の周波数成分61の合計面積が、予め設定された値以上の場合、この周波数スペクトル波形には異音の周波数成分が含まれていると判定する。 Specifically, the control unit 33 detects the frequency component 61 of the abnormal sound that is periodically generated in the frequency spectrum waveform shown in FIG. 9, and the total area of the frequency component 61 of the abnormal sound is set in advance. If it is equal to or more than the set value, it is determined that the frequency spectrum waveform contains an abnormal frequency component.
そして、異音有無の判定が終了すると、制御部33は、得られた周波数スペクトル波形とともに異音有無の判定結果を表示部35に表示する。 Then, when the determination of the presence or absence of abnormal noise is completed, the control unit 33 displays the determination result of the presence or absence of abnormal noise on the display unit 35 together with the obtained frequency spectrum waveform.
例えば、得られた周波数スペクトル波形に異音の周波数成分が含まれている場合の表示画面例を図10に示す。図10に示した表示画面例では、「この音信号には、異音が含まれているようです。」という判定結果とともに周波数スペクトル波形が表示されている。 For example, FIG. 10 shows an example of a display screen when the obtained frequency spectrum waveform contains an abnormal frequency component. In the display screen example shown in FIG. 10, the frequency spectrum waveform is displayed together with the determination result that "this sound signal seems to contain an abnormal sound."
そして、図10に示されるように、表示した周波数スペクトル波形に異音成分が含まれていると判定されたため、制御部33は、「異音であると思われる領域を指定して下さい。」という文字を画面に表示することにより、ユーザに異音の周波数成分を指定するよう促す。 Then, as shown in FIG. 10, since it was determined that the displayed frequency spectrum waveform contained an abnormal noise component, the control unit 33 "designate a region that seems to be an abnormal noise." Is displayed on the screen to encourage the user to specify the frequency component of abnormal noise.
すると、図11に示すように、この周波数スペクトル波形を提示されたユーザが、異音の周波数成分61を特定して、例えばタッチパネルを操作することによりこの異音の周波数成分61が含まれる領域を選択する。 Then, as shown in FIG. 11, the user presented with the frequency spectrum waveform identifies the frequency component 61 of the abnormal sound, and for example, by operating the touch panel, the region including the frequency component 61 of the abnormal sound is determined. select.
図11に示した例では、ユーザが指70により異音の周波数成分61が表示された場所をなぞることにより、複数の異音の周波数成分61を含むような長方形の領域が選択領域80として指定されているのが分かる。なお、図11に示した表示画面例では、選択領域80の周波数成分の周波数および周期の情報をサーバ装置50に送信して、類似する周波数スペクトル波形の検索を実行するための検索実行ボタン91と、異音の周波数や周期をサーバ装置50に送信することなく処理を終了するためのキャンセルボタン92が表示されている。 In the example shown in FIG. 11, by tracing the place where the frequency component 61 of the abnormal sound is displayed by the user with the finger 70, a rectangular area including a plurality of frequency components 61 of the abnormal sound is designated as the selection area 80. You can see that it is done. In the display screen example shown in FIG. 11, the search execution button 91 for transmitting the frequency and period information of the frequency component of the selection area 80 to the server device 50 and executing the search for a similar frequency spectrum waveform is provided. , A cancel button 92 for ending the process without transmitting the frequency and period of the abnormal sound to the server device 50 is displayed.
なお、得られた周波数スペクトル波形に連続音である異音の周波数成分が含まれている場合の表示画面例を図12に示す。この図12においても制御部33は、「この音信号には、異音が含まれているようです。」という文字を画面に表示することにより、ユーザに対して取得された音信号に異音が含まれているという判定結果を示しているのが分かる。 FIG. 12 shows an example of a display screen when the obtained frequency spectrum waveform contains a frequency component of an abnormal sound which is a continuous sound. Also in FIG. 12, the control unit 33 displays the characters "This sound signal seems to contain an abnormal sound" on the screen, so that the sound signal acquired by the user has an abnormal sound. It can be seen that it shows the judgment result that is included.
なお、異音が連続音の場合には、制御部33は、図12に示したような、音信号の時間周波数解析を行って得られた、音信号の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形ではなく、周波数毎の信号強度分布を示す一般的な周波数解析結果において、予め設定された周波数以上の周波数成分が予め設定された信号強度レベル以上であるか否かにより、異音が含まれるか否かを判定することが可能である。 When the abnormal sound is a continuous sound, the control unit 33 performs a time-frequency analysis of the sound signal as shown in FIG. 12, and the time change of the signal intensity distribution for each frequency of the sound signal. In a general frequency analysis result showing a signal intensity distribution for each frequency instead of a frequency spectrum waveform representing, depending on whether or not a frequency component having a preset frequency or higher is equal to or higher than a preset signal intensity level. It is possible to determine whether or not an abnormal sound is included.
また、異音が含まれない場合の表示画面例を図13に示す。この図13では、異音の有無の判定結果において異音が含まれていないと判定された場合であるため、「この音信号には異音が含まれていないようです。」という文字が画面に表示され、異音の周波数や周期をサーバ装置50に送信することなく処理を終了するためのキャンセルボタン92が表示されている。 Further, FIG. 13 shows an example of a display screen when an abnormal noise is not included. In FIG. 13, since it is determined that no abnormal noise is included in the determination result of the presence or absence of abnormal noise, the characters "This sound signal does not seem to contain abnormal noise" are displayed on the screen. Is displayed, and a cancel button 92 for ending the process without transmitting the frequency and period of the abnormal noise to the server device 50 is displayed.
そして、図11に示したように選択領域80が指定され、検索実行ボタン91が操作されると、選択領域80に含まれる周波数成分に対する高速フーリエ変換(1D−FFT)が周波数解析部32により実行される(ステップS105)。このようにして実行された高速フーリエ変換の解析結果例を図14に示す。 Then, as shown in FIG. 11, when the selection area 80 is designated and the search execution button 91 is operated, the fast Fourier transform (1D-FFT) for the frequency component included in the selection area 80 is executed by the frequency analysis unit 32. (Step S105). An example of the analysis result of the fast Fourier transform executed in this way is shown in FIG.
なお、この図14では、高速フーリエ変換を行った周波数成分の信号の周期および周波数が検出されることにより異音の周期および周波数が特定されることになる。なお、異音には倍音成分等が含まれるため、複数の周期が検出される場合があるが最も信号強度が強い周期が異音周期として検出される。 In FIG. 14, the period and frequency of the abnormal sound are specified by detecting the period and frequency of the signal of the frequency component subjected to the fast Fourier transform. Since the abnormal sound contains harmonic components and the like, a plurality of cycles may be detected, but the cycle having the strongest signal strength is detected as the abnormal sound cycle.
また、所定の周期以上の長周期の信号成分は通常動作音や不定周期雑音であると考えられるため、このような長周期の信号成分の領域は判定除外領域62として、この判定除外領域62における解析結果は無視される。 Further, since a signal component having a long period of a predetermined period or longer is considered to be a normal operation sound or an indefinite period noise, such a long period signal component area is set as a judgment exclusion area 62 in the judgment exclusion area 62. The analysis result is ignored.
さらに、所定の周波数以下の低周波の信号成分についても通常動作音と区別が付かないため、このような低周波の信号成分の領域は判定除外領域63として、この判定除外領域63における解析結果は無視される。 Further, since the low frequency signal component below the predetermined frequency is also indistinguishable from the normal operating sound, the region of such a low frequency signal component is set as the judgment exclusion region 63, and the analysis result in this judgment exclusion region 63 is It will be ignored.
異音診断装置10では、この高速フーリエ変換の解析結果により、異音の周波数および周期の情報を機種情報や動作状態の情報とともにサーバ装置50に送信する(ステップS106)。例えば、異音周波数は4kHz、異音周期は2.0秒というような情報がサーバ装置50に送信される。 Based on the analysis result of the fast Fourier transform, the abnormal sound diagnostic device 10 transmits the information on the frequency and period of the abnormal sound to the server device 50 together with the model information and the information on the operating state (step S106). For example, information such that the abnormal sound frequency is 4 kHz and the abnormal sound period is 2.0 seconds is transmitted to the server device 50.
すると、サーバ装置50では、受信した情報に基づいて、波形データ格納部53を検索することにより、受信した情報に対応する周波数スペクトル波形のデータを抽出する(ステップS107)。 Then, the server device 50 extracts the frequency spectrum waveform data corresponding to the received information by searching the waveform data storage unit 53 based on the received information (step S107).
そして、サーバ装置50は、抽出した周波数スペクトル波形データを、元の音声データ、異音原因、その対処方法等の情報とともに異音診断装置10に送信する(ステップS108)。 Then, the server device 50 transmits the extracted frequency spectrum waveform data to the abnormal noise diagnostic device 10 together with information such as the original voice data, the cause of the abnormal noise, and the coping method thereof (step S108).
すると、異音診断装置10では、サーバ装置50から送信されてきた周波数スペクトル波形データを受信する(ステップS109)。そして、異音診断装置10の制御部33は、受信した周波数スペクトル波形と、STFTで得られた周波数スペクトル波形を表示部35に表示させる(ステップS110)。 Then, the abnormal noise diagnostic device 10 receives the frequency spectrum waveform data transmitted from the server device 50 (step S109). Then, the control unit 33 of the abnormal noise diagnosis device 10 displays the received frequency spectrum waveform and the frequency spectrum waveform obtained by the FTFT on the display unit 35 (step S110).
このようにして2つの周波数スペクトル波形が表示された異音診断装置10の画面例を図15に示す。 FIG. 15 shows a screen example of the abnormal sound diagnostic apparatus 10 in which the two frequency spectrum waveforms are displayed in this way.
図15に示した画面例では、周波数解析部32におけるSTFTにより得られた周波数スペクトル波形が、「今回録音した異音の解析結果波形」として表示され、サーバ装置50から送信されてきた周波数スペクトル波形が、「過去の異音データ」として「感光体ドラムの摩耗」という異音原因とともに表示されているのが分かる。 In the screen example shown in FIG. 15, the frequency spectrum waveform obtained by the STFT in the frequency analysis unit 32 is displayed as the "analysis result waveform of the abnormal sound recorded this time", and the frequency spectrum waveform transmitted from the server device 50. However, it can be seen that it is displayed as "past abnormal noise data" together with the abnormal noise cause of "wearing of the photoconductor drum".
異音診断を行おうとするサービスマンは、この2つの周波数スペクトル波形を比較して、波形中の異音成分が類似しているか否かを判定することにより異音の原因を特定する。 A serviceman who intends to perform abnormal noise diagnosis identifies the cause of abnormal noise by comparing these two frequency spectrum waveforms and determining whether or not the abnormal noise components in the waveforms are similar.
また、サーバ装置50から複数の周波数スペクトル波形が送信されてきた場合には、例えば、「過去の異音データ」として表示されている周波数スペクトル波形の画像をタッチ操作により横方向になぞることにより、図16のように別の周波数スペクトル波形が表示される。 When a plurality of frequency spectrum waveforms are transmitted from the server device 50, for example, by tracing the image of the frequency spectrum waveform displayed as "past abnormal sound data" in the horizontal direction by a touch operation. Another frequency spectrum waveform is displayed as shown in FIG.
図16は、異音原因が「駆動系モータの不良」である場合の異音の周波数スペクトル波形が表示された場合の画像例を示している。 FIG. 16 shows an example of an image when the frequency spectrum waveform of the abnormal noise is displayed when the cause of the abnormal noise is “defective drive system motor”.
このように複数の周波数スペクトル波形が送信されてきた場合には、サービスマンは、今回取得した異音の周波数スペクトル波形が、いずれの周波数スペクトル波形とより類似しているかを判定することにより異音の原因を特定する。なお、この異音の原因の特定の際には、単に周波数スペクトル波形の形状や異音成分の周期や周波数等を比較するだけでなく、元の音声データを音声再生部37により再生して今回取得した異音とサーバ装置50から送信されてきた周波数スペクトル波形に対応した音声とを聴き比べて異音の原因を特定する。 When a plurality of frequency spectrum waveforms are transmitted in this way, the serviceman determines which frequency spectrum waveform the frequency spectrum waveform of the abnormal sound acquired this time is more similar to the abnormal sound. Identify the cause of. When identifying the cause of this abnormal noise, not only the shape of the frequency spectrum waveform and the period and frequency of the abnormal noise component are compared, but also the original audio data is reproduced by the audio reproduction unit 37 this time. The cause of the abnormal noise is identified by listening to and comparing the acquired abnormal noise with the voice corresponding to the frequency spectrum waveform transmitted from the server device 50.
上記実施形態では、周波数解析部32は、音声取得部31により取得された音声信号に対してSTFT(Short time Fourier transform:短時間フーリエ変換)を行うことにより周波数スペクトル波形データを生成するものとして説明した。しかし、周波数解析部32における周波数解析処理はSTFTに限定されるものではなく、ウェーブレット変換(WT:Wavelet Transformation)、STFT+FFT(Fast Fourier Transform)、WT+FFT等の他の周波数変換処理を用いても同様に実行可能である。 In the above embodiment, the frequency analysis unit 32 is described as generating frequency spectrum waveform data by performing an STFT (Short time Fourier transform) on the voice signal acquired by the voice acquisition unit 31. did. However, the frequency analysis process in the frequency analysis unit 32 is not limited to the STFT, and the same applies even if other frequency conversion processes such as Wavelet Transform (WT), STFT + FFT (Fast Fourier Transform), and WT + FFT are used. It is feasible.
また、異音診断装置10のマイク17を利用して画像形成装置20の音を集音する際に、取得する音信号のデータ量低減のため、診断対象である画像形成装置20が印刷、スキャン等の動作中のみ録音が行われるようにしても良い。例えば、異音診断装置10が画像形成装置20と無線により接続され、画像形成装置20からの動作中信号を受信すると録音を開始するような構成とすることができる。 Further, when the sound of the image forming apparatus 20 is collected by using the microphone 17 of the abnormal sound diagnostic apparatus 10, the image forming apparatus 20 to be diagnosed prints and scans in order to reduce the amount of data of the acquired sound signal. Recording may be performed only during the operation such as. For example, the abnormal noise diagnostic device 10 may be wirelessly connected to the image forming device 20 and recording may be started when an operating signal from the image forming device 20 is received.
さらに、異音診断装置10により録音した音信号に人の声の情報が含まれていなか否かを確認するために、取得した音信号を再生することができるようになっている。そして、録音した音信号に人の声が含まれていると、誤診断を招くとともに情報漏洩が発生する可能性も否定できない。しかし、人の声は装置の動作音等を比較すると小さいため、人の声が含まれているか否かを判定し難い場合がある。そのため、録音した音信号を再生して人の声が含まれていないことを確認する際に、周波数調整を行って人の声が明確となるようにしても良い。例えば、人間の声は、おおよそ500〜1、000Hz付近であるため、例えば、2、000Hz以上の周波数成分を低減する、2、000Hz未満の周波数成分を強調する等の周波数調整を行うようにすれば良い。 Further, the acquired sound signal can be reproduced in order to confirm whether or not the sound signal recorded by the abnormal sound diagnostic device 10 includes human voice information. If the recorded sound signal contains a human voice, it cannot be denied that a false diagnosis may occur and information leakage may occur. However, since the human voice is small when comparing the operating sounds of the devices, it may be difficult to determine whether or not the human voice is included. Therefore, when the recorded sound signal is reproduced and it is confirmed that the human voice is not included, the frequency may be adjusted so that the human voice becomes clear. For example, since the human voice is around 500 to 1,000 Hz, for example, frequency adjustment such as reducing the frequency component of 2,000 Hz or more and emphasizing the frequency component of less than 2,000 Hz should be performed. Just do it.
[変形例]
上記実施形態では、異音診断装置10がタブレット端末装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、他の装置を異音診断装置とするような場合でも本発明を適用することができるものである。例えば、画像形成装置20の操作パネルが本体から脱着可能な構成であって、サーバ装置50と通信可能であり音声信号の取得機能を内蔵しているような構成の場合、この操作パネルを異音診断装置とするようにしても良い。
[Modification example]
In the above embodiment, the case where the abnormal noise diagnostic device 10 is a tablet terminal device has been described, but the present invention is not limited to this, and even when another device is used as the abnormal noise diagnostic device. The present invention can be applied. For example, when the operation panel of the image forming apparatus 20 is detachable from the main body and can communicate with the server apparatus 50 and has a built-in audio signal acquisition function, the operation panel makes an abnormal noise. It may be used as a diagnostic device.
また、上記実施形態では、異音診断装置10がマイク17を内蔵している場合を用いて説明しているが、異音診断装置10に音声録音機能が備えられていれば、マイク等の集音装置を外部に接続することにより音声信号の取得手段を実現するようにしても良い。 Further, in the above embodiment, the case where the abnormal sound diagnostic device 10 has a built-in microphone 17 is described. However, if the abnormal sound diagnostic device 10 is provided with a voice recording function, a collection of microphones and the like is used. A voice signal acquisition means may be realized by connecting a sound device to the outside.
さらに、上記実施形態では、異音解析の対象装置が画像形成装置である場合を用いて説明しているが、異音解析の対象となる装置は画像形成装置に限定されるものではなく、周期性を持った異音を発生させる可能性がある装置であれば他の装置である場合でも本発明は同様に適用可能である。 Further, in the above embodiment, the case where the target device for the abnormal sound analysis is an image forming device is described, but the device to be the target of the abnormal sound analysis is not limited to the image forming device and is not limited to the image forming device. The present invention can be similarly applied to other devices as long as they are devices that may generate abnormal noises.
10 異音診断装置
11 CPU
12 メモリ
13 記憶装置
14 無線LANインタフェース(IF)
15 入力装置
16 表示装置
17 マイク
18 制御バス
20 画像形成装置
30 無線LANターミナル
31 音声取得部
32 周波数解析部
33 制御部
34 音声データ格納部
35 表示部
36 通信部
37 音声再生部
40 インターネット通信網
50 サーバ装置
51 通信部
52 制御部
53 波形データ格納部
61 異音の周波数成分
62、63 判定除外領域
70 指
80 選択領域
91 検索実行ボタン
92 キャンセルボタン
10 Abnormal noise diagnostic device 11 CPU
12 Memory 13 Storage device 14 Wireless LAN interface (IF)
15 Input device 16 Display device 17 Microphone 18 Control bus 20 Image forming device 30 Wireless LAN terminal 31 Sound acquisition unit 32 Frequency analysis unit 33 Control unit 34 Voice data storage unit 35 Display unit 36 Communication unit 37 Sound playback unit 40 Internet communication network 50 Server device 51 Communication unit 52 Control unit 53 Waveform data storage unit 61 Abnormal noise frequency components 62, 63 Judgment exclusion area 70 Finger 80 Selection area 91 Search execution button 92 Cancel button
Claims (5)
前記音情報の周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果波形を生成する解析手段と、
前記解析手段により生成された周波数解析結果波形において、周期的に発生している周波数成分の合計面積が予め設定された値以上の場合、取得された前記音情報に異音が含まれると判定する判定手段と、
前記判定手段において取得された前記音情報に異音が含まれると判定された場合、当該判定結果を表示する表示手段と、
を備えた診断装置。 An acquisition method for inputting the generated sound and acquiring sound information,
An analysis means that performs frequency analysis of the sound information and generates a frequency analysis result waveform that represents a time change of the intensity distribution for each frequency.
In the frequency analysis result waveform generated by the analysis means, when the total area of the frequency components generated periodically is equal to or more than a preset value, it is determined that the acquired sound information includes abnormal sound. Judgment means and
When it is determined that the sound information acquired by the determination means contains an abnormal sound, the display means for displaying the determination result and the display means.
Diagnostic device equipped with.
異音が含まれると前記判定手段において判定された音情報を前記格納手段に格納するよう制御する制御手段とをさらに備えた請求項1記載の診断装置。 A storage means for storing the sound information acquired by the acquisition means, and
Diagnostic apparatus according to claim 1, wherein the abnormal noise sound information determined in the determination means to be further provided with a control means for controlling so as to be stored in the storage means included.
前記解析手段により得られた周波数解析結果波形から得られた情報を前記通信手段を介して外部装置に送信する送信手段と、
前記周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記送信手段は、異音が含まれると前記判定手段において判定された音情報の周波数解析結果波形から得られた情報を前記通信手段を介して外部装置に送信する請求項1又は2記載の診断装置。 Communication means for communicating with external devices and
A transmission means for transmitting information obtained from the frequency analysis result waveform obtained by the analysis means to an external device via the communication means, and a transmission means.
Further provided with a receiving means for receiving the frequency analysis result waveform corresponding to the frequency analysis result waveform from the external device via the communication means.
The diagnosis according to claim 1 or 2 , wherein the transmitting means transmits information obtained from a frequency analysis result waveform of sound information determined by the determining means to include abnormal sounds to an external device via the communication means. apparatus.
異常音の音情報の周波数解析を行って得た複数の周波数解析結果波形を格納する格納手段と、前記診断装置から取得された音情報の周波数解析結果波形から得られた情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果波形の中から、受信した周波数解析結果波形に類似する周波数解析結果波形を選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置と、
を備えた診断システム。 By the acquisition means for inputting the generated sound and acquiring the sound information, the analysis means for performing frequency analysis of the sound information and generating the frequency analysis result waveform representing the time change of the intensity distribution for each frequency, and the analysis means. In the generated frequency analysis result waveform, when the total area of the frequency components generated periodically is equal to or larger than a preset value, a determination means for determining that the acquired sound information includes abnormal sound, and When it is determined that the sound information acquired by the determination means contains an abnormal sound, it is obtained by the display means for displaying the determination result, the communication means for communicating with the external device, and the analysis means. The first transmission means for transmitting the information obtained from the obtained frequency analysis result waveform to the external device via the communication means, and the frequency analysis result waveform corresponding to the frequency analysis result waveform are externally transmitted via the communication means. A diagnostic device equipped with a receiving means for receiving from the device,
When the storage means for storing a plurality of frequency analysis result waveforms obtained by performing frequency analysis of the sound information of abnormal sound and the information obtained from the frequency analysis result waveforms of the sound information acquired from the diagnostic device are received. A second transmission means for selecting a frequency analysis result waveform similar to the received frequency analysis result waveform from the plurality of frequency analysis result waveforms stored in the storage means and transmitting the frequency analysis result waveform to the diagnostic apparatus is provided. Server device and
Diagnostic system with.
前記音情報の周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果波形を生成する生成ステップと、
前記生成ステップにおいて生成された周波数解析結果波形において、周期的に発生している周波数成分の合計面積が予め設定された値以上の場合、取得された前記音情報に異音が含まれると判定する判定ステップと、
前記判定ステップにおいて取得された前記音情報に異音が含まれると判定された場合、当該判定結果を表示する表示ステップとをコンピュータに実行させるためのプログラム。 The acquisition step of inputting the generated sound and acquiring the sound information,
A generation step of performing frequency analysis of the sound information and generating a frequency analysis result waveform showing a time change of the intensity distribution for each frequency.
In the frequency analysis result waveform generated in the generation step, when the total area of the frequency components generated periodically is equal to or more than a preset value, it is determined that the acquired sound information includes abnormal sound. Judgment step and
A program for causing a computer to execute a display step for displaying the determination result when it is determined that the sound information acquired in the determination step contains an abnormal sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184069A JP6840971B2 (en) | 2016-09-21 | 2016-09-21 | Diagnostic equipment, diagnostic systems and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184069A JP6840971B2 (en) | 2016-09-21 | 2016-09-21 | Diagnostic equipment, diagnostic systems and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018048887A JP2018048887A (en) | 2018-03-29 |
JP6840971B2 true JP6840971B2 (en) | 2021-03-10 |
Family
ID=61767554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016184069A Active JP6840971B2 (en) | 2016-09-21 | 2016-09-21 | Diagnostic equipment, diagnostic systems and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6840971B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020071436A (en) * | 2018-11-02 | 2020-05-07 | 東芝テック株式会社 | Source identification device and image forming device |
JP7277199B2 (en) * | 2019-03-26 | 2023-05-18 | キヤノン株式会社 | IMAGE FORMING APPARATUS, IMAGE FORMING METHOD AND IMAGE FORMING SYSTEM |
CN111543947B (en) * | 2020-05-11 | 2023-03-14 | 中北大学 | Traditional Chinese medicine sound diagnosis method and system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4262878B2 (en) * | 2000-09-28 | 2009-05-13 | 石川島運搬機械株式会社 | Rotating machine abnormal sound diagnosis processing method |
JP3951092B2 (en) * | 2000-11-06 | 2007-08-01 | 日本精工株式会社 | Abnormality diagnosis system and abnormality diagnosis method |
JP2006322947A (en) * | 2000-12-06 | 2006-11-30 | Nsk Ltd | Vibration peak value extraction method, and peak value extractor for machinery facility |
JP2009025096A (en) * | 2007-07-18 | 2009-02-05 | Denso Corp | Product inspection device based on operation data by operation of inspection object product, and inspection method of inspection object product |
JP5207074B2 (en) * | 2009-06-05 | 2013-06-12 | 清水建設株式会社 | Wind turbine blade abnormality determination method, abnormality determination device, and abnormality determination program |
JP6242772B2 (en) * | 2014-09-12 | 2017-12-06 | 株式会社神戸製鋼所 | Rotating machine abnormality detecting device, rotating machine abnormality detecting method, and rotating machine |
JP5954604B1 (en) * | 2015-12-14 | 2016-07-20 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system and program |
-
2016
- 2016-09-21 JP JP2016184069A patent/JP6840971B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018048887A (en) | 2018-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10911607B2 (en) | Diagnosing an image forming apparatus based on sound signal analysis | |
CN106961514B (en) | Terminal device and information output method | |
JP5954604B1 (en) | Diagnostic device, diagnostic system and program | |
US9992355B2 (en) | Diagnostic apparatus, diagnostic system, and non-transitory computer readable medium | |
JP5954605B1 (en) | Diagnostic device, diagnostic system and program | |
US10352820B2 (en) | Diagnostic device, diagnostic system, diagnostic method, and non-transitory computer-readable medium | |
CN108292509B (en) | Terminal device, diagnostic system, diagnostic method, and program | |
JP6840971B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
WO2017110108A1 (en) | Diagnosis device, diagnosis system, diagnosis method, and program | |
CN106915166B (en) | Diagnostic device, diagnostic system, and diagnostic method | |
WO2017094270A1 (en) | Diagnosis device, diagnosis system, diagnosis method and program | |
JP6016149B1 (en) | Terminal device, diagnostic system, and program | |
JP6822036B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
JP6868176B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
JP6834223B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
JP6763255B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
WO2017104147A1 (en) | Diagnostic device, diagnostic system, diagnostic method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200902 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6840971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |