JP2018048886A - 診断装置、診断システムおよびプログラム - Google Patents

Abstract

【課題】経験の乏しい利用者であっても、表示された周波数解析結果波形の中から、異音であると思われる周波数および周期を容易に選択することを可能とする。【解決手段】周波数解析部３２は、音声取得部３１により取得された音声信号に対してＳＴＦＴを行った後に、高速フーリエ変換を行って音信号に含まれる音の周期および周波数の情報を示す１Ｄ−ＦＦＴ解析結果波形を生成する。ユーザが、表示部３５に表示された周波数解析結果波形上で、異音であると思われる周波数成分の領域を指定すると、制御部３３は、表示された周波数解析結果波形上において異音の周波数成分を含む領域の指定を受付ける。制御部３３は、受付けた指定領域に含まれる周波数成分の周期および周波数の情報を抽出する。【選択図】図３

Description

本発明は、診断装置、診断システムおよびプログラムに関する。

特許文献１には、画像形成装置の正常時の動作音を記憶しているＲＡＭまたはＲＯＭと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、ＲＡＭまたはＲＯＭに記憶されている第１の音情報と、マイクロフォンにより検知された第２の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の異常箇所を特定するようなシステムが開示されている。

特許文献２には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。

特開２００７−０７９２６３号公報 特開２００８−２９０２８８号公報

ある装置において異音（異常音）が発生した場合、解析対象の装置において発生した音声を入力して音声信号を取得し、取得した音声信号と、解析対象の装置と同等の装置において過去に発生した異音の音声信号とを比較して、その異音の原因を解明しようとする場合がある。

このような場合に、取得した音情報の時間周波数解析を行うことにより、周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形を得て、この周波数スペクトル波形における異音が含まれる領域を再度周波数解析することにより周波数スペクトル波形に含まれる異音の周期および周波数の情報を得る。そして、得られた異音の周期および周波数の情報に基づいて、過去の発生した異音の周波数スペクトル波形の中から今回取得した音情報の周波数スペクトル波形とを比較することにより異音の原因の解明を行っている。

しかし、異音が周期音の場合が多いため、経験の乏しいユーザにとっては、周波数スペクトル波形におけるどの領域に異音が含まれるかを判別することが難しい。

本発明の目的は、経験の乏しい利用者であっても、表示された周波数解析結果波形の中から、異音であると思われる周波数および周期を容易に選択することが可能な診断装置、診断システムおよびプログラムを提供することである。

［診断装置］
請求項１に係る本発明は、発生した音を入力して音情報を取得する取得手段と、
前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析手段と、
前記周波数解析結果波形を表示する表示手段と、
表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付手段と、
前記受付手段により受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出手段とを備えた診断装置である。

請求項２に係る本発明は、前記表示手段が、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを並べて表示する請求項１記載の診断装置である。

請求項３に係る本発明は、前記表示手段が、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置である。

請求項４に係る本発明は、前記表示手段が、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、予め設定された間隔で一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置である。

請求項５に係る本発明は、前記表示手段が、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、使用者の操作に基づいて一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置である。

請求項６に係る本発明は、前記表示手段が、前記取得された音情報の周波数解析を行って得た周波数解析結果波形と周期および周波数が類似する周波数解析結果波形を優先的に表示する請求項２又は３記載の診断装置である。

請求項７に係る本発明は、前記表示手段が、前記取得された音情報の周波数解析を行って得た周波数解析結果波形と周期および周波数が類似する周波数解析結果波形を、他の周波数解析結果波形とは色を変えて表示する請求項２又は３記載の診断装置である。

請求項８に係る本発明は、前記表示手段が、前記受付手段により複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を順次切り替えて表示する請求項１記載の診断装置である。

請求項９に係る本発明は、前記表示手段が、前記受付手段により複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を重ねた状態で表示する請求項１記載の診断装置である。

請求項１０に係る本発明は、前記表示手段が、前記受付手段により複数の領域の指定が順次受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を順次重ねた状態で表示する請求項１記載の診断装置である。

請求項１１に係る本発明は、前記表示手段が、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を、それぞれ異なる表示方法により重ねて表示する請求項１０記載の診断装置である。

請求項１２に係る本発明は、外部装置との間で通信を行う通信手段と、
前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記解析手段により生成された周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記解析手段により生成された周波数解析結果波形と、前記受信手段により受信された周波数解析結果波形とを表示する請求項１から１１のいずれか１項記載の診断装置である。

請求項１３に係る本発明は、前記表示手段が、利用者の操作に基づいて、取得された音情報の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形と、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数スペクトル波形とを並べて表示する請求項１から１２のいずれか記載の診断装置である。

[診断システム]
請求項１４に係る本発明は、発生した音を入力して音情報を取得する取得手段と、前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析手段と、前記周波数解析結果波形を表示する表示手段と、表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付手段と、前記受付手段により受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出手段と、外部装置との間で通信を行う通信手段と、前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する第１の送信手段と、前記解析手段により生成された周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異音の音情報の周波数解析を行って得た複数の周波数解析結果波形を格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果波形の中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第２の送信手段とを備えたサーバ装置とを備えた診断システムである。

[プログラム]
請求項１５に係る本発明は、発生した音を入力して音情報を取得する取得ステップと、
前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析ステップと、
前記周波数解析結果波形を表示する表示ステップと、
表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付ステップと、
前記受付ステップにおいて受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラムである。

請求項１、２に係る本発明によれば、周波数スペクトル波形において異音であると思われる領域を指定する場合と比較して、経験の乏しい利用者であっても、表示された周波数解析結果波形の中から、異音であると思われる周波数および周期を容易に選択することが可能な診断装置を提供することができる。

請求項３〜５に係る本発明によれば、２つの周波数解析結果波形を比較する場合に、それぞれの波形を別々に並べて表示する場合と比較して、解析結果の比較を容易にすることが可能な診断装置を提供することができる。

請求項６、７に係る本発明によれば、利用者は、取得された音情報の周波数解析を行って得た周波数解析結果波形と周期および周波数が類似する周波数解析結果波形を、取得された音情報の周波数解析を行って得た周波数解析結果波形と優先して比較することが可能な診断装置を提供することができる。

請求項８〜１０に係る本発明によれば、異音であると思われる領域が複数ある場合でも、各領域に含まれる周波数成分の周波数および周期の情報に対応した周波数解析結果波形と、取得された音情報の周波数解析を行って得た周波数解析結果波形とを比較することが可能な診断装置を提供することができる。

請求項１１に係る本発明によれば、各領域に含まれる周波数成分の周波数および周期の情報に対応した複数の周波数解析結果波形を、どの領域に対応した解析結果波形であるかが分かるように表示することが可能な診断装置を提供することができる。

請求項１２に係る本発明によれば、取得した音情報に対応する過去の周波数解析結果波形を外部装置から取得して、取得した音情報の周波数解析結果波形と表示することが可能な診断装置を提供することができる。

請求項１３に係る本発明によれば、周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形により、取得した音情報と過去の音情報とを比較することが可能な診断装置を提供することができる。

請求項１４に係る本発明によれば、周波数スペクトル波形において異音であると思われる領域を指定する場合と比較して、経験の乏しい利用者であっても、表示された周波数解析結果波形の中から、異音であると思われる周波数および周期を容易に選択することが可能な診断システムを提供することができる。

請求項１５に係る本発明によれば、周波数スペクトル波形において異音であると思われる領域を指定する場合と比較して、経験の乏しい利用者であっても、表示された周波数解析結果波形の中から、異音であると思われる周波数および周期を容易に選択することが可能なプログラムを提供することができる。

本発明の一実施形態の異音診断システムの構成を示すシステム図である。 本発明の一実施形態における異音診断装置１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における異音診断装置１０の機能構成を示すブロック図である。 本発明の一実施形態におけるサーバ装置５０の機能構成を示すブロック図である。 図４中の波形データ格納部５３に格納される情報の一例を示す図である。 本発明の一実施形態の異音診断システムの動作を説明するためのシーケンスチャートである。 機種名、シリアル番号、動作状態等の各種情報を入力する際の異音診断装置１０の表示画面例を示す図である。 ＳＴＦＴの概念を説明するための図である。 ＳＴＦＴにより得られた解析結果に基づく周波数スペクトラム波形の画像例を示す図である。 高速フーリエ変換の解析結果例を示す図である。 １Ｄ−ＦＦＴ解析結果波形が表示された異音診断装置１０の表示画面例を示す図である。 ２つの１Ｄ−ＦＦＴ解析結果波形が表示された異音診断装置１０の画面例を示す図である。 ２つのＳＴＦＴ解析結果波形が表示された異音診断装置１０の画面例を示す図である。 今回録音した異音の解析結果波形上に、過去の異音データの解析結果波形を透過させた状態で重ねて表示するようにした場合の表示画面例を示す図である。 １Ｄ−ＦＦＴ解析結果波形上において、２つの選択領域（選択領域（１）、選択領域（２））が選択された場合の表示画面例を示す図である。 領域（１）に対応する１Ｄ−ＦＦＴ解析結果波形が表示された場合の表示画面例を示す図である。 領域（２）に対応する１Ｄ−ＦＦＴ解析結果波形が表示された場合の表示画面例を示す図である。 今回録音した異音の１Ｄ−ＦＦＴ解析結果波形上において選択領域（１）が選択され、この選択領域（１）に対応した過去の異音の解析結果波形が表示された場合の表示画面例を示す図である。 図１８に示された表示画面の上において、次の選択領域（２）が選択された場合の表示画面例を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の異音診断システムの構成を示すシステム図である。

本発明の一実施形態の異音診断システムは、図１に示されるように、パーソナルコンピュータ、スマートフォン、タブレット端末装置等の携帯可能な異音診断装置１０と、サーバ装置５０とから構成されている。

なお、異音診断装置１０は、通信ネットワークを介してサーバ装置５０に接続可能な装置であればどのような装置であっても本発明は適用可能である。ただし、本実施形態では、異音診断装置１０が、音声信号を取得可能なマイク等の装置および、タッチ入力が可能なタッチパネルを備えたタブレット端末装置の場合を用いて説明する。

異音診断装置１０は、エンドユーザが使用しているプリンタ等の画像形成装置２０の保守管理、修理等を行うサービスマン（保守要員）により携帯され、画像形成装置２０において発生した異音（異常音）信号を取得して、取得した異音信号を周波数解析したり、サーバ装置５０から取得した過去の異音信号の周波数解析結果の波形と取得した異音信号の周波数解析結果波形とを表示するために使用される。

異音診断装置１０と、サーバ装置５０とは、Ｗｉ−Ｆｉルータ等の無線ＬＡＮターミナル３０や、インターネット通信網４０を介して接続され情報の送受信を行っている。

なお、異音診断装置１０が携帯電話装置やスマートフォン等の場合には、異音診断装置１０とサーバ装置５０とを携帯電話回線網を介して接続して、不具合情報の送受信を行うようにすることも可能である。

本実施形態の異音診断システムでは、エンドユーザの場所に設置された対象電子機器である画像形成装置２０に異音が発生した場合、サービスマンが異音診断装置１０を携帯して画像形成装置２０の場所に出向く。そして、このサービスマンが、異音診断装置１０を用いて発生している異音を録音することにより異音信号を取得して、異音の原因を特定する異音診断を行う。

なお、画像形成装置２０にマイク等を設けて録音機能を持たせて、異音が発生した場合にその録音機能により異音を録音することも技術的には可能であるが、画像形成装置２０がエンドユーザのオフィス等に設置される場合、この画像形成装置２０に音声を録音する機能を設けることはセキュリティ上の理由により実現することができない。

次に、本実施形態の異音診断システムにおける異音診断装置１０のハードウェア構成を図２に示す。

異音診断装置１０は、図２に示されるように、ＣＰＵ１１、一時的にデータを保存可能なメモリ１２、フラッシュメモリ等の記憶装置１３、無線ＬＡＮターミナル３０との間で無線通信を行ってデータの送信及び受信を行う無線ＬＡＮインタフェース（ＩＦ）１４、タッチセンサ等の入力装置１５、表示装置１６、マイク１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。

本実施形態の異音診断装置１０では、表示装置１６上にタッチ位置を検出するためのタッチセンサが入力装置１５として設けられたタッチパネルが備えられていて、このタッチパネルを用いて表示が行われるとともにユーザからの入力が行われる。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、異音診断装置１０の動作を制御する。なお、この制御プログラムは、インターネット通信網４０や携帯電話回線網を介してダウンロードすることにより入手してＣＰＵ１１に提供することも可能であるし、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

本実施形態の異音診断装置１０は、上記の制御プログラムが実行されることにより以下に説明するような動作を行って、サービスマンが異音の原因を特定する業務の手助けを行う。

図３は、上記の制御プログラムが実行されることにより実現される異音診断装置１０の機能構成を示すブロック図である。

本実施形態の異音診断装置１０は、図３に示されるように、音声取得部３１と、周波数解析部３２と、制御部３３と、音声データ格納部３４と、表示部３５と、通信部３６と、音声再生部３７とを備えている。

表示部３５は、制御部３３による制御に基づいて各種データの表示を行う。通信部３６は、外部装置であるサーバ装置５０との間で通信を行う。音声再生部３７は制御部３３による制御に基づいて、録音された音声データ等を再生して音声信号に変換する。

音声取得部３１は、解析対象の装置である画像形成装置２０において発生した異音の音声を入力して音声信号を取得する。

なお、本実施形態では、音声取得部３１が、画像形成装置２０において発生した異音の音声を入力して音声信号を取得するものとして説明しているが、音声は音の一例であり、音声信号は音情報の一例である。

周波数解析部３２は、音声取得部３１により取得された音声信号の時間周波数解析（時間依存周波数解析）を行って、取得された異音信号の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形データを生成する。なお、周波数スペクトル波形データは、周波数解析を行うことにより得られた解析結果である。

具体的には、周波数解析部３２は、音声取得部３１により取得された音声信号に対してＳＴＦＴ（Short time Fourier transform：短時間フーリエ変換）を行うことにより周波数スペクトル波形データを生成する。このＳＴＦＴの説明については後述する。

制御部３３は、周波数解析部３２により得られた周波数スペクトル波形データを音声データとともに音声データ格納部３４に格納する。

また、制御部３３は、周波数解析部３２により得られた周波数スペクトル波形データに対して、時間軸方向に周波数解析を行う高速フーリエ変換（１Ｄ−ＦＦＴ(Fast Fourier Transform)）を行うよう周波数解析部３２に対して指示を行う。すると、周波数解析部３２は、周波数スペクトル波形データに対する周波数解析を実行して、周波数スペクトル波形に含まれる周波数成分の信号の周期および周波数を検出して１Ｄ−ＦＦＴ解析結果波形を生成する。

つまり、周波数解析部３２は、声取得部３１により取得された音声信号の周波数解析を行って、取得された音信号に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する。

そして、制御部３３は、得られた周波数解析結果波形を表示部３５に表示させて、ユーザに対して異音である可能性が高い周波数成分を指定するよう促す。そして、ユーザが、表示部３５に表示された周波数解析結果波形上で、異音であると思われる周波数成分の領域を指定すると、制御部３３は、表示された周波数解析結果波形上において異音の周波数成分を含む領域の指定を受付ける。

そして、制御部３３は、受付けた指定領域に含まれる周波数成分の周期および周波数の情報を抽出する。

次に、制御部３３は、取得した異音の周期および周波数の情報を、画像形成装置２０の機種名、シリアル番号等の機種情報、画像形成装置２０の動作状態を示す動作状態情報とともに通信部３６を介してサーバ装置５０に送信する。具体的には、この動作状態情報には、カラー印刷なのか白黒印刷なのか、両面印刷なのか片面印刷なのか、動作モードはスキャン、プリント、複写のいずれなのか、使用用紙の種類等の情報を含めるようにすることができる。このようにして、制御部３３は、周波数解析部３２により得られた１Ｄ−ＦＦＴ解析結果波形から得られた情報を、通信部３６を介してサーバ装置５０に送信する。

サーバ装置５０では、画像形成装置２０の装置と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られる１Ｄ−ＦＦＴ解析結果波形データ、スペクトル波形データを、元の音声データ、その音声データが取得された際の装置の動作状態、異音原因、異音への対処方法等の情報とともに格納している。

そしてサーバ装置５０は、異音診断装置１０から送信されてきた異音の周期および周波数の情報から、周波数解析部３２による周波数解析の結果得られた１Ｄ−ＦＦＴ解析結果波形データに対応する１Ｄ−ＦＦＴ解析結果波形データを検索して、見つかった１Ｄ−ＦＦＴ解析結果波形データを異音のサンプル波形データとして格納しているスペクトル波形データ、音声データ等の情報等とともに異音診断装置１０に送信する。

この結果、制御部３３は、周波数解析部３２による周波数解析の結果得られた１Ｄ−ＦＦＴ解析結果波形データに対応する１Ｄ−ＦＦＴ解析結果波形データを通信部３６を介してサーバ装置５０から受信する。

制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形と、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形とを表示部３５に並べて表示する。

また、制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形と、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形とを、一方の波形を透過させた状態で重ねて表示部３５に表示するようにしても良い。

例えば、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形を透過させた状態で、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形上に重ねて表示するようにしても良い。

さらに、制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形と、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形とを、予め設定された間隔で一方の波形を透過させた状態で重ねて表示するようにしても良い。

例えば、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形を透過させた上で１秒間隔で点滅させた状態で、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形上に重ねて表示するようにしても良い。

さらに、制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形と、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形とを、ユーザ（使用者）の操作に基づいて一方の波形を透過させた状態で重ねて表示するようにしても良い。

例えば、サーバ装置５０から受信した１Ｄ−ＦＦＴ解析結果波形を透過させた状態で、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形上に重ねて表示するようにし、ユーザの操作により重ねて表示させた状態と、取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形のみを表示させた状態とを切替えるようにしても良い。

また、制御部３３は、サーバ装置５０から送信されてきた１Ｄ−ＦＦＴ解析結果波形が複数存在する場合、複数の１Ｄ−ＦＦＴ解析結果波形のうち、周波数解析部３２の周波数解析によって得られた１Ｄ−ＦＦＴ解析結果波形と周期および周波数が類似する波形を優先して表示部３５に表示する。

また、制御部３３は、周波数解析部３２の周波数解析によって得られた１Ｄ−ＦＦＴ解析結果波形と周期および周波数が類似する１Ｄ−ＦＦＴ解析結果波形が複数あり、この複数の解析結果波形を同時に表示部３５に表示させる場合には、取得された音信号の周波数解析を行って得た周波数解析結果波形と周期および周波数がより類似する周波数解析結果波形を、他の周波数解析結果波形とは色を変えて表示する。

なお、制御部３３は、１Ｄ−ＦＦＴ解析結果波形を表示部３５に表示させて、異音が含まれると思われる領域の指定を受付ける際に、複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の１Ｄ−ＦＦＴ解析結果波形を順次切り替えて表示部３５に表示する。

また、制御部３３は、複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の１Ｄ−ＦＦＴ解析結果波形を重ねた状態で表示部３５に表示するようにしても良い。

または、制御部３３は、複数の領域の指定を順次受付けた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の１Ｄ−ＦＦＴ解析結果波形を順次重ねた状態で表示するようにしても良い。

その際に、制御部３３は、受付けた各領域に含まれる周波数成分の周期および周波数の情報毎の１Ｄ−ＦＦＴ解析結果波形を、それぞれ異なる表示方法、例えば異なる色、異なる明度、異なる彩度、異なる図形等により重ねて表示する。

さらに、制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた１Ｄ−ＦＦＴ解析結果波形と、サーバ装置５０から送信されてきた１Ｄ−ＦＦＴ解析結果波形のうちのいずれか一方の波形が拡大または縮小された場合、他方の波形を同等の大きさとなるように拡大または縮小して表示する。

また、ユーザが音声データの再生を指示した場合、音声再生部３７は、制御部３３からの制御に基づいて、音声取得部３１において取得された音声データ、またはサーバ装置５０から送信されてきた１Ｄ−ＦＦＴ周波数解析結果波形に対応する音声データを再生するようにしても良い。

さらに、２つの１Ｄ−ＦＦＴ解析結果波形の比較を容易にするために、制御部３３は、並列に表示した２つの１Ｄ−ＦＦＴ解析結果波形上に、それぞれ同一の周波数を示す調整可能な周波数補助線や、時間軸方向の位置を比較するための調整可能な共通の時間軸補助線を重ねて表示するようにしても良い。

次に、本実施形態の異音解析システムにおけるサーバ装置５０の機能構成を図４のブロック図を参照して説明する。

本実施形態のサーバ装置５０は、図４に示されるように、通信部５１と、制御部５２と、波形データ格納部５３とを備えている。

波形データ格納部５３は、解析対象の装置である画像形成装置２０と同等の装置において過去に発生した異常音の音声信号の周波数解析を行って得られる複数の１Ｄ−ＦＦＴ解析結果波形を格納する。

具体的には、波形データ格納部５３は、図５に示されるように、予め取得された異音の音声データを周波数解析することにより得られた１Ｄ−ＦＦＴ解析結果波形データと、元となった音声データと、異音の原因と、その対処方法等の情報が機種毎に格納されている。

そして、制御部５２は、異音診断装置１０から異音の周期や周波数の情報を受信した場合、波形データ格納部５３に格納されている複数の１Ｄ−ＦＦＴ解析結果波形データの中から、受信した異音周期や周波数の情報に基づいて、異音診断装置１０において取得された異音に基づく１Ｄ−ＦＦＴ解析結果波形に類似するものを選択して、通信部５１を介して異音診断装置１０に送信する。

なお、本実施形態では、異音診断装置１０において異音の音声データのＳＴＦＴ、高速フーリエ変換を行って、異音の周期および周波数の情報をサーバ装置５０に送信するものとして説明しているが、高速フーリエ変換またはＳＴＦＴ、高速フーリエ変換の両方をサーバ装置５０側において実行するようにしても良い。

この場合には、異音診断装置１０からサーバ装置５０に対して音声データをそのまま送信したり、音声データに対してＳＴＦＴを行った結果の周波数スペクトル波形データを送信し、サーバ装置５０において音声データに対するＳＴＦＴや高速フーリエ変換を実行することになる。

次に、本実施形態の異音診断システムの動作を図６のシーケンスチャートを参照して説明する。

異音診断装置１０において異音の原因を特定するための異音診断を行おうとする場合、図７に示すような画像が表示されて機種名、シリアル番号、動作状態等の各種情報が入力される(ステップＳ１０１)。

そして、異音診断装置１０では、動作モードを音声録音モードにして、マイク１７を画像形成装置２０の異音発生個所に近づけて異音の録音を行って音声データを取得する(ステップＳ１０２)。

すると、異音診断装置１０では、取得された音声データが周波数解析部３２においてＳＴＦＴが行われることにより周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形が生成される(ステップＳ１０３)。

このＳＴＦＴとは、図８に示されるように、短時間毎にフーリエ変換を行って周波数成分毎の信号強度を時間変化に応じて演算したものである。そして、このＳＴＦＴにより得られた解析結果を１つの周波数スペクトル波形の画像とした場合の波形例を図９に示す。

図９に示した周波数スペクトル波形例では、横軸が時間、縦軸が周波数を表していて、周波数毎の強度は色によって表現されている。なお、図９では、この色の違いをハッチングパターンにより表現している。また、図９では周波数毎の強度が色によって表現される場合を例示しているが、この強度を階調により表現することも可能である。

この図９の周波数スペクトル波形例では、異音の周波数成分６１が特定の周波数に周期的に発生しているのが表示されているのが分かる。なお、この図９に示した周波数スペクトル波形例において、低い周波数成分は通常の動作音であり異音の周波数成分ではない。

この図９に示したような周波数スペクトル波形が得られると、周波数解析部３２は、この周波数スペクトル波形に対して高速フーリエ変換（１Ｄ−ＦＦＴ）を実行する(ステップＳ１０４)。このようにして実行された高速フーリエ変換の解析結果波形例（１Ｄ−ＦＦＴ解析結果波形例）を図１０に示す。

なお、この図１０では、高速フーリエ変換を行うことにより、周波数スペクトル波形に含まれる周波数成分の信号の周期および周波数が検出されることにより異音の周期および周波数が特定される。なお、異音には倍音成分等が含まれるため、複数の周期が検出される場合があるが最も信号強度が強い周期が異音周期として検出される。

また、所定の周期以上の長周期の信号成分は通常動作音や不定周期雑音であると考えられるため、このような長周期の信号成分の領域は判定除外領域６２として、この判定除外領域６２における解析結果は無視される。

さらに、所定の周波数以下の低周波の信号成分についても通常動作音と区別が付かないため、このような低周波の信号成分の領域は判定除外領域６３として、この判定除外領域６３における解析結果は無視される。

この図１０に示したような１Ｄ−ＦＦＴ解析結果波形が得られると、制御部３３は、得られた１Ｄ−ＦＦＴ解析結果波形を表示部３５に表示する。このようにして１Ｄ−ＦＦＴ解析結果波形が表示された異音診断装置１０の表示画面例を図１１に示す。

そして、このような表示画面が提示されたユーザが、異音であると思われる周波数成分を特定して、例えばタッチパネルを操作することによりこの異音の周波数成分が含まれる領域を選択する。

このようにしてユーザにより選択された選択領域８０の一例を図１１に示す。図１１に示した例では、特定の周波数成分を含むような長方形の領域が選択領域８０として指定されているのが分かる。

そして、このように選択領域８０が指定されると、選択領域８０に含まれる周波数成分の周波数および周期が特定される。

すると、異音診断装置１０では、特定された異音の周波数および周期の情報を機種情報や動作状態の情報とともにサーバ装置５０に送信する(ステップＳ１０５)。例えば、異音周波数は４ｋHz、異音周期は２．０秒というような情報がサーバ装置５０に送信される。

すると、サーバ装置５０では、受信した情報に基づいて、波形データ格納部５３を検索することにより、受信した情報に対応する１Ｄ−ＦＦＴ解析結果波形のデータや周波数スペクトル波形のデータを抽出する（ステップＳ１０６）。

そして、サーバ装置５０は、抽出した１Ｄ−ＦＦＴ解析結果波形のデータや周波数スペクトル波形データを、元の音声データ、異音原因、その対処方法等の情報とともに異音診断装置１０に送信する（ステップＳ１０７）。

すると、異音診断装置１０では、サーバ装置５０から送信されてきた１Ｄ−ＦＦＴ解析結果波形等のデータを受信する（ステップＳ１０８）。そして、異音診断装置１０の制御部３３は、受信した１Ｄ−ＦＦＴ解析結果波形と、ＩＤ−ＦＦＴ解析を行うことにより得られた解析結果波形を表示部３５に表示する（ステップＳ１０９）。

このようにして２つの１Ｄ−ＦＦＴ解析結果波形が表示された異音診断装置１０の画面例を図１２に示す。

図１２に示した画面例では、周波数解析部３２における１Ｄ−ＦＦＴにより得られた解析結果波形が、「今回録音した異音の解析結果波形」として表示され、サーバ装置５０から送信されてきた解析結果波形が、「過去の異音データ」として「感光体ドラムの摩耗」という異音原因とともに表示されているのが分かる。

異音診断を行おうとするサービスマンは、この２つの解析結果波形を比較して、波形中の異音成分の周波数や周期が類似しているか否かを判定することにより異音の原因を特定する。

また、サーバ装置５０から複数の解析結果波形が送信されてきた場合には、例えば、「過去の異音データ」として表示されている周波数スペクトル波形の画像をタッチ操作により横方向になぞることにより、別の周波数スペクトル波形が表示される。

このように複数の解析結果波形が送信されてきた場合には、サービスマンは、今回取得した異音の解析結果波形が、いずれの解析結果波形とより類似しているかを判定することにより異音の原因を特定する。なお、この異音の原因の特定の際には、単に解析結果波形の形状や異音成分の周期や周波数等を比較するだけでなく、音声再生ボタン８１を操作すすることにより元の音声データを音声再生部３７により再生して今回取得した異音とサーバ装置５０から送信されてきた解析結果波形に対応した音声とを聴き比べて異音の原因を特定する。

また、表示画面中には、ＳＴＦＴ解析結果画面表示ボタン８２が表示されており、ユーザがこのＳＴＦＴ解析結果画面表示ボタン８２を操作することにより、図１３に示すような画面表示に切り替わる。

図１３に示した表示画面例では、表示されていた２つの１Ｄ−ＦＦＴ解析結果画面が、取得された音情報の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形である２つのＳＴＦＴ解析結果波形を表示した画面に切り替わっている。なお、このＳＴＦＴ解析結果を表示した画面では、１Ｄ−ＦＦＴ解析結果画面表示ボタン８３が表示されており、ユーザがこの１Ｄ−ＦＦＴ解析結果画面表示ボタン８３を操作することにより、図１２に示すような画面表示に切り替わる。

なお、図９に示したようなＳＴＦＴ解析結果波形（周波数スペクトル波形）では、異音原因の判定経験が少ないユーザの場合、どの領域に異音が含まれているのかを判定することができない場合がある。図１３では、説明を分かり易くするため異音の周波数成分６１が他の周波数成分とは異なる表示色で表示されるようにしている。しかし、実際のＳＴＦＴ解析結果波形では、異音の周波数成分が他の周波数成分と同じ色で表示されてしまう場合もあり、判定経験が少ないユーザでは、異音が含まれる周波数領域を選択することが難しい場合がある。

これに対して、図１０に示したような１Ｄ−ＦＦＴ解析結果波形では、ＳＴＦＴ解析結果波形に含まれる周期性のある周波数成分が表示されるため、判定経験が少ないユーザであっても、異音が含まれる周波数領域を選択することが可能となる。

なお、図１２に示した表示画面例では、今回録音した異音の解析結果波形と、過去の異音データの解析結果波形とを並列に並べて表示していたが、図１４に示すように、今回録音した異音の解析結果波形と、過去の異音データの解析結果波形とのうちのいずれか一方の解析結果波形を透過させた状態で他方の解析結果波形上に重ねて表示するようにしても良い。

なお、図１４に示した表示画面例では、今回録音した異音の解析結果波形を黒色とし、過去の異音データの解析結果波形を赤色として、表示色を変えて表示された例が示されている。

さらに、この図１４では、表示切替ボタン８４が画面上に表示されており、ユーザがこの表示切替ボタン８４を操作することにより、重ねて表示した２つの解析結果波形のうちの一方の解析結果波形を表示する／表示しないという表示状態を表示切替ボタン８４が操作される毎に切り替えられる。

なお、図１１では、異音診断装置１０に表示された１Ｄ−ＦＦＴ解析結果波形画面において、１つの選択領域８０を選択した場合が示されていた。これに対して、図１５に示すように、異音診断装置１０に表示された１Ｄ−ＦＦＴ解析結果波形画面において、２つ以上の複数の選択領域を選択するようにしても良い。図１５に示した表示画面例では、ユーザの指７０により２つの選択領域（選択領域（１）、選択領域（２））が選択された場合が示されている。

このように１Ｄ−ＦＦＴ解析結果波形の画面において２つの領域が選択された場合、それぞれの領域における周波数成分の周波数及び周期の情報がサーバ装置５０に送信され、それぞれの領域における周波数成分の周波数及び周期に対応した１Ｄ−ＦＦＴ解析結果波形等のデータがサーバ装置５０から返信されてくる。

そして、このような１Ｄ−ＦＦＴ解析結果波形等のデータを受信した異音診断装置１０では、例えば、図１６、図１７に示すように、それぞれの領域の周波数及び周期に対応した１Ｄ−ＦＦＴ解析結果波形を順次切り替えて表示する。

図１６は、領域（１）に対応する１Ｄ−ＦＦＴ解析結果波形が表示された場合の表示画面例であり、図１７は、領域（２）に対応する１Ｄ−ＦＦＴ解析結果波形が表示された場合の表示画面例である。

そして、この図１６と図１７の表示画面では、画面上に表示されている表示波形切替ボタン８３を操作することにより切り替わるようになっている。

また、図１６、図１７では、複数の領域のそれぞれの周波数及び周期に対応した周波数解析結果波形をそれぞれ異なる画面において表示した場合が示されていたが、複数の周波数解析結果を重ね合わせて表示するようにしても良い。

その際に、複数の領域のそれぞれの周波数及び周期に対応した周波数解析結果波形を、今回録音した異音の解析結果波形において、領域が選択される毎に、選択された領域の周波数及び周期に対応した周波数解析結果波形を、既に表示済みの周波数解析結果波形上に順次重ねて表示するようにしても良い。

このように、複数の周波数解析結果波形を順次重ね合わせて表示する場合の表示画面例を図１８および図１９に示す。

先ず、図１８に示す表示画面例では、今回録音した異音の解析結果波形において選択領域（１）が選択され、この選択領域（１）に対応した過去の異音の解析結果波形が表示されている。

そして、この図１８に示された表示画面の上において、図１９に示す表示画面例のように次の選択領域（２）が選択されると、既に表示済みの選択領域（１）に対応する解析結果波形の上に、選択領域（２）に対応する解析結果波形が重ねて表示される。

この図１９では、選択領域（１）に対応する解析結果波形は黒色により表示され、選択領域（２）に対応する解析結果波形は赤色により表示されている。

[変形例]
上記実施形態では、異音診断装置１０がタブレット端末装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、他の装置を異音診断装置とするような場合でも本発明を適用することができるものである。例えば、画像形成装置２０の操作パネルが本体から脱着可能な構成であって、サーバ装置５０と通信可能であり音声信号の取得機能を内蔵しているような構成の場合、この操作パネルを異音診断装置とするようにしても良い。

また、上記実施形態では、異音診断装置１０がマイク１７を内蔵している場合を用いて説明しているが、異音診断装置１０に音声録音機能が備えられていれば、マイク等の集音装置を外部に接続することにより音声信号の取得手段を実現するようにしても良い。

さらに、上記実施形態では、異音解析の対象装置が画像形成装置である場合を用いて説明しているが、異音解析の対象となる装置は画像形成装置に限定されるものではなく、周期性を持った異音を発生させる可能性がある装置であれば他の装置である場合でも本発明は同様に適用可能である。

１０ 異音診断装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 無線ＬＡＮインタフェース（ＩＦ）
１５ 入力装置
１６ 表示装置
１７ マイク
１８ 制御バス
２０ 画像形成装置
３０ 無線ＬＡＮターミナル
３１ 音声取得部
３２ 周波数解析部
３３ 制御部
３４ 音声データ格納部
３５ 表示部
３６ 通信部
３７ 音声再生部
４０ インターネット通信網
５０ サーバ装置
５１ 通信部
５２ 制御部
５３ 波形データ格納部
６１ 異音の周波数成分
６２、６３ 判定除外領域
７０ 指
８０ 選択領域
８１ 音声再生ボタン
８２ ＳＴＦＴ解析結果画面表示ボタン
８３ １Ｄ−ＦＦＴ解析結果画面表示ボタン

Claims (15)

1. 発生した音を入力して音情報を取得する取得手段と、
   前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析手段と、
   前記周波数解析結果波形を表示する表示手段と、
   表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付手段と、
   前記受付手段により受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出手段と、
   を備えた診断装置。
2. 前記表示手段は、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを並べて表示する請求項１記載の診断装置。
3. 前記表示手段は、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置。
4. 前記表示手段は、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、予め設定された間隔で一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置。
5. 前記表示手段は、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数解析結果波形と、前記取得された音情報の周波数解析を行って得た周波数解析結果波形とを、使用者の操作に基づいて一方の波形を透過させた状態で重ねて表示する請求項１記載の診断装置。
6. 前記表示手段は、前記取得された音情報の周波数解析を行って得た周波数解析結果波形と周期および周波数が類似する周波数解析結果波形を優先的に表示する請求項２又は３記載の診断装置。
7. 前記表示手段は、前記取得された音情報の周波数解析を行って得た周波数解析結果波形と周期および周波数が類似する周波数解析結果波形を、他の周波数解析結果波形とは色を変えて表示する請求項２又は３記載の診断装置。
8. 前記表示手段は、前記受付手段により複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を順次切り替えて表示する請求項１記載の診断装置。
9. 前記表示手段は、前記受付手段により複数の領域の指定が受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を重ねた状態で表示する請求項１記載の診断装置。
10. 前記表示手段は、前記受付手段により複数の領域の指定が順次受付けられた場合、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を順次重ねた状態で表示する請求項１記載の診断装置。
11. 前記表示手段は、受付けられた各領域に含まれる周波数成分の周期および周波数の情報毎の周波数解析結果波形を、それぞれ異なる表示方法により重ねて表示する請求項１０記載の診断装置。
12. 外部装置との間で通信を行う通信手段と、
    前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
    前記解析手段により生成された周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
    前記表示手段は、前記解析手段により生成された周波数解析結果波形と、前記受信手段により受信された周波数解析結果波形とを表示する請求項１から１１のいずれか１項記載の診断装置。
13. 前記表示手段は、利用者の操作に基づいて、取得された音情報の周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形と、前記抽出手段により抽出された音の周期および周波数の情報に対応した周波数スペクトル波形とを並べて表示する請求項１から１２のいずれか記載の診断装置。
14. 発生した音を入力して音情報を取得する取得手段と、前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析手段と、前記周波数解析結果波形を表示する表示手段と、表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付手段と、前記受付手段により受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出手段と、外部装置との間で通信を行う通信手段と、前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する第１の送信手段と、前記解析手段により生成された周波数解析結果波形に対応する周波数解析結果波形を前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
    異音の音情報の周波数解析を行って得た複数の周波数解析結果波形を格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果波形の中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第２の送信手段とを備えたサーバ装置と、
    を備えた診断システム。
15. 発生した音を入力して音情報を取得する取得ステップと、
    前記音情報の周波数解析を行い、前記音情報に含まれる音の周期および周波数の情報を示す周波数解析結果波形を生成する解析ステップと、
    前記周波数解析結果波形を表示する表示ステップと、
    表示された前記周波数解析結果波形から周波数成分を含む領域の指定を受付ける受付ステップと、
    前記受付ステップにおいて受付けられた指定領域に含まれる前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラム。