JP6566692B2 - 音信号の信号処理装置及び方法 - Google Patents

Description

本発明は、音信号の信号処理装置及び方法に関する。

従来、波形が時間と共に変化する音信号から、周波数スペクトルを求める処理が行われている。

音信号は、通常、様々な周波数の成分を含んでおり、周波数スペクトルの強度分布を調べることにより、音信号の特徴を把握することができる。

時間領域で表される音信号を、周波数領域で表される音信号に変換することにより、周波数スペクトルが得られる。この音信号の変換方法として、例えば、フーリエ変換が用いられる。

図１は、周波数スペクトルの２次元グラフの例を示す図である。

図１は、音の波形の時間的に変化する音信号から周波数スペクトルを求め、時間及び周波数を座標軸とし、周波数スペクトル強度の大小を濃淡で表して、周波数スペクトルの２次元グラフを作成したものである。

色の濃い部分は、周波数スペクトル強度の大きい周波数が分布している領域を示し、色の薄い部分は、周波数スペクトル強度の小さい周波数が分布している領域を示す。このような周波数スペクトルの２次元グラフを用いて、音信号に含まれる周波数スペクトルの時間発展を解析することができる。

特開２００９−２１０８８８号公報 特開２０１１−２０９５９２号公報 特開２０１４−５６１８１号公報

しかし、図１に示すように、周波数スペクトル強度の大小を濃淡で表すことは、領域の違いが視覚的に分かりにくいので、音信号の周波数特性を認識することが困難な場合があった。

特に、音の波形の時間的な変化が定常状態にない過渡音を含む音信号の周波数スペクトルには、様々な周波数成分が含まれる場合があり、周波数スペクトルの２次元グラフを用いて、音信号の特徴を把握することは困難な場合があった。

また、過渡音を含む２つの異なる音信号の関係を明確に把握することが望まれる場合があった。

本明細書では、過渡音を含む音信号の周波数スペクトルを明確に認識できる音信号の信号処理装置及び方法を提供することを課題とする。

また、本明細書では、過渡音を含む２つの異なる音信号の関係を明確にする音信号の信号処理装置及び方法を提供することを課題とする。

本明細書に開示する音信号の信号処理装置によれば、音の波形の時間的な変化が定常状態にない過渡音を含む音信号を入力する入力部と、上記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、３次元グラフを生成する演算部と、上記３次元グラフを表示する表示部と、を備える。

また、本明細書に開示する他の音信号の信号処理装置によれば、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第１音信号及び時間領域表現の第２音信号を入力する入力部と、時間領域表現の上記第１音信号を周波数領域表現に変換し且つ時間領域表現の上記第２音信号を周波数領域表現に変換し、周波数領域表現の上記第１音信号と、周波数領域表現の上記第２音信号との比である伝達関数を求める演算部と、を備える。

更に、本明細書に開示する音信号の信号処理方法によれば、音の振幅変化が時間的に定常状態にない過渡音を含む音信号を入力し、上記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、３次元グラフを生成し、上記３次元グラフを表示する。

更にまた、本明細書に開示する他の音信号の信号処理方法によれば、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第１音信号及び時間領域表現の第２音信号を入力し、時間領域表現の上記第１音信号を周波数領域表現に変換し且つ時間領域表現の上記第２音信号を周波数領域表現に変換し、周波数領域表現の上記第１音信号と、周波数領域表現の上記第２音信号との比である伝達関数を求める。

本明細書に開示する音信号の処理装置によれば、過渡音を含む音信号の周波数スペクトルを明確に認識できる。

また、本明細書に開示する他の音信号の処理装置によれば、過渡音を含む２つの異なる音信号の関係を明確にできる。

更に、本明細書に開示する音信号の処理方法によれば、過渡音を含む音信号の周波数スペクトルを明確に認識できる。

更にまた、本明細書に開示する他の音信号の処理方法によれば、過渡音を含む２つの異なる音信号の関係を明確にできる。

周波数スペクトルの２次元グラフの例を示す図である。 本明細書に開示する水中模擬音信号処理システムの一実施形態を示す図である。 本明細書に開示する音信号の信号処理装置の一実施形態を示す図である。 本明細書に開示する音信号の信号処理装置の動作を示すフローチャート（その１）である。 本明細書に開示する音信号の信号処理装置の動作を示すフローチャート（その２）である。 本明細書に開示する音信号の信号処理装置の動作を示すフローチャート（その３）である。 本明細書に開示する音信号の信号処理装置の動作を説明する図（その１）である。 本明細書に開示する音信号の信号処理装置の動作を説明する図（その２）である。 本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの３次元グラフの一例を示す図である。 （Ａ）は、本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの２次元グラフの一例を示す図であり、（Ｂ）は、入力した音信号を示す図である。 （Ａ）は、所定の時間における３次元グラフの輪郭を示す図であり、（Ｂ）は、所定の周波数における３次元グラフの輪郭を示す図であり、（Ｃ）は、周波数-時間平面上の所定の方向における３次元グラフの輪郭を示す図である。 本明細書に開示する音信号の信号処理装置の動作の変形例を示す図である。 本明細書に開示する音信号の信号処理装置の他の動作を示すフローチャートである。 本明細書に開示する音信号の信号処理装置の他の動作を説明する図である。

以下、本明細書で開示する水中模擬音信号処理システムの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図２は、本明細書に開示する水中模擬音信号処理システムの一実施形態を示す図である。

本実施形態の水中模擬音信号処理システム３０は、水中模擬音信号生成装置２０と、信号処理装置１０を備える。

水中模擬音信号生成装置２０は、模擬音信号を生成するためのパラメータを入力して、水中を伝搬する模擬音信号を生成し、生成した模擬音信号を出力する。水中模擬音信号生成装置２０が生成する模擬音信号は、音の波形の時間的な変化が定常状態にある定常音を生成する。水中を伝搬する模擬音信号としては、例えば、一定の速度で移動する船舶のエンジン音が挙げられる。

本明細書において、定常音は、時間の経過に伴って周波数成分が変化しない音を意味する。

信号処理装置１０は、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の音信号を入力し、時間領域表現の音信号を周波数領域表現に変換し、周波数領域表現の音信号を加工し、加工された音信号を時間領域表現に変換して、水中模擬音信号生成装置２０へ出力する。信号処理装置１０へ入力される音信号は、水中で収録された信号である。過渡音を含む音信号としては、例えば、船舶のエンジンが始動する時に発生する音信号が挙げられる。

本明細書において、過渡音は、時間の経過に伴って周波数成分が変化する音を意味する。

水中模擬音信号生成装置２０は、信号処理装置１０から入力した音信号に基づいて、過渡音を含み水中を伝搬する模擬音信号を生成して出力する。

また、信号処理装置１０は、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第１音信号及び第２音信号を入力し、時間領域表現の第１音信号を周波数領域表現に変換し且つ時間領域表現の第２音信号を周波数領域表現に変換し、周波数領域表現の第１音信号と、周波数領域表現の第２音信号との比である伝達関数を求め、求めた伝達関数を水中模擬音信号生成装置２０へ出力する。

水中模擬音信号生成装置２０は、自ら生成した模擬音信号を、入力した伝達関数を用いて変換し、変換した模擬音信号を出力する。

図３は、本明細書に開示する音信号の信号処理装置の一実施形態を示す図である。

信号処理装置１０は、演算部１１と、記憶部１２と、表示部１３と、入力部１４と、通信部１５を有する。

演算部１１は、記憶部１２に予め記憶されている所定のプログラムに従い、信号処理装置１０の各処理を行い、処理中に生じるデータを一時的に保存するために記憶部１２を利用する。記憶部１２は、１次記憶装置及び２次記憶装置を有していても良い。演算部１１は、記憶部１２、表示部１３、入力部１４及び通信部１５の動作を制御する。

入力部１４は、信号処理装置１０のユーザ等によって操作されて、各種の情報を入力する。入力部１４としては、例えば、タッチパネル、キーボード又はマウス等を用いることができる。演算部１１は、入力部１４から入力された情報を用いて各処理を行う。

表示部１３は、演算部１１に制御されて、各種の情報を表示する。表示部１３としては、例えば、液晶パネルを用いることができる。

通信部１５は、演算部１１により制御されて水中模擬音信号生成装置２０又はネットワーク（図示せず）と通信可能になされている。演算部１１は、通信部１５を用いて、水中模擬音信号生成装置２０との間で通信を行う。

次に、上述した信号処理装置１０の動作の一例を、図面を参照しながら、以下に説明する。図４〜図６は、本明細書に開示する音信号の信号処理装置の動作を示すフローチャートである。図７及び図８は、フローチャートの各ステップにおける信号処理装置の動作を説明する図である。以下に説明する信号処理装置１０の動作は、過渡音を含み、時間領域表現の音信号を入力し、音信号を周波数領域表現に変換した後、音信号を加工し、加工された音信号を再び時間領域表現に変換して、加工された時間領域表現の音信号を生成するものである。

まず、ステップＳ１０において、信号処理装置１０は、通信部１５を用いて、水中で収録された過渡音を含む時間領域表現の音信号を入力する。図７（Ａ）は、時間と共に波形（振幅）が変化する音信号Ｓ（ｔ）を示す。音信号Ｓ（ｔ）は、所定の時間の領域に亘って収録される。音信号Ｓ（ｔ）は、時間ｔの関数であり、時間ｔにおける音信号の振幅を関数の値とする。

次に、ステップＳ１２において、信号処理装置１０は、図７（Ｂ）に示すように、入力した音信号Ｓ（ｔ）を所定の時間間隔で分割する。音信号Ｓ（ｔ）は、時間Ｔ１と時間Ｔ２との間の時間区間と、時間Ｔ２と時間Ｔ３との間の時間区間と、時間Ｔ３と時間Ｔ４との間の時間区間とに分割される。図７（Ｂ）に示す例では、各時間区間は等しいとしたが、等しくなくてもよい。以下、時間Ｔ１と時間Ｔ２との間の時間区間の音信号Ｓ（ｔ）の部分を音信号Ｓ１（ｔ）と呼ぶ。

次に、ステップＳ１４において、信号処理装置１０は、分割された音信号と窓関数との積をとり、時間区間毎に分割音信号を生成する。図７（Ｃ）に示すように、時間Ｔ１と時間Ｔ２との間の時間区間の音信号Ｓ１（ｔ）と窓関数Ｗ（ｔ）との積をとり、分割音信号ＳＷ１（ｔ）が生成される。分割音信号ＳＷ１（ｔ）は、時間Ｔ１と時間Ｔ２との間の時間区間において、音信号Ｓ（ｔ）と同じ値を有し、他の時間区間では、値がゼロとなる時間ｔの関数である。なお、分割音信号ＳＷ１（ｔ）は、図７（Ａ）に示す音信号Ｓ（ｔ）と窓関数Ｗ（ｔ）との積をとって生成してもよい。また、ウェーブレット法を用いて、音信号の周波数領域表現を生成してもよい。

次に、ステップＳ１６において、信号処理装置１０は、各分割音信号をフーリエ変換して、時間区間毎にフーリエ変換された分割音信号を生成する。図８（Ｄ）は、分割音信号ＳＷ１（ｔ）をフーリエ変換して、フーリエ変換された周波数領域表現の分割音信号ＦＳ１（ｆ）を生成する処理を示す。フーリエ変換された分割音信号ＦＳ１（ｆ）は、周波数ｆの関数であり、周波数ｆの周波数成分を関数の値とする。

フーリエ変換された分割音信号ＦＳ１（ｆ）の値は、実数であり、図８（Ｄ）の式（１）に示すように、実部ａ（ｆ）と、虚部ｂ（ｆ）とを有する。ここで、ｊは虚数単位を意味する。

フーリエ変換された分割音信号ＦＳ１（ｆ）の大きさ（以下、振幅ともいう）Ａは、図８（Ｄ）の式（２）で表される。ここで、Ｎは、時間Ｔ１と時間Ｔ２との間の時間区間の時間長である。フーリエ変換された分割音信号ＦＳ１（ｆ）の大きさ（振幅）は、時間Ｔ１と時間Ｔ２との間の時間区間における周波数スペクトル強度を示す。

また、フーリエ変換された分割音信号ＦＳ１（ｆ）の位相θは、図８（Ｄ）の式（３）で表される。フーリエ変換された分割音信号ＦＳ１（ｆ）の位相θは、後で、逆フーリエ変換法を用いて、周波数空間で表される加工された３次元グラフに基づいて、時間領域表現の加工された音信号を生成する時に使用される。

次に、ステップＳ１８において、信号処理装置１０は、図８（Ｅ）に示すように、フーリエ変換された分割音信号ＦＳ（ｆ）の大きさ（振幅）を、時間の順番に配置する。ここで、各周波数スペクトルが配置される時間を、対応する時間区間の開始の時間とした。即ち、フーリエ変換された分割音信号ＦＳ１（ｆ）の大きさ（以下、周波数スペクトルの大きさ又はスペクトル強度ともいう）は、時間Ｔ１に配置される。

次に、ステップＳ２０において、信号処理装置１０は、時間と、周波数と、周波数スペクトルの大きさ（スペクトル強度）とを座標軸として、３次元グラフを生成する。信号処理装置１０は、生成した３次元グラフを表示部１３に表示する。

図９は、本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの３次元グラフの一例を示す図である。

信号処理装置１０は、周波数スペクトルの値に基づいて色を変化させて、３次元グラフを生成する。これにより、３次元グラフは、ユーザが視覚的に、周波数スペクトルの特徴を把握しやすいようになされている。

また、信号処理装置１０は、周波数スペクトルの２次元グラフ生成して、表示部１３に表示する。

図１０（Ａ）は、本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの２次元グラフの一例を示す図であり、図１０（Ｂ）は、入力した音信号を示す図である。

信号処理装置１０は、時間及び周波数を座標軸として、スペクトル強度の大小を濃淡で表した、周波数スペクトルの２次元グラフも作成する。フーリエ変換する前の時間領域表現の音信号と共に、周波数領域表現の３次元グラフ及び２次元グラフを比較して、音信号の特徴を解析できるようになされている。

次に、ステップＳ２２（図５参照）において、信号処理装置１０は、入力部１４を用いて、３次元グラフを加工する情報を入力する。信号処理装置１０は、ユーザから入力した情報に基づいて、３次元グラフを加工する。３次元グラフを加工する内容は、特に制限されないが、例えば、以下の加工が挙げられる。所定の周波数領域及び所定の時間領域のスペクトル強度を増減すること。所定の周波数領域のスペクトル強度をフィルタリングすること、所定の時間領域のスペクトル強度をフィルタリングすること、スペクトル強度の位相を前進又は遅延すること。

Ｓ２２のブロック内の式（４）に示すように、加工前のフーリエ変換された分割音信号ＦＳ（ｆ）は、加工後にはＦＳ’（ｆ）と表される。また、加工後のフーリエ変換された分割音信号ＦＳ’（ｆ）は、加工後の周波数成分の大きさＡ’及び加工前の位相θを用いて、式（４）で表される。なお、位相を前進又は遅延する加工が行われた場合には、加工後の位相を用いる。

また、信号処理装置１０は、ユーザからの指示に従って、時間と周波数とを座標軸とする平面上の任意の線を通る面で、３次元グラフを切断した輪郭を生成する。任意の線は、時間軸の方向と一致する方向に延びる線、又は、周波数軸の方向と一致する方向に延びる線、又は、時間軸及び周波数軸の方向とは一致しない方向に延びる線である。３次元グラフを切断する面は、時間と周波数とを座標軸とする平面に垂直な面である。

ユーザは、３次元グラフを切断した輪郭に基づいて、音信号の周波数特性を把握することができる。また、ユーザは、３次元グラフを切断した輪郭に基づいて、３次元グラフをどのように加工するかを決定し得る。

時間軸の方向と一致する方向に延びる線を通る面で、３次元グラフを切断した輪郭は、所定の時間における３次元グラフの輪郭を生成する。図１１（Ａ）は、所定の時間における３次元グラフの輪郭を示す図を示す。ここで、時間軸の方向と一致する方向に延びる線は、時間軸と一致しているか、又は、時間軸と平行な線である。

周波数軸の方向と一致する方向に延びる線を通る面で、３次元グラフを切断した輪郭は、所定の周波数における３次元グラフの輪郭を生成する。図１１（Ｂ）は、所定の周波数における３次元グラフの輪郭を示す図を示す。ここで、周波数軸の方向と一致する方向に延びる線は、周波数軸と一致しているか、又は、周波数軸と平行な線である。

時間軸及び周波数軸の方向とは一致しない方向に延びる線を通る面で、３次元グラフを切断した輪郭は、周波数-時間平面上の所定の方向における３次元グラフの輪郭を生成する。図１１（Ｃ）は、周波数-時間平面上の所定の方向における３次元グラフの輪郭を示す図を示す。各スペクトル強度は、時間軸及び周波数軸上に格子状に離散的に配置されている。図１１（Ｃ）のグラフを生成する時に、格子上に位置しないスペクトル強度は、周囲の近接する格子点のスペクトル強度に基づいて、距離を重みとした加重平均値として求められ得る。

信号処理装置１０は、マウス等の入力部１４を用いたグラフィカルインターフェースを有しており、上述した３次元グラフの加工において、ユーザは、マウス等の入力部１４を用いて、加工したい周波数領域又は時間領域等を指定して、グラフの加工処理を行うことができる。

次に、ステップＳ２４において、信号処理装置１０は、加工された３次元グラフを表示部１３に表示する。ユーザは、加工された３次元グラフを視覚的に確認して、所望の加工がなされていることを確認する。ユーザは、表示部１３に表示された３次元グラフ又は輪郭を確認しながら、必要であれば、さらに加工する情報を入力部１４から入力して、グラフの加工を行う。加工された３次元グラフの情報等は、記憶部１２に記憶される。

次に、ステップＳ２６（図６参照）において、信号処理装置１０は、加工された３次元グラフを所定の時間間隔で分割する。信号処理装置１０は、分割された３次元グラフに基づいて、周波数スペクトルとして、時間の順番に配置する。この処理により、加工された３次元グラフに対して、図８（Ｅ）に対応する情報が得られる。

次に、ステップＳ２８において、信号処理装置１０は、時間区間毎に周波数スペクトルを逆フーリエ変換して、加工された分割音信号を生成する。図８（Ｄ）を参照して説明すると、周波数領域表現の加工された分割音信号ＦＳ’１（ｆ）を逆フーリエ変換して、時間領域表現の加工された分割音信号ＳＷ’１（ｔ）が求められる。

次に、ステップＳ３０において、信号処理装置１０は、分割音信号を時間の順番に配置して、加工された音信号を生成する。この処理により、加工された３次元グラフに対して、図７（Ａ）に対応する情報が得られる。

次に、ステップＳ３４において、信号処理装置１０は、通信部１５を用いて、加工された時間領域表現の音信号を、水中模擬音信号生成装置２０へ出力する。水中模擬音信号生成装置２０は、信号処理装置１０から入力した音信号に基づいて、過渡音を含む水中を伝搬する模擬音信号を生成して出力する。

上述した動作例によれば、信号処理装置１０を用いて、過渡音を含む音信号の周波数スペクトルを明確に認識できる。そのため、過渡音を含む音信号の加工が容易にできる。また、音信号の特性を視覚的に把握し易いので、処理経験の少ないユーザでも、音信号の特性を把握すること容易になる。

次に、上述した信号処理装置１０の動作に変形例を、図１２を参照して、以下に説明する。

図１２は、本明細書に開示する音信号の信号処理装置の動作の変形例を示す図である。

本変型例は、周波数スペクトルの周波数分解能を維持したまま、時間分解能を向上する。

まず、図１２（Ａ）に示すように、信号処理装置１０は、通信部１５を用いて、水中で収録された過渡音を含む時間領域表現の音信号を入力する。

次に、信号処理装置１０は、図１２（Ｂ）に示すように、入力した音信号Ｓ（ｔ）を、分割された時間区間の一部が重複するように、所定の時間間隔で分割する。音信号Ｓ（ｔ）は、時間Ｔ１と時間Ｔ２との間の時間区間Ｒ１と、時間Ｔ１．５と時間Ｔ２．５との間の時間区間Ｒ２と、時間Ｔ２と時間Ｔ３との間の時間区間Ｒ３と、時間Ｔ２．５と時間Ｔ３．５との間の時間区間Ｒ４と、時間Ｔ３と時間Ｔ４との間の時間区間Ｒ５と、時間Ｔ３．５と時間Ｔ４．５との間の時間区間Ｒ６とに分割される。時間区間Ｒ１〜Ｒ６は、同じ時間の長さＬを有する。

時間区間Ｒ１と、時間区間Ｒ２とは、時間区間Ｒ１の後半の長さＬ／２が重複している。時間区間Ｒ２と、時間区間Ｒ３とは、時間区間Ｒ２の後半の長さＬ／２が重複している。時間区間Ｒ３と、時間区間Ｒ４とは、時間区間Ｒ３の後半の長さＬ／２が重複している。時間区間Ｒ４と、時間区間Ｒ５とは、時間区間Ｒ４の後半の長さＬ／２が重複している。時間区間Ｒ５と、時間区間Ｒ６とは、時間区間Ｒ５の後半の長さＬ／２が重複している。

本変型例では、周波数スペクトルの時間分解能は、上述した実施形態に対して２倍に向上する。一方、本変型例の周波数スペクトルの周波数分解能は、上述した実施形態と同じである。

なお、仮に、上述した実施形態において、入力した音信号Ｓ（ｔ）を分割する時間の長さをＬ／２とした場合には、周波数スペクトルの周波数分解能は半分となってしまう。

上述した動作の変型例によれば、周波数スペクトルの時間変化をより精度良く解析することができる。また、上述した動作の変型例では、隣り合う時間区間は、区間の半分の時間が重複していたが、重複している時間は特に制限されないので、分割された時間区間の一部が重複していればよい。

次に、上述した信号処理装置１０の他の動作の一例を、図面を参照しながら、以下に説明する。図１３は、本明細書に開示する音信号の処理装置の動作を示すフローチャートである。図１４は、信号処理装置１０の他の動作例を説明する図である。以下に説明する信号処理装置１０の動作は、過渡音を含み時間領域表現の第１音信号及び第２音信号を入力し、時間領域表現の第１音信号を周波数領域表現に変換し且つ時間領域表現の第２音信号を周波数領域表現に変換し、周波数領域表現の第１音信号と、周波数領域表現の第２音信号との比である伝達関数を求めるものである。

まず、ステップＳ４０において、信号処理装置１０は、通信部１５を用いて、水中で収録された過渡音を含む時間領域表現の第１音信号及び第２音信号を入力する。図１３（Ａ）は、時間と共に波形が変化する第１音信号ＳＡ（ｔ）及び第２音信号ＳＢ（ｔ）を示す。第１音信号ＳＡ（ｔ）及び第２音信号ＳＢ（ｔ）は、時間ｔの関数であり、時間ｔにおける音信号の振幅を関数の値とする。

図１３（Ｂ）に示すように、第１音信号ＳＡ（ｔ）と第２音信号ＳＢ（ｔ）とは、音源は同じであるが、水中における音の伝搬経路が異なっている。第１音信号ＳＡ（ｔ）は、音源から出力されて、水中を伝搬して、受信器を用いて収録される直接音信号である。一方、第２音信号ＳＢ（ｔ）は、音源から出力されて、水中を伝搬し、水底で反射した後、再び水中を伝搬して、受信器を用いて収録される反射音信号である。従って、第２音信号ＳＢ（ｔ）の水中の伝搬経路は、第１音信号ＳＡ（ｔ）よりも長い。

次に、ステップＳ４２において、信号処理装置１０は、第１音信号ＳＡ（ｔ）と第２音信号ＳＢ（ｔ）との位相の差を検出する。第２音信号ＳＢ（ｔ）の位相は、第１音信号ＳＡ（ｔ）に対して遅延している。

次に、ステップＳ４４において、信号処理装置１０は、第２音信号ＳＢ（ｔ）に対して、位相を進めるように位相の差を補正して、第１音信号ＳＡ（ｔ）の位相と一致させる。

次に、ステップＳ４６において、信号処理装置１０は、第１音信号ＳＡ（ｔ）を短時間フーリエ変換し且つ第２音信号ＳＢ（ｔ）を短時間フーリエ変換して、それぞれを周波数領域表現に変換する。各音信号を短時間フーリエ変換する処理は、上述した動作例と同様である。同様の処理を行った結果、時間区間毎にフーリエ変換された分割第１音信号ＦＳＡ（ｆ）及び分割第２音信号ＦＳＢ（ｆ）が生成される。

次に、ステップＳ４８において、信号処理装置１０は、図１４（Ｃ）に示すように、時間区間毎に周波数領域表現の分割第１音信号ＦＳＡ（ｆ）と周波数領域表現の分割第２音信号ＦＳＢ（ｆ）との比である伝達関数Ｈ（ｆ）を求める。

次に、ステップＳ５０において、信号処理装置１０は、時間区間毎の伝達関数Ｈ（ｆ）を水中模擬音信号生成装置２０へ出力する。伝搬経路に変化がない場合には、通常、伝達関数Ｈ（ｆ）は各時間区間において同様となる。また、信号処理装置１０は、時間区間毎の伝達関数Ｈ（ｆ）を平均した伝達関数を生成して、水中模擬音信号生成装置２０へ出力してもよい。

水中模擬音信号生成装置２０は、入力した伝達関数を用いて、音信号を変換することができる。例えば、水中模擬音信号生成装置２０は、直接音信号である定常音の模擬音信号を、伝達関数を用いて、反射音信号に変換することができる。また、水中模擬音信号生成装置２０は、過渡音を含む模擬音信号を、伝達関数を用いて、反射音信号に変換することができる。更に、水中模擬音信号生成装置２０は、伝達関数を用いて、反射音信号を直接音信号に変換してもよい。

上述した他の動作例によれば、信号処理装置１０は、過渡音を含む２つの音信号の伝達関数を求めることができるので、過渡音を含む２つの異なる音信号の関係を明確にできる。水中模擬音信号生成装置２０は、この伝達関数を用いて、直接音信号を反射音信号に変換するか、又は、反射音信号を直接音信号に変換することができる。

このように水中模擬音信号生成装置は、伝達関数を用いて、模擬音信号を変換することにより、パラメータで入力されるのとは異なる他の環境の模擬音信号を生成することができる。

上述した他の動作例では、伝達関数は、直接音信号と反射音信号との関係を有しているが、過渡音を含む時間領域表現の第１音信号及び時間領域表現の第２音信号が収録される環境は、特に制限されるものではない。

本発明では、上述した実施形態の音信号の処理装置及び方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。

１０ 処理装置
１１ 演算部
１２ 記憶部
１３ 表示部
１４ 入力部
１５ 通信部
２０ 水中模擬音信号生成装置
３０ 水中模擬音信号処理システム

Claims (9)

1. 音の波形の時間的な変化が定常状態にない過渡音を含む音信号を入力する入力部と、
   前記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、３次元グラフを生成する演算部と、
   前記３次元グラフを表示する表示部と、
   を備え、
   前記演算部は、前記入力部がユーザから入力した情報に基づいて、前記３次元グラフを加工し、加工された前記３次元グラフに基づいて、複数の時間区間に対する前記音信号を求め、各時間区間の前記音信号を時間の順番に配置して、加工された前記音信号を生成する、音信号の信号処理装置。
2. 前記音信号は、水中で収録された信号である請求項１に記載の信号処理装置。
3. 前記演算部は、前記入力部がユーザから入力した情報に基づいて、時間と周波数とを座標軸とする平面上の任意の線を通る面で、前記３次元グラフを切断した輪郭を生成するように前記３次元グラフを加工する請求項１又は２に記載の信号処理装置。
4. 前記任意の線は、時間軸の方向と一致する方向に延びる線、又は、周波数軸の方向と一致する方向に延びる線、又は、時間軸及び周波数軸の方向とは一致しない方向に延びる線である請求項３に記載の信号処理装置。
5. 加工された前記音信号を出力する出力部を備える請求項１〜４の何れか一項に記載の信号処理装置。
6. 前記演算部は、入力した前記音信号を所定の時間間隔で分割し、分割された時間区間毎に、前記音信号の周波数スペクトルを求める請求項１〜５の何れか一項に記載の信号処理装置。
7. 前記演算部は、入力した前記音信号を、分割された時間区間の一部が重複するように、所定の時間間隔で分割する請求項６に記載の信号処理装置。
8. 前記演算部は、周波数スペクトルの値に基づいて色を変化させて、前記３次元グラフを生成する請求項１〜７の何れか一項に記載の信号処理装置。
9. 音の振幅変化が時間的に定常状態にない過渡音を含む音信号を入力し、
   前記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、３次元グラフを生成し、
   前記３次元グラフを表示し、
   ユーザから入力した情報に基づいて、前記３次元グラフを加工し、
   加工された前記３次元グラフに基づいて、複数の時間区間に対する前記音信号を求め、各時間区間の前記音信号を時間の順番に配置して、加工された前記音信号を生成する方法。