JP5294603B2 - 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体 - Google Patents

Description

本発明は、複数チャネルの音響信号から音源の位置または方向と強度と位相を推定し、任意の位置の音響信号を合成する音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体に関する。

立体的音響信号を複数のマイクで収音し、音源を分離したり、雑音を抑圧したりする手法は良く知られている。音源の位置はセンサーで収集できる。また、アレーマイクで個別の音に分離して収集することもできる。その手段として、ＳＡＦＩＡ法（非特許文献１）やＣＳＣＣ法（非特許文献２）が知られている。
青木真理子，山口義和，古家賢一，片岡章俊，"音源分離方式ＳＡＦＩＡを用いた高騒音下における近接音源の分離抽出"，電子情報通信学会誌Ａ，Vol.J88-A, No.4, pp.468-479, 2005． 松本恭輔，小野順貴，嵯峨山茂樹，"位相差拘束付複素スペクトル円心（ＣＳＣＣ）法による雑音抑圧の検討"，日本音響学会講演論文集，3-1-11, pp.499-500, 2006．

一般的に、複数のマイクは音源から離れた位置に設置され、常時、音を収音している。しかし、音源の位置や数は明確ではなく、時間とともに変動することも想定される。このような場合に、任意の位置で収音される音を求めるには、いくつかのパラメータを仮定して音源を分離する手法では対応できない。
本発明はこのような問題点を解決し、複数のマイクで収音された音から、音源を推定し、任意の位置での音を合成する方法を提供することにある。

本発明の音響信号推定装置は、帯域分割部と音源推定部から構成される。帯域分割部は、複数のマイクで収音した複数チャネルの音響信号を、チャネルごとに所定の周波数帯域ごとに分割して帯域信号を生成する。音源推定部は、周波数帯域ごとに音源の位置または方向と強度と位相を推定する。そして、チャネルごとに音源からの信号を帯域信号から除いて残差帯域信号を求める。つまり、１以上の音源が推定できた周波数帯域は、チャネルごとに音源からの信号を帯域信号から除いて残差帯域信号を求め、音源が推定できなかった周波数帯域は、各チャネルの帯域信号を残差帯域信号とする。

本発明の音響信号合成装置は、帯域信号成分推定部と帯域信号成分加算部と帯域統合部から構成され、各音源の位置または方向と周波数帯域ごとの強度と位相、各チャネルの残差帯域信号、音を合成する位置を入力とする。帯域信号成分推定部は、各音源の位置または方向と周波数帯域ごとの強度と位相から、指定された位置での各音源からの帯域信号を推定する。帯域信号成分加算部は、推定された各音源からの帯域信号と各チャネルの残差帯域信号とを重み付き加算することで、指定された位置での帯域信号を求める。帯域統合部は、指定された位置での帯域信号を、時間領域の信号に変換する。

本発明の音響信号推定合成装置は、上述の音響信号推定装置と記録部と音響信号合成装置から構成される。記録部は、音響信号推定装置から出力される各音源の位置または方向と周波数帯域ごとの強度と位相、および各チャネルの残差帯域信号を記録する。音響信号合成装置は、記録部に記録された推定された各音源の位置または方向と周波数帯域ごとの強度と位相、各チャネルの残差帯域信号、収音される音を合成する位置を入力とする。
なお、音響信号推定装置や音響信号合成装置は、上述の記録部を内部に備えていてもよい。

本発明の音響信号推定装置によれば、複数のマイクで収音した複数チャネルの音響信号から、１以上の音源の位置または方向と周波数帯域ごとの強度と位相を推定し、各チャネルの残差帯域信号を求める。したがって、音源が推定できた音と雑音などの音源が推定できない音に分けることができる。
本発明の音響信号合成装置によれば、音源が推定できた音については、音源の位置または方向から指定された位置で収音される音を計算できる。また、音源が推定できない音については、各チャネルの残差帯域信号（帯域信号に含まれる音源が特定できない信号）から指定された位置で収音される音を計算できる。そして、これらを重み付け加算するので、指定された位置での音を合成できる。

本発明の音響信号推定合成装置によれば、上述の音響信号推定装置と音響信号合成装置の効果を有するので、複数のマイクで収音した複数チャネルの音響信号から、指定された位置での合成できる。
このような効果があるので、例えば、複数の場所のカメラから任意の視点の画像・映像を合成する自由視点映像システムに対応した音響信号の合成も可能となる。

以下に、図を示しながら本発明の原理と実施形態を説明する。
原理
図１は、４つのマイクと伝播した音が平面波と近似できるほど遠方の音源からの音の様子を示す例である。一般的には、最も離れたマイク同士の間隔より、１０倍以上音源が離れた場合、平面波と近似できる。図１では、４つのマイク５０１〜５０４は直線状に配置されている。音源Ａからの音は、マイクの配置と垂直な方向から来るとする。この場合には、到達する音波の波面がそろうので、音源Ａからの各マイクへの入力信号は同一となる。音源Ｂからの音は、マイクの配置に対して垂直ではない方向から来るとする。この場合、各マイクへの音源Ｂからの音の到達時間が異なる。また、帯域ごとの帯域信号成分でみると位相が異なる。図２に、マイク５０１〜５０４が設置されている場所５０１〜５０４での、音源Ａから伝播された音のスペクトルの例を示す。図３に場所５０１〜５０４での音源Ｂから伝播された音のスペクトルの例を示す。図３（Ａ）は場所５０１での音源Ｂからの音のスペクトル、（Ｂ）は場所５０２での音源Ｂからの音のスペクトル、（Ｃ）は場所５０３での音源Ｂからの音のスペクトル、（Ｄ）は場所５０４での音源Ｂからの音のスペクトルである。また、図４から図６に場所５０１、５０２、５０３での、音源Ａと音源Ｂからの音のスペクトルを示す。図４が場所５０１での音源Ａと音源Ｂからの音のスペクトル、図５が場所５０２での音源Ａと音源Ｂからの音のスペクトル、図６が場所５０３での音源Ａと音源Ｂからの音のスペクトルである。

本発明では、このように複数のマイクで収音した音のスペクトルから、音源の方向、音源のスペクトルを推定する。なお、図７のように球面波を前提とした場合には、音源の方向を推定するのではなく、音源の位置を推定することになる。そして、各マイクでの推定した音源からの音のスペクトルを計算し、残差として残る信号（残差信号）を音源が特定できない雑音として扱う。そして、推定された音源の位置とスペクトルから、音響波形が欲しい位置（指定された位置）での各音源からの音のスペクトルを求める。また、指定された位置の残差信号のスペクトルは、指定された位置の近くのマイクの残差信号を、指定された位置とマイクとの距離を考慮した重み付け加算して求める。これらを加算することで、指定された位置での音響波形を合成する。

音源の方向やスペクトルを推定する方法は、従来から存在する方法を用いればよい。例えば、各マイクで収音した音の位相差を用いる方法などがある。音の位相差は、例えば、マイクが２つの場合には、相互相関関数の計算である時間差でピークがはっきりと出れば、１つの音源があると判断できる。また、マイクが２つ以上の場合、例えば、１つの音源を仮定して連立方程式を解くか、位相差を周波数領域で評価すると、得られた結果が１つの音源とみなせるか否か判断できる。つまり、一般的に、２つ以上のマイクがあれば、収音された音の個々の周波数帯域での位相の違いから、音源方向を推定できる。

ＳＡＦＩＡ法では、個々の帯域では主要な音源の成分は１つであると仮定し、音源の位置と、その音源からの音を求める。音源のスペクトルには、強い部分と弱い部分があり、ある帯域に注目すると主要な成分が複数の音源から来ることは比較的少ない。例えば、図４から図６に示したように、音源Ａからの音のスペクトルと音源Ｂからの音のスペクトルでは、スペクトルが存在する周波数のほとんどが異なる（例えば、図４から図６の注目帯域ａと注目帯域ｃ）。したがって、帯域分割した場合、ある帯域では、音源Ａまたは音源Ｂの一方の音が主となり、他方はほとんどない。ＳＡＦＩＡ法は、このような特性を利用している。

ＣＳＣＣ法では、他の音源からの入力スペクトルが一定となる場合、あるいはそのように換算した場合、複数のマイクに対する単一音源からのスペクトルの複素平面上での配置から音源方向とその信号成分を分離して推定する。注目帯域ａの例の場合のように、音源Ａからの成分はほとんどない場合や、各信号に遅延を与えるなどして音源Ａからの信号成分がすべてのマイクに共通となるように換算できる場合には、場所５０１〜５０４の音源Ｂの成分から、音源Ｂの方向が精度よく推定できる。なお、音源の位置の推定精度は、他の音がどの程度あるかに依存する。注目帯域ｃの場合には、音源Ｂからの成分がほとんどないので、場所５０１〜５０４の音源Ａの成分から、音源Ａの方向が精度よく推定できる。この場合は、どの場所のスペクトルも同じなので、マイクの設置方向と垂直な方向に音源Ａが存在することが分かる。注目帯域ｂの場合には、音源Ａの成分も音源Ｂの成分も強いため、単純な分離は難しい。この場合、音源方向の推定の信頼度が高い帯域（例えば、注目帯域ａ、注目帯域ｃ）で推定した音源の位置を用いて、音源Ａからの成分と音源Ｂからの成分とを推定する。この例では、音源Ａからの成分は、マイクの場所によらないので、定数とみなすことができる。

その他にも複数の音源を音源数以上の数のマイクの信号から分離する技術がある（特開２００６-２４３６６４号公報）。また、帯域を分割すれば、音源が発生する周波数成分が偏るので、マイクの数が少なくても分離可能となる（特開２００７−１９８９７７号公報）。

本発明でも、複数の音源があることを前提に複数のマイクで収音した信号を、音源ごとに分離することで、音源の方向（または位置）、音源のスペクトルを推定する。したがって、上述の信号の分離方法や類似の方法を用いる点では共通するし、どの方法を用いるかは適宜選択すればよい。しかし、本発明の目的は、任意の位置での音を合成することであり、音源ごとに音を分離することではない。つまり、本発明では、音を正確に分離できることよりも、結果的に指定された位置での音のように合成できることが重要である。そこで、本発明では、上述のいずれかの方法で可能な範囲まで、音源の位置または方向と音源帯域信号（周波数帯域ごとの強度と位相）とを推定し、残る信号を音源の位置が特定できない残差信号として扱う。残差信号は、マイクごとに求められる。そして、音源ごとの方向と周波数帯域ごとの音源帯域信号（複素スペクトル）、マイク（チャネル）ごとの周波数帯域ごとの残差信号（残差帯域信号）が記録される。指定された位置での音の合成では、各音源の位置または方向と音源帯域信号（周波数帯域ごとの強度と位相）から、指定された位置での各音源からの帯域信号を推定する。そして、推定された各音源からの帯域信号と各チャネルの残差帯域信号とを重み付き加算することで、指定された位置での帯域信号を求める。最後に、指定された位置での帯域信号を、時間領域の信号に変換する。

［第１実施形態］
図８に、本発明の音響信号推定合成装置の機能構成例を示す。また、図９に、音響信号推定合成装置の処理フローの例を示す。本発明の音響信号推定合成装置１００は、帯域分割部１１０、音源推定部１２０、記録部１３０、帯域信号成分推定部１４０、帯域信号成分加算部１５０、帯域統合部１６０から構成される。帯域分割部１１０は、Ｋ個（Ｋは２以上の整数）のマイクで収音したＫチャネルの音響信号ｘ_１（ｔ），ｘ_２（ｔ），…，ｘ_Ｋ（ｔ）を、チャネルごとに所定の周波数帯域ωごとに分割して帯域信号Ｘ_１（ω），Ｘ_２（ω），…，Ｘ_Ｋ（ω）を生成する（Ｓ１１０）。音響信号ｘ_１（ｔ）は、Ｔサンプルからなるフレーム中の１つのサンプル値（スカラー量）であり、ｔは０，…，Ｔ−１の値を取る。このような音響信号ｘ_１（ｔ）から、所定の周波数帯域ごとの帯域信号Ｘ_１（ω）を得る。帯域信号Ｘ_１（ω）は、例えば複素スペクトルである。なお、帯域信号Ｘ_１（ω）は帯域分割複素信号でもよいが、以下では複素スペクトルとして説明する。次式のように、時間領域のＴ点ごとのフレームを複素フーリエ変換し、Ｔ／２点の複素フーリエ係数を求めたものを帯域信号Ｘ_１（ω）とする。

ただし、ω＝０，…，Ｔ／２、ｊは虚数単位、πは円周率とする。
帯域信号Ｘ_１（ω）は１番目のマイク（第１のチャネル）の位置での信号の、周波数帯ωごとの振幅と位相を示している。サンプリング周波数をｆ〔Ｈｚ〕としたとき、ωｆ／Ｔ〔Ｈｚ〕を中心周波数とする帯域信号とみなせる。なお、帯域分割部１１０への入力を、アナログの音響信号とし、帯域分割部１１０内でサンプリングした値を音響信号ｘ_１（ｔ）としてもよい。どの場合も、出力は同じである。

音源推定部１２０は、従来から存在する方法で、周波数帯域ωごとに音源の位置または方向Ｄ_ω，１，Ｄ_ω，２，…，Ｄ_ω，Ｍωと音源帯域信号Ｓ_ω，１，Ｓ_ω，２，…，Ｓ_ω，Ｍωを推定する（Ｍωは周波数帯域ωでの音源の数であり、０以上の整数である）。音源帯域信号Ｓ_ω，１は、周波数帯域ωでの第１の音源から伝搬した音によって、マイク近傍で生じる信号を計算するための強度と位相の情報（例えば、複素スペクトル）である。例えば、Ｄ_ω，１が音源の位置を示しており、音を球面波とするのであれば、音源帯域信号Ｓ_ω，１は音源の位置での強度と位相を示す複素スペクトルとすればよい。また、Ｄ_ω，１が音源の方向を示しており、音を平面波に近似とするのであれば、音源帯域信号Ｓ_ω，１はある位置（音源の位置である必要はない）での強度と位相を示す複素スペクトルとすればよい。この推定の過程で、各マイクの位置での、それぞれの音源からの信号Ｕ_{ｋ，ω，ｍ}も求めておく（ｋはマイクの番号を示しており、１〜Ｋの整数である）。信号Ｕ_{ｋ，ω，ｍ}は、ｋ番目のマイクの位置での周波数帯ωのｍ番目の音源からの信号を示している（ｍは周波数帯ωごとに付された音源の番号であり、０〜Ｍωの整数である）。例えば、平面波で近似する場合であれば、音源帯域信号Ｓ_ω，１の位置とマイクｋの位置とを結ぶベクトルと音の伝搬方向の単位ベクトルとの内積（音の伝搬方向にどれだけ離れているかを示す値）から、音源帯域信号Ｓ_ω，１の位置とマイクｋの位置との位相差を求め、Ｓ_ω，１の位相をその位相差だけシフトした信号をマイクｋの位置での信号Ｕ_{ｋ，ω，１}とすればよい。

１以上の音源が推定できた周波数帯域ωは、次式のようにチャネルごとに音源からの信号を帯域信号から除いて残差帯域信号Ｎ_１（ω），Ｎ_２（ω），…，Ｎ_Ｋ（ω）を求める。

また、音源が推定できなかった周波数帯域ωは、Ｎ_ｋ（ω）＝Ｘ_ｋ（ω）をすべてのｋ（マイク）とω（周波数帯）に対して計算することで、各チャネルの帯域信号Ｘ_ｋ（ω）を残差帯域信号Ｎ_１（ω），Ｎ_２（ω），…，Ｎ_Ｋ（ω）とする（Ｓ１２０）。つまり、チャネルごとに、マイクの位置での推定できた音源からの信号を帯域信号から引くことで、残差帯域信号Ｎ_１（ω），Ｎ_２（ω），…，Ｎ_Ｋ（ω）を求めている。このように、本発明では、音源の位置が推定できなかった信号を、残差帯域信号として扱うので、音源の位置が特定できなかった信号を無理やりいずれかの音源に割り振る必要がない。

音源の位置を推定するか方向を推定するかは、音を球面波と仮定するか平面波と仮定するかで決まる。この仮定は、あらかじめ定めておく。また、どのような方法で音源の位置または方向と強度と位相を推定するかは、上述の方法などから適宜選択しておけばよい。なお、上述したように、本発明では正確に音源の位置（または方向）やスペクトルを推定することよりも、最終的に合成された音が、指定された位置での音らしくなることが重要である。ステップＳ１２０で推定された各音源の位置または方向と周波数帯域ごとの強度と位相、および各チャネルの残差帯域信号は、記録部１３０に記録される。なお、記録される情報は、符号化された情報でもよい。

帯域信号成分推定部１４０は、位置Ｐが指定されると、周波数帯域ωごとの各音源の位置または方向Ｄ_ω，１，Ｄ_ω，２，…，Ｄ_ω，Ｍωと音源帯域信号Ｓ_ω，１，Ｓ_ω，２，…，Ｓ_ω，Ｍωから、指定された位置Ｐでのすべての音源からの音を合成した帯域信号Ｚ（ω）を推定する（Ｓ１４０）。例えば、周波数帯域ωごとに、位置Ｐでの各音源からの信号Ｕ_{Ｐ，ω，ｍ}を求める（ｍは周波数帯ωごとに付された音源の番号であり、０〜Ｍωの整数である）。信号Ｕ_{Ｐ，ω，ｍ}の求め方は、音源推定部１２０の各マイクの位置での音源からの信号Ｕ_{ｋ，ω，ｍ}の求め方と同じでよい。位置Ｐでの各音源からの信号Ｕ_{Ｐ，ω，ｍ}を、次のように周波数帯域ωごとに、加算すれば、帯域信号Ｚ（ω）を求めることができる。

帯域信号成分加算部１５０は、推定されたすべての音源からの音を合成した帯域信号Ｚ（ω）と各チャネルの残差帯域信号Ｎ_１（ω），Ｎ_２（ω），…，Ｎ_Ｋ（ω）とを重み付き加算することで、指定された位置Ｐでの帯域信号Ｙ（ω）を求める（Ｓ１５０）。例えば、次式のように、推定されたすべての音源からの音を合成した帯域信号Ｚ（ω）には重み１を乗算し、各チャネルの残差帯域信号には、すべてのチャネルへの重みの合計が１となるように、各チャネルのマイクと指定された位置Ｐとの距離に応じた（例えば、反比例した）重みを設定し、重みを乗算して加算すればよい。

ただし、ｄ_ｋは、ｋ番目のマイクと位置Ｐとの距離とする。

帯域統合部１６０は、指定された位置Ｐでの帯域信号Ｙ（ω）を、時間領域の信号ｙ（ｔ）に変換する（Ｓ１６０）。例えば、信号ｙ（ｔ）は、Ｔサンプルからなるフレーム内の１つのサンプル値であり、ｔは０，…，Ｔ−１の値を取る。
本発明の音響信号推定合成装置１００はこのような構成なので、音源が推定できた音と雑音などの音源が推定できない音に分けることができる。そして、音源が推定できた音については、音源の位置または方向から指定された位置Ｐでの音を計算できる。また、音源が推定できない音については、各チャネルの残差帯域信号（帯域信号に含まれる音源が特定できない信号）から指定された位置Ｐでの音を計算できる。そして、これらを重み付け加算するので、指定された位置Ｐでの音を合成できる。このような効果があるので、例えば、複数の場所のカメラから任意の視点の画像・映像を合成する自由視点映像システムに対応した音響信号の合成も可能となる。

［変形例］
第１実施形態では、音響信号推定合成装置１００を説明した。しかし、各音源の位置または方向と周波数帯域ごとの音源帯域信号、および各チャネルの残差帯域信号を推定するまでを１つの装置（音響信号推定装置）としても良い。また、各音源の位置または方向と周波数帯域ごとの音源帯域信号、および各チャネルの残差帯域信号から、指定された位置Ｐでの音を合成するまでを１つの装置（音響信号合成装置）としても良い。

音響信号推定装置２００は、例えば、帯域分割部１１０と音源推定部１２０から構成される。記録部１３０は、音響信号推定装置２００の内部に備えても良いし、外部でも良い。音響信号合成装置３００は、例えば、帯域信号成分推定部１４０、帯域信号成分加算部１５０、帯域統合部１６０から構成される。
このように、いくつかの装置に分割して全体で音響信号推定合成装置を形成しても、第１実施形態と同じ効果を得ることができる。

図１０に、コンピュータの機能構成例を示す。なお、本発明の音響信号推定合成方法、音響信号推定方法、音響信号合成方法は、コンピュータ２０００の記録部２０２０に、本発明の各構成部としてコンピュータ２０００を動作させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などを動作させることで、コンピュータに実行させることができる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。

４つのマイクと遠くの音源から伝播した平面波の音の様子を示す図。 場所５０１〜５０４での音源Ａから伝播された音のスペクトルの例を示す図。 場所５０１〜５０４での音源Ｂから伝播された音のスペクトルの例を示す図。 場所５０１での音源Ａと音源Ｂからの音のスペクトルを示す図。 場所５０２での音源Ａと音源Ｂからの音のスペクトルを示す図。 場所５０３での音源Ａと音源Ｂからの音のスペクトルを示す図。 ４つのマイクと音源から伝播した球面波の音の様子を示す図。 音響信号推定合成装置の機能構成例を示す図。 音響信号推定合成装置の処理フローの例を示す図。 コンピュータの機能構成例を示す図。

Claims (8)

1. Ｋ個（Ｋは２以上の整数）のマイクで収音したＫチャネルの音響信号を、チャネルｋ（ｋ＝１，２，…，Ｋ）ごとに所定の周波数帯域ωごとに分割して帯域信号Ｘ_ｋ（ω）を生成する帯域分割部と、
   周波数帯域ωごとに、各マイクｋの位置での各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）からの信号Ｕ_{ｋ，ω，ｍ}を推定し、前記帯域信号Ｘ_ｋ（ω）と前記信号Ｕ_{ｋ，ω，ｍ}とから、
   

   

   である残差帯域信号Ｎ_ｋ（ω）を求める音源推定部と、
   を備える音響信号推定装置。
2. 周波数帯域ωごとの各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）の位置または方向Ｄ_ω，ｍと当該音源の位置または方向に対応づけられた周波数帯域ωごとの強度と位相Ｓ_ω，ｍと、前記音源の位置または方向に対応づけられていない信号で各チャネルｋ（ｋ＝１，２，…，Ｋ、Ｋはチャネルの数）と周波数帯域ωに対応づけられた信号である残差帯域信号Ｎ_ｋ（ω）、音を合成する位置を入力とする音響信号合成装置であって、
   周波数帯域ωごとに、各音源の位置または方向Ｄ_ω，ｍ と周波数帯域ごとの強度と位相Ｓ_ω，ｍ から、指定された位置での前記各音源からの信号を合成した帯域信号Ｚ（ω）を推定する帯域信号成分推定部と、
   各マイクｋと前記指定された位置との距離に応じた重みをα_ｋとしたとき、周波数帯域ωごとに、前記帯域信号Ｚ（ω）と前記残差帯域信号Ｎ_ｋ（ω）とから、
   

   

   である前記指定された位置での帯域信号Ｙ（ω）を求める帯域信号成分加算部と、
   前記指定された位置での帯域信号Ｙ（ω）を、時間領域の信号に変換する帯域統合部と
   を備える音響信号合成装置。
3. Ｋ個（Ｋは２以上の整数）のマイクで収音したＫチャネルの音響信号を、チャネルｋ（ｋ＝１，２，…，Ｋ）ごとに所定の周波数帯域ωごとに分割して帯域信号Ｘ_ｋ（ω）を生成する帯域分割部と、
   周波数帯域ωごとに、各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）の位置または方向Ｄ_ω，ｍと強度と位相Ｓ_ω，ｍと各マイクｋの位置での各音源ｍからの信号Ｕ_{ｋ，ω，ｍ}を推定し、前記帯域信号Ｘ_ｋ（ω）と前記信号Ｕ_{ｋ，ω，ｍ}とから、
   

   

   である残差帯域信号Ｎ_ｋ（ω）を求める音源推定部と、
   各音源の位置または方向Ｄ_ω，ｍと周波数帯域ωごとの強度と位相Ｓ_ω，ｍ、および各チャネルの残差帯域信号Ｎ_ｋ（ω）を記録する記録部と、
   周波数帯域ωごとに、各音源の位置または方向Ｄ_ω，ｍと周波数帯域ごとの強度と位相Ｓ_ω，ｍから、指定された位置での各音源からの信号を合成した帯域信号Ｚ（ω）を推定する帯域信号成分推定部と、
   各マイクｋと前記指定された位置との距離に応じた重みをα_ｋとしたとき、周波数帯域ωごとに、前記帯域信号Ｚ（ω）と前記残差帯域信号Ｎ_ｋ（ω）とから、
   

   

   である前記指定された位置での帯域信号Ｙ（ω）を求める帯域信号成分加算部と、
   前記指定された位置での帯域信号Ｙ（ω）を、時間領域の信号に変換する帯域統合部と
   を備える音響信号推定合成装置。
4. 帯域分割部で、Ｋ個（Ｋは２以上の整数）のマイクで収音したＫチャネルの音響信号を、チャネルｋ（ｋ＝１，２，…，Ｋ）ごとに所定の周波数帯域ωごとに分割して帯域信号Ｘ_ｋ（ω）を生成する帯域分割ステップと、
   音源推定部で、周波数帯域ωごとに、各マイクｋの位置での各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）からの信号Ｕ_{ｋ，ω，ｍ}を推定し、前記帯域信号Ｘ_ｋ（ω）と前記信号Ｕ_{ｋ，ω，ｍ}とから、
   

   

   である残差帯域信号Ｎ_ｋ（ω）を求める音源推定ステップと、
   を有する音響信号推定方法。
5. 周波数帯域ωごとの各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）の位置または方向Ｄ_ω，ｍと当該音源の位置または方向に対応づけられた周波数帯域ωごとの強度と位相Ｓ_ω，ｍと、前記音源の位置または方向に対応づけられていない信号で各チャネルｋ（ｋ＝１，２，…，Ｋ、Ｋはチャネルの数）と周波数帯域ωに対応づけられた信号である残差帯域信号Ｎ_ｋ（ω）、音を合成する位置を入力とする音響信号合成方法であって、
   帯域信号成分推定部で、周波数帯域ωごとに、各音源の位置または方向Ｄ_ω，ｍ と周波数帯域ごとの強度と位相Ｓ_ω，ｍ から、指定された位置での前記各音源からの信号を合成した帯域信号Ｚ（ω）を推定する帯域信号成分推定ステップと、
   帯域信号成分加算部で、各マイクｋと前記指定された位置との距離に応じた重みをα_ｋとしたとき、周波数帯域ωごとに、前記帯域信号Ｚ（ω）と前記残差帯域信号Ｎ_ｋ（ω）とから、
   

   

   である前記指定された位置での帯域信号Ｙ（ω）を求める帯域信号成分加算ステップと、
   帯域統合部で、前記指定された位置での帯域信号Ｙ（ω）を、時間領域の信号に変換する帯域統合ステップと
   を有する音響信号合成方法。
6. 帯域分割部で、Ｋ個（Ｋは２以上の整数）のマイクで収音したＫチャネルの音響信号を、チャネルｋ（ｋ＝１，２，…，Ｋ）ごとに所定の周波数帯域ωごとに分割して帯域信号Ｘ_ｋ（ω）を生成する帯域分割ステップと、
   音源推定部で、周波数帯域ωごとに、各音源ｍ（ｍ＝１，２，…，Ｍω、Ｍωは周波数帯域ωにおける音源の数）の位置または方向Ｄ_ω，ｍと強度と位相Ｓ_ω，ｍと各マイクｋの位置での各音源ｍからの信号Ｕ_{ｋ，ω，ｍ}を推定し、前記帯域信号Ｘ_ｋ（ω）と前記信号Ｕ_{ｋ，ω，ｍ}とから、
   

   

   である残差帯域信号Ｎ_ｋ（ω）を求める音源推定ステップと、
   帯域信号成分推定部で、周波数帯域ωごとに、各音源の位置または方向Ｄ_ω，ｍと周波数帯域ごとの強度と位相Ｓ_ω，ｍから、指定された位置での各音源からの信号を合成した帯域信号Ｚ（ω）を推定する帯域信号成分推定ステップと、
   帯域信号成分加算部で、各マイクｋと前記指定された位置との距離に応じた重みをα_ｋとしたとき、周波数帯域ωごとに、前記帯域信号Ｚ（ω）と前記残差帯域信号Ｎ_ｋ（ω）とから、
   

   

   である前記指定された位置での帯域信号Ｙ（ω）を求める帯域信号成分加算ステップと、
   帯域統合部で、前記指定された位置での帯域信号Ｙ（ω）を、時間領域の信号に変換する帯域統合ステップと
   を有する音響信号推定合成方法。
7. 請求項４から６のいずれかに記載の方法をコンピュータに実行させるプログラム。
8. 請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images