JP2011259397A - 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム - Google Patents

Abstract

【課題】移動する音源からの音の直間比を正確に推定する。
【解決手段】少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成されるマイクロホンアレーを備え、空間相関行列算出部が、周波数領域に変換した受音信号を使い小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する。そして、固有値展開部が、小空間相関行列を固有値展開して固有値と固有ベクトルに分解し、上記固有値を出力し、固有値分布算出部が、固有値の分布の割合を数値化して直間比相当値を出力する。
【選択図】図５

Description

この発明は、例えば、音声通話や、音声入力によって機器を操作するハンズフリー方式等に応用でき、マイクロホンから特定の距離範囲内に位置する音源の音だけを強調して収音する際に用いられる瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置、各装置の方法と各装置プログラムに関する。

従来、音源との距離を識別し特定の距離範囲にある音源からの音だけを強調若しくは抑圧する目的で、マイクロホンから受信した信号から、直接音と残響音のそれぞれのパワーを推定して直間比を求める考えがある（例えば、非特許文献１）。図面を参照して従来の直間比推定装置で直間比を求める考えを説明する。

図１に直間比推定装置を利用する場面を例示する。小型マイクロホンアレー１１を、例えば４人の発話者１２〜１４が取り囲んで会議をしている場面を想定する。その会議室内には、テレビ１６、電話１７、館内放送用のスピーカ１８が配置されているものとする。このような場面において、館内放送の音声や、電話の音等を収音せずに、小型マイクロホンアレー１１を中心として所定の距離範囲内（破線で示す円内）に位置する発話者１２〜１４の発話だけを収音したい。

マイクロホンアレーから音源までの距離を見分けるために、受信音に含まれる直接音と間接音（残響音）との比（以降、直間比と称する）に着目する。図２に屋内にマイクロホンを置いて音を収録した際の、音源２１からマイクロホン２２までの音の伝搬経路を示す。直接音とは、音源２１からマイクロホンまで直接到達する太い実線で示す音波である。一方の残響音とは、音源２１から発した音が壁や床や天井などで反射してからマイクロホン２２に到達する破線で示す音波である。

図３に直間比とマイクロホン間距離との関係を示す。図３の横軸はマイクロホンから音源までの距離、縦軸は直間比である。一般的に間接音はマイクロホンからの距離に依存しない一定の大きさを示す。その間接音に対して直接音は、マイクロホンからの距離の増加に伴って単調に減少する特性を示す。その直接音を間接音で除した直間比は、直接音と同様に距離の増加に伴って単調に減少する特性になる。

従来の直間比推定装置は、受信音からこの直間比を推定し、受信音に含まれる音源のマイクロホンアレーからの距離を推定することができる。

Y.Hioka, K.Niwa, S.Sakauchi, K.Furuya, and Y.Haneda. Estimating direct-to-reverberant energy ratio based on spatial correlation model segregating direct sound and reverberation. Proceedings of 2010 IEEE International Conference of Acoustics, Speech and Signal Processing(ICASSP2010), pages 149-152, 2010. 日岡裕輔，阪内澄宇，古家賢一，羽田陽一，"受音信号の直間比に基づく距離別収音の検討"，日本音響学会2009年秋季研究発表会，pp.633-634

従来の方法では、音源が移動していて直間比が時々刻々変化しているような場合に、その変化に追従した直間比を推定できない課題がある。

この発明は、このような問題点に鑑みてなされたものであり、音源が移動する場合でも信号を長時間観測することなく直間比を正しく推定することができる瞬時直間比推定装置と、それを用いた雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラムを提供することを目的とする。

この発明の瞬時直間比推定装置は、マイクロホンアレーと、複数の周波数領域変換部と、空間相関行列算出部と、固有値展開部と、固有値分布算出部と、を具備する。マイクロホンアレーは、少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成される。複数の周波数領域変換部は、マイクロホンアレーで受音された受音信号がそれぞれ入力され受音信号を周波数領域の信号に変換する。空間相関行列算出部は、複数の周波数領域変換部の出力する周波数領域の信号を入力として、その周波数領域の信号を使い小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する。固有値展開部は、小空間相関行列を固有値展開して固有値と固有ベクトルに分解し、上記固有値を出力する。固有値分布算出部は、固有値の分布の割合を数値化して直間比相当値を出力する。

また、この発明の雑音除去装置等は、この発明の瞬時直間比推定装置を含むものであって、その他に処理対象信号生成部と、対象信号調整部と、逆周波数領域変換部と、を具備する。

この発明の瞬時直間比推定装置は、マイクロホンアレーの観測信号から相互相関を求める際に、従来技術で行っていた複数時刻での空間相関行列の平均を求める方法の代わりに、複数の異なる位置に配置された小マイクロホンアレーの観測信号から求めた空間相関行列の和または平均を求める。この小マイクロホンアレーの空間相関行列の平均は各時刻ごとに得られるため、直間比が時々刻々と変化するような場合でも正しい直間比相当値を推定することができる。

また、このことから本発明の雑音除去装置は、音源が移動しても雑音を除去した直接音のみを抽出することができる。

従来の直間比推定装置を利用する場面の一例を示す図。 屋内での音の伝搬経路を示す図。 直間比とマイクロホン間距離との関係を示す図。 この発明のマイクロホンアレーの一例を示す図。 この発明の瞬時直間比推定装置１００の機能構成例を示す図。 瞬時直間比推定装置１００の動作フローを示す図。 この発明の雑音除去装置２００の機能構成例を示す図。 雑音除去装置２００の動作フローを示す図。 処理対象信号生成部４６の機能構成例を示す図。 この発明の遠近判定装置３００の機能構成例を示す図。 直間比推定部８４の機能構成例を示す図。 処理対象信号生成部８３の機能構成例を示す図。 この発明の瞬時直間比推定装置４００の機能構成例を示す図。 この発明の遠近判定装置５００の機能構成例を示す図。 この発明の音源距離測定装置６００の機能構成例を示す図。 この発明の雑音除去装置７００の機能構成例を示す図。 雑音除去装置７００の動作フローを示す図。 この発明の瞬時直間比推定装置４００′の機能構成例を示す図。 この発明のマイクロホンアレーの他の例を示す図であり、（ａ）は少数のマイクロホンの数を３個とした例、（ｂ）は少数のマイクロホンを立体的に配置した例を示す図である。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「￣」や「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。

実施例の説明の前にこの発明の考えについて説明する。

〔この発明の考え〕
従来の直間比を求める方法は、複数のマイクロホンで受音した受音信号を周波数領域の信号に変換し、その周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）をベクトル化し、その入力信号を用いて式（１）に示す空間相関行列Ｒ（ω，ｌ）を算出し、この空間相関行列から直接音と間接音のパワーを推定し、直間比を求める。

ここでＴは行列の転置、Ｈは共役転置を、Ｌは平均を求めるフレームの数、Ｍはマイクロホンの数を表す。式（１）から明らかなように、従来技術で求めた直間比は、所定フレーム数の空間相関行列の平均を元に計算された値である。よって、移動する音源の場合のように、時々刻々と変化する直間比を正確に推定することが出来ない。

この発明の考えは、時間平均をする前の空間相関行列を用いる点で新しい。その空間相関行列の各成分は、式（３）に示すように瞬時（任意の１フレーム）の周波数領域の信号を用いる。ただし式（３）において[]_ijは、行列のｉ行目、j列目の成分を示す。

この発明は、マイクロホンアレーとして、図４に示すような、例えば間隔ｄを空けて配置される２個のマイクロホンから成る小マイクロホンアレーを平行移動した位置に、別の小マイクロホンアレーが配置されるように、複数のマイクロホンで構成されるマイクロホンアレー４０を用いる。そして、その小マイクロホンアレー毎（４０ａ〜４０ｇ）に求めた空間相関行列の和または平均で求まる小空間相関行列を元に直間比を推定する。ここで小マイクロホンアレー毎に求めた空間相関行列の和または平均を求めることは、従来技術において必要であった空間相関行列の複数フレームの平均処理に対応する。すなわち本発明による方法では、複数フレームの平均処理を行う必要がなく、空間相関行列を瞬時に求めることが可能になる。

図５に、この発明の瞬時直間比推定装置１００の機能構成例を示す。その動作フローを図６に示す。瞬時直間比推定装置１００は、マイクロホンアレー４１と、複数の周波数領域変換部４２₁〜４２_Mと、空間相関行列算出部４３と、固定値展開部４４と、固定値算出部４５と、を具備する。空間相関行列算出部４３と固定値展開部４４と固定値算出部４５とで直間比推定部５０を構成する。瞬時直間比推定装置１００の各部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

マイクロホンアレー４１は、少数のマイクロホンから成る小マイクロホンアレー４１_ａの平行移動で重なる位置の４１_ｂ，４１_ｃ，…，４１_M-1，４１_Mに設けられる複数のマイクロホンｍ₁〜ｍ_Mで構成される。複数の周波数領域変換部４２₁〜４２_Mのそれぞれには、マイクロホンアレー４１を構成する複数のマイクロホンｍ₁〜ｍ_Mで受音された受音信号が入力される。

複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホンｍ₁，…ｍ_Mで受音された受音信号ｘ_m（ｎ）を周波数領域の信号に変換する（ステップＳ４２）。周波数領域変換部４２₁，…，４２_Mは、受音信号ｘ_m（ｎ）を、例えばサンプリング周波数１６ｋＨｚでサンプリングしてディジタル信号に変換し、例えば２５６個のサンプルを１フレームとして、それぞれのフレームにおいて離散フーリエ変換を行い周波数成分Ｘ_m（ω，ｌ）を出力する（ステップＳ４２）。ωは周波数、ｌはフレーム番号である。なお、受音信号ｘ_m（ｎ）をディジタル信号に変換するＡ/Ｄ変換器は省略している。

空間相関行列算出部４３は、複数の周波数領域変換部４２₁，…，４２_Mが出力する周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を入力として、その周波数領域の信号を使い小マイクロホンアレー毎４１_ａ〜４１_Mに求めた空間相関行列の和で求まる小空間相関行列Ｒ′（ω，ｌ）を算出する（式（４）、ステップＳ４３）。

但し、Ｒ′（ω，ｌ）の各要素であるＲ_ij（ω，ｌ）は式（３）に定義される値、すなわち式（５）に示す行列の各要素である。

小空間相関行列Ｒ′（ω，ｌ）は、固有値展開部４４に入力される。固有値展開部４４は、小空間相関行列Ｒ′（ω，ｌ）を固有値展開して固有値λm(ω，ｌ)と固有ベクトルｖ_m(ω，ｌ)に分解（式（６））し、固有値λ_m(ω，ｌ)を固有値分布算出部４５に出力する（固定値展開ステップ）。

ここでｖ^H _m（ω，ｌ)は、固有ベクトルｖ_m（ω，ｌ)のエルミート転置である。また、固有値λ_m(ω，ｌ)は、昇順（λ₁（ω，ｌ）＜λ₂（ω，ｌ）＜…＜λ_M（ω，ｌ））に並べられているものとする。

固有値分布算出部４５は、固有値λ_m(ω，ｌ)の分布の割合を数値化して、直間比相当値Ｅ_F（ω，ｌ）を出力する（固有値分布算出ステップ）。この数値化は、例えば式（７）に示すように最大固有値λ_M(ω，ｌ)の全体（固有値の総和）に対する割合や式（８）に示すエントロピー等が用いられる。

式（４）と式（５）は、図５に示すように隣接するマイクロホンを２個ずつの小マイクロホンアレーとして移動した場合の空間相関行列の和または平均で求まる小空間相関行列を算出する。つまり、隣接するマイクロホンを２個ずつ括った小マイクロホンアレーを移動（４１ａ→４１ｂ→ … →４１_M-1→４１_M）して空間相関行列の和または平均を求める。マイクロホンをＭ個に一般化した式は後述する。

この瞬時直間比推定装置１００は、雑音除去装置に利用することができる。図７に、瞬時直間比推定装置１００を含む雑音除去装置２００の機能構成例を示す。その動作フローを図８に示す。

雑音除去装置２００は、上記した瞬時直間比推定装置１００と、処理対象信号生成部４６と、対象信号調整部４７と、逆周波数領域変換部４８と、を具備する。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
処理対象信号生成部４６は、複数の周波数領域変換部４２₁，…，４２_Mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を合成して処理対象信号Ｙ（ω，ｌ）を生成する（ステップＳ４６）。

直間比推定部５０は、複数の周波数領域変換部４２₁，…，４２_mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を入力として受音信号の直間比に相当する直間比相当値Ｅ_F（ω，ｌ）を推定する（ステップＳ５０）。
対象信号調整部４７は、処理対象信号Ｙ（ω，ｌ）と、直間比相当値Ｅ_F（ω，ｌ）を入力としてその値に応じて処理対象信号Ｙ（ω，ｌ）の振幅を調整した処理後信号Ｚ（ω，ｌ）を生成する（ステップＳ４７）。

逆周波数領域変換部４８は、処理後信号Ｚ（ω，ｌ）を時間領域の信号ｚ（ｎ）に変換する（ステップＳ４８）。ステップＳ４１〜ステップＳ４８までの動作は、全ての受音信号ｘ_m（ｎ）が終了するまで継続される。

ここで、直間比相当値Ｅ_F（ω，ｌ）の値に応じて調整とは、Ｅ_F（ω，ｌ）の閾値処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を大きくする処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を小さくする等の処理を含む。詳しくは後述する。

以上の動作により、１個のマイクロホンアレーによって、例えば、特定の距離範囲にある音だけを強調し、その範囲外の音は抑圧して収音する雑音除去が行われる。以降、各部のより具体的な機能構成例を示して更に詳しくこの発明を説明する。

〔処理対象信号生成部〕
図９に処理対象信号生成部４６のより具体的な機能構成例を示す。処理対象信号生成部４６は、複数の重み乗算手段４６１₁〜４６１_Mと、加算手段４６２を備える。複数の重み乗算手段４６１₁〜４６１_Mは、Ｍ個のマイクロホンで受音した複数の受音信号ｘ_m（ｎ）の、それぞれの周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）に重み係数ｗ_m（ω）を乗ずる。

重み乗算手段４６１₁〜４６１_Mで使用する重みには、例えばＭ個のマイクロホンが無指向性の場合にはｗ_m＝１/Ｍとすることで全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）の平均を取ることで、処理対象信号Ｙ（ω，ｌ）を安定化させる。また、Ｍ個のマイクロホンが指向性を持つ場合には、ｗ₁＝１，ｗ_m＝０（ｍ＝{２，…，Ｍ}）とすることで、特定のマイクロホンの信号だけを使用することができる。例えば、参考文献「大賀、山崎、金田著、“音響システムとディジタル信号処理”電子情報通信学会発行」に記載されているような方法を利用して、重みビームフォーミングのフィルタ係数を使用すれば、マイクロホンアレーで任意の指向性を形成することもできる。

加算手段４３２は、重みが乗ぜられた全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を加算して処理対象信号Ｙ（ω，ｌ）を出力する。

〔対象信号調整部〕
対象信号調整部４７は、例えば、フィルタ係数算出手段４７１と、乗算手段４７２とで構成できる（図７）。フィルタ係数算出手段４７１は、直間比相当値Ｅ_F（ω，ｌ）を入力としてフィルタ係数Ｇ（ω，ｌ）を算出して出力する。フィルタ係数Ｇ（ω，ｌ）の算出には、例えば式（９）に示すように閾値を用いた２値のフィルタなどが用いられる。

なお、閾値Ｔｈは、直間比相当値Ｅ_F（ω，ｌ）の最小値と最大値の間の任意の値が設定できる。閾値Ｔｈを最小値（０）に近づけると音質は向上する。逆に閾値Ｔｈを最大値に近づけると雑音抑圧効果は高めるが受音信号の歪みが大きくなり音質が劣化する。

このように閾値Ｔｈは、音質と雑音抑圧との関係でトレードオフの関係を持つ。よって、閾値Ｔｈは、このトレードオフの関係を考慮した上で、利用目的に応じて経験的に決定される。

また、フィルタ係数Ｇ（ω，ｌ）の算出に際して式（１０）に示すように、直間比相当値Ｅ_Fが閾値Ｔｈ₂を下回る時間周波数帯域を強調するようにすれば、特定の距離範囲より遠くの音源を強調することができる。

なお、フィルタ係数Ｇ（ω，ｌ）の例として０か１の２値のフィルタを挙げたが、フィルタ係数Ｇ（ω，ｌ）は必ずしも０と１である必要はなく、例えば、０.１と０.９のように十分異なる値であれば良い。

また、フィルタ係数Ｇ（ω，ｌ）には、１以上の実数を設定するようにしても良い。つまり、処理対象信号Ｙ（ω，ｌ）を増幅するようにしても良い。また、０.１以下の値に設定して処理対象信号Ｙ（ω，ｌ）を大きく抑圧するようにしても良い。

このようにして求めたフィルタ係数Ｇ（ω，ｌ）が、乗算手段４７２において、処理対象信号Ｙ（ω，ｌ）に乗じて処理後信号Ｚ（ω，ｌ）＝Ｇ（ω，ｌ）・Ｙ（ω，ｌ）が生成される。よって、処理後信号Ｚ（ω，ｌ）を、直間比相当値Ｅ_F（ω，ｌ）の大きな処理対象信号Ｙ（ω，ｌ）のみで構成することができる。つまり、直接音のみを抽出することができる。

図１０にこの発明の雑音除去装置３００の機能構成例を示す。雑音除去装置３００は、上記した雑音除去装置２００に対して、処理対象信号生成部８３と、直間比推定部８４の動作が異なる。

図１１に直間比推定部８４の機能構成例を示す。直間比推定部８４は、固有値展開手段８４２が、最大の固有値λ_M（ω，ｌ）に対応する固有ベクトルｖ_L（ω，ｌ）を出力する点が直間比推定部５０（図５）と異なる。その固有ベクトルｖ_L（ω，ｌ）は処理対象信号生成部８３に入力される。

図１２に処理対象信号生成部８３の機能構成例を示す。処理対象信号生成部８３は、固有ベクトルｖ_L（ω，ｌ）を重み乗算部８３１₁〜８３１_Mの重みとして用いる点で、処理対象信号生成部４６と異なる。

マイクロホンアレー４１を構成するマイクロホンの数、Ｍ個に対応する数の固有ベクトルが、それぞれ重み乗算部８３１₁〜８３１_Mの重みとして用いられる。つまり、ｍ番目のマイクロホンの重みｗ_m(ω)には、固有ベクトルｖ_L（ω，ｌ）のｍ番目の成分ｖ_L,m（ω，ｌ）が用いられる。

最大の固有値λ_M（ω，ｌ）に対応する固有ベクトルｖ_L（ω，ｌ）は、直接音を強調するビームフォーミングの重みとして機能することが知られている。従って、雑音除去装置３００は、雑音除去装置２００よりも雑音除去性能を向上させることが可能である。

実施例３として、真の直間比Ｅ_R（ｌ）を求める瞬時直間比推定装置４００を説明する。図１３に瞬時直間比推定装置４００の機能構成例を示す。瞬時直間比推定装置４００は、直間比推定部８５の信号パワー推定部４４と直間比算出部４５とが、瞬時直間比推定装置１００のものと異なる。

信号パワー推定部４４は、空間相関行列算出部４３が出力する小空間相関行列Ｒ′（ω，ｌ）の各成分Ｒ′_i,j（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒ_d（ω）（式（１１））と、行列Ｒ_r（ω）（式（１２））の各行列のi行目、j列目の成分、ｄ_i,j（ω）と、ｒ_i,j（ω）より、それぞれ構成される式（１３）に示す行列Ａ（ω）と、式（１４）に示すＢ（ω，ｌ）を用いる。ここで、小空間相関行列Ｒ′（ω，ｌ）とは、小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる行列である（式（４））。

但し、Ｂ（ω，ｌ）の各成分であるＲ₁₁′（ω，ｌ），Ｒ₁₂′（ω，ｌ），Ｒ₂₁′（ω，ｌ），Ｒ₂₂′（ω，ｌ）は、式（４）に示すＲ′（ω，ｌ）の各要素である。

上記した式（４）と式（５）は、隣接するマイクロホンを２個ずつの小マイクロホンアレーとした場合の、それぞれの小マイクロホンアレーで求められる空間相関行列の和または平均である小空間相関行列を算出するものである。またより一般的な表現として、１つの小マイクロホンアレーを構成するマイクロホンの数をＭ′個とすると、式（１３）は式（１５）、式（１４）は式（１６）、式（４）は式（１７）で表せる。

そして、式（１８）に示す連立方程式を立て、これを解くことで直接音のパワーＰ_d（ω，ｌ）と残響音のパワーＰ_r（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（１９））を求め、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）を出力する。

なお、マイクロホンアレー４１の配置が直線以外の配置の場合の行列Ｒ_d（ω）は、より一般的な式（２０）に示す形式で表せる。

ここでＤ_mn（θ）￣は、角度θ°方向から見たときのｍ番目のマイクロホンとｎ番目のマイクロホンの距離差を表す。また、式（１８）の連立方程式の解の導出は、例えば式（２２）に示すようにＡ（ω）の擬似逆行列Ａ^＋（ω）（式（２１））を、Ｂ（ω，ｌ）の左から掛ける方法で行われる。

直間比算出部４５は、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）より、式（２３）によって直間比Ｅ_R（ｌ）を算出して出力する。

この実施例３の方法は、直接的に直間比を求めるので、正確な直間比の推定が可能である。

この発明の実施例４として、実施例１で述べた直間比相当値Ｅ_F（ω，ｌ）又は実施例３で述べた直間比Ｅ_R（ｌ）を用いて音源の遠近を判定する遠近判定装置１２０を説明する。図１４に遠近判定装置５００の機能構成例を示す。遠近判定装置５００は、直間比推定装置１００と、遠近判定部１２１と、を備える。マイクロホンアレー４１と、複数の周波数領域変換部４２₁〜４２_Mと、直間比推定部４４とは、雑音除去装置３００のものと同じである。遠近判定装置５００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。

遠近判定装置５００は、複数の異なる距離にある音源が異なる時刻に発音するときに、ある時刻に受音された音の音源が遠くにあるのか近くにあるのかを判定するものである。遠近判定装置５００を構成する遠近判定部１２１は、周波数平均手段１２１０と、蓄積手段１２１１と、判定手段１２１２と、を備える。

周波数平均手段１２１０は、直間比相当値Ｅ_F（ω，ｌ）を入力として、直間比相当値Ｅ_F（ω，ｌ）を周波数方向に平均して周波数平均直間比相当値Ｅ_l￣を出力する（式（２４））。

周波数平均手段１２１０に、直間比Ｅ_R（ｌ）を入力した場合には、特に処理をせずそのまま出力する（図１４の周波数平均手段１２１０をパスする破線）。

ここで、Ｋは周波数領域変換部４２₁〜４２_Mで行ったフーリエ変換の周波数ビンの総数である。なお、以降の説明は周波数平均直間比相当値Ｅ_l￣を用いた例で説明する。周波数平均直間比相当値Ｅ_l￣を直間比Ｅ_R（ｌ）に置換えても遠近判定装置１２０の動作に変わりはない。

蓄積手段１２１１は、周波数平均直間比相当値Ｅ_l￣を過去Ｌ時間フレーム分蓄積して、比較対象直間比相当値Ｅ＾を出力する。比較対象直間比相当値Ｅ＾には、例えば蓄積された周波数平均直間比相当値Ｅ_l￣の平均値Ｅ＾＝１/ＬΣ_l ^LＥ_l￣や、最小値と最大値の平均値Ｅ＾＝１/２（maxＥ_l￣+minＥ_l￣）等が用いられる。

判定手段１２１２は、周波数平均直間比相当値Ｅ_l￣と、比較対象直間比相当値Ｅ＾を比較して、Ｅ_l￣＞Ｅ＾の時には遠近判定結果Ｙ_lに距離が近いことを表す例えば１を、Ｅ_l￣＜Ｅ＾の時には遠近判定結果Ｙ_lに距離が遠いことを表す例えば０を出力する。この遠近判定結果Ｙ_lは、直近の過去Ｌ時間分の受音信号が、比較的近い音源からの音であるか、又は、比較的遠い音源からの音であるかを表すものである。

この遠近判定結果Ｙ_lを用いることで、逐次入力される受音信号を、マイクロホンとその音源間との距離によって切り分けることが可能である。つまり、複数の音源の音を、マイクロホンからの距離に応じて選択することができる。

図１５にこの発明の音源距離測定装置６００の機能構成例を示す。音源距離測定装置６００は、瞬時直間比推定装置１００と、距離−直間比データベース（以降、距離−直間比ＤＢと称する）５５と、距離判定部５６と、を具備する。音源距離測定装置６００のマイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

瞬時直間比推定装置１００は、実施例１および実施例３で説明済みの動作によって、受音信号の直間比相当値Ｅ_Fまたは直間比Ｅ_Rを推定する。距離−直間比ＤＢ５６は、直間比相当値Ｅ_Fまたは直間比Ｅ_Rと、マイクロホンアレーと音源との距離との関係を記録している。距離判定部５５は、直間比相当値または直間比を入力として距離−直間比ＤＢ５６を参照してその直間比相当値または直間比と対応する音源距離推定値ｄ＾を推定する。

受音信号の中には、特定の周波数帯域に成分が集中しているものもある。そのような受音信号の直間比Ｅを、直間比算出部４５(図１３)で算出した場合、直間比Ｅの推定精度は劣化してしまう。

そこで、式（２５）に示すように、特定の周波数領域Ωにおける直間比Ｅを算出する直間比算出部４５′（図１３）を用いることで、直間比の推定精度を向上させることが出来る。

ここで周波数領域Ωは、例えば信号成分の集中する周波数帯域を選択するなどして決定される。例えば、任意のｍ番目のマイクロホンに接続された周波数領域変換部４２_mの出力Ｘ_m（ω,ｌ）のうち、式（２６）に示す様にＸ_m（ω,ｌ）の絶対値が予め設定された閾値Ｐ_thより大きい値を持つ周波数ωを選んだり、Ｘ_m（ω,ｌ）の絶対値が大きい方からＫ番目までの周波数ωを選ぶことで決定される。

ここで、Ｐ_thは、例えば｜Ｘ_m（ω,ｌ）｜の全周波数の平均値などが用いられる。

図１６に、この発明の雑音除去装置７００の機能構成例を示す。その動作フローを図１７に示す。雑音除去装置７００は、実施例３で述べた瞬時直間比推定装置４００と、処理対象信号生成部７２と、対象信号調整部７３と、逆周波数領域変換部７４と、を具備する。

処理対象信号生成部７２は、瞬時直間比推定装置１００内の複数の周波数領域変換部４２1〜４２_Mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を入力として処理対象信号Ｘ（ω，ｌ）を出力する（ステップＳ７２）。処理対象信号Ｘ（ω，ｌ）は、周波数領域の信号Ｘ_m（ω，ｌ）を例えば図示しない加算手段等で合成したものである。加算する前に、各周波数領域の信号Ｘ_m（ω，ｌ）に、重みを乗じる様にしても良い。

対象信号調整部７３は、瞬時直間比推定装置１００が出力する直間比Ｅ（ω）と、処理対象信号生成部７２が出力する処理対象信号Ｘ（ω，ｌ）を入力として、処理対象信号Ｘ（ω，ｌ）の振幅を調整した処理後信号Ｙ（ω，ｌ）を生成する（ステップＳ７３）。逆周波数領域変換部７４は、処理後信号Ｙ（ω，ｌ）を時間領域の信号ｙ（ｎ）に変換する（ステップＳ７４）。

対象信号調整部７３は、例えば、距離算出手段７３１、フィルタ形成手段７３２、乗算手段７３３、を備える。距離算出手段７３１は、マイクロホンアレー４１と音源との間の距離と、直間比Ｅとの関係を示す関数式ｄ＝ｆ（Ｅ）を内蔵し、入力される直間比Ｅに応じた音源距離推定値ｄ＾を算出する（距離算出ステップＳ７３１）。

フィルタ形成手段７３２は、式（２７）に示すように、音源距離推定値ｄ＾が、２つの大きさが異なる閾値ｄ_fとｄ_nの間の値を取る時間周波数成分を強調するように設定し、２つの距離区間内の帯状の領域にある音源だけを強調するフィルタを形成する。

ここで、Ｇ（ω，ｌ）のｌとωは、上記した直間比推定部８５の処理の内、直間比算出部４５′において平均を行った周波数Ω（式（２５））に含まれる全ての周波数に対して、同じＧ（ω，ｌ）が乗算される。また、式（２７）においてＧ（ω，ｌ）の値は必ずしも１と０である必要は無く、例えば、０.９と０.１のように十分大きさが異なる値でも良い。

乗算手段７３３は、処理対象信号Ｘ（ω，ｌ）に、フィルタＧ（ω，ｌ）を乗じて処理後信号Ｙ（ω，ｌ）を生成する。したがって、処理後信号Ｙ（ω，ｌ）は、２つの距離区間内、つまり、マイクロホンアレー４１から特定の距離範囲に位置する音源の音声が、強調若しくは抑圧されたものとなる。この処理後信号Ｙ（ω，ｌ）は、逆周波数領域変換部７４で時間領域の信号ｙ（ｎ）に変換される。

上記した実施例では、それぞれのマイクロホンに重畳する電気雑音を考慮していなかった。したがって、雑音レベルが大きい場合に直間比の推定精度が劣化することがある。図１８に、雑音による直間比推定精度の劣化を防ぐことができる瞬時直間比推定装置４００′の機能構成例を示す。瞬時直間比推定装置４００′は、瞬時直間比推定装置４００における信号パワー推定部４４が、信号パワー推定部４４′と成っている点のみが異なる。

信号パワー推定部４４′は、空間相関行列算出部４３が出力する小空間相関行列Ｒ′（ω，ｌ）の各成分Ｒ′_i,j（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒ_d（ω）（式（１１））と、行列Ｒ_r（ω）（式（１２））と行列Ｒ_n（ω）（式（２８））の各成分、ｄ_i,j（ω）と、ｒ_i,j（ω）と、ｎ_i,j（ω）より、それぞれ構成される式（２９）に示す行列Ａ（ω）を用いる点が、信号パワー推定部４４と異なる。ただし行列Ｒ_n（ω）は、小マイクロホンアレーのマイクロホン数と等しい大きさを持つ単位行列である。

そして、Ｂ（ω，ｌ）に式（１４）を用い式（３０）に示す連立方程式を立て、これを解くことで直接音のパワーＰ_d（ω，ｌ）と残響音のパワーＰ_r（ω，ｌ）と雑音のパワーＰ_ｎ（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（３１））を求め、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）を出力する。式（２３）と同様に、雑音のパワーを除いた直接音パワーＰ_d(ω，ｌ)と残響音パワーＰ_r（ω，ｌ)より直間比を求めるので、各マイクロホンに重畳する電気雑音の影響を受けない正確な直間比の推定が可能である。

なお、式（２９）および上記した式（１４）は、図１３に示すように隣接するマイクロホンを２個ずつの小アレーとして求めた空間相関行列の和または平均で求まる小空間相関行列を算出するものである。小マイクロホンアレーのマイクロホンの数をＭ′個とすると、式（２９）は式（３２）、式（１４）は式（１６）で表せる。また式（２８）は大きさがＭ′×Ｍ′の単位行列となる。

なお、この瞬時直間比推定装置４００′は、説明済みの雑音除去装置２００，３００，７００、遠近判定装置５００、音源距離推定装置６００の、それぞれの瞬時直間比推定装置１００と置き換えることが可能である。置き換えた場合の各々の装置は、雑音のある環境下で且つ音源が移動しても正確な直間比を推定することが可能である。

また、少数のマイクロホンから成る小マイクロホンアレーを構成するマイクロホンの数を２個の例で説明したが、その数はいくつでも良く、そのマイクロホンの配置も等間隔に直線配置されたリニアアレーに限定されない。マイクロホンの数は、図１９（ａ）に示すように３個でも良い。３個の●が小マイクロホンアレーを示し、その平行移動で重なる位置を○で表す。また、図１９（ｂ）に示すようにマイクロホンを立体的に配置しても良い。要するに、一定規則で配列された少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に、別の小マイクロホンアレーが配置されるように複数のマイクロホンが設けられるマイクロホンアレーであれば何でも良い。

なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (11)

1. 少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成されるマイクロホンアレーと、
   上記マイクロホンアレーで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力として、その周波数領域の信号を使い上記小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する空間相関行列算出部と、
   上記小空間相関行列を固有値展開して固有値と固有ベクトルに分解し、上記固有値を出力する固有値展開部と、
   上記固有値の分布の割合を数値化して直間比相当値を出力する固有値分布算出部と
   を具備する瞬時直間比推定装置。
2. 少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成されるマイクロホンアレーと、
   上記マイクロホンアレーで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力として、その周波数領域の信号を使い上記小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する空間相関行列算出部と、
   予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーと雑音のパワーとで構成されるベクトルを求め、そのベクトル要素の内の直接音のパワーと残響音のパワーを出力する信号パワー推定部と、
   上記直接音のパワーを上記残響音のパワーで除した上記直間比を算出する直間比算出部と、
   を具備する瞬時直間比推定装置。
3. 請求項１又は２に記載した瞬時直間比推定装置を含む雑音除去装置であって、
   上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
   上記処理対象信号と、上記直間比を入力として当該直間比が大きいほど上記処理対象信号の振幅を大きく調整した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する雑音除去装置。
4. 請求項１又は２に記載した瞬時直間比推定装置を含む雑音除去装置であって、
   上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
   上記処理対象信号と、上記直間比を入力として当該直間比が小さいほど上記処理対象信号の振幅を大きく調整した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する雑音除去装置。
5. 請求項１又は２に記載した瞬時直間比推定装置を含み、遠近判定部を備えた遠近判定装置であって、
   上記遠近判定部は、
   上記直間比を、周波数方向に平均して周波数平均直間比を出力する周波数平均手段と、
   上記周波数平均直間比を過去所定のフレーム分の時間蓄積して、比較対照直間比を出力する蓄積手段と、
   上記周波数平均直間比と、上記比較対照直間比とを比較して遠近判定部を出力する判定手段と、
   を具備する遠近判定装置。
6. 請求項１又は２に記載した瞬時直間比推定装置を含む音源距離測定装置であって、
   上記直間比と距離との関係を記録した距離−直間比データベースと、
   上記直間比を入力として上記距離−直間比データベースを参照して当該直間比と対応する音源距離推定値を推定する距離判定部と、
   を具備する音源距離測定装置。
7. 請求項６に記載した音源距離測定装置において、
   上記直接音のパワーと上記残響音のパワーと上記雑音のパワーのそれぞれが、特定の周波数領域における加算値であることを特徴とする音源距離測定装置。
8. 請求項１又は２に記載した瞬時直間比推定装置を含む雑音除去装置であって、
   上記複数の周波数領域変換部が出力する周波数領域の信号を入力として処理対象信号を出力する処理対象信号生成部と、
   上記耐雑音直間比推定装置が出力する直間比と、上記処理対象信号とを入力として上記マイクロホンアレーから特定の距離範囲に位置する音源の音声を、強調若しくは抑圧した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する雑音除去装置。
9. 複数の周波数領域変換部が、少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成されるマイクロホンアレーで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
   空間相関行列算出部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として、その周波数領域の信号を使い上記小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する空間相関行列算出過程と、
   固有値展開部が、上記小空間相関行列を固有値展開して固有値と固有ベクトルに分解し、上記固有値を出力する固有値展開過程と、
   固有値分布算出部が、上記固有値の分布を割合を数値化して直間比相当値を出力する固有値分布算出過程と
   を含む瞬時直間比推定方法。
10. 複数の周波数領域変換部が、少数のマイクロホンから成る小マイクロホンアレーの平行移動で重なる位置に設けられる複数のマイクロホンで構成されるマイクロホンアレーで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
    空間相関行列算出部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として、その周波数領域の信号を使い上記小マイクロホンアレー毎に求めた空間相関行列の和または平均で求まる小空間相関行列を算出する空間相関行列算出過程と、
    信号パワー推定部が、予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーで構成されるベクトルを求め、直接音パワーと残響音パワーとを出力する信号パワー推定過程と、
    直間比算出部が、上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出過程と、
    を含む瞬時直間比推定方法。
11. 請求項１又は２に記載した瞬時直間比推定装置、または、請求項３又は請求項４又は請求項８に記載した雑音除去装置、または、請求項５に記載した遠近判定装置、または、請求項６又は７に記載した音源距離測定装置としてコンピュータを機能させるための装置プログラム。

Images