JP5937451B2 - エコー消去装置、エコー消去方法及びプログラム - Google Patents

Description

本発明は、マルチチャネル拡声通話系において音響エコーを消去する技術に関する。

より自然な通話環境を提供できるマルチチャネル拡声型の双方向通信会議システムの開発が、ＩＰ通信の高速化・大容量化を背景に、近年進展している。マルチチャネル再生技術は、ステレオ再生から５．１チャネル再生へとチャネル数拡大の方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアが限られていて、スィートスポット化しており、その外では音の立体感が大幅に低減してしまう。そのため、参加者全員に等しく音の立体感を提供可能な、リスニングエリアの広いマルチチャネル再生技術が求められている。

このようなマルチチャネル再生技術として、近年Wave Field Synthesis（以下「ＷＦＳ」と略す）の研究が進められている（非特許文献１参照）。ＷＦＳは、ある地点での音波面を取得し、別の地点で再合成するために、数十以上のマイクロホン、数十以上のスピーカを必要とする。

ＷＦＳを双方向映像音声通信会議に適用しようとする場合、快適な通話環境を実現するためには、数十〜数百のスピーカから数十〜数百のマイクロホンに音響的に回り込む信号成分（以下「エコー」ともいう）をマイクロホンの収音信号から消去する必要がある。この処理を効率的に行う音響エコーキャンセラアルゴリズムとして、波数領域適応アルゴリズムが提案されている（非特許文献２参照）。この波数領域適応アルゴリズムは、適応フィルタのフィルタ係数を波数領域に持つアルゴリズムである。

J. Berkhout, D de Vries, and P. Vogel, "Acoustic Control by wave field synthesis", Journal of Acoustic Society of America, 1993, vol.93, no.5, p.2764-2778 M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2012, 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, pp.133-138

しかしながら、非特許文献２は、そのシミュレーション結果の説明に記されているように、スピーカアレーから再生する波面の放射方向が変わったときに、エコー消去量が急激に劣化する。この状況は、双方向通信において遠隔地で話者が交代して、交代後の話者再生音声の放射方向が交代前と異なるケースに対応する。エコー消去量が劣化する理由は、再生波面の放射方向が変化するとエコー消去に波数ｋの異なる適応フィルタ係数が必要になるが、その適応フィルタ係数がほとんど未学習なためである。

快適な拡声通話を実現するには、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減する必要がある。特にダブルトーク状態では、送話の品質に影響を与えることなく残留エコーを低減する必要がある。

本発明は、適応フィルタによるエコー経路推定及び消去が十分でない状態において、会話状態によらず迅速に残留エコーを低減するエコー消去技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、エコー消去装置は、Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去装置は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換部と、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換部と、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換部と、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換部と、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換部と、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出部と、修正量を用いてフィルタ係数を更新するフィルタ係数部と、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む。

上記の課題を解決するために、本発明の第二の態様によれば、エコー消去方法は、Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、スピーカから受話信号を再生した際にエコー経路を経てマイクロホンに回り込むエコーを消去する。エコー消去方法は、時間領域の受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、周波数領域の受話信号を波数領域の信号に変換する第一波数領域変換ステップと、波数領域の受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、波数領域のエコーレプリカを周波数領域のエコーレプリカに変換する逆波数変換ステップと、周波数領域のエコーレプリカを時間領域のエコーレプリカに変換する時間領域変換ステップと、マイクロホンで収音される時間領域の収音信号から時間領域のエコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて波数領域のフィルタ係数の修正量を算出する修正量算出ステップと、修正量を用いてフィルタ係数を更新するフィルタ係数ステップと、時間領域の誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、周波数領域の誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、波数領域の受話信号と波数領域の誤差信号とを用いて、波数領域の誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む。

本発明は、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引いて、適応フィルタによるエコー経路推定及び消去が十分でない状態で、会話状態によらず迅速に残留エコーを低減することができるという効果を奏する。

マルチチャネル通信会議システムにおけるエコー消去装置の配置例を示す図。 第一実施形態に係るエコー消去装置の機能ブロック図。 第一実施形態に係るエコー消去装置の処理フローを示す図。 波数領域エコーレプリカ生成部の機能ブロック図。 誤差信号の合成の様子を示す図。 残留エコー消去部の機能ブロック図。 残留エコー消去部の処理フローを示す図。 第一実施形態に係る波数領域残留エコー推定消去部１２３の機能ブロック図。 第一実施形態に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。 第二変形例に係る波数領域残留エコー推定消去部１２３の機能ブロック図。 第二変形例に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。 単一周波数波の平面波のサンプリングの様子を示す図。 空間エリアシングが生じる様子及び生じない様子を示す図。 第二実施形態に係る波数領域残留エコー推定消去部１２３の機能ブロック図。 第二実施形態に係る波数領域残留エコー推定消去部１２３の処理フローを示す図。 第一実施形態及び第二実施形態に係るエコー消去装置のシミュレーション結果を示す図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「＾」は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
＜第一実施形態のポイント＞
第一実施形態では、受話信号から残留エコーへの伝達特性を高速に推定する手段と、波数領域において誤差信号から残留エコーを差し引く手段とを備える。伝達特性推定では、波数ごとに受話信号と誤差信号の相関を利用することで推定を高速化し、残留エコー以外の信号による推定揺らぎを抑える。

＜第一実施形態に係るエコー消去装置１００＞
図１はマルチチャネル通信会議システムにおけるエコー消去装置１００の配置例を、図２はエコー消去装置１００の機能ブロック図を、図３はその処理フローを示す。

エコー消去装置１００を含むマルチチャネル通信会議システムはＰチャネルの再生系とＰチャネルの収音系からなる。ただし、Ｐ≧２である。このマルチチャネル通信会議システムにおいて、Ｐ個のスピーカ２_ｐとＰ個のマイクロホン３_ｐとが共通の音場に配置される。Ｐチャネルの受話信号ｘ（ｐ，ｎ）は、スピーカ２_ｐで音響信号として再生され、音響エコー経路を経てＰ個のマイクロホン３_ｐにそれぞれ回り込む。この回り込む信号成分が前述のエコーである。ただし、ｐ＝１，２，…，Ｐであり、ｎは時刻を表すインデックスである。

エコー消去装置１００は、Ｐ個の受話端１_ｐのそれぞれを介して受話信号ｘ（ｐ，ｎ）を受け取り、Ｐ個のマイクロホン３_ｐのそれぞれで収音される収音信号ｙ（ｐ，ｎ）を受け取る。さらに、Ｐ個の収音信号ｙ（ｐ，ｎ）のそれぞれからエコーを消去して、送話信号ｖ（ｐ，ｎ）を生成し、送話端４_ｐに出力する。

エコー消去装置１００は、周波数領域変換部１１と、波数変換部１２と、波数領域エコーレプリカ生成部２１と、逆波数変換部３１と、時間領域変換部３２と、Ｐ個の減算部３３_ｐと、フレーム合成部３４と、誤差周波数領域変換部４１と、誤差波数変換部４２とを含む。なお、エコー消去装置１００は、既存技術（例えば非特許文献２参照）を用いて、波数領域適応アルゴリズムを実現する。

さらに、エコー消去装置１００は、既存技術には無い、波数領域で受話信号と誤差信号とから残留エコーを推定し、誤差信号から残留エコーを差し引く残留エコー消去部１２０を含む。以下、各部の詳細を説明する。

＜周波数領域変換部１１＞
周波数領域変換部１１は、Ｐチャネルの時間領域の受話信号ｘ（ｐ，ｎ）を受け取り、チャネルｐ毎に周波数領域の受話信号Ｘ_ｆ（ｐ，ｉ）に変換し（ｓ１）、Ｐ×２Ｆ個の周波数領域の受話信号Ｘ_ｆ（ｐ，ｉ）を波数変換部１２に出力する。ただし、ｉはフレーム番号を、２Ｆは１フレーム内に含まれるサンプル数を、ｆは周波数のインデックスを表し、ｆ＝０，１，…，２Ｆ−１である。信号のサンプリング周波数をｆ_Ｓとすると、Ｘ_ｆ（ｐ，ｉ）はフレームｉにおけるチャネルｐの受話信号の周波数ｆ_Ｓｆ／２Ｆ［Ｈｚ］の成分を表す。なお、周波数領域変換の方法としては、高速フーリエ変換（Fast Fourier Transform；以下「ＦＦＴ」と略す）等が考えられる。

まず、周波数領域変換部１１は、受話信号ｘ（ｐ，ｎ）をＦ／Ｄ個受け取る毎に（言い換えると、ｎ＝ｉＦ／Ｄの関係になる毎に）、２Ｆ個の受話信号ｘ（ｐ，ｎ−２Ｆ＋１），ｘ（ｐ，ｎ−２Ｆ＋２），…，ｘ（ｐ，ｎ）を１フレーム分としてブロック化し、フレーム単位の受話信号ｘ（ｐ，ｉ）を得る。ただし、Ｆは自然数であり、ＤはＦを割り切る自然数である。例えば、
x(p,i)=[x(p,(iF/D)-2F+1),x(p,(iF/D)-2F+2),…,x(p,iF/D)]^T (1)
である。ただし、^Ｔは転置を表す。以下、各信号を１フレーム＝２Ｆサンプル、シフト量Ｆ／Ｄサンプルでブロック化する。ＦＦＴ計算を簡略化・高速化するために、Ｆを２のべき乗にとることが多い。以下ではＤ≧２の場合を示す。

さらに、周波数領域変換部１１は、フレーム単位の受話信号ｘ（ｐ，ｉ）を、次式のように周波数領域の受話信号Ｘ（ｐ，ｉ）に変換する。
X(p,i)=FFT(x(p,i))=[X₀(p,i) … X_f(p,i) … X_2F-1(p,i)] (2)
なお、受話信号Ｘ（ｐ，ｉ）を含め、周波数領域の各信号は短時間スペクトルにより表される。

＜波数変換部１２＞
波数変換部１２は、Ｐ×２Ｆ個の周波数領域の受話信号Ｘ_ｆ（ｐ，ｉ）を受け取り、以下の式（３）や（４）により、周波数ｆ毎に波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）に変換し（ｓ３）、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）を波数領域エコーレプリカ生成部２１及び残留エコー消去部１２０に出力する。ただし、ｋは波数のインデックスであり、Ｋを自然数とし、チャネル数Ｐが偶数でＰ＝２Ｋのときｋ＝−Ｋ＋１，−Ｋ＋２，…，−１，０，１，…，Ｋであり、チャネル数Ｐが奇数でＰ＝２Ｋ＋１のときｋ＝−Ｋ，−Ｋ＋１，…，−１，０，１，…，Ｋである。

（１）チャネル数Ｐが偶数でＰ＝２Ｋのとき、
X^(W) _f(i)=FFT([X_f(1,i) X_f(2,i) … X_f(P,i)])
=[X^(W) _f(0,i) … X^(W) _f(k,i) … X^(W) _f(K,i) X^(W) _f(-K+1,i) … X^(W) _f(-1,i)] (3)
である。

（２）チャネル数Ｐが奇数でＰ＝２Ｋ＋１のとき、
X^(W) _f(i)=FFT([X_f(1,i) X_f(2,i) … X_f(P,i)])
=[X^(W) _f(0,i) … X^(W) _f(k,i) … X^(W) _f(K,i) X^(W) _f(-K,i) … X^(W) _f(-1,i)] (4)
である。波数領域への変換は、２のべき乗の点数を持つＦＦＴで高速に行うため、以下、チャネル数Ｐが偶数の場合（Ｐ＝２Ｋ）について説明を進める。なお、受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）を含め、波数領域の各信号は短時間スペクトルにより表される。

＜波数領域エコーレプリカ生成部２１＞
波数領域エコーレプリカ生成部２１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｅ^（Ｗ） _ｆ（ｋ，ｉ）（詳細は後述する）とを受け取り、これらの値を用いて、ｆ≦Ｆにおいて、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を生成し、逆波数変換部３１に出力する。なお、エコーレプリカとは、収音信号に含まれるエコーを模したものであり、エコーの推定値である。

図４は波数領域エコーレプリカ生成部２１の機能ブロック図を示す。波数領域エコーレプリカ生成部２１は、修正量算出部２１１と、フィルタ係数部２１３と、乗算部２１５とを含む。

（乗算部２１５）
波数領域エコーレプリカ生成部２１の乗算部２１５は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）を受け取る。また、後述するフィルタ係数部２１３からＰ×（Ｆ＋１）×（２δ＋１）個の波数領域のフィルタ係数Ｈ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）（ただしｆ≦Ｆ）を受け取る。ただし、ｄｋ＝−δ，−δ＋１，…，−１，０，１，…，δ−１，δである。δとして、非特許文献２では１もしくは２が推奨されている。乗算部２１５は、ｆ≦Ｆにおいて、次式のように、受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）にフィルタ係数Ｈ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）を乗じて、波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を生成し（ｓ５）、逆波数変換部３１に出力する。

このように波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を生成することで、隣接する空間周波数成分を含むことができる。隣接する空間周波数成分を含む必要がない場合には、δ＝０として次式により、波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を生成してもよい。
Y^^(W) _f(k,i)=H^(W) _f(k,k,i)X^(W) _f(k,i) (6)
なお、修正量算出部２１１及びフィルタ係数部２１３の処理については後述する。

＜逆波数変換部３１＞
逆波数変換部３１は、Ｐ×（Ｆ＋１）個の波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、次式のように周波数ｆ毎に周波数領域のエコーレプリカＹ＾_ｆ（ｐ，ｉ）に変換する（ｓ９）。
[Y^_f(1,i) Y^_f(2,i) … Y^_f(P,i)]
=IFFT([Y^^(W) _f(0,i)…Y^^(W) _f(k,i)…Y^^(W) _f(K,i) Y^^(W) _f(-K+1,i)…Y^^(W) _f(-1,i)]) (7)
なお、周波数ｆ＞Ｆについては、実数信号のＦＦＴ結果に関する対称性から、次式で周波数領域のエコーレプリカＹ＾_ｆ（ｐ，ｉ）を求める。
Y^_f(p,i)=conj(Y^_2F-f(p,i)) (8)
ここで、ｃｏｎｊ（・）は、・の複素共役をとることを意味する。このようにして求めた合計Ｐ×２Ｆ個の周波数領域のエコーレプリカＹ＾_ｆ（ｐ，ｉ）を時間領域変換部３２に出力する。なお、逆波数変換方法としては、波数変換部１２における波数領域変換方法に対応するものを用いればよい。

＜時間領域変換部３２＞
時間領域変換部３２は、Ｐ×２Ｆ個の周波数領域のエコーレプリカＹ＾_ｆ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に周波数領域のエコーレプリカＹ＾_ｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）（要素数はＦ個）に変換する（ｓ９）。
y^(p,i)=[I_F 0_F]IFFT([Y^₀(p,i)…Y^_f(p,i)…Y^_2F-1(p,i)]) (9)
ここで０_ＦはＦ×Ｆの零行列、Ｉ_ＦはＦ×Ｆの単位行列である。Ｐ個の時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）をそれぞれＰ個の減算部３３_ｐに出力する。時間領域変換方法としては、周波数領域変換部１１における周波数領域変換方法に対応するものを用いればよい。

＜減算部３３_ｐ＞
減算部３３_ｐは、時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）とマイクロホン３_ｐで収音される収音信号ｙ（ｐ，ｎ）とを受け取る。収音信号ｙ（ｐ，ｎ）を１フレーム＝Ｆサンプル、シフト量Ｆ／Ｄサンプルで
y(p,i)=[y(p,(iF/D)-F+1),x(p,(iF/D)-F+2),…,x(p,iF/D)]^T
のようにブロック化し、収音信号ベクトルｙ（ｐ，ｉ）とする。減算部３３_ｐは、次式のように時間領域の収音信号ベクトルｙ（ｐ，ｉ）から時間領域のエコーレプリカ信号ベクトルｙ＾（ｐ，ｉ）を差し引き（ｓ１１）、時間領域の誤差信号ベクトルｅ（ｐ，ｉ）（要素数はＦ個）を求め、フレーム合成部３４及び誤差周波数領域変換部４１に出力する。
e(p,i)=y(p,i)-y^(p,i) (10)
このような構成により、エコー消去装置１００は、エコー消去を図る。

＜フレーム合成部３４＞
フレーム合成部３４は、Ｐ個の時間領域の誤差信号ベクトルｅ（ｐ，ｉ）を受け取る。周波数領域変換部１１において受話信号ｘ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、フレーム合成部３４は、フレームｉで求めた誤差信号ベクトルｅ（ｐ，ｉ）と一つ前のフレームｉ−１で求めた誤差信号ベクトルｅ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し（ｓ１３）、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）を残留エコー消去部１２０に出力する。

Ｄ＝２の場合、長さＦ／Ｄのハニング窓をＷ_Ｈとして、合成後の長さＦ／Ｄの誤差信号ベクトルｅ’（ｐ，ｉ）は次式で算出される。この合成の様子を図５に示す。
e'(p,i)=[0_F/D I_F/D]diag(W_H)e(p,i-1)+[I_F/D0_F/D]diag(W_H)e(p,i) (11)
ただし、０_Ｆ／Ｄは（Ｆ／Ｄ）×（Ｆ／Ｄ）のゼロ行列、Ｉ_Ｆ／Ｄは（Ｆ／Ｄ）×（Ｆ／Ｄ）の単位行列、ｄｉａｇ（・）は・を対角成分とし、それ以外が零であるような行列である。

＜誤差周波数領域変換部４１＞
誤差周波数領域変換部４１は、Ｐ個の時間領域の誤差信号ベクトルｅ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に時間領域の誤差信号ベクトルｅ（ｐ，ｉ）に０詰めをしたものを周波数領域に変換し（ｓ１５）、Ｐ×２Ｆ個の周波数領域の誤差信号Ｅ_ｆ（ｐ，ｉ）を誤差波数変換部４２に出力する。

＜誤差波数変換部４２＞
誤差波数変換部４２は、Ｐ×２Ｆ個の周波数領域の誤差信号Ｅ_ｆ（ｐ，ｉ）を受け取り、次式により、周波数ｆ毎に波数領域の誤差信号Ｅ^（Ｗ） _ｆ（ｋ，ｉ）に変換し（ｓ１７）、Ｐ×２Ｆ個の波数領域の誤差信号Ｅ^（Ｗ） _ｆ（ｋ，ｉ）を波数領域エコーレプリカ生成部２１に出力する。
E^(W) _f(p,i)=FFT([E_f(1,i) … E_f(P,i)]
=[E^(W) _f(0,i) … E^(W) _f(k,i) … E^(W) _f(K,i) E^(W) _f(-K+1,i) … E^(W) _f(-1,i)] (13)

（修正量算出部２１１）
波数領域エコーレプリカ生成部２１内の修正量算出部２１１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｅ^（Ｗ） _ｆ（ｋ，ｉ）とを受け取り（図２及び図４参照）、ｆ（ｆ≦Ｆ）において、−Ｋ＋１≦ｋ≦Ｋの範囲で、次式のように波数領域の適応フィルタのフィルタ係数の修正量ｄＨ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）（ただし−δ≦ｄｋ≦δ）を算出し（ｓ１９）、Ｐ×（Ｆ＋１）×（２δ＋１）個の修正量ｄＨ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）をフィルタ係数部２１３に出力する。

なお、ρは分母が０になることを防止するための微小な正定数であり、右辺分母中のＺ^（Ｗ） _ｆ（ｋ，ｉ）は修正量ｄＨ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）を補正しており、

により計算される。Ｚ^（Ｗ） _ｆ（ｋ，ｉ）は受話信号Ｘ^（Ｗ） _ｆ（ｋ−δ，ｉ）〜Ｘ^（Ｗ） _ｆ（ｋ＋δ，ｉ）のパワーの総和であり、βはパワー計算で短時間平均をとるための平滑化定数であり、０〜１の値をとる。

（フィルタ係数部２１３）
波数領域エコーレプリカ生成部２１内のフィルタ係数部２１３は、Ｐ×（Ｆ＋１）×（２δ＋１）個の修正量ｄＨ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）を受け取り（ただしｆ≦Ｆ）、次式でフィルタ係数Ｈ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ）を更新し（ｓ２１）、Ｐ×（Ｆ＋１）×（２δ＋１）個の更新後の波数領域のフィルタ係数Ｈ^（Ｗ） _ｆ（ｋ，ｋ＋ｄｋ，ｉ＋１）を乗算部２１５に出力する。
H^(W) _f(k,k+dk,i+1)=H^(W) _f(k,k+dk,i)+μdH^(W) _f(k,k+dk,i) (16)
ただし、μは０〜１の値をとるステップサイズである。乗算部２１５における処理は前述の通りである。

＜残留エコー消去部１２０＞
残留エコー消去部１２０は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）とを受け取り、波数領域の誤差信号に含まれる残留エコーを推定し、消去し（ｓ２３）、Ｐ個の時間領域の送話信号ｖ（ｐ，ｎ）を出力する。

図６は残留エコー消去部１２０の機能ブロック図を、図７はその処理フローを示す。残留エコー消去部１２０は、周波数領域変換部１２１と、波数変換部１２２と、波数領域残留エコー推定消去部１２３と、逆波数変換部１２４と、時間領域変換部１２５と、フレーム合成部１２６とを含む。以下、処理の詳細を説明する。

（周波数領域変換部１２１）
周波数領域変換部１２１は、合成後のＰ個の時間領域の誤差信号ベクトルｅ’（ｐ，ｉ）（要素数はＦ／Ｄ個）を受け取り、次式のように、チャネルｐ毎にフレームｉにおける誤差信号ベクトルｅ’（ｐ，ｉ）と一つ前のフレームｉ−１における誤差信号ベクトルｅ’（ｐ，ｉ−１）とを用いて、周波数領域の誤差信号Ｕ_ｆ（ｐ，ｉ）に変換し（ｓ２３１）、Ｐ×２Ｆ個の周波数領域の誤差信号Ｕ_ｆ（ｐ，ｉ）を波数変換部１２２に出力する。例えば、周波数領域変換部１１と同様の方法により周波数領域に変換する。
U(p,i)=FFT([e'^T(p,i-1),e'^T(p,i)])=[U₀(p,i) … U_f(p,i) … U_2F-1(p,i)] (17)

（波数変換部１２２）
波数変換部１２は、Ｐ×２Ｆ個の周波数領域の誤差信号Ｕ_ｆ（ｐ，ｉ）を受け取り、次式により、周波数ｆ毎に波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）に変換し（ｓ２３２）、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）を波数領域残留エコー推定消去部１２３に出力する。
U^(W) _f(i)=FFT([U_f(1,i) U_f(2,i) … U_f(P,i)])
=[U^(W) _f(0,i) … U^(W) _f(k,i) … U^(W) _f(K,i) U^(W) _f(-K+1,i) … U^(W) _f(-1,i)] (18)

（波数領域残留エコー推定消去部１２３）
波数領域残留エコー推定消去部１２３は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）とを受け取り、これらの値を用いて、ｆ≦Ｆにおいて、誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）に含まれる残留エコーを推定し、消去し（ｓ２３３）、Ｐ×（Ｆ＋１）個の波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｐ，ｉ）を求め、逆波数変換部１２４に出力する。以下、処理の詳細を説明する。

図８は波数領域残留エコー推定消去部１２３の機能ブロック図を、図９はその処理フローを示す。

波数領域残留エコー推定消去部１２３は、入出力相関係数算出部１２３１と、入出力伝達特性推定部１２３２と、残留エコー推定部１２３３と、残留エコー補正部１２３４と減算部１２３５とを含む。

((入出力相関係数算出部１２３１))
入出力相関係数算出部１２３１は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）とＰ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）とを受け取り、ｆ≦Ｆにおいて、波数領域の残留エコー信号を出力とする系の伝達特性を推定するために、時刻ｎ＝ｉＦ／Ｄにおける波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）とから
P_f(k,i)=E[X^(W)* _f(k,i)X^(W) _f(k,i)]
Q_f(k,i)=E[X^(W)* _f(k,i)U^(W) _f(k,i)] (19)
により、受話信号のパワースペクトルＰ_ｆ（ｋ，ｉ）と、受話信号と誤差信号との間のクロススペクトルＱ_ｆ（ｋ，ｉ）とを算出し（ｓ２３３１）、入出力伝達特性推定部１２３２に出力する。ただし、ｉはフレーム番号であり、時刻ｎとはｎ＝ｉＦ／Ｄの関係があり、＊は複素共役を、Ｅ［ ］は平均をとることを表す。平均処理の一例としては、
E[X^(W)* _f(k,i)X^(W) _f(k,i)]
=βE[X^(W)* _f(k,i-1)X^(W) _f(k,i-1)]+(1-β)X^(W)* _f(k,i)X^(W) _f(k,i)
のように、１フレーム前の処理結果と０〜１の値をとる平滑化定数βを用いる方法や過去の数〜数十フレームの統計的平均値として求める方法等が考えられる。

((入出力伝達特性推定部１２３２))
入出力伝達特性推定部１２３２は、Ｐ×（Ｆ＋１）個のパワースペクトルＰ_ｆ（ｋ，ｉ）とＰ×（Ｆ＋１）個のクロススペクトルＱ_ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、パワースペクトルＰ_ｆ（ｋ，ｉ）及びクロススペクトルＱ_ｆ（ｋ，ｉ）から

により、受話信号と誤差信号との入出力伝達特性を推定し（ｓ２３３２）、推定値Ｇ’_ｆ（ｋ，ｉ）を残留エコー推定部１２３３に出力する。

また、次式により推定値Ｇ’_ｆ（ｋ，ｉ）を平滑化し、平滑化した推定値Ｇ_ｆ（ｋ，ｉ）を残留エコー推定部１２３３に出力してもよい。

本実施形態では、平滑化した推定値Ｇ_ｆ（ｋ，ｉ）を出力するものとする。ここで、βは、入出力伝達特性の推定値を平滑化するための定数であり、０〜１の間の値をとる。

((残留エコー推定部１２３３))
残留エコー推定部１２３３は、Ｐ×（Ｆ＋１）個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の推定値Ｇ_ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように、受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）に推定値Ｇ_ｆ（ｋ，ｉ）を乗じて、残留エコーを推定し（ｓ２３３３）、推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）を残留エコー補正部１２３４に出力する。
ΔY^(W) _f(k,i)=G_f(k,i)X^(W) _f(k,i) (21)

((残留エコー補正部１２３４))
残留エコー補正部１２３４は、Ｐ×（Ｆ＋１）個の推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の誤差信号Ｕ^(Ｗ) _ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式で補正し（ｓ２３３４）、補正後の残留エコーの推定値ΔＹ^II(Ｗ) _ｆ（ｋ，ｉ）を減算部１２３５に出力する。

ただし、式中のＳ^（Ｗ） _ｆ（ｋ，ｉ）は、送話信号の推定値であり、次式により算出される。
S^(W) _f(k,i)=U^(W) _f(k,i)-ΔY^(W) _f(k,i) (23)
また、Ｔは各スペクトルの推定の自由度の数であり、入出力相関係数算出部１２３１においてパワースペクトルＰ_ｆ（ｋ，ｉ）及びクロススペクトルＱ_ｆ（ｋ，ｉ）を算出するときのフレーム数（つまり、各スペクトル推定に使用するフレーム数）が、これにあたる。
Ｍは入力変数の数であり、式（２０）の場合にはＭ＝１になる。またＦ_{２Ｍ，Ｔ−２Ｍ，ａｌｐｈａ}は、自由度ｎ_１＝２Ｍ、ｎ_２＝Ｔ−２ＭのＦ分布の１００×ａｌｐｈａ百分比点である。

なお、Ｆ分布は、統計学で用いられる連続確率分布である。統計的仮説検定の一手法である分散分析において、観測データにおける変動を誤差変動と各要因の変動に分解し、各要因の効果・有意性を判定する際に使用される。

参考文献１によれば、Ｍ＝１のとき入出力伝達特性推定部１２３２において推定される入出力伝達特性の推定値Ｇ_ｆ（ｋ，ｉ）の信頼区間は、真値からの比率で

の幅を持つ。
（参考文献１）Ｊ．Ｓ．ベンダット、Ａ．Ｇ．ピアソル、「ランダムデータの統計的処理」、培風館、１９７６年、ｐ．１９４〜１９７

短時間スペクトルに基づく入出力伝達特性推定部１２３２の推定では、本来よりも送話と残留エコーの相関性を高めに推定しやすく、伝達特性を高めに推定する傾向がある。このことに基づき、上記の補正は残留エコーの信頼区間の下端の値を残留エコーの補正値としている。

((減算部１２３５))
減算部１２３５は、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の補正後の残留エコーの推定値ΔＹ^II(Ｗ) _ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹ^II(Ｗ) _ｆ（ｋ，ｉ）を差し引いて（ｓ２３３５）、差分を波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｋ，ｉ）として求め、逆波数変換部１２４に出力する。
V^(W) _f(k,i)=U^(W) _f(k,i)-ΔY^II(W) _f(k,i) (25)

（逆波数変換部１２４）
逆波数変換部１２４は、Ｐ×（Ｆ＋１）個の波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｋ，ｉ）を受け取り（図６参照）、ｆ（ｆ≦Ｆ）において、次式のように周波数ｆ毎に周波数領域の送話信号Ｖ_ｆ（ｐ，ｉ）に変換する（ｓ２３４）。
[V_f(1,i) V_f(2,i) … V_f(P,i)]
=IFFT([V^(W) _f(0,i)…V^(W) _f(k,i)…V^(W) _f(K,i) V^(W) _f(-K+1,i)…V^(W) _f(-1,i)]) (26)
なお、周波数ｆ＞Ｆについては、実数信号のＦＦＴ結果に関する対称性から、次式で周波数領域の送話信号Ｖ_ｆ（ｐ，ｉ）を求める。
V_f(p,i)=conj(V_2F-f(p,i))
このようにして求めた合計Ｐ×２Ｆ個の周波数領域の送話信号Ｖ_ｆ（ｐ，ｉ）を時間領域変換部１２５に出力する。なお、逆波数変換方法としては、波数変換部１２２における波数領域変換方法に対応するものを用いればよい。

（時間領域変換部１２５）
時間領域変換部１２５は、Ｐ×２Ｆ個の周波数領域の送話信号Ｖ_ｆ（ｐ，ｉ）を受け取り、次式のように、チャネルｐ毎に周波数領域の送話信号Ｖ_ｆ（ｐ，ｉ）を逆ＦＦＴし、時間領域の送話信号ベクトルｖ（ｐ，ｉ）（要素数は２Ｆ個）に変換し（ｓ２３５）、フレーム合成部１２６に出力する。
v(p,i)=IFFT([V₀(p,i)…V_f(p,i)…V_2F-1(p,i)]) (27)
時間領域変換方法としては、周波数領域変換部１２１における周波数領域変換方法に対応するものを用いればよい。

（フレーム合成部１２６）
フレーム合成部１２６は、Ｐ個の時間領域の送話信号ベクトルｖ（ｐ，ｉ）を受け取る。周波数領域変換部１１において、受話信号ｘ（ｐ，ｎ）をＤ≧２でフレーム化した場合には、フレーム合成部１２６は、フレームｉで求めた送話信号ｖ（ｐ，ｉ）と一つ前のフレームｉ−１で求めた送話信号ｖ（ｐ，ｉ−１）とに対して窓かけ処理を行った上で、合成し（ｓ２３６）、合成後の送話信号ベクトルｖ’（ｐ，ｉ）（要素数はＦ／Ｄ個）の要素ｖ（ｐ，ｎ−Ｆ／Ｄ＋１），ｖ（ｐ，ｎ−Ｆ／Ｄ＋２），…，ｖ（ｐ，ｎ）を逐次、エコー消去装置１００の出力値として出力する。ただし、ｎ＝ｉＦ／Ｄの関係にある。なお、その処理内容は、フレーム合成部３４の処理と同等である。

＜効果＞
このような構成により、波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）とから波数領域で残留エコーを推定し、誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）から残留エコーの推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）を差し引く。これにより波数領域の適応フィルタによるエコー経路推定及び消去が十分でない状態であっても、会話状態によらずに迅速に残留エコーを低減することができるという効果を奏する。

＜第一変形例＞
第一実施形態と異なる部分についてのみ説明する。波数領域残留エコー推定消去部１２３の処理（ｓ２３３）において、残留エコーを補正しない構成としてもよい。この場合、波数領域残留エコー推定消去部１２３は、残留エコー補正部１２３４を含まず、減算部１２３５では、残留エコー推定部１２３３の出力値である残留エコーの推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）を補正せずにそのまま用いる。

このような構成により、第一実施形態と同様の効果を得ることができ、計算量を削減することができる。ただし、伝達特性を高めに推定する可能性がある。

＜第二変形例＞
第一実施形態または第一変形例と異なる部分についてのみ説明する。

波数領域残留エコー推定消去部１２３の処理内容が、第一実施形態または第一変形例とは異なる。

（波数領域残留エコー推定消去部１２３）
波数領域残留エコー推定消去部１２３は、波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と波数領域エコーレプリカ生成部２１で生成されたエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）の線形和として波数領域の残留エコーを推定する。

図１０は第二変形例に係る波数領域残留エコー推定消去部１２３の機能ブロック図を、図１１はその処理フローを示す。

波数領域残留エコー推定消去部１２３は、線形和重み算出部１２３６と、線形和算出部１２３７と、減算部１２３５とを含む。なお、図２及び図６において図示されていないが、波数領域エコーレプリカ生成部２１の出力値であるエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）が、残留エコー消去部１２０内の波数領域残留エコー推定消去部１２３に入力されるものとする。

((線形和重み算出部１２３６))
線形和重み算出部１２３６は、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、以下のように相互スペクトルを係数とする式を解いて線形和重みｃ’_ｆ，１（ｋ，ｉ）及びｃ’_ｆ，２（ｋ，ｉ）を算出する（ｓ２３３６）。

線形和重み算出部１２３６は、式（２８）によって求めた線形和重みｃ’_ｆ，１（ｋ，ｉ）及びｃ’_ｆ，２（ｋ，ｉ）をそのまま線形和算出部１２３７に出力してもよいし、次式により平滑化した線形和重みｃ_ｆ，１（ｋ，ｉ）及びｃ_ｆ，２（ｋ，ｉ）を線形和算出部１２３７に出力してもよい。

本変形例では、平滑化した線形和重みｃ_ｆ，１（ｋ，ｉ）及びｃ_ｆ，２（ｋ，ｉ）を出力するものとする。

((線形和算出部１２３７))
線形和算出部１２３７は、Ｐ×（Ｆ＋１）個の線形和重みｃ_ｆ，１（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の線形和重みｃ_ｆ，２（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域の受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×２Ｆ個の波数領域のエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）とを受け取り、次式のように、ｆ（ｆ≦Ｆ）において、受話信号Ｘ^（Ｗ） _ｆ（ｋ，ｉ）とエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）との線形和Ｖ＾^（Ｗ） _ｆ（ｋ，ｉ）を算出し（ｓ２３３７）、この線形和Ｖ＾^（Ｗ） _ｆ（ｋ，ｉ）を残留エコーの推定値ΔＹ^（Ｗ） _ｆ（ｋ，ｉ）として減算部１２３５に出力する。
V^^(W) _f(k,i)=X^(W) _f(k,i)c_f,1(k,i)+Y^^(W) _f(k,i)c_f,2(k,i) (30)

（減算部１２３５）
減算部１２３５は、Ｐ×２Ｆ個の波数領域の誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）と、Ｐ×（Ｆ＋１）個の波数領域の残留エコーの推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）とを受け取り、ｆ（ｆ≦Ｆ）において、次式のように波数領域で誤差信号Ｕ^（Ｗ） _ｆ（ｋ，ｉ）から波数領域の残留エコーの推定値ΔＹ^(Ｗ) _ｆ（ｋ，ｉ）を差し引いて（ｓ２２３５）、波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｋ，ｉ）を求め、逆波数変換部１２４に出力する。
V^(W) _f(k,i)=U^(W) _f(k,i)-ΔY^(W) _f(k,i)

＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。本変形例では、第一実施形態に比べ計算量は増えるが、エコーレプリカを残留エコー推定に含めることで、フレーム長が部屋の残響時間と比較して大幅に短い場合でも、残留エコー消去性能の劣化を抑えることができる。

＜その他の変形例＞
波数領域においてエコーレプリカを求める方法については、上述の方法以外の既存技術を用いてもよい。また、既存技術を用いて、周波数領域や時間領域においてエコーレプリカを求めてもよい。ただし、時間領域の収音信号から時間領域のエコーレプリカを差し引く構成のほうが、エコー消去の精度が高いことが知られているため、仮に周波数領域においてエコーレプリカを求めた場合も、時間領域に変換した上で、時間領域の収音信号から差し引く構成とすることが望ましい。

第一実施形態では、チャネル数Ｐが偶数の場合について説明したが、奇数（Ｐ＝２Ｋ＋１）であってもよい。

＜第二実施形態＞
＜第二実施形態のポイント＞
第一実施形態と異なる部分についてのみ説明する。

本実施形態では、波を周波数−波数空間で見るとき、周波数が低いほど波の存在する範囲が狭いことを利用して、残留エコー消去処理の演算量を削減する。

参考文献２によれば、周波数−波数空間で見ると波の存在範囲は周波数に応じて限定される。
（参考文献２）T. Ajdler, L. Sbaiz, and M. Vetterli, "Dynamic measurement of room impulse responses using a moving microphone", The Journal of the Acoustical Society of America, 2007, vol. 122, issue 3, p. 1636-1645

図１２は、単一周波数波の平面波のサンプリングの様子を示す。マイクロホン素子列に角度αで入射する単一の周波数ｆ_０の平面波を考える。マイクロホン列をｘ軸にとると、ｔを時刻としてｘ軸上での音圧の時間変動ｐ(ｘ,ｔ)は、
p(x,t)=e^{j(ω0t+φ0xcosα)} (31)
になる。ただし、上付き添え字中のω０及びφ０はそれぞれω_０及びφ_０を表し、ω_０及びφ_０はそれぞれ周波数ｆ_０の角周波数及び波数を表し、音速をｖｅｌｏｃとして、φ_０は
φ₀=ω₀/veloc (32)
である。このｘ−ｔ軸上の音圧を周波数−波数領域に変換すると

になる。時間−空間領域で単一の周波数の平面波は、周波数−波数領域では１点になる。

全周波数で同一の周波数成分を持ち、時間―空間で

であらわされる平面波は、周波数−波数領域では、

のように直線になる。入射の角度αは０〜１８０度の範囲をとるため、周波数−波数領域で見ると波の成分は、

の範囲に存在する。

実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をｆ_ｓ、フレーム長を２Ｆ、２Ｆ点−ＦＦＴを使用し、空間方向について、Ｐ個のマイクロホンは直線上に等間隔に配列されているものとし、マイクロホン間隔をｄ、マイクロホン数を２ＫとしてＫ点−ＦＦＴを使用する。このとき、周波数の範囲は０〜ｆ_ｓ／２であり、波数ｋの範囲は−π／ｄ〜π／ｄである。

なお、このサンプリングにおける最大の周波数ｆ＝ｆ_ｓ／２の波について、波数はπｆ_ｓ／ｖｅｌｏｃになる。マイクロホン間隔ｄが十分小さくπ／ｄがこの値より大きいとき空間エリアシングは生じない。しかしマイクロホン間隔ｄが相対的に長いために、π／ｄがこの値より小さい場合に空間エリアシングが生じる。この様子を図１３に示す。

第一実施形態では、全周波数及び全波数で処理を行っている。しかし上記の知見によれば、周波数−波数領域において信号成分の存在範囲は、音波の周波数が低いほど狭まっている。この信号成分の存在しない範囲で信号処理を省くことができ、その処理削減の効果は周波数が低いほど大きなる。これが第二実施形態のポイントである。

（波数領域残留エコー推定消去部１２３）
図１４は第二実施形態に係るエコー消去装置内の波数領域残留エコー推定消去部１２３の機能ブロック図を、図１５はその処理フローを示す。第二実施形態と第一実施形態との相違は、波数領域残留エコー推定消去部１２３の内部のみである。

波数領域残留エコー推定消去部１２３は、入出力相関係数算出部１２３１と、入出力伝達特性推定部１２３２と、残留エコー推定部１２３３と、残留エコー補正部１２３４と減算部１２３５とを含み、さらに、波数限定部１２３８と波数０詰め部１２３９とを含む。

はじめに、波数限定部１２３８において、周波数ｆから波数ｋの有効範囲を求める。波数限定部１２３８は、入出力相関係数算出部１２３１、入出力伝達特性推定部１２３２、残留エコー推定部１２３３、残留エコー補正部１２３４、減算部１２３５の処理をこの波数ｋの範囲内に限定する。波数０詰め部１２３９は未処理の範囲に０を設定する。

上記処理のために、第一実施形態に加える変更の詳細を以下に示す。

((波数限定部１２３８))
波数限定部１２３８は、ｆ（ｆ≦Ｆ）において、周波数ｆ毎に波数ｋの有効範囲を算出し（ｓ２３３８）、この有効範囲を波数領域残留エコー推定消去部１２３内の各部に出力する（ただし、図中各部への出力を省略する）。例えば、周波数ｆの一次関数で表す式（３７）により波数ｋの上限ｍａｘ＿ｋ（ｆ）を求める。

ただし、ｆ_ｔｈはマイクロホン間隔ｄでのサンプリングするときに空間エリアシングが生じない最大周波数であり、次式で定義される。

なお、式（３６）（３７）は、波数ｋの範囲を周波数ｆの一次関数で表し、波数ｋの範囲の上限と下限は

で与えられるものであることを表している。言い換えると、式（３７）は、音速ｖｅｌｏｃとマイクロホン間隔ｄとサンプリング周波数ｆ_ｓとに基づき、周波数ｆに対する波数ｋの上限を求めている。

波数領域残留エコー推定消去部１２３内の各部では、ｆ（ｆ≦Ｆ）において、波数限定部１２３８が周波数ｆについて求めた波数ｋの有効範囲
-max_k(f)≦k≦max_k(f) (39)
で、各処理（ｓ２３３１〜ｓ２３３５）を行い、残留エコーの消去を図る。

なお、波数ｋの有効範囲を算出する際に、周波数ｆの一次関数を用いることは、一例であり、高周波領域に比べ低周波領域では波数の範囲が狭くなるように波数ｋの有効範囲を限定するものであれば他の方法により、有効範囲を算出してもよい。

また、波数限定部１２３８における処理は、エコー消去処理を開始時、または開始前に一度行い、各部に上限ｍａｘ＿ｋ（ｆ）を設定しておいてもよい。

((波数０詰め部１２３９))
波数０詰め部１２３９は、減算部１２３５からＰ×（Ｆ＋１）個の波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｋ，ｉ）を受け取り、ｆ（ｆ≦Ｆ）において、有効範囲外の波数、すなわちｋ＜−ｍａｘ＿ｋ（ｆ）及びｍａｘ＿ｋ（ｆ）＜ｋの範囲で、波数領域の送話信号Ｖ^（Ｗ） _ｆ（ｋ，ｉ）を０とし（ｓ２３３９）、逆波数変換部１２４に出力する。

＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができ、さらに、計算量を減らすことができるという効果を奏する。

なお、本実施形態と第一実施形態の第一変形例や第二変形例、その他の変形例とを組合せてもよい。

＜その他の変形例＞
波数領域エコーレプリカ生成部２１内の修正量算出部２１１、フィルタ係数部２１３及び乗算部２１５において、波数限定部１２３８で算出した波数ｋの有効範囲内（−ｍａｘ＿ｋ（ｆ）≦ｋ≦ｍａｘ＿ｋ）においてのみ処理を行い、図示しない波数０詰め部において有効範囲外（ｋ＜−ｍａｘ＿ｋ（ｆ）及びｍａｘ＿ｋ（ｆ）＜ｋ）でエコーレプリカＹ＾^（Ｗ） _ｆ（ｋ，ｉ）を０とする構成としてもよい。このような構成とすることで、さらに、計算量を減らすことができる。

＜シミュレーション結果＞
第一実施形態及び第二実施形態の効果を検証するために、シミュレーションを行った。残響時間１５０ｍｓの部屋で、直線状スピーカアレー（３２素子、間隔６ｃｍ）と直線状マイクロホンアレー（３２素子、間隔６ｃｍ）を５０ｃｍ離して平行に配置し（Ｐ＝３２）、スピーカ・マイクロホン間の全エコー経路インパルス応答を測定した。サンプリング周波数ｆ_ｓを８ｋＨｚに設定し、フレーム長として２Ｆ＝１０２４を用いた。受話信号は、それぞれ異なる位置に配置した２音源が交互に白色雑音を再生する状況をシミュレートし、３２個のマイクロホンによる収音を模擬して生成した。

図１６にシミュレーション結果を示す。図１６の左側は第一実施形態の構成による処理結果であり、３２チャネル中の第１、３、５、７、９チャネルについて、収音信号レベル（点線）、適応フィルタ後段の信号レベル（細線）及び残留エコー消去処理後段の信号レベル（太線）をプロットしている。同様に図１６の右側に第二実施形態の構成による処理結果をプロットしている。

図１６左側のグラフより、第一実施形態の残留エコー消去方法は常時残留エコーを６ｄＢ消去している。また左側と右側のグラフがほとんど一致していることから、第二実施形態が第一実施形態とほぼ同等の残留エコー消去性能を保ったまま、演算量を削減可能なことが分かった。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述したエコー消去装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（各種実施形態で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施形態で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。

１１ 周波数領域変換部
１２ 波数変換部
２１ 波数領域エコーレプリカ生成部
３１ 逆波数変換部
３２ 時間領域変換部
３３_ｐ 減算部
３４ フレーム合成部
４１ 誤差周波数領域変換部
４２ 誤差波数変換部
１００ エコー消去装置
１２０ 残留エコー消去部
１２１ 周波数領域変換部
１２２ 波数変換部
１２３ 波数領域残留エコー推定消去部
１２４ 逆波数変換部
１２５ 時間領域変換部
１２６ フレーム合成部
２１１ 修正量算出部
２１３ フィルタ係数部
２１５ 乗算部
１２３１ 入出力相関係数算出部
１２３２ 入出力伝達特性推定部
１２３３ 残留エコー推定部
１２３４ 残留エコー補正部
１２３５ 減算部
１２３６ 算出部
１２３７ 線形和算出部
１２３８ 波数限定部
１２３９ 波数０詰め部

Claims (8)

1. Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
   時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換部と、
   周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換部と、
   波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算部と、
   波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換部と、
   周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換部と、
   前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算部と、
   時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換部と、
   周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換部と、
   波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出部と、
   前記修正量を用いて前記フィルタ係数を更新するフィルタ係数部と、
   波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去部とを含む、
   エコー消去装置。
2. 請求項１記載のエコー消去装置であって、
   前記波数領域残留エコー推定消去部は、
   波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、前記受話信号のパワースペクトルと、前記受話信号と前記誤差信号との間のクロススペクトルとを算出する入出力相関係数算出部と、
   前記パワースペクトルと前記クロススペクトルとを用いて、前記受話信号と前記誤差信号との入出力伝達特性を推定する入出力伝達特性推定部と、
   波数領域の前記受話信号に前記入出力伝達特性の推定値を乗じて、前記残留エコーを推定する残留エコー推定部と、
   波数領域の前記誤差信号と前記残留エコーの推定値との差分を前記送話信号として求める第二減算部とを含む、
   エコー消去装置。
3. 請求項２記載のエコー消去装置であって、
   前記波数領域残留エコー推定消去部は、
   前記残留エコーの前記推定値に、前記入出力伝達特性の前記推定値の信頼区間の下端の値に基づく値を乗じることにより、前記残留エコーの前記推定値を補正する残留エコー補正部をさらに含み、
   前記第二減算部は、波数領域の前記誤差信号と補正後の前記残留エコーの前記推定値との差分を前記送話信号として求める、
   エコー消去装置。
4. 請求項３記載のエコー消去装置であって、
   各スペクトル推定に使用するフレーム数をＴとし、Ｍ＝１とし、自由度ｎ_１＝２Ｍ、ｎ_２＝Ｔ−２ＭのＦ分布の１００α百分比点をＦ_{２Ｍ，Ｔ−２Ｍ，ａｌｐｈａ}とし、波数領域の前記誤差信号をＵ^（Ｗ） _ｆ（ｋ，ｉ）とし、波数領域の前記残留エコーの推定値をΔＹ^（Ｗ） _ｆ（ｋ，ｉ）とし、前記残留エコー補正部において、補正後の前記残留エコーの前記推定値ΔＹ^II（Ｗ） _ｆ（ｋ，ｉ）を
   

   

   
   S^(W) _f(k,i)=U^(W) _f(k,i)-ΔY^(W) _f(k,i)
   として求める、
   エコー消去装置。
5. 請求項１記載のエコー消去装置であって、
   前記波数領域残留エコー推定消去部は、
   波数領域の前記受話信号と波数領域の前記エコーレプリカと波数領域の前記誤差信号とを用いて、線形和重みを算出する線形和重み算出部と、
   波数領域の前記受話信号と波数領域の前記エコーレプリカとを前記線形和重みを用いて、重み付けし、その線形和を算出する線形和算出部と、
   波数領域の前記誤差信号と前記線形和との差分を前記送話信号として求める第二減算部とを含む、
   エコー消去装置。
6. 請求項１から請求項５の何れかに記載のエコー消去装置であって、
   前記波数領域残留エコー推定消去部は、
   周波数毎に波数の有効範囲を算出する波数限定部と、
   前記有効範囲外の波数における波数領域の前記送話信号を０とする波数０詰め部とをさらに含み、
   前記波数領域残留エコー推定消去部内の前記波数限定部及び前記波数０詰め部を除く各部において、前記有効範囲内で処理を行う、
   エコー消去装置。
7. Ｐを２以上の整数とし、Ｐ個のスピーカとＰ個のマイクロホンとが共通の音場に配置され、前記スピーカから受話信号を再生した際にエコー経路を経て前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
   時間領域の前記受話信号を周波数領域の信号に変換する第一周波数領域変換ステップと、
   周波数領域の前記受話信号を波数領域の信号に変換する第一波数領域変換ステップと、
   波数領域の前記受話信号に波数領域のフィルタ係数を乗じて、波数領域のエコーレプリカを生成する乗算ステップと、
   波数領域の前記エコーレプリカを周波数領域の前記エコーレプリカに変換する逆波数変換ステップと、
   周波数領域の前記エコーレプリカを時間領域の前記エコーレプリカに変換する時間領域変換ステップと、
   前記マイクロホンで収音される時間領域の収音信号から時間領域の前記エコーレプリカを差し引き、時間領域の誤差信号を求める第一減算ステップと、
   波数領域の前記受話信号と波数領域の前記誤差信号とを用いて波数領域の前記フィルタ係数の修正量を算出する修正量算出ステップと、
   前記修正量を用いて前記フィルタ係数を更新するフィルタ係数ステップと、
   時間領域の前記誤差信号を周波数領域の信号に変換する第二周波数領域変換ステップと、
   周波数領域の前記誤差信号を波数領域の信号に変換する第二波数領域変換ステップと、
   波数領域の前記受話信号と波数領域の前記誤差信号とを用いて、波数領域の前記誤差信号に含まれる残留エコーを推定し、消去し、波数領域の送話信号を求める波数領域残留エコー推定消去ステップとを含む、
   エコー消去方法。
8. 請求項１から請求項６記載のエコー消去装置としてコンピュータを機能させるためのプログラム。

Images