JP6356087B2 - エコー消去装置、その方法及びプログラム - Google Patents

Description

本発明は、M（但し、Mは1以上の整数）個のスピーカと1個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込む音響エコー（以下、単に「エコー」という）を消去する技術、特にテレビ会議システム等の拡声通話系におけるエコーを消去する技術に関する。

スピーカで受話信号が再生され、その音声がマイクロホンで収音されてエコーが生じる。そのまま送信されると通話の障害や不快感等の問題が生じる。さらに、スピーカやマイクロホンの音量が大きい場合にはハウリングが生じ、通話が不可能になる。特に拡声通話系では、このような問題が顕著となる。

この問題を解決するために、従来技術として、適応フィルタを用いてエコーを消去するエコー消去装置がある。非特許文献１が従来技術の多チャネルエコー消去方法として知られている。図１を用いて従来の多チャネルエコー消去装置８０を説明する。

スピーカ２_１，…，２_Ｍとマイクロホン３_１，…，３_Ｎが共通の音場に配置され、スピーカ２_１，…，２_Ｍからそれぞれ受話信号x₁(k),…,x_M(k)を再生した場合に、多チャネルエコー消去装置８０内のエコー消去部８_ｎは、マイクロホン３_ｎにM本のエコー経路h_mn(k)を介して回り込む再生音を消去する。但し、Mは１以上の整数であり、Nは１以上の整数であり、m=1,…,Mであり、n=1,…,Nである。多チャネルエコー消去装置８０は、受話端子１_１，…，１_Ｍと、送話端子４_１，…，４_Ｎと、マイクロホン３_１，…，３_Ｎとが接続されており、受話信号x₁(k),…,x_M(k)及び収音信号y₁(k),…,y_N(k)が入力され、送話信号u₁(k),…,u_N(k)をそれぞれ送話端子４_１，…，４_Ｎに出力する。多チャネルエコー消去装置８０は、N個のエコー消去部８_１，…，８_Ｎを含み、エコー消去部８_ｎは、エコー予測部８１と、減算部８２と、エコー経路推定部８３とを有する。図１において、y_n(k)をy(k)とし、u_n(k)をu(k)とし、h_1n(k),…,h_Mn(k)をそれぞれh₁(k),…,h_M(k)として表す。他のマイクロホンからの収音信号についても同様の処理を行うことができ、図１のエコー消去部８_ｎの構成を並列に並べるだけでよいため、以下では図１を用いて説明する。

エコー消去部８_ｎは、エコー予測部８１において、受話信号x₁(k),…,x_M(k)を適応フィルタでフィルタリングし、予測エコー信号y’(k)を生成する。減算部８２において、収音信号y(k)と予測エコー信号y’(k)との差分（以下「誤差信号」という）u(k)を求め、これを送話信号として出力する。また、エコー経路推定部８３において、誤差信号u(k)と受話信号x₁(k),…,x_M(k)とからエコー経路を逐次推定し、この推定結果（適応フィルタのフィルタ係数h’(k)）をエコー予測部８１にコピーする。エコー経路推定が精度よく行われた状態では、収音信号y(k)に含まれるエコー成分と予測エコー信号y’(k)がほぼ等しくなり、誤差信号u(k)中にエコーは殆ど含まれなくなる。

しかし実際に多チャネルエコー消去装置が使用される状況では、いつも十分にエコー消去できるとは限らず、残留エコーが生じて通話品質が劣化しうる。それは、人の動き等によりエコー経路は絶えず変動しているからであり、適応フィルタによるエコー経路推定が瞬時には完了しないためである。またダブルトーク状態でエコー経路の推定が若干乱れうるからである。

さらに受話信号が多チャネルの場合には、受話信号間の相関が高いために、エコーが消去されている状態であっても推定されたエコー経路と真のエコー経路は必ずしも一致しない場合がある。そのため、話者が交代して受話信号間の相互相関が変化すると突然残留エコーが大きくなりうる（非特許文献１参照）。

快適な拡声通話を実現するには、適応フィルタによるエコー経路推定及び消去が十分でない状態において、受話信号のチャネル数や会話状態によらず、迅速に残留エコーを低減する必要がある。チャネル数や会話状態によらず残留エコーを低減させるために、受話信号から残留エコーへの伝達特性を高速に推定し、誤差信号から残留エコーを差し引く方法として非特許文献２が知られている。この方法において、伝達特性の推定では、周波数毎に受話信号と誤差信号の相関を利用することで、推定が高速化され、残留エコー以外の信号による推定揺らぎが抑えられる。伝達特性と残留エコーに関して振幅と位相を推定するため、チャネル数によらず適用可能である。また引き算により残留エコーの消去をはかるため、ダブルトーク時でも送話音質の歪みを小さくできる。

非特許文献２では、残留エコーが精度良く求められている必要がある。しかし残留エコーを限られた時間長（短時間区間）の受話信号と誤差信号とから推定するために、時間長を十分長くとる場合と比較すると推定のばらつきが大きくなり、残留エコーを大きめに推定してしまう場合がある。

送話の品質を高くするには、上記のような状況でも残留エコーの推定精度を高める必要がある。そのために、残留エコー推定値を補正する方法が、特許文献１で提案されている。

特開２０１２−２２７５６６号公報

M.M.Sondhi, D.R.Morgan, and J.L.Hall, "Stereophonic Acoustic Echo Cancellation-An Overview of the Fundamental Problem", IEEE Signal Processing Letters, AUGUST 1995, vol.2, no.8, pp.148-151 江村暁、羽田陽一、「多段エコー推定による多チャネルエコー消去法」、日本音響学会研究発表会講演論文集、２０１０年、pp.717-719

しかし推定された残留エコー（推定値）のパワーと適応フィルタが出力する誤差信号のパワーが同等であっても、残留エコー消去処理の効果が薄いことがある。それは、補正した残留エコー推定値の位相誤差が小さくないために、適応フィルタ出力信号から残留エコー推定値を引いても、差信号のパワー小さくならないときである。その一つの理由は、残留エコー消去処理のモデルが想定する残響時間が数十msであり、実際の部屋の残響時間（数百ms）よりもかなり短く設定されることである。また、適応フィルタの学習が進み、上記の数十msに対応する部分が適応フィルタにより良好に消去されると、上記の想定残響時間の相違の影響がより顕著になることが、もう一つの理由である。

本発明の目的は、このような状態（残留エコー推定値の位相誤差が小さくないために残留エコー消去処理の効果が薄い状況）において、従来よりも残留エコーを減らすことができるエコー消去技術を提供することである。なお、本発明において、残留エコーとは、収音信号中に含まれるエコー成分全般を意味し、収音信号に対して適応フィルタによるエコー消去を行った後に誤差信号中に残るエコー成分を意味するだけではなく、適応フィルタによるエコー消去行わない場合の収音信号中に含まれるエコー成分全てをも意味する概念である。

上記の課題を解決するために、本発明の一形態によれば、エコー消去装置は、１個以上のスピーカと１個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去装置は、マイクロホンで収音した第一収音信号から得られる信号である周波数領域収音信号と、受話信号から得られる周波数領域の信号である周波数領域受話信号とを用いて、周波数領域収音信号に含まれる残留エコーの位相と振幅とを考慮し、残留エコー推定値を求める残留エコー推定部と、周波数領域収音信号から残留エコー推定値を消去し、抑圧する残留エコー消去抑圧部とを含み、残留エコー消去抑圧部は、周波数領域収音信号から残留エコー推定値を引いて差を求め、その差が小さいほど、周波数領域収音信号から残留エコーを抑圧する割合を増やし、残留エコーを消去する割合を減らす。

上記の課題を解決するために、本発明の他の形態によれば、エコー消去方法は、１個以上のスピーカと１個以上のマイクロホンが共通の音場に配置され、スピーカから受話信号を再生した際に、エコー経路を介してマイクロホンに回り込むエコーを消去する。エコー消去方法は、マイクロホンで収音した第一収音信号から得られる信号である周波数領域収音信号と、受話信号から得られる周波数領域の信号である周波数領域受話信号とを用いて、周波数領域収音信号に含まれる残留エコーの位相と振幅とを考慮し、残留エコー推定値を求める残留エコー推定ステップと、周波数領域収音信号から残留エコー推定値を消去し、抑圧する残留エコー消去抑圧ステップとを含み、残留エコー消去抑圧ステップは、周波数領域収音信号から残留エコー推定値を引いて差を求め、その差が小さいほど、周波数領域収音信号から残留エコーを抑圧する割合を増やし、残留エコーを消去する割合を減らす。

本発明に係るエコー消去技術では、残留エコー推定値の位相誤差が小さくないために残留エコー消去処理の効果が薄い状況において、従来よりも残留エコーを減らすことができるという効果を奏する。

従来の多チャネルエコー消去装置８０の構成例を示す図。 残留エコーの消去／抑圧の配分を示す図。 エコー消去装置１００の構成例を示す図。 エコー消去装置１００の処理フローの例を示す図。 残留エコー推定部１６Ａの構成例を示す図。 残留エコー消去抑圧部１６９の構成例を示す図。 残留エコー推定部１６Ａの処理フローの例を示す図。 入出力相関係数算出部１６３の構成例を示す図。 残留エコー消去抑圧部１６９の処理フローの例を示す図。 エコー消去装置２００の構成例を示す図。 エコー消去装置２００の処理フローの例を示す図。 エコー消去部２８_ｎの構成例を示す図。 エコー消去部２８_ｎの処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
特許文献１の残留エコー消去は、残留エコーの位相と振幅を推定し、引き算により残留エコーの消去をはかる。一方、残留エコーの振幅のみを推定し、その振幅相当分だけ各周波数において信号を掛け算で減衰させるエコー抑圧という手法がある（参考文献１）。
（参考文献１）特開平１１−３３１０４６号公報

本実施形態では、この引き算による残留エコー消去と、掛け算によるエコー抑圧を組み合わせる。具体的には、収音信号のパワーと残留エコー推定値のパワーの差分が小さいときに、エコー消去及び抑圧の混合モードに入る。前述の通り、パワーの差分が小さい場合、位相誤差が小さくない可能性が高く、位相誤差が小さくないときに残留エコー消去により残留エコー推定値を引いても、残留エコーがほとんど減少しないことが多い。。一方、パワーの差分が小さい場合、ダブルトーク状態である可能性は低く、エコー抑圧による送話音質の歪みの可能性は低い。そこで、混合モードではパワーの差分が小さいほど、エコー消去の配分を引き下げ、エコー抑圧の配分を引き上げることで、従来よりも残留エコーを減らす。

この処理の一例を図２をもちいて説明する。図２の横軸は周波数領域収音信号Y(f,j)のパワーY(f,j)²と残留エコー推定値Y^₂(f,j)のパワーY^₂(f,j)²の差分を周波数領域収音信号Y(f,j)のパワーY(f,j)²で割った値を表し、縦軸は残留エコー消去の分担比R_mxc（ｆ，ｊ）を表す。周波数領域収音信号Y(f,j)のパワーY(f,j)²と残留エコー推定値Y^₂(f,j)のパワーY^₂(f,j)²の差分が小さい状況を

で検出する。ただし

である。ここでp_hyb_range_upperは検出用の閾値であり、−２０〜−１０ｄBの範囲で値を設定する。また、MAX(a,b)はaとbで大きい方の値を返す関数であり、残留エコーが大きめに推定されるとき（残留エコー推定値Y^₂(f,j)のパワーY^₂(f,j)²が周波数領域収音信号Y(f,j)のパワーY(f,j)²以上のとき）、関数Jは０を返す。

差分が小さい状況では、残留エコー消去の分担比R_mxc(f,j)を

で計算する。ここで、パラメータp_cancel_allotted_minは、残留エコー消去の分担が最小になるときの比率であり、0から1の範囲の値を設定する。

残りの(1-R_mxc(f,j))を、残留エコー抑圧が分担する。抑圧量は振幅換算で

になり、エコー抑圧ゲインG_mxs(f,j)として、例えば、

をもちいることができる。

以下、上述の処理を実現するための構成について説明する。

＜第一実施形態＞
＜エコー消去装置１００＞
図３は第一実施形態に係るエコー消去装置１００の機能ブロック図の例を、図４はその処理フローを示す。図３及び図４を用いて第一実施形態に係るエコー消去装置１００を説明する。M個のスピーカ２_１，…，２_ＭとN個のマイクロホン３_１，…，３_Ｎが共通の音場に配置され、スピーカ２_１，…，２_Ｍからそれぞれ受話信号x₁(k),…,x_M(k)を再生した場合に、エコー消去装置１００は、M×N本のエコー経路h_mn(k)を介してマイクロホンに回り込む再生音（エコー）を消去する。より詳しく説明すると、エコー消去装置１００内の残留エコー消去部１６_ｎは、マイクロホン３_ｎにM本のエコー経路h_mn(k)を介して回り込む再生音（エコー）を消去する。エコー消去装置１００は、受話側の全Mチャネルの受話端子１_１，…，１_Ｍと、送話側の全Nチャネルの送話端子４_１，…，４_Ｎと、マイクロホン３_１，…，３_Ｎとが接続されており、受話信号x₁(k),…,x_M(k)及び収音信号y₁(k),…,y_N(k)が入力され、送話信号v₁(k),…,v_N(k)をそれぞれ送話端子４_１，…，４_Ｎに出力する。

エコー消去装置１００は、N個の残留エコー消去部１６_１，…，１６_Ｎを含む。

＜残留エコー消去部１６_ｎ＞
残留エコー消去部１６_ｎは、受話側の全Mチャネルの受話端子１_１，…，１_Ｍと、送話側の1チャネルの送話端子４_ｎと、マイクロホン３_ｎとが接続されており、Mチャネルの受話信号x₁(k),…,x_M(k)及び1チャネルの収音信号y_n(k)が入力され、1チャネルの送話信号v_n(k)を送話端子４_ｎに出力する。なお、各図において、y_n(k)をy(k)とし、v_n(k)をv(k)とし、h_1n(k),…,h_Mn(k)をそれぞれh₁(k),…,h_M(k)として表す。また、各図において、第nチャネルの処理部についてのみ説明する。他のマイクロホンからの収音信号についても同様の処理を行うことができ、第nチャネルの処理部の構成を並列に並べるだけでよいため、説明を省略する。

残留エコー消去部１６_ｎは、M個の周波数領域変換部１６１_１，…，１６１_Ｍと、周波数領域変換部１６２と、残留エコー推定部１６Ａと、残留エコー消去抑圧部１６９と、時間領域変換部１６８とを含む。

残留エコー推定部１６Ａは、入出力相関係数算出部１６３と、入出力伝達特性推定部１６４と、残留エコー予測部１６５と、残留エコー補正部１６６とを含む（図５参照）。

残留エコー消去抑圧部１６９は、消去抑圧配分制御部１６９１と、消去配分設定部１６９２と、減算部１６９３と、抑圧部１６９４とを含む（図６参照）。

＜周波数領域変換部１６１_１，…，１６１_Ｍと周波数領域変換部１６２＞
図３及び図４に示すように、周波数領域変換部１６１_１，…，１６１_Ｍは、それぞれ受話信号x₁(k),…,x_M(k)を入力とし、これを短時間区間毎に周波数領域の信号である周波数領域受話信号X₁(f,j),…,X_M(f,j)に変換し、出力する（ｓ１６１）。同様に、周波数領域変換部１６２は、マイクロホン３_ｎで収音した収音信号y(k)を入力とし、短時間区間毎に周波数領域の信号である周波数領域収音信号Y(f,j)に変換し出力する（ｓ１６２）。なお、以下において、収音信号y(k)のことを、後述する第二収音信号u(k)と区別するために第一収音信号y(k)ともいう。

各信号を1フレーム=2Lサンプルとし、L/Dサンプル毎にブロック化し、L/Dサンプルずつずらして、フレームを作成する場合について説明する。但し、Lは1以上の整数であり、DはLを割り切ることができる整数であり、jはフレーム番号を表し、時刻k=jL/Dである。fは周波数番号を表し、例えば、fはサンプリング周波数f_sの半分をL等分した離散点（周波数ビン）に対応し、f=0,1,…,L-1であり、f=0は周波数0に対応し、f=1は周波数(1/L)f_s/2に対応し、…、f=L-1は((L-1)/L)f_s/2に対応する。

周波数領域への変換は例えば、ＦＦＴ（Fast Fourier transform）やＤＦＴ（discrete Fourier transform）により行い、計算を簡略化・高速化するために、Lを2のべき乗にとることが好ましい。例えば、L=64〜1024、D=2〜8等とする。フレーム長（1フレームに含まれるサンプル数）を10ms〜20msに対応するように設定すればよい。

＜残留エコー推定部１６Ａ＞
残留エコー推定部１６Ａは、周波数領域収音信号Y(f,j)と周波数領域受話信号X₁(f,j),…,X_M(f,j)とを受け取り、これらの値を用いて、周波数領域収音信号Y(f,j)に含まれる残留エコーの位相と振幅とを考慮し、残留エコーの推定値(以下、残留エコー推定値ともいう)Y^₂(f,j)を求め（ｓ１６Ａ）、出力する。図７は残留エコー推定部１６Ａの処理フローの例を示す。図５及び図７を用いて、残留エコー推定部１６Ａの処理を説明する。

＜入出力相関係数算出部１６３＞
入出力相関係数算出部１６３は、周波数領域受話信号X₁(f,j),…,X_M(f,j)と周波数領域収音信号Y(f,j)とを入力とし、これらの値を用いて、第mチャネルの周波数領域受話信号X_m(f,j)のパワースペクトルP_mm(f,j)と、第mチャネルの周波数領域受話信号X_m(f,j)と第m’（但し、m’=1,…,Mであり、m≠m’である）チャネルの周波数領域受話信号X_m’(f,j)とのクロススペクトルP_m’m(f,j)と、第m’チャネルの周波数領域受話信号X_m’(f,j)と周波数領域収音信号Y(f,j)とのクロススペクトルQ_m’(f,j)とを求め、出力する（ｓ１６３）。

なお、各クロススペクトル及びパワースペクトルは、時刻k=jL/Dにおける値である。パワースペクトルP_mm(f,j)は入力信号(第mチャネルの周波数領域受話信号X_m(f,j))の自己相関係数を表し、クロススペクトルP_m’m(f,j)は入力信号（第mチャネルの周波数領域受話信号X_m(f,j)と第m’チャネルの周波数領域受話信号X_m’(f,j))間の相関係数を表す。上述のパワースペクトルP_mm(f,j)とクロススペクトルP_m’m(f,j)からなる行列を入力信号の相関係数P(f,j)として、以下のように表す。

一方、クロススペクトルQ_m’(f,j)は、入力信号（第m’チャネルの周波数領域受話信号X_m’(f,j)）と出力信号（周波数領域収音信号Y(f,j)）との間の相関係数を表し、入出力間の相関係数Q(f,j)を

と表す。図８を用いて入出力相関係数算出部１６３を説明する。例えば、入出力相関係数算出部１６３はパワースペクトル算出部１６３ａと、受話信号間クロススペクトル算出部１６３ｂと、入出力信号間クロススペクトル算出部１６３ｃを有する。

パワースペクトル算出部１６３ａは、第mチャネルの周波数領域受話信号X_m(f,j)を用いて、パワースペクトルP_mm(f,j)を算出する。

受話信号間クロススペクトル算出部１６３ｂは、M個の周波数領域受話信号X₁(f,j),…,X_M(f,j)を用いて、第mチャネルの周波数領域受話信号X_m(f,j)と第m’チャネルの周波数領域受話信号X_m’(f,j)間のクロススペクトルP_m’m(f,j)を算出する。

入出力信号間クロススペクトル算出部１６３ｃは、M個の周波数領域受話信号X₁(f,j),…,X_M(f,j)と周波数領域収音信号Y(f,j)とを用いて、M個の周波数領域受話信号X₁(f,j),…,X_M(f,j)と周波数領域収音信号Y(f,j)間のクロススペクトルQ_m’(f,j)を算出する。

例えば、P_mm(f,j),P_m’m(f,j),Q_m’(f,j)は、時刻k=jL/Dにおける第mチャネルの周波数領域受話信号X_m(f,j)と周波数領域収音信号Y(f,j)からそれぞれ以下の式（３）、（４）、（５）により算出する。

X^*はXの複素共役を、E[ ]は平均をとることを意味する。平均処理の一例としては、

のように、1フレーム前の処理結果と0〜1の値をとる平滑化定数βを用いる方法や過去の数フレームに時定数を乗じて求める方法等が考えられる。P_mm(f,j)及びQ_m’(f,j)についても同様の方法により求めることができる。

＜入出力伝達特性推定部１６４＞
入出力伝達特性推定部１６４は、パワースペクトルP_mm(f,j)とクロススペクトルP_m’m(f,j)、Q_m’(f,j)とを入力とし、これらの値を用いて、M個の周波数領域受話信号X₁(f,j),…,X_M(f,j)と周波数領域収音信号Y(f,j)との入出力伝達特性の推定値G(f,j)=[G₁(f,j),…,G_M(f,j)]^Tを周波数毎に推定し、出力する（ｓ１６４）。

例えば、入出力伝達特性推定部１６４は、入出力伝達特性の推定値G(f,j)を以下の式（７）により推定する。

なお上記パワースペクトルとクロススペクトルからなる行列について、逆行列計算を安定化するために、対角成分に微小定数δを加えて、

としてもよい。

＜残留エコー予測部１６５＞
残留エコー予測部１６５は、M個の周波数領域受話信号X₁(f,j),…,X_M(f,j)と入出力伝達特性の推定値G(f,j)とを入力とし、これらの値から、周波数領域収音信号Y(f,j)に含まれる残留エコー成分を予測し、推定値Y^(f,j)を出力する（ｓ１６５）。

例えば、残留エコー推定値Y^(f,j)を、

として予測する。

なお、式（３）〜（５）により入出力相関係数P(f,j)、Q(f,j)を求める際に、残留エコー成分の位相が考慮されている。さらに、式（７）または（７’）により、入出力相関係数P(f,j)、Q(f,j)から入出力伝達特性の推定値G(f,j)を求める際に、残留エコー成分の位相及び振幅が考慮されており、残留エコー推定部１６Ａは、残留エコーの位相及び振幅を考慮し、残留エコー推定値Y^(f,j)を求めていると言える。

＜残留エコー補正部１６６＞
残留エコー補正部１６６は、周波数領域収音信号Y(f,j)と残留エコー推定値Y^(f,j)とを入力とし、これを用いて、残留エコー推定値Y^(f,j)を補正して補正後の残留エコー推定値Y₂^(f,j)を求め、出力する（ｓ１６６）。補正後の残留エコー推定値Y₂^(f,j)は例えば、以下の式により、求めることができる。

但し、Tは各スペクトルの推定の自由度の数であり、入出力相関係数算出部１６３において、パワースペクトルP_mm(f,j)及びクロススペクトルP_m’m(f,j)、Q_m’(f,j)を算出するときのフレーム数が、これに該当する。T-2M>0になるように、利用に先立ち、または、受話信号のチャネル数Mを設定後に、Tに適切な値が設定される。なお、式（１１）の結果、比率η(f,j)<0となる場合には、式（１２）において、η(f)=0を代わりに用いる。

なお、図示しない記憶部にコヒーレンスの推定値γ^²(f)と式（１１）により定義される比率η(f)との対応付けを記憶しておいてもよい。このような構成により、式（１１）の計算時間を短縮できる。つまり、残留エコー補正部１６６は、周波数領域収音信号Y(f,j)と残留エコー推定値Y^(f,j)とを用いて、式（９）、（１０）を計算し、コヒーレンスの推定値γ^²(f)を求め、図示しない記憶部から求めた推定値γ^²(f)に対応する比率η(f)を取り出し、残留エコー推定値Y^(f,j)に乗じて（式（１２）参照）、補正後の残留エコー推定値Y₂^(f,j)を求め、出力すればよい。別の言い方をすると、MおよびTは事前に分かっている定数であり、比率η(f)は、0から1の間をとる推定値γ^²(f)の関数とみなせる。すなわち比率η(f)を推定値γ^²(f)の関数とみて、事前に計算して表を作成できる。実際の信号処理では、この表を引いて比率η(f)を求めることで、√を計算することなくη(f)を効率良く求められる。

＜残留エコー消去抑圧部１６９＞
残留エコー消去抑圧部１６９は、補正後の残留エコー推定値Y₂^(f,j)と周波数領域収音信号Y(f,j)とを受け取り、周波数領域収音信号Y(f,j)から補正後の残留エコー推定値Y₂^(f,j)を消去し、抑圧し（ｓ１６９）、周波数領域の送話信号V(f,j)を求め、出力する。なお、周波数領域収音信号Y(f,j）から補正後の残留エコー推定値Y₂^(f,j)を引いて差を求め、その差が小さいほど、周波数領域収音信号Y(f,j)から残留エコーを抑圧する割合を増やし、残留エコーを消去する割合を減らす。例えば、エコー抑圧ゲインをG_mxs(f,j)とし、残留エコーを消去する割合を分担比R_mxc(f,j)とし、送話信号V(f,j)を

として求める。このような構成により、エコー消去とエコー抑圧との配分を、残留エコーを消去するために適切に設定することができる。なお、エコー抑圧ゲインG_mxs(f,j)、分担比R_mxc(f,j)の設定例については、後述する消去抑圧配分制御部１６９１において説明する。図９は残留エコー消去抑圧部１６９の処理フローの例を示す。図６及び図９を用いて、残留エコー消去抑圧部１６９の処理を説明する。

＜消去抑圧配分制御部１６９１＞
周波数領域収音信号Y(f,j)のパワーと推定した残留エコー推定値Y₂^(f,j)のパワーとの差分が小さいときに、エコー消去及び抑圧の混合モードに入る。混合モードでは差分が小さいほど、エコー消去の配分を引き下げ、エコー抑圧の配分を引き上げる。

この処理の一例を図２をもちいて説明する。周波数領域収音信号Y(f,j)のパワーY(f,j)²と残留エコー推定値Y₂^(f,j)のパワーY₂^(f,j)²の差分が小さい状況を

で検出する。ただしp_hyb_range_upperは検出用の閾値であり、−２０〜−１０ｄBの範囲で値を設定する。またMAX(a,b)はaとbで大きい方の値を返す関数であり、残留エコーが収音信号より大きく推定されるとき、関数Jは０を返す。

残留エコー消去の分担比 R_mxc(f,j)は

で計算され、消去配分設定部１６９２に設定される。残りの(1-R_mxc(f,j))が残留エコー抑圧の適用分になり、抑圧量は振幅換算で|Y₂^(f,j)|(1-R_mxc(f,j))になる。エコー抑圧ゲインの一例として、

をもちいることができ、これが抑圧部１６９４に設定される。

なおパラメータp_cancel_allotted_minは、残留エコーを消去する最小の割合であり、0から1の範囲の値を設定する。

また収音信号パワーと残留エコー信号パワーの差分が小さくないとき、すなわち、p_cancel_allotted_min≦J(Y(f,j),Y^₂(f,j))のとき、R_mxc(f,j)=1に設定する。このときG_mxs(f,j)=1となり、残留エコー消去のみが有効になる。

つまり、消去抑圧配分制御部１６９１は、周波数領域収音信号Y(f,j)と、残留エコー推定値Y^₂(f,j)とを受け取り、それぞれのパワーを求め、周波数領域収音信号Y(f,j)のパワーY(f,j)²から残留エコー推定値Y^₂(f,j)のパワーY^₂(f,j)²を引いて差(Y(f,j)²-Y^₂(f,j)²)を求め、差(Y(f,j)²-Y^₂(f,j)²)が所定の閾値p_hyb_range_upperより小さいときは、分担比R_mxc(f,j)を

とし、差(Y(f,j)²-Y^₂(f,j)²)が所定の閾値p_hyb_range_upper以上のときは、分担比R_mxc(f,j)を１とし、分担比R_mxc(f,j)を消去配分設定部１６９２に出力する（ｓ１６９１）。さらに、消去抑圧配分制御部１６９１は、式（１３）により、周波数領域収音信号Y(f,j)と、残留エコー推定値Y^₂(f,j)と分担比R_mxc(f,j)とからエコー抑圧ゲインG_mxs(f,j)を求め、抑圧部１６９４に出力する。

＜消去配分設定部１６９２＞
消去配分設定部１６９２は、残留エコー推定値Y^₂(f,j)と分担比R_mxc(f,j)とを受け取り、これらの積Y^₂(f,j)R_mxc(f,j)を求め（ｓ１６９２）、出力する。なお、この処理が、残留エコー消去の割合を設定する処理に相当する。

＜減算部１６９３＞
減算部１６９３は、周波数領域収音信号Y(f,j)と積Y^₂(f,j)R_mxc(f,j)とを受け取り、周波数領域収音信号Y(f,j)から積Y^₂(f,j)R_mxc(f,j)を引き、差{Y(f,j)-Y^₂(f,j)R_mxc(f,j)}を求め（ｓ１６９３）、出力する。なお、この処理が、残留エコー消去処理に相当する。

＜抑圧部１６９４＞
抑圧部１６９４は、差{Y(f,j)-Y^₂(f,j)R_mxc(f,j)}とエコー抑圧ゲインG_mxs(f,j)とを受け取り、積G_mxs(f,j){Y(f,j)-Y^₂(f,j)R_mxc(f,j)}を求め（ｓ１６９４）、この積を周波数量器の送話信号V(f,j)として、出力する。なお、この処理が、残留エコー抑圧処理に相当する。

よって、残留エコー消去抑圧部１６９は、例えば、以下の式（１４）により、送話信号V(f,j)を求める。

＜時間領域変換部１６８＞
図３及び図４に示すように、時間領域変換部１６８は、周波数領域の送話信号V(f,j)を入力とし、この信号を時間領域の信号v(k)に変換し、これをエコー消去装置１００の出力値として出力する（ｓ１６８）。なお、時間領域変換部１６８では、周波数領域変換部１６１_ｍ及び１６２において用いた周波数領域変換方法に対応する時間領域変換方法を用いればよい。

＜効果＞
このような構成によって、残留エコーパワーと収音信号パワーが同等だが、補正した残留エコー推定値の位相誤差が小さくないために残留エコー消去処理の効果が薄い状況でも、従来よりも残留エコーを抑えることができる。

＜変形例＞
第一実施形態では、主にM>1のときについて説明しているが、M=1であってもよい。この場合、入出力相関係数算出部１６３では、第mチャネルの周波数領域受話信号X_m(f,j)と第m’チャネルの周波数領域受話信号X_m’(f,j)とのクロススペクトルP_m’m(f,j)を求める必要はなくなる。入出力伝達特性推定部１６４では、パワースペクトルP₁₁(f,j)とクロススペクトルQ₁(f,j)とを用いて、周波数領域受話信号X₁(f,j)と周波数領域収音信号Y(f,j)との入出力伝達特性の推定値G(f,j)を周波数毎に推定し、出力する。

残留エコー推定部１６Ａは、周波数領域収音信号Y(f,j)に含まれる残留エコーの位相と振幅とを考慮し、残留エコー推定値を求めるものであれば他の構成であってもよい。例えば、残留エコー推定部１６Ａは、残留エコー補正部１６６を含まず、残留エコー予測部１６５の出力値（推定値Y^(f,j)）を残留エコー推定部１６Ａの出力値として用いてもよい。

また、本実施形態のポイントは、残留エコー推定値の位相誤差が小さくないために残留エコー消去処理の効果が薄い状況においても、残留エコー消去と、エコー抑圧を組み合わせることで残留エコーを抑える点である。そのため、残留エコー消去部１６ｎは、少なくとも、残留エコー推定部１６Ａと残留エコー消去抑圧部１６９とを含めばよく、他の構成（例えば、Ｍ個の周波数領域変換部１６１_１，…，１６１_Ｍ、周波数領域変換部１６２及び時間領域変換部１６８）は必ずしも含まなくともよい。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

＜エコー消去装置２００＞
図１０及び図１１を用いて第二実施形態に係るエコー消去装置２００を説明する。エコー消去装置２００は、Ｎ個のエコー消去部２８_１，…，２８_ＮとＮ個の残留エコー消去部２６_１，…，２６_Ｎを含み、残留エコー消去部２６_ｎの前段にエコー消去部２８_ｎを設ける。

＜エコー消去部２８_ｎ＞
エコー消去部２８_ｎには、受話端子１_１，…，１_Ｍと、残留エコー消去部２６_ｎと、マイクロホン３_ｎとが接続されており、受話信号x₁(k),…,x_M(k)及び第一収音信号y_n(k)が入力され、１チャネルの第二収音信号u_n(k)を残留エコー消去部２６_ｎに出力する。なお、第一収音信号からエコー成分を消去した誤差信号を便宜的に第二収音信号と呼ぶ。

エコー消去部２８_ｎは、受話信号x₁(k),…,x_M(k)を適応フィルタでフィルタリングし、予測エコー信号y’(k)を生成し、さらに、マイクロホン３_ｎで収音した第一収音信号y(k)と予測エコー信号y’(k)との差分を第二収音信号u(k)として求め、第二収音信号u(k)と受話信号x₁(k),…,x_M(k)とに基づき、適応フィルタのフィルタ係数h’(k)を更新する（ｓ２８）。

以下、図１２及び図１３を用いて、詳細を説明する。エコー消去部２８_ｎは、エコー予測部２８１と減算部２８２とエコー経路推定部２８３とを有する。

エコー消去部２８_ｎの処理内容を説明するために、まず、受話信号と第一収音信号との関係を説明する。スピーカ２_１，…，２_Ｍからマイクロホン３_ｎまでのエコー経路のインパルス応答をh₁,…,h_M(k)とし、その長さをL₁とすると、受話信号x₁(k),…,x_M(k)と第一収音信号y(k)の間には次の関係がある。

第mチャネルのインパルス応答h_mと受話信号x_mを
h_m=[h_m(0)…h_m(L₁-1)]^T (22)
x_m=[x_m(0)…x_m(L₁-1)]^T (23)
として、ベクトル化すると、受話信号x₁(k),…,x_M(k)と第一収音信号y(k)の関係は次のように記述される。

y(k)=h₁ ^Tx₁(k)+…+h_M ^Tx_M(k) (24)
但し、Tは転置を表す。

＜エコー予測部２８１＞
エコー予測部２８１は、適応フィルタによる予測エコー経路に受話信号x₁(k),…,x_M(k)を入力して予測エコー信号y’(k)を生成し、出力する（ｓ２８１）。エコー予測部２８１は適応フィルタによって構成され、受話状態における減算部２８２の誤差信号が最小となるように後述するエコー経路推定部２８３で適応フィルタの特性が制御される。

例えば、第mチャネルの適応フィルタのフィルタ係数を
h'_m=[h'_m(0)…h'_m(L_E-1)]^T (25)
とし、予測エコー信号
y'(k)=h'₁ ^Tx₁(k)+…+h'_M ^Tx_M(k) (26)
を生成する。但し、L_Eは適応フィルタのタップ長を表す。エコー予測部２８１は、生成した予測エコー信号y’(k)を減算部２８２に出力する。なお、例えば、適応フィルタのタップ長は100〜300ms程度に設定されることが多い。

＜減算部２８２＞
減算部２８２は、第一収音信号y(k)と予測エコー信号y’(k)を入力とし、第一収音信号y(k)から予測エコー信号y’(k)を差し引き、第二収音信号u(k)を求める（ｓ２８２）。

u(k)=y(k)-y'(k) (27)
求めた第二収音信号u(k)をエコー経路推定部２８３と残留エコー消去部２６_ｎ内の周波数領域変換部２６２に出力する。

＜エコー経路推定部２８３＞
エコー経路推定部２８３は、第二収音信号u(k)と受話信号x₁(k),…,x_M(k)を入力とし、これらを用いて、適応フィルタのフィルタ係数h’(k)を更新し、出力する（ｓ２８３）。適応フィルタの係数修正法としてNormalized Least Mean Squareアルゴリズム（NLMSアルゴリズム）を用いた場合を、以下の式（２８）により、フィルタ係数を更新する。

h'_m(k+1)=h'_m(k)+μu(k)x_m(k) (28)
但し、μはステップサイズであり、

により決定される。なお、μ₀は入力信号のパワーに基づいて制御され、安定した推定を行うために、予め0〜1の値に設定されるパラメータである。エコー経路推定部２８３は、更新したフィルタ係数h’(k+1)をコピーして、エコー予測部２８１に出力する。なお、フィルタ係数の更新方法は上述の方法に限定されるものではなく、他の更新方法を用いてもよい。

＜残留エコー消去部２６_ｎ＞
第一実施形態の残留エコー消去部１６_ｎにおいて第一収音信号y_n(k)を用いて行っていた処理を、残留エコー消去部２６_ｎにおいて上述の第二収音信号u_n(k)を用いて行う。例えば、周波数領域変換部２６２において、第二収音信号u(k)を周波数領域の信号U(f,j)に変換し、この信号を用いて残留エコー推定部２６Ａと残留エコー消去抑圧部２６９において各処理を行う。また、残留エコー推定部２６Ａで行われる処理は、第一実施形態と同様であるが、推定する残留エコー推定値U^₂(f,j)は、第一収音信号y_n(k)に含まれる残留エコー推定値ではなく、第二収音信号u_n(k)に含まれる残留エコー推定値である。残留エコー消去部２６_ｎは、第一収音信号y_n(k)に含まれる残留エコー成分ではなく、第二収音信号u_n(k)に含まれる残留エコー成分を消去する。

＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。エコー経路に大きな変動がない場合には、前段のエコー消去部２８_ｎにおいて、精度の高いエコー経路の推定が可能となるため、送話品質が向上する。また、エコー経路が大きく変動した場合には、エコー消去部２８_ｎにおいて行われるエコー経路の推定が安定するまで、後段の残留エコー消去部２６_ｎにおいて、残留エコー成分を消去することができる。よって、適応フィルタのみを用いてエコー消去を行う装置（例えば、図１の多チャネルエコー消去装置８０）に比べ、エコー経路安定時及び変動時を通じて、高い送話品質を維持することができる。

＜変形例＞
本実施形態では、時間領域の信号（受話信号x₁(k),…,x_M(k)及び第二収音信号u_n(k)）を用いて適応フィルタを更新しているが、周波数領域または波数領域の信号を用いて適応フィルタを更新してもよい（参考文献２参照）。
（参考文献２）特開２０１３−２５５１５５号公報

その場合、エコー消去部２８_ｎの計算過程で得られる周波数領域の信号（X₁(f,j),…,X_M(f,j)及びU_n(f,j)を時間領域の信号に変換せずにそのまま残留エコー消去部２６_ｎに出力する構成としてもよい。その場合、残留エコー消去部２６_ｎは、周波数領域変換部１６１_１，…，１６１_Ｍ及び周波数領域変換部２６２を含まなくともよい。また、適応フィルタの計算コストは大きいので、エコー消去部２８_ｎのエコー消去処理については、一部の周波数（例えば、聴覚的な影響の強い周波数300Hz〜3.4ｋHzや100Hz〜7kHz）においてのみ行い、残留エコー消去部２６_ｎの残留エコー消去処理については、全ての周波数で行う構成としてもよい。このような構成とすることで、効率よく、送話品質を向上させることができる。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

なお、請求項における周波数領域収音信号とは、マイクロホンで収音した第一収音信号から得られる周波数領域の信号であり、マイクロホンで収音した第一収音信号自体や、第一収音信号と予測エコー信号との差分として求められる第二収音信号を含む概念である。ただし、第一収音信号自体や第二収音信号が時間領域の信号の場合には、その信号を周波数領域の信号に変換したものである。さらに、第一または第二収音信号に対し多チャネルの受話信号の相互相関が変化するような工夫を施された信号（例えば、ノイズが負荷された信号、半波整流、遅延変動、レベル変動等の処理を施された信号）であってもよいし、第一収音信号に対し上述の工夫が施された信号と予測エコー信号との差分として求められる第二収音信号であってもよい。

Claims (8)

1. １個以上のスピーカと１個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去装置であって、
   前記マイクロホンで収音した第一収音信号から得られる信号である周波数領域収音信号と、前記受話信号から得られる周波数領域の信号である周波数領域受話信号とを用いて、前記周波数領域収音信号に含まれる残留エコーの位相と振幅とを考慮し、残留エコー推定値を求める残留エコー推定部と、
   前記周波数領域収音信号から前記残留エコー推定値を消去し、抑圧する残留エコー消去抑圧部とを含み、
   前記残留エコー消去抑圧部は、前記周波数領域収音信号から前記残留エコー推定値を引いて差を求め、その差が小さいほど、前記周波数領域収音信号から残留エコーを抑圧する割合を増やし、残留エコーを消去する割合を減らす、
   エコー消去装置。
2. 請求項１のエコー消去装置であって、
   前記残留エコー消去抑圧部は、
   周波数のインデックスをfとし、フレームのインデックスをjとし、周波数領域収音信号をY(f,j)とし、残留エコー推定値をY^₂(f,j)とし、残留エコーを消去する最小の割合をp_cancel_allotted_minとし、前記周波数領域収音信号のパワーY(f,j)²から前記残留エコー推定値のパワーY^₂(f,j)²を引いて差を求め、前記差が所定の閾値p_hyb_range_upperより小さいときは、分担比R_mxc(f,j)を
   

   

   
   とし、前記差が所定の閾値p_hyb_range_upper以上のときは、分担比R_mxc(f,j)を１とする消去抑圧配分制御部を含む、
   エコー消去装置。
3. 請求項１または請求項２のエコー消去装置であって、
   前記残留エコー消去抑圧部は、
   周波数のインデックスをfとし、フレームのインデックスをjとし、エコー抑圧ゲインをG_mxs(f,j)とし、周波数領域収音信号をY(f,j)とし、残留エコー推定値をY^₂(f,j)とし、
   残留エコーを消去する割合を分担比R_mxc(f,j)とし、送話信号V(f,j)を
   

   

   
   として求める、
   エコー消去装置。
4. 請求項３のエコー消去装置であって、
   前記エコー抑圧ゲインG_mxs(f,j)は、
   

   

   
   である、
   エコー消去装置。
5. 請求項１から請求項４の何れかのエコー消去装置であって、
   前記受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、前記マイクロホンで収音した前記第一収音信号と前記予測エコー信号との差分を第二収音信号として求め、この第二収音信号と前記受話信号とに基づき適応フィルタのフィルタ係数を更新するエコー消去部と、をさらに含み、
   前記周波数領域収音信号として周波数領域の前記第二収音信号を用いる、
   エコー消去装置。
6. １個以上のスピーカと１個以上のマイクロホンが共通の音場に配置され、前記スピーカから受話信号を再生した際に、エコー経路を介して前記マイクロホンに回り込むエコーを消去するエコー消去方法であって、
   前記マイクロホンで収音した第一収音信号から得られる信号である周波数領域収音信号と、前記受話信号から得られる周波数領域の信号である周波数領域受話信号とを用いて、前記周波数領域収音信号に含まれる残留エコーの位相と振幅とを考慮し、残留エコー推定値を求める残留エコー推定ステップと、
   前記周波数領域収音信号から前記残留エコー推定値を消去し、抑圧する残留エコー消去抑圧ステップとを含み、
   前記残留エコー消去抑圧ステップは、前記周波数領域収音信号から前記残留エコー推定値を引いて差を求め、その差が小さいほど、前記周波数領域収音信号から残留エコーを抑圧する割合を増やし、残留エコーを消去する割合を減らす、
   エコー消去方法。
7. 請求項６のエコー消去方法であって、
   前記受話信号を適応フィルタでフィルタリングし、予測エコー信号を生成し、前記マイクロホンで収音した前記第一収音信号と前記予測エコー信号との差分を第二収音信号として求め、この第二収音信号と前記受話信号とに基づき適応フィルタのフィルタ係数を更新するエコー消去ステップと、をさらに含み、
   前記周波数領域収音信号として周波数領域の前記第二収音信号を用いる、
   エコー消去方法。
8. 請求項１から請求項５の何れかのエコー消去装置としてコンピュータを機能させるためのプログラム。

Images