JP3654470B2 - サブバンド多チャネル音声通信会議用反響消去方法 - Google Patents
サブバンド多チャネル音声通信会議用反響消去方法 Download PDFInfo
- Publication number
- JP3654470B2 JP3654470B2 JP24352496A JP24352496A JP3654470B2 JP 3654470 B2 JP3654470 B2 JP 3654470B2 JP 24352496 A JP24352496 A JP 24352496A JP 24352496 A JP24352496 A JP 24352496A JP 3654470 B2 JP3654470 B2 JP 3654470B2
- Authority
- JP
- Japan
- Prior art keywords
- echo
- signal
- channel
- subband
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、多チャネル再生系を有する通信会議システムにおいて、ハウリングの原因および聴覚上の障害となる室内反響信号を消去する多チャネル音声通信会議用反響消去方法に関し、特に分割された周波数帯域毎に擬似反響路の推定インパルス応答を射影アルゴリズム等により修正するサブバンド多チャネル音声通信会議用反響消去方法に関するものである。
【０００２】
【従来の技術】
１チャネル用反響消去
同時通話性能に優れ反響感の少ない拡声通話システムを提供するために、反響消去装置がある。
まず、１チャネル用の反響消去装置について、その反響消去方法および装置構成を図１を参照して説明する。拡声通話において、受話端子１１に相手の発話等で得られる受話信号は、そのままスピーカ(再生器)１２から再生される場合と、スピーカ１２へ送る前に、受話信号の振幅やパワー等の大きさに応じて自動的に利得を調節する受話信号加工部１３が挿入され、受話信号に何らかの加工が施された後に、スピーカ１２から再生される場合とがある。このため、この明細書で受話信号ｘ1(k)とは、相手からの受話信号そのものとは限らず、受話信号加工部１３が挿入されたときは、加工された後の受話信号を指すものとする。ｋは離散時間を表す。反響消去装置１４は、受話信号ｘ1(k)がスピーカ１２から反響路１５を経て、マイクロホン(集音器)１６に集音されて得られる反響信号ｙ1(k)を消去する。ここで、反響信号ｙ1(k)は、時刻ｋにおける反響路１５のインパルス応答をｈ11(k, l)として、
のような畳み込み演算で得られるものとモデル化できる。Ｌはタップ数で、反響路１５の残響時間に対応させて、あらかじめ設定しておく定数である。まず、受話信号蓄積・ベクトル生成部１７において、受話信号ｘ1(k)をL-1時刻過去のものまで蓄積しておく。蓄積された信号は、受話信号ベクトルｘ 1(k)、すなわち
ｘ 1(k)＝［ｘ1(k), ｘ1(k-1),…, ｘ1(k−L+1)]T (２)
として出力される。但し、＊Tはベクトルの転置を表す。擬似反響路１８では、式(２)の受話信号ベクトルｘ 1(k)と、反響路推定部１９から得られる擬似反響
路ベクトルｈ＾11(k)との内積演算
ｙ＾1(k)＝ｈ＾11 T(k)ｘ 1(k) (３)
を行ない、その結果として、擬似反響信号ｙ＾1(k)を生成する。この内積演算は、式(１)のような畳み込み演算と等価である。反響路推定部１９では、擬似反響路１８で用いる擬似反響路ベクトルｈ＾11(k)を生成する。
【０００３】
ここでスピーカ１２からマイクロホン１６に至る反響路１５のインパルス応答ｈ11(k, l)は例えば人や物の移動による音場の変化により変動するので、この経時変動に追従して擬似反響路ベクトルｈ＾11(k)を変化させる必要がある。こ
の構成例において反響消去装置１４は適応形ＦＩＲフィルタを用いて構成する。この反響路推定に用いる最も一般的なアルゴリズムは、ＮＬＭＳアルゴリズム(学習同定法)である。ＮＬＭＳアルゴリズムでは、時刻ｋにおける受話信号ベクトルｘ 1(k)と、残留反響信号ｅ1(k)、すなわち減算器２１でマイクロホン１６
の出力ｙ1(k)から擬似反響信号ｙ＾1(k)を差し引いた
ｅ1(k)＝ｙ1(k)−ｙ＾1(k) (４)
とから、時刻ｋ＋１において用いる擬似反響路ベクトルｈ＾11(k+1)を次式の
ように求める。
但し、μはステップサイズパラメータと呼ばれ０＜μ＜２の範囲で適応動作の調整に用いる。以上のような処理を繰り返すことにより、反響路推定部１９では、次第に擬似反響路ベクトルｈ＾11(k)を、真の反響路１５のインパルス応答ｈ1
１（ｋ， ｌ）の時系列を各要素として持つ反響路ベクトルｈ 11(k)、すなわち
ｈ 11(k)＝［ｈ11(k,0),ｈ11(k,1),…, ｈ11(k,L-1)]T (６)
と一致させることが可能となり、その結果式(４)の残留反響信号ｅ1(k)を小さくすることができる。
【０００４】
現在、この反響路推定に用いる最も有効なアルゴリズムは、射影アルゴリズムあるいはＥＳ射影アルゴリズムである。射影アルゴリズムは、アルゴリズム内部で入力信号の自己相関を取り除くことにより、音声のように相関のある信号に対する収束速度を改善するという考え方に基づいている。自己相関成分を除去することは時間領域において信号の白色化を行っていることを意味している。射影アルゴリズムの詳細は、文献「尾関、梅田、“アフィン部分空間への直交射影を用いた適応フィルタアルゴリズムとその諸性質”、電子情報通信学会誌(Ａ), Ｊ６７−Ａ, ｐｐ. １２６−１３２, (昭５９−２)」に記載されている。
【０００５】
一般に、ｐ次の射影アルゴリズムでは、過去のｐ個の入力信号ベクトルｘ(k
）， ｘ(k-1), …, ｘ(k-p+1)に対して正しい出力ｙ(k), ｙ(k-1), …, ｙ(k-
ｐ＋１）を得るように擬似反響路ベクトルｈ＾(k)を修正する。すなわち、
ｘ T(k)ｈ＾(k+1)＝ｙ(k)
ｘ T(k-1)ｈ＾(k+1)＝ｙ(k-1) (７)
・
・
・
ｘ T(k-p+1)ｈ＾(k+1)＝ｙ(k-p+1)
を満足するｈ＾(k+1)を求める。但し、
ｘ(k)＝〔ｘ(k), ｘ(k-1), …, ｘ(k−L+1)〕T (８)
である。未知数の数(タップ数)Ｌより方程式の数ｐが少ないとき、式(７)の連立方程式の解ｈ＾(k+1)は不定となる。そこで、修正の大きさ‖ｈ＾(k+1)−
ｈ＾(k)‖が最小となるように修正を行なう。ｐ次の射影アルゴリズムは、
但し、
+ ：一般化逆行列
-1 ：逆行列
と表される。β(k)はｐ元連立一次方程式
〔Ｘ T(k)Ｘ(k)〕β(k)＝ｅ(k) (15)
の解である。逆行列演算における不安定性を回避するために小さな正の定数δを用いて
〔Ｘ T(k)Ｘ(k)＋δＩ〕β(k)＝ｅ(k) (15)'
としてもよい。ただしＩは単位行列である。式(９)の右辺第２項は修正ベクト
ルであり、修正ベクトルにより擬似反響路ベクトルが逐次更新される。式(９)中のＸ(k)β(k)は入力信号の自己相関を取り除く処理を表しており、従ってこ
れは時間領域内での信号の白色化処理を意味している。即ち、射影アルゴリズムは時間領域における入力信号の白色化によりインパルス応答の修正速度を高めているといえる。射影アルゴリズムには演算量の低減をはかった高速算法がいくつか提案されており、それらの詳細は特開平７−３１２５３５号公報、特開平７−９２９８０号公報に記載されている。また、負の時刻の入出力を零として、ｐを無限大とした場合が、ＲＬＳアルゴリズムに対応する。
【０００６】
ＥＳ射影アルゴリズムは、射影アルゴリズムに反響路の変動特性に着目したＥＳアルゴリズムを組み合わせたもので、射影アルゴリズムよりさらに収束速度の大きな反響消去装置を提供することができる。ｐ次のＥＳ射影アルゴリズムは、
ただし、
Ａ＝ diag[α1, α2, …,αL]：ステップサイズ行列
αi＝ α0λi-1(i=1,2,…,L)
λ：インパルス応答変動量の減衰率(０＜λ＜１)
μ：第２のステップサイズ(スカラ量)
と表される。β(k)はｐ元連立一次方程式
〔Ｘ T(k)ＡＸ(k)〕β(k)＝ｅ(k) (17)
の解である。逆行列演算における不安定性を回避するために小さな正の定数δを用いて
〔Ｘ T(k)ＡＸ(k)＋δＩ〕β(k)＝ｅ(k) (17)'
としてもよい。ただしＩは単位行列である。
【０００７】
擬似反響路１８がディジタルＦＩＲフィルタで構成される場合には, そのフィルタ係数ｈ＾11(k)は室内反響路１５のインパルス応答ｈ 11(k)を直接模擬し
たものとなっている。従って、反響路１５の変動に応じて必要なフィルタ係数修正の大きさは、反響路インパルス応答ｈ 11(k)の変動量と一致する。そこで、
フィルタ係数修正動作における修正幅を表わすステップサイズ行列Ａはインパ
ルス応答の経時変動特性で重み付けられている。一般に室内音場におけるインパルス応答変動量は減衰率λを用いた指数関数として表わされる。ステップサイズ行列Ａの対角成分αl(l=1,2,…,L)は図２Ａに示すようにｌの増加に伴ってα0
からインパルス応答の指数減衰特性と同じ傾きで指数減衰し０に漸近する。このアルゴリズムは、人や物の移動により室内反響路のインパルス応答が変動する場合に、その変動量(インパルス応答の差分)はインパルス応答と同じ減衰率で指数減衰するという音響学的知見を利用したものである。変動の大きいインパルス応答の初期の係数は大きなステップで、変動の小さいインパルス応答の後期の係数は小さなステップで修正することにより、収束速度の大きな反響消去装置を提供することができる。
【０００８】
反響消去装置を複数のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）チップで構成する場合には、図２Ｂに示すようにステップサイズαlの指数減衰曲線を階段状に近似し、各チップ毎に一定のαlを設定する。これにより、従来の射影アルゴリズムとほぼ同等の演算量と記憶容量でＥＳ射影アルゴリズムを実現することができる。ＥＳ射影アルゴリズムの詳細は特開平5-244043、文献S.Makino and Y.Kaneda,“Exponentially weighted step-size projection algorithm for acoustic echo cancellers”, Trans. IEICE Japan, vol.E75-A, no.11, pp.1500-1508, Nov.1992 に記載されている。
【０００９】
以上より、ｈ＾(k)の更新式を従来装置で用いられているＮＬＭＳアルゴリ
ズムによる場合と(ＥＳ)射影アルゴリズムによる場合とで比較すると、ＮＬＭＳアルゴリズムによる式(５)では、ｈ＾(k)は入力信号ベクトルｘ(k)の方向に
更新される。一方、(ＥＳ)射影アルゴリズムによる式(９), (16)では、ｈ＾(k
）は式(９), (16)の第４式右辺第２項以降を
ｖ(k)＝β1 ｘ(k)＋β2 ｘ(k-1)＋…＋βp ｘ(k-p+1) (18)
とおいて、このｖ(k)の方向、すなわち、入力信号ベクトルｘ(k)から過去の
入力信号ベクトルｘ(k-1), …, ｘ(k-p+1)の全てとの相関を除去したベクト
ルの方向に更新される。つまり修正ベクトルｖ(k)が入力信号中の過去の信号
と同様のものをなるべく除去した信号となるようにβ1〜βpを決める。
【００１０】
また、従来において、信号を複数の周波数帯域に分割し、その各周波数帯域について、ＮＬＭＳアルゴリズム等により、反響路１５の変動にもとづく擬似反響路１８のフィルタ係数の逐次修正を行い、これら各周波数帯域ごとの残差を合成して出力するサブバンド法が知られている。これは例えば、米国特許第5,272,695、文献S.Gay and R.Mammone,“Fast converging subband acoustic echo cancellation using RAP on the WER DSP16A”, Proc.ICASSP90, pp.1141-1144, Apr.1990などに示されている。このサブバンド法により、周波数領域で信号の平坦化、いわゆる白色化が行われ、反響路の変動時の擬似反響路フィルタ係数の推定における収束速度が速くなる。
【００１１】
通信会議システム用反響消去
さて、一般にＩ(＞２)チャネルの再生系とＪ(＞１)チャネルの集音系とで構成される通信会議システムの場合の反響の消去は、図３に示すような構成により行われる。すなわち再生側の全Ｉチャネルと集音側の各１チャネルとの間にＩ入力１出力時系列信号を処理するＩチャネル反響消去装置２２1,２２2,…, ２２Jをそれぞれ接続した反響消去システム２３として実現される。この場合システム全体でＩ×Ｊ個の反響路１５ij(１＜ｉ＜Ｉ, １＜ｊ＜Ｊ)が存在する。このシステムの構成単位である再生側の全Ｉチャネルと集音側の各１チャネルとの間に接続されるＩチャネル反響消去装置２２1,２２2,…, ２２Jについては、図１に示した反響消去装置１４の構成を拡張して、図４に示すように構成される。これは例えば電子情報通信学会論文誌 '８６／１０ Ｖｏｌ. Ｊ６９−Ａ Ｎｏ. １０「多チャネル適応ディジタルフィルタ」に詳しく述べられている。ここで、集音側が第ｊ集音チャネル(１＜ｊ＜Ｊ)に接続されているＩチャネル反響消去装置２２jを考える。第ｊチャネルの集音器１６jで集音される反響信号は、各再生チャネルの受話信号がそれぞれの反響路１５1j〜１５Ijを経て集音側で全て加算されることにより得られるために、反響路推定をどの再生チャネルについても、統一的に同じ１つの残留反響信号ｅj(k)のみを評価して行なうための工夫が必要となる。まず、各再生チャネルの受話信号について、受話信号蓄積・ベクトル生成部(１７1,１７2,…, １７I)により、受話信号ベクトル
ｘ 1(k)＝［ｘ1(k), ｘ1(k-1),…, ｘ1(k−L1+1)]T (19)
ｘ 2(k)＝［ｘ2(k), ｘ2(k-1),…, ｘ2(k−L2+1)]T (20)
：
ｘ I(k)＝［ｘI(k), ｘI(k-1), …, ｘI(k−LI+1)]T (21)
を生成する。但し、L1,L2,…, LIはタップ数で、各反響路１５1j, １５2j, …, １５Ijの残響時間に対応させて、あらかじめ設定する定数である。これらのベクトルをベクトル結合部２４によって、
ｘ(k)＝［ｘ 1 T(k), ｘ 2 T(k),…, ｘ I T(k)]T (22)
と結合する。また、反響路推定部１９jにおいても、各再生チャネルと第ｊ集音チャネルとの間のＩ個の反響路を模擬するための、各擬似反響路ベクトルｈ＾
1j(k),ｈ＾2j(k),…, ｈ＾Ij(k)を結合して
として扱う。擬似反響路結合ベクトルｈ＾j(k)の更新は、ＮＬＭＳアルゴリズ
ムを用いた場合、
のように行なわれる。擬似反響路１８jでは、内積演算
ｙ＾j(k)＝ｈ＾j T(k)ｘ(k) (25)
により、第ｊ集音チャネルで集音された反響信号ｙj(k)に対する擬似反響信号ｙ＾j(k)を生成する。このように、各チャネル毎のベクトルを結合して１つのベクトルとして扱うことにより、基本的な処理の流れは、図１に示した１チャネル反響消去装置と同様となる。
【００１２】
【発明が解決しようとする課題】
Ｉチャネルの再生系とＪチャネルの集音系とで構成される通信会議システムに用いられる従来の反響消去システムの欠点のうち、この発明が解決しようとするものを、具体例に沿って説明する。
図５に示すように、Ａ地点とＢ地点との間において、２チャネルで集音・再生を行なうステレオ音声会議装置に従来の反響消去システムを適用した場合、Ｂ地点側の反響路が全く変動しない場合においても、Ａ地点側で発話者が移動あるいは交替を行なう度にその発話に対するＢ地点からの反響音が増大するという問題がある。これは、Ｂ地点側の反響消去システムにおいて反響路推定が正しく行なわれていないために起こる問題である。
【００１３】
そこで、この問題を説明するために、Ｂ地点における反響消去システムの構成単位である２チャネル反響消去装置のうちの１つである第１集音チャネルに接続された装置２２ｂ1の動作に注目する。以下では、各再生チャネルの動作を明確化するために、従来技術の項で用いた結合ベクトルの各再生チャネルについての要素が明示された形で表記する。結合ベクトルを用いずに各再生チャネル毎のベクトルで表記するＢ地点側における２チャネル受話信号ベクトルをｘ 1(k)と
ｘ 2(k)とする。各再生チャネルに対する真の反響路１５11, １５21の反響路ベ
クトルをｈ 11(k),ｈ 21(k)とすると、これら反響路１５11, １５21を経て集
音される反響信号ｙ1(k)は、
ｙ1(k)＝ｈ 11 T(k)ｘ 1(k)＋ｈ 21 T(k)ｘ 2(k) (26)
と表される。一方、反響消去装置内で生成される擬似反響信号ｙ＾1(k)は、装置内で生成される擬似反響路ｈ＾11(k)とｈ＾21(k)とを用いて、
ｙ＾1(k)＝ｈ＾11 T(k)ｘ 1(k)＋ｈ＾21 T(k)ｘ 2(k) (27)
と得られる。Ａ地点から一人の話者が発話した場合には、この受話信号ベクトルｘ 1(k)とｘ 2(k)との間には、非常に強い相互相関がある。ｘ 1(k)とｘ 2(
ｋ）との間に、一定な強い相互相関がある場合には、
ｙ＾1(k)＝ｙ1(k) (28)
の解としての結合ベクトル［ｈ＾11 T(k),ｈ＾21 T(k)]は無数に存在し、ｘ
1(k)とｘ 2(k)との相互相関に固有な部分空間Ｈ xを形成する。このため、Ｎ
ＬＭＳアルゴリズムのような一般的な逐次誤差最小化アルゴリズムを用いた場合に、［ｈ＾11 T(k),ｈ＾21 T(k)]は初期値から部分空間Ｈ xまでの距離が最
小となる点に収束し、一般に真値［ｈ 11 T(k),ｈ 21 T(k)]には収束しない。
【００１４】
説明を簡単にするために、一定なスカラー値ｐ1,ｐ2と原信号ベクトルｓ(k)
により、受話信号ベクトルｘ 1(k), ｘ 2(k)が、
ｘ 1(k)＝ｐ1 ｓ(k), ｘ 2(k)＝ｐ2 ｓ(k) (29)
と表される場合を考える。［ｈ＾11 T(k),ｈ＾21 T(k)]が存在し得る部分空間
Ｈ xは、
p1 ｈ＾11(k)+p2 ｈ＾21(k)＝p1 ｈ 11(k)+p2 ｈ 21(k) (30)
を満たす図６Ａ中の直線のように見なすことができ、初期値０から適応を開始した場合、収束点［ｈ＾11p T(k),ｈ＾21p T(k)]は、
のように得られる。このため、スカラー値ｐ1とｐ2との間の比が変動した時点で、式(30)は満足されなくなるため、反響を消去できなくなり、反響が増大する。
【００１５】
以上の例からも分かるように、一般にＩチャネルの再生系とＪチャネルの集音系とで構成される通信会議システムに、従来の反響消去装置を適用した場合は、各チャネルの受話信号間に相互相関がある場合に、反響路の推定が正しく行なわれないため、受話信号間の相互相関が変動する度に反響が増大する問題が生じる。
【００１６】
この問題に対して、射影アルゴリズム等を用いて各チャネルの受話信号間の相互相関の変動の情報を抽出して利用することにより、真値への収束速度を改善できることが特願平７−５０００２で提案されている。しかし、全周波数帯域におけるインパルス応答に対して射影アルゴリズム等により修正を行なうこの提案の方法法では、まだまだ収束速度がおそいという問題があった。また、収束速度を向上させるためには、非常に高い射影次数が必要であり、演算量が増加するという問題がある。
【００１７】
さて、前述のように射影アルゴリズム及びＥＳ射影アルゴリズムは入力信号の自己相関を取り除くことにより収束速度を上げているものである。一方、信号を複数の周波数帯域に分割して処理するサブバンド法は入力信号を周波数領域で平坦化(白色化)することにより収束速度を上げているものである。ここで、サブバンド構成にすることにより、相互相関に対してどのような影響があるかは、全く知られていない。むしろ、ステレオエコーキャンセラ（ステレオ反響消去装置）にサブバンド法を適用しても前述したステレオエコーキャンセラの問題は何ら解決されず、無駄だと思われてきた。そのため、これまでずっと、フルバンド法が用いられてきた。
この発明の目的は、従来の多チャネル音声通信会議用反響消去システムにおいて、以上に挙げたような問題を解決する多チャネル音声通信会議用の反響消去方法を提供することにある。
【００１８】
【課題を解決するための手段】
この発明の方法を説明するに先立ち、この発明の一部の考え方のもとになる多チャネル受話信号間の相互相関が変動した場合における、多チャネル反響消去装置の反響路推定部の動作について考察する。
簡単のため、式(29)で表される２チャネルステレオ受話信号ｘ 1(k)とｘ 2(
ｋ）との相互相関が変動した場合として、式(29)のｐ1, ｐ2がそれらとは比関係の異なるｑ1, ｑ2に変化した例を考える。まず、〔ｈ＾11 T(k), ｈ＾21 T(k)〕
は、式(31), (32)の〔ｈ＾11p T(k), ｈ＾21p T(k)〕に収束する。次に、ｐ1
とｐ2とがｑ1とｑ2に変化したとき、〔ｈ＾11p T(k), ｈ＾21p T(k)〕を“初
期値”として、そこから最短距離にある〔ｈ＾11q T(k), ｈ＾21q T(k)〕に収
束する。この動作は、図６Ｂに示すように幾何学的に解釈される。ここで、収束点(ｈ＾11q, ｈ＾21q)は収束点(ｈ＾11p, ｈ＾21p)から直線ｈ＾11ｑ
1＋ｈ＾21ｑ2＝ｈ 11ｑ1＋ｈ 21ｑ2におろした垂線の交点になる。従って図
６Ｂにおけるフィルタ係数誤差ベクトルｅp, ｅqのノルムは、一般に‖ｅp‖＞‖ｅq‖の関係にあることが自明である。このことは、一般に、受話信号間の相互相関の変化の度に、フィルタ係数誤差ベクトルのノルムが小さくなることを意味している。つまり、多チャネル受話信号間の相互相関の変動は、反響消去装置内において反響路推定が誤っている場合に、反響の増大をひき起こすが、無限回の変動が繰り返された末には、反響路推定部における真の反響路の推定を可能とする有効な情報であると捉えることができる。
【００１９】
この発明による多チャネル反響消去方法には第１の方法と、第２の方法と、第３の方法とがある。
第１の方法としては、多チャネル反響消去方法において、サブバンド法を用いる。サブバンド法では間引きにより各サンプル間の時間間隔が広がっているため、相互相関の変動の情報が強調される。もちろん１チャネル反響消去方法にサブバンド法を用いた場合と同様に、入力信号の周波数領域での平坦化(白色化)も同時に行なわれる。これにより真値推定の収束速度が向上する。
【００２０】
第２の方法としては、第１の方法において残留反響信号と各チャネルの受話信号とから修正ベクトルを求め、この修正ベクトルを用いて、各反響路のインパルス応答の推定を逐次修正するが、この発明では各チャネル間の過去の受話信号の相互相関に対する現在の受話信号間の相互相関の変動成分を抽出し、この変動成分を修正ベクトルとする。一例として、各チャネル間の相互相関の変動を強調する方法として(ＥＳ)射影アルゴリズムを用いる。このように、サブバンド多チャネルエコーキャンセラに(ＥＳ)射影アルゴリズムを用いると、サブバンド法では間引きによりタップ数が減っているため、サブバンドの相互相関の変動の強調にさらに(ＥＳ)射影アルゴリズムの相互相関の変動の強調効果が相乗され、予期せぬ効果を生み、少ない射影次数で非常に速い収束速度が得られる。さらに、射影次数を各周波数帯域で最適に設定することにより、少ない演算量で最大の効果を得ることができる。
【００２１】
第３の方法としては、第１の方法において受話信号間の相互相関を、聴感上の違和感のない範囲で能動的に変動させる機能を付加して、各再生器で音響信号を再生し、この相互相関の変動が付加された受話信号を擬似反響路ベクトルの修正ベクトルの導出に利用する。さらに, 付加する機能を各周波数帯域で異なるものに最適に設定することにより、聴感上の劣化を最小限に押えることができる。
【００２２】
【発明の実施の形態】
図７は前記第１の方法および第２の方法を用いたこの発明の反響消去方法を適用した反響消去装置の機能構成例を示し、図３と対応する部分には同一符号を付けてある。受話信号ｘi(k')はスピーカ１２iで音声に再生されると共に周波数帯域分割部５１i内で周波数帯域別のＮ個の実数信号ｘin(k)(n=0,1,…,N-1)に分割される。一方、スピーカ１２iからの再生音声が反響路１５ijを経てマイクロホン１６jにより反響信号ｙj(k')としてピックアップされる。この反響信号ｙj(k')は周波数帯域分割部５２j内で周波数帯域分割部５１iと同一の分割特性で周波数帯域別のＮ個の実数信号ｙjn(k)に分割される。以降、ｊについてはすべて同様の処理となるので、簡単のためｊは省略して記述する。
【００２３】
周波数帯域分割部５１iで分割されたそれぞれの周波数帯域には受話信号蓄積・ベクトル生成部１７in、ベクトル結合部２４n、擬似反響路１８n、反響路推定部１９nからなるＩチャネル反響消去装置２２nが設けられてあり、それぞれの擬似反響路１８nは擬似反響信号y^n(k)を生成し、減算器２１nでこれら擬似反響信号y^n(k)を対応する周波数帯域の反響信号yn(k)から差し引くことにより反響信号yn(k)は消去される。ここで擬似反響路１８nは反響路１５の経時変動に追従する必要があり、残差en(k)＝yn(k)−y^n(k)が０に近づくように、射影アルゴリズムまたはＥＳ射影アルゴリズムを用いた推定部１９nによって擬似反響路ベクトルｈ＾n(k)が逐次推定され、擬似反響路１８nの修正が行なわれることによっ
て、常に最適な反響消去が維持される。各周波数帯域の誤差信号(残差信号)en(k)は周波数帯域合成部５３jで全周波数帯域の誤差信号e(k')に合成され、送信端４に出力される。
【００２４】
図８は周波数帯域分割部５１の内部の機能構成を示しており、A/D 変換器５により受話信号x(t)がサンプル値化され、帯域通過フィルタ２０nにより帯域制限される。または、帯域通過フィルタ２０nを用いる代わりに、文献Crochiere and Rabiner,“Multirate Digital Signal Processing”, Englewood Cliffs, NJ:Prentice-Hall, pp.52-56, 1983 に記載されているSSB(Single Side Band)法を用いても、帯域制限された実数信号xn(k')を得ることができる。帯域制限された実数信号xn(k')は間引き率Ｒで間引かれ実数信号xn(k)とされる。以下、分割された各周波数帯域のこの信号xn(k)をサブバンド受話信号と呼ぶ。反響信号y(k')に対する周波数帯域分割部５２も図８の周波数帯域分割部５１と同様に構成されており、これによって周波数帯域毎に分割された反響信号yn(k)をサブバンド反響信号と呼ぶ。
【００２５】
サブバンド法では周波数帯域幅が狭まっており、間引きにより各サンプル間の時間間隔が広がっているため、相互相関の変動の情報が強調される。このため、真値への収束速度が早まる。
さらに、第２の方法では前述したように、各チャネルの受話信号間の相互相関の変動の情報を抽出して利用する。図９に各周波数帯域における反響消去装置２２jを示す。図４と対応する部分に同一符号を付けてある。この発明では各反響消去装置２２1〜２２jに相互相関変動成分抽出部３１を設ける。相互相関変動成分抽出部３１では、受話信号結合ベクトルｘ(k)と残留反響信号ｅj(k)の情報
を蓄積し、自己相関除去ベクトル、つまり修正ベクトルｖ(k)を生成する。こ
のベクトルｖ(k)は、ｘ(k)が相互相関の高い多チャネル信号ベクトルの結合
ベクトルである場合、各チャネル間の相互相関の変わらない成分は除去されて、相互相関の変動成分が強調されたベクトルとなる。修正部３２では、現在の推定反響路ベクトルｈ＾j(k)に対し、修正ベクトルｖ(k)を用いて擬似反響路結
合ベクトルｈ＾j(k)を更新し、これを擬似反響路１８jへ出力する。
【００２６】
従来装置の構成においては、各チャネル間の受話信号ベクトルを結合して扱う。このため、各チャネルの受話信号間の相互相関は、受話信号結合ベクトルと過去の受話信号結合ベクトルとの相関関係である自己相関の中に現れる。よって、各チャネルの受話信号について、相互相関の変動していない成分を除去して、相互相関の変動した成分を抽出するためには、受話信号結合ベクトルの自己相関を小さくする、つまり受話信号結合ベクトルの自己相関を除去する手法を用いればよい。このような手法として、１チャネル反響消去装置において、射影アルゴリズム、ＲＬＳアルゴリズム、あるいは線形予測を用いる方法等が提案されている。これらのうち、線形予測による手法は、音声信号を線形予測して、その線形予測係数を用いて音声信号の自己相関を除去するものである。ＲＬＳアルゴリズムは、射影アルゴリズムの特殊な場合とみなすことができる。そこで、この発明では、最も現実的な手法の例として、射影アルゴリズムを用いた場合における受話信号結合ベクトルの自己相関除去手法を説明する。
【００２７】
図１０は第ｎ番目の周波数帯域の推定部１９nの内部の機能構成例としてｐn次のＥＳ射影アルゴリズム(Ａ＝Ｉの時には射影アルゴリズム)を用いた場合を
示す。
受話信号記憶部３１はサブバンド受話信号xn(k)が与えられる毎にそれぞれ連続するＬn個ずつのサブバンド受話信号からなるpn個のサブバンド信号ベクトル
を生成し、更にこれらベクトルからサブバンド受話信号行列
Ｘ n(k)＝ [ｘ n(k),ｘ n(k-1),…,ｘ n(k-pn+1)]
を生成する。Ｌnはｎ番目の周波数帯域の擬似反響路１８nを構成するFIR フィルタのタップ数である。なおこれらの式中のｘ n(k),ｘ n(k-1),…はそれぞれ式
（２２）で与えられるベクトル結合したベクトルである。つまり受話信号記憶部３１には１乃至Ｉチャネルのサブバンド受話信号ｘ n(k)がベクトル結合した
Ｘ n(k)が入力される。
【００２８】
ただし、ｎ番目の周波数帯域ではpn次の射影アルゴリズム又はＥＳ射影アルゴリズムを実行するものとする。ステップサイズ行列記憶部３２には第１のステップサイズ行列Ａ n＝diag[αn1,αn2,…,αnLn] が記憶される。ステップサイズ
行列Ａ nは対応する周波数帯域におけるインパルス応答の変動特性で重み付け
られている。
【００２９】
一般的な室内を対象とする場合には、第ｎ番目の周波数帯域におけるインパルス応答変動量は減衰率γnを用いた指数関数として表わされる。自己相関演算部３３では第１のステップサイズ行列Ａ nで重み付けたサブバンド受話信号行列
Ｘ n(k)の自己相関行列Ｘ n(k)T Ａ n Ｘ n(k)が演算される。この演算された
自己相関行列と、残差記憶部３４からの残差en(k)とがβ n(k)演算部３５に供
給されて次式のpn元連立一次方程式
[Ｘ n(k)T Ａ n Ｘ n(k)]β n(k)＝ ｅ n(k) (33)
を解くことにより、定数β n(k)を求める。逆行列演算における不安定性を回避
するために、小さな正の定数δnを用いて式(33)の代わりに次式
[Ｘ n(k)T Ａ n Ｘ n(k)＋δn Ｉ]β n(k)＝ ｅ n(k) (33)'
を使ってもよい。ただし、Ｉは単位行列である。ステップサイズ記憶部３６か
らの第２のステップサイズμnと、Ａ n, Ｘ n(k), β n(k)とが修正ベクトル
演算部３７に供給されて修正ベクトル
μn Ａ n Ｘ n(k)β n(k) (34)
が演算され、その修正ベクトルは加算器３８へ供給されてタップ係数記憶部３９からのＬn個の要素からなる擬似反響路ベクトルｈ＾n(k)に加算されて修正さ
れた擬似反響路ベクトルｈ＾n(k+1)が得られる。演算結果ｈ＾n(k+1)は擬似
反響路１８nへ出力されると同時に、タップ係数記憶部３９の値を更新する。
【００３０】
以上の操作をサブバンド受話信号xn(k)が与えられる毎に繰り返すことにより、擬似反響路１８nは次に示す(35)式に従って逐次修正され、擬似反響路ベクトルｈ＾n(k)は真の擬似反響路１５の第ｎ周波数帯域におけるインパルス応答
ｈ n(k)に近づいてゆく。
ここで特筆すべきことは、相互相関の変動は各周波数帯域によって異なり、一般に、低域では小さく高域では大きいという点である。この点を考慮すれば、相互相関の変動の小さい周波数帯域では射影次数を大きくしてして収束速度を早め、相互相関の変動の大きい周波数帯域では射影次数を小さくすることにより、少ない演算量で全体としての収束速度を均一にすることができる。
【００３１】
もう一つ特筆すべきことは、各帯域のタップ数Ｌnは間引きにより少なくなっているという点である。(ＥＳ)射影アルゴリズムでは、次数ｐと収束特性の関係はタップ数Ｌにより影響を受ける。すなわち、タップ数Ｌが大きい場合には、完全に収束速度が飽和するためには次数ｐを大きくする必要があり、タップ数Ｌが小さい場合には、小さな次数ｐで完全に収束速度が飽和する。例えば、タップ数Ｌが1000程度の場合には、完全に収束速度が飽和するためにはｐが５０〜１００次程度必要であるのに対して、帯域分割と間引きによりタップ数Ｌnが６４程度に小さくなった場合には、１６〜３２次程度で十分となる。
【００３２】
このように、サブバンド多チャネルエコーキャンセラにさらに(ＥＳ)射影アルゴリズムを用いると、サブバンド法では間引きによりタップ数が減っているため、サブバンドの相互相関の変動の強調にさらに(ＥＳ)射影アルゴリズムの相互相関の変動の強調効果が相乗され、予期せぬ効果を生み、少ない射影次数で非常に速い収束速度が得られる。さらに、射影次数ｐを各周波数帯域で最適に設定することにより、少ない演算量で最大の効果を得ることができる。
【００３３】
図１１に示す一般的な音声の周波数スペクトルの例では、受話信号を複数の周波数帯域Ｆ0,Ｆ1,…,ＦN-1に分割した場合には、各帯域でそのスペクトル形状が異なる。その結果、各帯域の収束速度が飽和するために必要となる(ＥＳ)射影アルゴリズムの次数も異なる。一例を挙げれば、図１１中の帯域Ｆg では、スペクトルが複雑に変化しているため、必要な(ＥＳ)射影アルゴリズムの次数は大きく、帯域Ｆnではスペクトルが平坦に近いため、必要な(ＥＳ)射影アルゴリズムの次数は小さい。
【００３４】
従って、この発明では各帯域においてその帯域に適した、つまり収束速度が最も速く、かつ次数が最も少ないような次数を決める。このため、図７中に示す次数決定制御部５４を設ける。その内部の機能構成例を図１２に示す。それぞれの周波数帯域における(ＥＳ)射影アルゴリズムの次数ｐnは、次数決定制御部５４で次のように決定する。
【００３５】
方法１：次数ｐnを変えながらｙnとｅnとから収束の様子を観測する。この場合の次数決定制御部５４は図１２に示すように、それぞれの周波数帯域毎に設けられた次数決定部５４0〜５４N-1から構成されている。各周波数帯域において、例えば次数pn=1と決め、サブバンド受話信号xn(k)が入力される毎に得られるサブバンド反響信号ynと残差信号enの比(echo return loss enhancement：ERLE)rpn=20log10(yn/en)である反響消去量を求めることにより例えば図１３に模式的に示すような反響消去量ERLEの収束曲線が得られる。同様にpnを順次大にした場合についても同様のERLE収束曲線が得られる。そこで、方法１では、時間k=0 からpn次の(ＥＳ)射影アルゴリズムによる反響消去処理を開始し、次数決定部５４nにおいて予め決めた時点k=kKでのERLEの値rsを求めることを単調増加する一連の次数pn=ps,s=1,2,…, 例えばps+1=ps+1,p1=1、について順次繰り返し実行し、各次数pn=psについて反響消去量rsを求める毎にその前の次数pn=ps-1で求めた反響消去量rs-1からの増加の、次数の増加(ps-ps-1)に対する割合R=(rs-rs-1)/(ps-ps-1)を求め、この値が予め決めた閾値Rthより最初に小さくなる次数pn=psを決定する。
【００３６】
図１４は第１の次数決定方法による具体的な次数決定手順の例を示す。次数決定部５４nはステップＳ１で整数パラメータｓ, ｋをそれぞれ１と０に初期設定し、ステップＳ２で次数pn=psとし、対応する周波数帯域の推定部１９nに与える。ステップＳ３でサブバンド受話信号xn(k)が入力されると、ステップＳ４で受話信号ベクトルｘ n(k)を擬似反響路１８nに入力して擬似反響信号y^n(k)=ｈ
＾n(k)T ｘ n(k)を得て、その擬似反響信号y^n(k)の、サブバンド反響信号yn(k)
に対する推定誤差en(k)=yn(k)-y^n(k)を減算器２１nで求める。更に、推定部１９nにおいて時点ｋを最新時点とするpn+Ln個のサブバンド受話信号xn(k),xn(k-1),…,xn(k-pn-Ln+2)とpn個の推定誤差en(k),en(k-1),…,en(k-pn+1)とを使ってpn=ps次の(ＥＳ)射影アルゴリズムにより擬似反響路ベクトルｈ＾n(k+1)を推定
する。更に、推定したｈ＾n(k+1)を対応する擬似反響路１８nに設定する。即
ち、ステップＳ４ではサブバンド受話信号xn(k)が入力される毎に、図７の反響消去装置における第ｎ番目の周波数帯域に係わる部分によりpn=ps次の(ＥＳ)射影アルゴリズムに基づく反響消去処理が行われる。
【００３７】
ステップＳ５で時間ｋが予め決めた時間kKに達したか判定し、達していなければステップＳ６でｋを１歩進してステップＳ３に戻り、ステップＳ３, Ｓ４で同様のpn次(ＥＳ)射影アルゴリズムによる反響消去処理を実行する。時間ｋがkKに達するまで反響消去処理を繰り返し実行し、k=kKとなった時点でステップＳ７において次数決定部５４nはその時のサブバンド反響信号ys=yn(kK)と推定誤差es=en(kK)から反響消去量rs=20log10(ys/es)を求め、更に、次数増加(ps-ps-1)に対する反響消去量の増加の割合(即ち収束速度の飽和の程度)R=(rs-rs-1)/(ps-ps-1)を求める。ただしs=1の場合R=∞とする。次にステップＳ８で収束速度の飽和の程度Ｒが予め決めた値Rthより小さくなったか判定し、Rthより小となっていない(収束速度が飽和していない)場合はステップＳ１０でｋを０にリセットし、ｓを１歩進してステップＳ２に戻り、次数pn=psについて再び前述と同様の処理ステップＳ３〜Ｓ９を実行する。ステップＳ８でR＜Rthを満足すれば、収束速度は十分飽和したと判定し、ステップＳ１０でその時の次数psをｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnとして決定し、対応する推定部１９nに出力する。
【００３８】
方法２：あるいは、図１３において、一定消去量rKに達する時間が次数pnと共に短くなることを利用して、反響消去量の飽和値に対し、予め決めた割合の閾値rK、例えば30dBを決める。単調増加する次数pn=ps, s=1,2,… についてそれぞれ時点k=0からpn=ps次の(ＥＳ)射影アルゴリズムによる反響消去動作を開始し、サブバンド受話信号xn(k)が入力される毎に図１２の次数決定部５４nで反響消去量rs=20log10(ys/es)を求めることを繰り返し、rs＞rKとなる時点ksを得る。前の次数ps-1で得た時点ks-1との差(ks-1-ks)の、次数の増加(ps-ps-1)に対する割合R=(ks-1-ks)/(ps-ps-1)が予め決めた閾値Rthより小さくなる次数pn=psを決定する。この場合の次数決定処理手順を図１５に示す。
【００３９】
図１４の場合と同様にステップＳ１で整数パラメータｓ, ｋをそれぞれ１と０に初期設定し、ステップＳ２で次数pnをpsに決め、ステップＳ３でサブバンド受話信号xn(k)が入力される毎にステップＳ４でps次の(ＥＳ)射影アルゴリズムによる反響消去処理を行う。この第２の方法ではステップＳ５で次数決定部５４nはサブバンド反響信号ys=yn(k)と推定誤差es=en(k)から反響消去量rs=20log10(ys/es)を求め、ステップＳ６で反響消去量rsが予め決めた値rKより大となったか判定し、rs＞rKとなっていなければステップＳ７でｋを１歩進してステップＳ３に戻り、以下ステップＳ４, Ｓ５, Ｓ６で同様の処理を繰り返す。rs＞rKとなるとステップＳ８で現在の時点ｋを次数pn=psで消去量rsがrKに達した時点ksと判定し、次数pn=ps-1の場合にrKに達した時点ks-1からの時間差(ks-1-ks)の、次数変化(ps-ps-1)に対する割合、即ち収束速度の飽和の程度をR=(ks-1-ks)/(ps-ps-1)として求める。ただし、s=1の時はR=∞とする。次にステップＳ９でＲが予め決めた閾値Rthより小さくなったか判定し、なっていなければステップＳ１０でｋを０にリセットし、ｓを１歩進してステップＳ２に戻り、ステップＳ２〜Ｓ９の処理を繰り返す。ステップＳ９でR＜Rthと判定された場合は、ステップＳ１１でその時点での次数pn=psをｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnと決定し、対応する推定部１９nに設定する。
【００４０】
上述の第１及び第２のいずれの方法の場合も、ｎ番目の周波数帯域において、単調増加させる(ＥＳ)射影アルゴリズムの次数pn=ps, s=1,2,…として、例えばps+1=ps＋d,ｄは１以上の一定の整数、としてもよいし、ps+1=ps＋sdとしてもよいし、あるいはps+1=cps、ｃは２以上の一定整数、としてもよい。その他、漸次増加する関数であればどのような単調増加関数であってもよい。
【００４１】
方法３：pn次の(ＥＳ)射影アルゴリズムは、入力信号xnを(pn-1)次の白色化ＦＩＲフィルタ(即ちタップ数pnの線形予測フィルタ)に通すことと等価である。そこで、図１６に示すように次数決定制御部５４の各次数決定部５４n(n=0,1,…,N-1)を(pn-1)次の白色化ＦＩＲフィルタ54Fnと予測分析部54Pnで構成する。予測分析部54Pnは白色化FIR フィルタ54Fnに入力される一連のLn個の各サブバンド受話信号xn(k-j),j=0,1,…,Ln-1,に対し、Ln個の予測誤差εn(k-j),j=0,1,…,Ln-1, の２乗和
Σεn 2(k-j)＝ Σ{xn(k-j)-Σanixn(k-j-i)}2 (40)
ただし、左辺及び右辺第１のΣはj=0〜Lnについて、右辺第２のΣはi=1〜pn-1についての総和とする、
が最小となる予測係数ani,i=1,2,…,pn-1を求める(一般に線形予測分析と呼ばれ、周知の技術である)。これによって得られた予測係数ani をフィルタ54Fnに設定して出力に得られるLn個の予測誤差εn(k-j), j=0,1,…,Ln-1をベクトル
ε n(k)＝[εn(k),εn(k-1),…,εn(k-Ln+1)] (41)
で表すと、予測誤差ベクトルε n(k)は次式
ε n(k)＝Ｘ n(k)ａ n(k) (42)
と表すことができる。ただし
ａ n(k)＝[1,-an1,-an2,…,-anpn-1]T (43)
式(42)はサブバンド受話信号行列Ｘ n(k)に対する白色化処理を表しており、こ
の白色化処理により得られた予測誤差ベクトルε n(k)の共分散行列
Ｑ n(k)＝ε n(k)ε n(k)T (44)
はLn個の固有値λn0,λn1,…,λnLn-1を有している。それらの固有値のうちの最大値λmaxと最小値λminの比Cs=λmax/λminはサブバンド信号行列Ｘ n(k)に対
する白色化の程度を表している。この比Csの値が小さいほど白色化の程度は大きい。完全な白色化が達成されると比Cs=1となる。そこで、射影次数pnをpn=ps, s=1,2,… と順次増加させたときの比Cs, s=1,2,…を求め、比Csが予め決めた閾値Cthより小さくなったとき、あるいはCsの変化量ΔCs=Cs-1-Csが予め決めた閾値ΔCthより小さくなったときの最初の次数psを第ｎ番目の周波数帯域における射影の次数pnと決める。
【００４２】
図１７は第３の方法を使って第ｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnを決める手順を示す。ステップＳ１で整数パラメータｓを１とし、ステップＳ２で次数pnをpsに設定し、ステップＳ３で受話信号行列Ｘ n(k)を
構成するのに必要な数のサブバンド受話信号xn(k),xn(k-1),…,xn(k-pn-Ln+2)を入力する。次にステップＳ４で入力されたサブバンド受話信号に対し式(40)による線形予測分析を行って予測係数ani,i=1,2,…,pn-1を求め、ステップＳ５で式(42)によりサブバンド受話信号に対し白色化処理を行って推定誤差ベクトルε n
（ｋ）を求める。次にステップＳ６で式(44)で表される推定誤差ベクトルε n(k)
の共分散行列Ｑ n(k)を求め、更にその共分散行列のLn個の固有値λ0,λ1,…,
λLn-1を求める。ステップＳ７で固有値の最大値と最小値の比Cs=λmax/λminを計算し、ステップＳ８で比Csが閾値Cthより小となったか判定し、小となっていなければステップＳ９でｓを１歩進してステップＳ２に戻り、再びステップＳ２〜Ｓ８による同様の処理を繰り返す。ステップＳ８で比Csが閾値Cthより小と判定されると、ステップＳ１０で次数psを第ｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnと決定し、出力する。
【００４３】
上述のステップＳ８では比Csを閾値Cthと比較した場合を示したが、前述のようにステップＳ７で前回の次数ps-1で得た比Cs-1と今回の次数psで得た比Csとの差分ΔCs=Cs-1-Csを求め、ステップＳ８でこの差分ΔCsを予め決めた閾値ΔCthと比較し、ΔCsがΔCthより小になったらステップＳ１０でその時の次数pn=psを出力してもよい。次数pn=psを単調に増加させる関数としては前述の第１及び第２の次数決定方法で説明したと同様な単調増加関数を使うことができる。
【００４４】
例えば工場出荷時に、方法１〜３のいずれかを用いていろいろな音声について(ＥＳ)射影アルゴリズムの次数ｐnを決定して推定部１９nに予め設定しておいてもよい。なお、方法１〜３のいずれかを用いていろいろな音声、いろいろな分割数Ｎ、タップ数Ｌnについて(ＥＳ)射影アルゴリズムの次数ｐnを決定してその標準的な値を予めＲＯＭ化しておき、使用者が、その反響消去装置の所望の帯域分割数Ｎと対応して前記ＲＯＭから推定部１９nにｐnを設定するようにしてもよい。
【００４５】
ＤＳＰなどを用いて反響消去装置を構成する場合には、実時間処理の制約上、(ＥＳ)射影アルゴリズムの次数を完全に収束速度が飽和するレベルまで上げることができない場合も多い。このような場合には与えられた演算時間の中で装置全体としての性能が最高となるように各帯域の次数ｐnを決定する。
以上のように各周波数帯域における(ＥＳ)射影アルゴリズムの次数を、複数の周波数帯域のそれぞれに対してその装置に許される最も好ましい次数に設定することにより、(ＥＳ)射影アルゴリズムの次数を上げることによる相互相関の変動の強調と入力信号の白色化の効果を十分に引き出すことができ、収束速度の大きな反響消去装置を得ることができる。
【００４６】
図１８にこの発明の他の実施例を適用した機能構成を示す。この実施例は図７に示した実施例とは周波数帯域分割方法が異なっており、信号Xn(k), Yn(k), En(k)および擬似反響路ベクトルＨ^n(k)が複素数である点が異なる。同様な周波
数帯域分割方法を用いた反響消去装置は前記S.Gay and R.Mammone の文献に示されている。受話信号x(k')は周波数帯域分割部６１iで周波数帯域別のＮ個のサブバンド複素数信号Xin(k)(n=0,1,…,N-1)に分割される。同様に反響信号yj(k')は周波数帯域分割部６２jで周波数帯域別のＮ個のサブバンド複素数信号Yjn(k)に分割される。以降、ｊについてはすべて同様の処理となるので、簡単のためｊは省略して記述する。
【００４７】
それぞれの周波数帯域には受話信号蓄積ベクトル生成部１１７n、ベクトル結合部１２４n、擬似反響路６５nが設けられてあり、擬似反響路６５nからの擬似反響信号Y^n(k)をサブバンド反響信号Yn(k)から減算器６６nで差し引くことによりサブバンド反響信号Yn(k)は消去される。
擬似反響路(複素ＦＩＲフィルタ)６５nは擬似反響路１５の経時変動に追従する必要があり、残差En(k)＝Yn(k)−Y^n(k)が０に近づくように、複素射影アルゴリズム又は複素ＥＳ射影アルゴリズムを用いた推定部６７nによって逐次推定され、擬似反響路６５nの修正が行なわれることによって、常に最適な反響消去が維持される。
各帯域の誤差信号En(k)は周波数帯域合成部６３jで全帯域信号e(k')に合成される。この分割・合成過程はＮ点ＦＦＴを用いて効率的に実行できる。
【００４８】
図１９に周波数帯域分割部６１の内部を示しており、Ａ／Ｄ変換器５により受話信号x(t)がサンプル値化され、その受話信号x(k')に乗算器６８nでWN -k'n＝exp{-j2πk'n/N}が乗算され、通過周波数帯域幅-π/N〜π/Nの低域通過フィルタ７１nを用いて帯域制限され、Ｎ個の周波数帯域に分割される。周波数帯域制限された信号Xn(k')は間引き率Ｒで間引かれ、サブバンド信号Xn(k)となる。全分割周波数帯域のサブバンド信号Xo(k)〜XN-1(k)は短時間スペクトルに対応する。Ｎ＝１６の場合の周波数帯域を図２０に示す。１６帯域信号のうち０と８が実数、残りは複素数である。帯域８に対して対称なもの(例えば７と９、等)は複素共役の関係にあり、全部で９つ(２実数、７複素数)の周波数帯域信号があれば全周波数帯域信号を合成することができる。
【００４９】
図２１は第ｎ番目の周波数帯域の推定部６７nの内部の一例としてｐn次の複素ＥＳ射影アルゴリズム(Ａ＝Ｉの時には複素射影アルゴリズム)を用いた構成
例を示したものである。
サブバンド受話信号Xn(k)は受話信号記憶部７５でサブバンド受話信号行列
Ｘ n(k)とされる。ここで受話信号記憶部７５には１乃至Ｉチャネルの各サブバ
ンド受話信号ｘ n(k)が図９中のベクトル結合部２４と同様の処理でベクトル結
合されたＸ n(k)が入力される。ステップサイズ行列記憶部７６には第１のステ
ップサイズ行列Ａ nが記憶される。ステップサイズ行列Ａ nは対応する周波数
帯域におけるインパルス応答の変動特性で重み付けられている。一般的な室内を対象とする場合には、第ｎ番目の周波数帯域におけるインパルス応答変動量は減衰率γnを用いた指数関数として表わされる。自己相関演算部７７では第１のステップサイズ行列Ａ nで重み付けた受話信号行列Ｘ n(k)の自己相関行列Ｘ n
（ｋ）Ｔ Ａ n Ｘ n *(k)が演算される。ただし＊は複素共役を表す。この演算された
自己相関行列と、残差記憶部７８からの残差Ｅ n(k)は、β n(k)演算部７９に
供給されてpn元連立一次方程式
[Ｘ n(k)T Ａ n Ｘ n *(k)]β n(k)＝Ｅ n(k) (45)
を解くことにより、定数β n(k)を求める。逆行列演算における不安定性を回避
するために、小さな正の定数δnを用いて式(45)の代わりに次式
[Ｘ n(k)T Ａ n Ｘ n *(k)＋δn Ｉ]β n(k)＝Ｅ n(k) (45)'
を使ってもよい。ただし、Ｉは単位行列である。
【００５０】
Ａ n, Ｘ n(k), β n(k)とステップサイズ記憶部８１からのμnとが修正情
報生成部８２に供給されて次式
μn Ａ n Ｘ n *(k)β n(k) (46)
が演算され、その出力は加算器８３へ供給されてタップ係数記憶部８４からの
Ｈ^n(k)に加算されてＨ^n(k+1)が得られる。演算結果Ｈ^n(k+1)は擬似反
響路６５nへ出力されると同時に、タップ係数記憶部８４の値を更新する。
【００５１】
以上の操作により、擬似反響路６５nは次の式(47)に従って逐次修正され、擬似反響路ベクトルＨ^n(k)は真の反響路のインパルス応答Ｈ n(k)に近づいて
ゆく。
＊：複素共役ここで図７の実施例と同様に、各帯域のタップ数は間引きにより少なくなっている。また、各帯域で相互相関の変動量やスペクトルが異なる。その結果、各帯域の収束速度が飽和するために必要となる複素(ＥＳ)射影アルゴリズムの最小の次数も異なる。各周波数帯域における複素(ＥＳ)射影アルゴリズムの次数pnの決定方法は図７の実施例で示した３つの方法と同様な方法が可能である。
【００５２】
図２２は図１４中の第１又は第２の次数決定方法を適用する場合の次数決定制御部６４の機能構成例を示したもので, それぞれの周波数帯域に対応して次数決定部６４0〜６４N-1が設けられる。各次数決定部６４nはサブバンド複素受話信号Xn(k)、サブバンド複素反響信号Yn(k)、複素誤差信号En(k)が与えられ、複素(ＥＳ)射影アルゴリズムの次数ｐnを図１２の場合と同様に次のように決定する。
【００５３】
第１及び第２の方法では、次数pnをpn=ps, s=1,2,…と変えながら、Yn=YsとEn=Esとから求めた反響消去量rs=20log10(Ys/Es)の収束の様子を観測する。次数psを大きくするにつれ収束速度が大となり、図１３で示したと同様に収束速度が飽和値に近づく。収束速度が充分飽和に近づいたと判定された時の次数pn=psを出力して推定部６７nに設定する。即ち、図１３で説明したと同様に第１の方法では各次数毎に反響消去処理開始後、予め決めた時点kKでの反響消去量rs=20log10(Ys/Es)を求め、前回の次数ps-1で求めた反響消去量rs-1からの変化の割合 Rs=(rs-rs-1)/(ps-ps-1)が閾値Rthより小さくなったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。第２の方法では各次数毎に反響消去処理開始後、反響消去量 rs=20log10(Ys/Es)が予め決めた値rKに達した時点までの時間ksを求め、前回の次数ps-1について求めた時間ks-1からの短縮率(ks-1-ks)/(ps-ps-1)が閾値Rthより小さくなったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。
【００５４】
図２３は図１４において第３の次数決定方法を適用する場合の次数決定制御部６４の構成例を示し、図１６の場合と同様に各帯域の次数決定部６４n(n=0,1,…,N-1)は(pn-1)次の白色化FIR フィルタ64Fnと予測分析部64Pnとから構成されている。サブバンド複素信号Xnを(pn-1)次の白色化 FIRフィルタ64Fnに通し、予測分析部64Pnにより線形予測分析を行って予測係数ani,i=1,2,…,pn-1を決め、その時の推定誤差ベクトルε n(k)をＸ n(k)ａ n(k)から計算する。更に、推定
誤差ベクトルの共分散行列Ｑ n(k)=ε n(k)ε n(k)Tを求め、そのLn個の固有
値を求め、それらの固有値の最大値と最小値の比Cs=λmax/λminを求める。この比Csが次数psの増加につれ小さくなり、予め決めた値Cthより小となったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。
【００５５】
図７の実施例と同様に、いろいろな音声およびいろいろな分割数Ｎ、タップ数Ｌnについて次数ｐnを決定し、その標準的な値を予めＲＯＭ化しておき、例えば電源立ち上げの際にこのＲＯＭから推定部６nに与えるようにしてもよい。また、ＤＳＰなどを用いて反響消去装置を構成する場合には、実時間処理の制約上、複素(ＥＳ)射影アルゴリズムの次数を完全に収束速度が飽和するレベルまで上げることができない場合も多い。このような場合には与えられた演算時間の中で装置全体としての性能が最高となるように各帯域の次数ｐnを決定する。
【００５６】
以上のように各周波数帯域における複素(ＥＳ)射影アルゴリズムの次数を、複数の周波数帯域のそれぞれに対して最適とされる次数に設定することにより、複素(ＥＳ)射影アルゴリズムの次数を上げることによる相互相関の変動量の強調と入力信号の白色化の効果を十分に引き出すことができ、収束速度の大きな反響消去装置を得ることができる。
【００５７】
また、室内の残響時間は一般に、低い周波数帯域では長く、高い周波数帯域では短い点から、擬似反響路６５nのタップ数Lnを低い周波数帯域に対しては大に、低い周波数帯域に対しては小にし、従って射影次数pnは低い周波数帯域に対しては大きく、高い周波数帯域に対しては小さくするのが好ましい。例えば音声信号では老若男女によらず一般に図１１に示したように低い周波数対により多くのエネルギーが集中していることを利用して、低い周波数帯域ではタップ数Lnを大きく、従って射影の次数pnも十分大きな値とするが、高い周波数帯域ではタップ数Lnを小さくし、かつ射影の次数pnも小さくすることが可能である。更に、人間の聴覚感度は一般に低い周波数帯域では高く、高い周波数帯域では低いことからも、低い周波数帯域に対してはタップ数Lnを大きく、従って射影次数pnも大きく、低い周波数帯域に対してはタップ数Lnを小さく、従って射影次数pnも小さくしてよい。この様に、高い周波数帯域のタップ数Lnを小さくすることにより、あるいは更に射影次数pnを小さくすることによって全体としての演算量を削減することができる。音声の場合、例えば周波数帯域を３２帯域に分割し、周波数の低い方から１番目と２番目の周波数帯域の射影次数をそれぞれ１６とし、３及び４番目の周波数帯域の射影次数を８とし、５〜８番目の周波数帯域の射影次数を４とし、９〜１６番目の周波数帯域の射影次数を２とし、それより高い周波数帯域の次数を全て１にする。
【００５８】
なお、上述において周波数帯域の分割数Ｎは３２〜６４程度が現実的と考えられ、分割数が多過ぎると遅延が大となる。また分割方法は例えば図１１に示すように非等分割にする場合に限らず、等分割に分けてもよい。各帯域の最適次数ｐnの決定は方法１の場合は誤りが生じない。
図２４にこの発明の第３の方法の実施例を示す。図７と対応する部分に同一符号を付けてある。この発明では、相互相関変動付加部２４が設けられる。相互相関変動付加部２４で、各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)は、それらの相互相関の変動を能動的に付加されて、ｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換され、これらｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)を、スピーカ１２1, １２2, …, １２Iから再生するとともに、反響消去システム２３への入力とし、擬似反響路ベクトルの修正ベクトルの導出に利用する。
【００５９】
相互相関変動付加部２４の実現については、変換された受話信号ｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)が音響信号として再生されるときに、聴覚上の品質が損なわれないように注意する必要がある。ここで注目すべきことは、人間の聴覚特性は各周波数帯域で異なり、各実現方法による聴覚上の品質劣化は各周波数帯域で異なるという点である。
【００６０】
各チャネルの受話信号間の相互相関に変動付加する方法としては、▲１▼フィルタ処理による実現方法と、▲２▼信号乗算処理による実現方法と、▲３▼信号加算処理による実現方法と、▲４▼ピッチシフト処理による実現方法とがある。以下、順に▲１▼〜▲４▼各実現方法の具体例を説明する。
▲１▼ フィルタ処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる時変特性をもつ時変フィルタに印加、すなわち、これら時変フィルタのインパルス応答ｆ1(k), ｆ2(k), …, ｆI(k), 畳み込み演算を＊で表すとして、
ｘ￣1(k)＝ｆ1(k)＊ｘ1(k)
ｘ￣2(k)＝ｆ2(k)＊ｘ2(k)
ｘ￣I(k)＝ｆI(k)＊ｘI(k) (48)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６１】
人の聴覚による音声知覚においては、主として振幅情報が重要であり、位相情報は余り重要はでないと言われており、このことは、例えば文献「古井, “ディジタル音声処理”, 東海大学出版会」で述べられている。そこで、入力信号の周波数に対して振幅特性が平坦な特性を保つように、時変フィルタを実現すれば、聴覚的にフィルタ処理による影響が小さくなると考えられる。
【００６２】
この目的に適した構成として、全域通過伝達関数をもつＩＩＲフィルタがある。このフィルタの伝達関数Ｆ(ｚ)は、次数をＫとして、
と一般に表すことができる。標本化間隔をＴ、角周波数をωとすると、振幅特性
｜Ｆ(ｅｘｐ(ｊωＴ))｜
式は、フィルタ係数ａ1, ａ2, …, ａKがどのように定められても分母と分子で相殺し合い、ωによらない一定利得Ａをとる。一方、位相特性はフィルタ係数ａ1, ａ2, …, ａKにより異なる。このａ1, ａ2, …, ａKを時間とともに変化させた場合には、時変の位相特性を有することになるが、振幅特性への影響はない。
【００６３】
さて、ここでは構成が簡単で実現の容易な２次の全域通過フィルタを考える。２次の全域通過フィルタの構成は、例えば文献「辻井, “ディジタル信号処理の基礎”, 電子情報通信学会」に詳しく述べられている。式(49)について、簡単のため利得Ａ＝１とすると、２次の全域通過伝達関数Ｆ(ｚ)は、
Ｆ(z)＝(ｚ-2−ａ1ｚ-1＋ａ2)／(１−ａ1ｚ-1＋ａ2ｚ-2) (50)
となる。この伝達関数をもとに、ラチス型で構成すると、式(50)の係数は
ａ1＝−ｒ(１＋ｒ2) (51)
ａ2＝ｒ2 (52)
と置き換えられ
と表される。この発明において、このようなラチス型で構成する利点は、ｒ1,ｒ2が独立に意味をもつパラメータとして扱えることにある。式(53)のＦ(ｚ)の群遅延特性がピークを持つ場合、ピーク周波数はほぼｒ1のみに依存して決まり、ピークの急峻さはほぼｒ2のみに依存して決まる。つまり、フィルタ係数を時間とともに変化させる場合、すべての係数を変化させなくとも、例えば、群遅延特性のピーク周波数に対応したｒ1を再生チャネルごとに異なる変化をさせるだけで、効果的な時変特性を得ることができ、構成が簡単になる。これらの時変特性をチャネルごとに異なるものとすれば、もとの多チャネル受話信号に対して、それらの間の相互相関を変動させる効果がある。
【００６４】
▲２▼ 信号乗算処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる関数ｇ1(k), ｇ2(k), …, ｇI(k)と乗算、すなわち、
ｘ￣1(k)＝ｇ1(k)・ｘ1(k)
ｘ￣2(k)＝ｇ2(k)・ｘ2(k)
・
・
・ (54)
ｘ￣I(k)＝ｇI(k)・ｘI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６５】
式(54)において、もし関数ｇ1(k), ｇ2(k), …, ｇI(k)が正負の値をとる場合には、その変動の大きさによらず受話信号の品質は大幅に劣化すると考えられる。そこで、関数ｇ1(k), ｇ2(k), …, ｇI(k)は、常に正、あるいは常に負の値のみをとり、また、変動の幅も制限されていることが望ましい。
そこで、関数ｇ1(k), ｇ2(k), …, ｇI(k)が以下のような形である場合を考える。最大振幅が１に正規化された異なる関数ω1(k), ω2(k), …, ωI(k)と、スカラー値ｋ1, ｋ2, …, ｋI(０＜‖ｋ1‖, ‖ｋ2‖, …, ‖ｋI‖＜１), および利得係数Ａ1, Ａ2, …, ＡIを用いて、ｇ1(k), ｇ2(k), …, ｇI(k)を、
ｇ1(k)＝Ａ1(１＋ｋ1ω1(k))
ｇ2(k)＝Ａ2(１＋ｋ2ω2(k))
・
・
・ (55)
ｇI(k)＝ＡI(１＋ｋIωI(k))
と表す。また任意の時刻ｋにおいて、−１＜ｋ1ω1(k), ｋ2ω2(k), …, ｋIωI(k)＜１が成り立つから、ｇ1(k), ｇ2(k), …, ｇI(k)の値の符号はそれぞれ一定である。聴覚的なバランスを考えれば、利得係数Ａ1, Ａ2, …, ＡIの値はすべて等しいか、あるいは少なくとも同符号の値であることが望ましく、この場合、ｇ1(k), ｇ2(k), …, ｇI(k)はすべて同符号の値を取る。また、スカラー値ｋ1, ｋ2, …, ｋIの値により、処理後の信号の歪み量を調節することができる。
【００６６】
また、周波数シフトという観点から、式(55)とは別に、
ｇ1(k)＝Ａ1cos(ω1(k)・ｋ＋φ1)
ｇ2(k)＝Ａ2cos(ω2(k)・ｋ＋φ2)
・
・
・ (56)
ｇI(k)＝ＡIcos(ωI(k)・ｋ＋φI)
として、各チャネルごとに異なる時変特性をもち、ある変動幅の中で変化する関数ω1(k), ω2(k), …, ωI(k)によって、受話信号ｘ1(k), ｘ2(k),…, ｘI(k)の周波数特性をシフトさせることにより、もとの多チャネル受話信号に対して、相互相関の変動付加を実現することもできる。
【００６７】
▲３▼ 信号加算処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる関数ｎ1(k), ｎ2(k), …, ｎI(k)と加算、すなわち、
ｘ￣1(k)＝ｘ1(k)＋ｎ1(k)
ｘ￣2(k)＝ｘ2(k)＋ｎ2(k)
・
・
・ (57)
ｘ￣I(k)＝ｘI(k)＋ｎI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６８】
関数ｎ1(k), ｎ2(k), …, ｎI(k)は、聴覚的な影響を考慮すると、各チャネルの受話信号ｘ1(k), ｘ2(k),…, ｘI(k)と比べて、振幅値が適度に小さいことが望ましい。そこで、例えば、各チャネルの受話信号ｘ1(k), ｘ2(k),…, ｘI(k)の振幅の定格値をＡr として、最大振幅がこのＡr となるように規格化された異なる関数ｎr1(k), ｎr2(k), …, ｎ2I(k)に対して、スカラー値λ1, λ2, …, λIを掛けることにより、ｎ1(k), ｎ2(k), …, ｎI(k)を、
ｎ1(k)＝λ1ｎr1(k)
ｎ2(k)＝λ2ｎr2(k)
・
・
・ (58)
ｎI(k)＝λIｎrI(k)
と表す。スカラー値λ1,λ2, …, λIの値により、受話信号ｘ1(k), ｘ2(k),…,ｘI(k)に加える信号の大きさを定格値Ａrからどの程度小さくするのかを決定できる。
【００６９】
▲４▼ ピッチシフト処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、各受話信号の周波数特性について、各チャネルごとに異なる時変の周波数伸縮処理、すなわち、ピッチシフト処理することにより得られるｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００７０】
ピッチシフト処理は、周波数伸縮とともに、時間伸縮をともない、結局、時間領域で処理することが可能であるが、時間軸を縮小させれば、もとの信号が占めていた占有時間と等しくするための補間処理が必要となり、逆に時間軸を伸長させれば、もとの信号よりも占有時間が長くなるため間引き処理が必要となる。これらの補間・間引き処理は、無音区間を検出するなどして、その無音区間を引き延ばしたり、削除することにより実現できる。
【００７１】
【発明の効果】
この発明方法は、２地点間において、多チャネルの伝送系と、多チャネルの集音・再生系を持つ端末装置とを用いることにより、双方の音響空間情報の伝達を可能とする臨場感の高い音声通信を実現する際に反響を消去するために適用することができる。
【００７２】
簡単のため、図５に示したような、２地点間を２チャネルの伝送系で結び、２チャネルの集音・再生系を持つ端末装置を用いて、ステレオ音声通信を行なう場合を考える。例えば、Ａ地点から複数の異なる話者が一人ずつそれぞれの席から発話した場合に、集音されるステレオ音声信号には、それぞれの発話者と２本のマイクロホンの位置関係に依存した相互相関がある。それらの音声信号がＢ地点側において再生されるとき、従来の反響消去装置を用いた場合では、反響路推定がステレオ信号の相互相関に依存して誤るため、話者の交替の度にＡ地点側に大きな反響が戻ってしまう。ところが、この発明の反響消去方法を用いた場合、話者の交替によるステレオ再生信号の相互相関の変動を抽出して、反響路推定の誤りを修正するため、話者の交替の度に起きていた反響の増大を低減できる。また、人間の発話音声を複数のマイクロホンによって集音するとき、固定した位置から発話した場合でも、集音された多チャネル音声信号の相互相関は微妙に変動している。この発明方法では、このような信号間の相互相関の微妙な変動をも有効に利用できる。
【００７３】
図７の実施例において、周波数帯域分割部５１、５２内の帯域通過フィルタ２０0〜２０N-1(分割部５２の構成は５１の構成と同様であり図示してない)による帯域制限の代わりに、前述のCrochiere and Rabinerの文献に示されているSSB法を使って帯域制限された実信号xn(k)、yn(k)を得て反響消去処理を行った場合の収束特性の計算機シミュレーション結果を図２５に示す。計算機シミュレーションには実測したインパルス応答(512タップ、サンプリング周波数１６kHz)を使用した。体や頭を固定して発話した音声をステレオ集音した信号を受話信号として用いた。反響信号にはＳ／Ｎ比＝３５ｄＢとなるように近端雑音を加えた。
【００７４】
図２５は、反響路推定部で生成された擬似反響路結合ベクトルと真の反響路結合ベクトルとの誤差ベクトルの大きさを帯域分割数Ｎをパラメータとして比較したものである。ここで、この発明方法の相互相関変動成分抽出には、ｐ＝１次の射影アルゴリズム、すなわち、従来のＮＬＭＳアルゴリズムを用いている。帯域分割数Ｎ＝1,4,8,32である。間引き率Ｒ＝Ｎ/４である。各帯域のタップ数はＮ＝１(フルバンド)のとき５１２＋５１２とし、サブバンドでは間引き率に応じて少なく設定した。定常消去量が等しくなるように、第２のステップサイズμnおよび小さな正の定数δnを調節した。この結果より、この発明方法が信号間の相互相関の微妙な変動をも捉え、反響路推定の誤りを修正できること、さらに帯域分割数Ｎが大きくなるほど収束速度が速くなることが分かる。これは従来は予期し難い効果である。この発明ではチャネル間の微妙な変動を帯域分割手法を用いて有効にとらえることにより、収束速度を早めていると言える。
【００７５】
図２６に図２５と同様なステレオ集音の場合の擬似反響路ベクトルの収束の様子を帯域分割数Ｎ＝３２の場合について射影アルゴリズムの次数をパラメータとして示す。帯域分割数Ｎ＝３２、間引き率Ｒ＝８である。各帯域のタップ数は６４＋６４とした場合である。射影アルゴリズムの次数は、pn＝1,2,4,8,32である。ここでは、定常消去量が等しくなるように、第２のステップサイズμnおよび小さな正の定数δnを調節した。射影アルゴリズムの次数ｐnを増加させるに従って、収束速度が増加することがわかる。しかも従来における周波数分割処理法で得られる収束速度の高速化よりも、可成り高速に収束している。この図から、帯域分割数を行いさらに射影アルゴリズムを用いることが有効であることが理解される。このように、この発明を用いれば、小さな射影次数で速い収束速度が得られる。拡声通話系では人の移動などによる反響路の変動が多く、これに迅速に適応できることは大きな利点となる。
【００７６】
更に、周波数帯域に応じて適切な射影次数を決めることにより、一層少ない演算量で高速の収束が可能となる。
ステレオ再生装置を有する端末において、図５に示したように相手側で２チャネル集音されたステレオ信号を受信してそのまま再生する方法の他に、多地点間通信等では、対地毎の受話信号を受信側で任意に音像定位処理することにより、受話環境を快適にする方法が考えられている。この発明方法は、このような多地点間通信用端末にも適用可能である。図２７は、４地点間通信の構成を示したものである。各地点において、集音は１チャネル(モノラル)である。いま、Ｄ地点を例にとって説明する。Ｄ地点において、Ａ、Ｂ、Ｃ地点からの受話信号について、それぞれ右、中央、左に定位するように音像定位処理を受話信号に処理部１３ｄで施すことにより、新たな２チャネルステレオ受話信号を生成して２チャネルのステレオ再生を行なうものとする。この方法では、受話信号間の相互相関が一定であり、この場合は、受話信号間の相互相関の変動抽出・利用をしようにも、受話信号間の相互相関の変動そのものがないため、従来法と比較しても、反響路推定は停滞して改善されない。そこで、上記方法にこの発明の第３の方法を適用すれば、受話信号間の相互相関は常に変動することになり、先の場合と同様に、ステレオ受話信号の相互相関の変動を抽出して、反響路推定の誤りを修正するため、反響路推定が停滞することがなく、従来方法を用いた場合よりも反響の増大を低減できる。
【００７７】
すなわち、一般に多チャネル再生系と１チャネル以上の集音系で構成される通信会議システムに、従来の反響消去方法を適用した場合、各チャネルの受話信号間に相互相関がある場合に、擬似反響路の推定が正しく行われないため、受話信号間の相互相関が変動する度に反響が増大する問題が生じていた。この発明の第１の方法においては、サブバンド法を用いて受話信号間の相互相関の変動成分を抽出・利用することにより、反響路推定の誤りを修正するため、上記のような問題を改善する効果がある。
【００７８】
また、この発明の第２の方法においては、射影アルゴリズム等を用いて受話信号間の相互相関の変動成分を抽出・利用することにより、反響路推定の誤りを修正するため、上記のような問題を改善する効果があり、更に、周波数帯域に応じて適切な次数を決めることにより、一層少ない演算量で高速の収束が可能となる。
【００７９】
また、この発明の第３の方法においては、受話信号間の相互相関に変動を付加する機能を有するため、反響路推定において誤った解に完全に停滞することがなく、真の反響路との誤差を小さくする方向へ反響路推定を続けるので、上記のような問題を改善する効果があり、更に、周波数帯域に応じて適切な相互相関変動付加機能を決めることにより、聴感上違和感を与えることなく高速の収束が可能となる。
【図面の簡単な説明】
【図１】従来の１チャネル反響消去装置の機能構成を示すブロック図。
【図２】Ａはステップサイズ行列Ａの対角成分αlを示す説明図、Ｂはステップサイズ行列Ａの対角成分αlを階段状に近似する一例を示す説明図。
【図３】従来の多チャネル反響消去装置システムを示すブロック図。
【図４】従来の多チャネル反響消去装置の機能構成を示すブロック図。
【図５】ステレオ音声通信系を示すブロック図。
【図６】Ａは受話信号間に相互相関がある場合の反響路推定動作を示す図。Ｂは前記相互相関が変動した場合の反響路推定動作を示す図である。
【図７】この発明の実施例の機能構成例を示すブロック図。
【図８】図７中の周波数帯域分割部５１の内部の機能構成例を示すブロック図。
【図９】この発明による第１の方法を適用した多チャネル反響消去装置の構成を示すブロック図。
【図１０】図７中の第ｎ番目の周波数帯域の推定部１９nの内部の機能構成例を示すブロック図。
【図１１】音声信号の周波数スペクトルの一例を示す説明図。
【図１２】図７中の第１又は第２の次数決定方法を適用する場合の次数決定制御部５４の機能構成例を示すブロック図。
【図１３】射影次数を増加した場合の反響消去量の収束速度の変化を模式的に示す図。
【図１４】第１の次数決定方法による次数決定手順を示すフロー図。
【図１５】第２の次数決定方法による次数決定手順を示すフロー図。
【図１６】第３の次数決定方法を実施する場合の次数決定制御部５４の構成例を示すブロック図。
【図１７】第３の次数決定方法による次数決定手順を示すフロー図。
【図１８】この発明のもう１つの実施例の機能構成例を示すブロック図。
【図１９】図１８中の周波数帯域分割部６１の内部の機能構成例を示すブロック図。
【図２０】周波数帯域信号の一例を示す説明図。
【図２１】図１８中の第ｎ番目の周波数帯域の推定部６７nの内部の機能構成例を示すブロック図。
【図２２】図１４中の第１又は第２の次数決定方法を適用する場合の次数決定制御部６４の構成例を示すブロック図。
【図２３】図１４中の第３の次数決定方法を適用する場合の次数決定制御部６４の構成例を示すブロック図。
【図２４】この発明による第３の方法を適用した多チャネル反響消去装置の構成を示すブロック図。
【図２５】この発明方法による第１の方法による擬似反響路ベクトルの収束の様子を示す図。
【図２６】この発明方法による第２の方法による擬似反響路ベクトルの収束の様子を示す図。
【図２７】４地点間通信において音像定位機能をもたせる音声通信会議方式を示すブロック図。
【産業上の利用分野】
この発明は、多チャネル再生系を有する通信会議システムにおいて、ハウリングの原因および聴覚上の障害となる室内反響信号を消去する多チャネル音声通信会議用反響消去方法に関し、特に分割された周波数帯域毎に擬似反響路の推定インパルス応答を射影アルゴリズム等により修正するサブバンド多チャネル音声通信会議用反響消去方法に関するものである。
【０００２】
【従来の技術】
１チャネル用反響消去
同時通話性能に優れ反響感の少ない拡声通話システムを提供するために、反響消去装置がある。
まず、１チャネル用の反響消去装置について、その反響消去方法および装置構成を図１を参照して説明する。拡声通話において、受話端子１１に相手の発話等で得られる受話信号は、そのままスピーカ(再生器)１２から再生される場合と、スピーカ１２へ送る前に、受話信号の振幅やパワー等の大きさに応じて自動的に利得を調節する受話信号加工部１３が挿入され、受話信号に何らかの加工が施された後に、スピーカ１２から再生される場合とがある。このため、この明細書で受話信号ｘ1(k)とは、相手からの受話信号そのものとは限らず、受話信号加工部１３が挿入されたときは、加工された後の受話信号を指すものとする。ｋは離散時間を表す。反響消去装置１４は、受話信号ｘ1(k)がスピーカ１２から反響路１５を経て、マイクロホン(集音器)１６に集音されて得られる反響信号ｙ1(k)を消去する。ここで、反響信号ｙ1(k)は、時刻ｋにおける反響路１５のインパルス応答をｈ11(k, l)として、
ｘ 1(k)＝［ｘ1(k), ｘ1(k-1),…, ｘ1(k−L+1)]T (２)
として出力される。但し、＊Tはベクトルの転置を表す。擬似反響路１８では、式(２)の受話信号ベクトルｘ 1(k)と、反響路推定部１９から得られる擬似反響
路ベクトルｈ＾11(k)との内積演算
ｙ＾1(k)＝ｈ＾11 T(k)ｘ 1(k) (３)
を行ない、その結果として、擬似反響信号ｙ＾1(k)を生成する。この内積演算は、式(１)のような畳み込み演算と等価である。反響路推定部１９では、擬似反響路１８で用いる擬似反響路ベクトルｈ＾11(k)を生成する。
【０００３】
ここでスピーカ１２からマイクロホン１６に至る反響路１５のインパルス応答ｈ11(k, l)は例えば人や物の移動による音場の変化により変動するので、この経時変動に追従して擬似反響路ベクトルｈ＾11(k)を変化させる必要がある。こ
の構成例において反響消去装置１４は適応形ＦＩＲフィルタを用いて構成する。この反響路推定に用いる最も一般的なアルゴリズムは、ＮＬＭＳアルゴリズム(学習同定法)である。ＮＬＭＳアルゴリズムでは、時刻ｋにおける受話信号ベクトルｘ 1(k)と、残留反響信号ｅ1(k)、すなわち減算器２１でマイクロホン１６
の出力ｙ1(k)から擬似反響信号ｙ＾1(k)を差し引いた
ｅ1(k)＝ｙ1(k)−ｙ＾1(k) (４)
とから、時刻ｋ＋１において用いる擬似反響路ベクトルｈ＾11(k+1)を次式の
ように求める。
１（ｋ， ｌ）の時系列を各要素として持つ反響路ベクトルｈ 11(k)、すなわち
ｈ 11(k)＝［ｈ11(k,0),ｈ11(k,1),…, ｈ11(k,L-1)]T (６)
と一致させることが可能となり、その結果式(４)の残留反響信号ｅ1(k)を小さくすることができる。
【０００４】
現在、この反響路推定に用いる最も有効なアルゴリズムは、射影アルゴリズムあるいはＥＳ射影アルゴリズムである。射影アルゴリズムは、アルゴリズム内部で入力信号の自己相関を取り除くことにより、音声のように相関のある信号に対する収束速度を改善するという考え方に基づいている。自己相関成分を除去することは時間領域において信号の白色化を行っていることを意味している。射影アルゴリズムの詳細は、文献「尾関、梅田、“アフィン部分空間への直交射影を用いた適応フィルタアルゴリズムとその諸性質”、電子情報通信学会誌(Ａ), Ｊ６７−Ａ, ｐｐ. １２６−１３２, (昭５９−２)」に記載されている。
【０００５】
一般に、ｐ次の射影アルゴリズムでは、過去のｐ個の入力信号ベクトルｘ(k
）， ｘ(k-1), …, ｘ(k-p+1)に対して正しい出力ｙ(k), ｙ(k-1), …, ｙ(k-
ｐ＋１）を得るように擬似反響路ベクトルｈ＾(k)を修正する。すなわち、
ｘ T(k)ｈ＾(k+1)＝ｙ(k)
ｘ T(k-1)ｈ＾(k+1)＝ｙ(k-1) (７)
・
・
・
ｘ T(k-p+1)ｈ＾(k+1)＝ｙ(k-p+1)
を満足するｈ＾(k+1)を求める。但し、
ｘ(k)＝〔ｘ(k), ｘ(k-1), …, ｘ(k−L+1)〕T (８)
である。未知数の数(タップ数)Ｌより方程式の数ｐが少ないとき、式(７)の連立方程式の解ｈ＾(k+1)は不定となる。そこで、修正の大きさ‖ｈ＾(k+1)−
ｈ＾(k)‖が最小となるように修正を行なう。ｐ次の射影アルゴリズムは、
-1 ：逆行列
と表される。β(k)はｐ元連立一次方程式
〔Ｘ T(k)Ｘ(k)〕β(k)＝ｅ(k) (15)
の解である。逆行列演算における不安定性を回避するために小さな正の定数δを用いて
〔Ｘ T(k)Ｘ(k)＋δＩ〕β(k)＝ｅ(k) (15)'
としてもよい。ただしＩは単位行列である。式(９)の右辺第２項は修正ベクト
ルであり、修正ベクトルにより擬似反響路ベクトルが逐次更新される。式(９)中のＸ(k)β(k)は入力信号の自己相関を取り除く処理を表しており、従ってこ
れは時間領域内での信号の白色化処理を意味している。即ち、射影アルゴリズムは時間領域における入力信号の白色化によりインパルス応答の修正速度を高めているといえる。射影アルゴリズムには演算量の低減をはかった高速算法がいくつか提案されており、それらの詳細は特開平７−３１２５３５号公報、特開平７−９２９８０号公報に記載されている。また、負の時刻の入出力を零として、ｐを無限大とした場合が、ＲＬＳアルゴリズムに対応する。
【０００６】
ＥＳ射影アルゴリズムは、射影アルゴリズムに反響路の変動特性に着目したＥＳアルゴリズムを組み合わせたもので、射影アルゴリズムよりさらに収束速度の大きな反響消去装置を提供することができる。ｐ次のＥＳ射影アルゴリズムは、
Ａ＝ diag[α1, α2, …,αL]：ステップサイズ行列
αi＝ α0λi-1(i=1,2,…,L)
λ：インパルス応答変動量の減衰率(０＜λ＜１)
μ：第２のステップサイズ(スカラ量)
と表される。β(k)はｐ元連立一次方程式
〔Ｘ T(k)ＡＸ(k)〕β(k)＝ｅ(k) (17)
の解である。逆行列演算における不安定性を回避するために小さな正の定数δを用いて
〔Ｘ T(k)ＡＸ(k)＋δＩ〕β(k)＝ｅ(k) (17)'
としてもよい。ただしＩは単位行列である。
【０００７】
擬似反響路１８がディジタルＦＩＲフィルタで構成される場合には, そのフィルタ係数ｈ＾11(k)は室内反響路１５のインパルス応答ｈ 11(k)を直接模擬し
たものとなっている。従って、反響路１５の変動に応じて必要なフィルタ係数修正の大きさは、反響路インパルス応答ｈ 11(k)の変動量と一致する。そこで、
フィルタ係数修正動作における修正幅を表わすステップサイズ行列Ａはインパ
ルス応答の経時変動特性で重み付けられている。一般に室内音場におけるインパルス応答変動量は減衰率λを用いた指数関数として表わされる。ステップサイズ行列Ａの対角成分αl(l=1,2,…,L)は図２Ａに示すようにｌの増加に伴ってα0
からインパルス応答の指数減衰特性と同じ傾きで指数減衰し０に漸近する。このアルゴリズムは、人や物の移動により室内反響路のインパルス応答が変動する場合に、その変動量(インパルス応答の差分)はインパルス応答と同じ減衰率で指数減衰するという音響学的知見を利用したものである。変動の大きいインパルス応答の初期の係数は大きなステップで、変動の小さいインパルス応答の後期の係数は小さなステップで修正することにより、収束速度の大きな反響消去装置を提供することができる。
【０００８】
反響消去装置を複数のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）チップで構成する場合には、図２Ｂに示すようにステップサイズαlの指数減衰曲線を階段状に近似し、各チップ毎に一定のαlを設定する。これにより、従来の射影アルゴリズムとほぼ同等の演算量と記憶容量でＥＳ射影アルゴリズムを実現することができる。ＥＳ射影アルゴリズムの詳細は特開平5-244043、文献S.Makino and Y.Kaneda,“Exponentially weighted step-size projection algorithm for acoustic echo cancellers”, Trans. IEICE Japan, vol.E75-A, no.11, pp.1500-1508, Nov.1992 に記載されている。
【０００９】
以上より、ｈ＾(k)の更新式を従来装置で用いられているＮＬＭＳアルゴリ
ズムによる場合と(ＥＳ)射影アルゴリズムによる場合とで比較すると、ＮＬＭＳアルゴリズムによる式(５)では、ｈ＾(k)は入力信号ベクトルｘ(k)の方向に
更新される。一方、(ＥＳ)射影アルゴリズムによる式(９), (16)では、ｈ＾(k
）は式(９), (16)の第４式右辺第２項以降を
ｖ(k)＝β1 ｘ(k)＋β2 ｘ(k-1)＋…＋βp ｘ(k-p+1) (18)
とおいて、このｖ(k)の方向、すなわち、入力信号ベクトルｘ(k)から過去の
入力信号ベクトルｘ(k-1), …, ｘ(k-p+1)の全てとの相関を除去したベクト
ルの方向に更新される。つまり修正ベクトルｖ(k)が入力信号中の過去の信号
と同様のものをなるべく除去した信号となるようにβ1〜βpを決める。
【００１０】
また、従来において、信号を複数の周波数帯域に分割し、その各周波数帯域について、ＮＬＭＳアルゴリズム等により、反響路１５の変動にもとづく擬似反響路１８のフィルタ係数の逐次修正を行い、これら各周波数帯域ごとの残差を合成して出力するサブバンド法が知られている。これは例えば、米国特許第5,272,695、文献S.Gay and R.Mammone,“Fast converging subband acoustic echo cancellation using RAP on the WER DSP16A”, Proc.ICASSP90, pp.1141-1144, Apr.1990などに示されている。このサブバンド法により、周波数領域で信号の平坦化、いわゆる白色化が行われ、反響路の変動時の擬似反響路フィルタ係数の推定における収束速度が速くなる。
【００１１】
通信会議システム用反響消去
さて、一般にＩ(＞２)チャネルの再生系とＪ(＞１)チャネルの集音系とで構成される通信会議システムの場合の反響の消去は、図３に示すような構成により行われる。すなわち再生側の全Ｉチャネルと集音側の各１チャネルとの間にＩ入力１出力時系列信号を処理するＩチャネル反響消去装置２２1,２２2,…, ２２Jをそれぞれ接続した反響消去システム２３として実現される。この場合システム全体でＩ×Ｊ個の反響路１５ij(１＜ｉ＜Ｉ, １＜ｊ＜Ｊ)が存在する。このシステムの構成単位である再生側の全Ｉチャネルと集音側の各１チャネルとの間に接続されるＩチャネル反響消去装置２２1,２２2,…, ２２Jについては、図１に示した反響消去装置１４の構成を拡張して、図４に示すように構成される。これは例えば電子情報通信学会論文誌 '８６／１０ Ｖｏｌ. Ｊ６９−Ａ Ｎｏ. １０「多チャネル適応ディジタルフィルタ」に詳しく述べられている。ここで、集音側が第ｊ集音チャネル(１＜ｊ＜Ｊ)に接続されているＩチャネル反響消去装置２２jを考える。第ｊチャネルの集音器１６jで集音される反響信号は、各再生チャネルの受話信号がそれぞれの反響路１５1j〜１５Ijを経て集音側で全て加算されることにより得られるために、反響路推定をどの再生チャネルについても、統一的に同じ１つの残留反響信号ｅj(k)のみを評価して行なうための工夫が必要となる。まず、各再生チャネルの受話信号について、受話信号蓄積・ベクトル生成部(１７1,１７2,…, １７I)により、受話信号ベクトル
ｘ 1(k)＝［ｘ1(k), ｘ1(k-1),…, ｘ1(k−L1+1)]T (19)
ｘ 2(k)＝［ｘ2(k), ｘ2(k-1),…, ｘ2(k−L2+1)]T (20)
：
ｘ I(k)＝［ｘI(k), ｘI(k-1), …, ｘI(k−LI+1)]T (21)
を生成する。但し、L1,L2,…, LIはタップ数で、各反響路１５1j, １５2j, …, １５Ijの残響時間に対応させて、あらかじめ設定する定数である。これらのベクトルをベクトル結合部２４によって、
ｘ(k)＝［ｘ 1 T(k), ｘ 2 T(k),…, ｘ I T(k)]T (22)
と結合する。また、反響路推定部１９jにおいても、各再生チャネルと第ｊ集音チャネルとの間のＩ個の反響路を模擬するための、各擬似反響路ベクトルｈ＾
1j(k),ｈ＾2j(k),…, ｈ＾Ij(k)を結合して
ムを用いた場合、
ｙ＾j(k)＝ｈ＾j T(k)ｘ(k) (25)
により、第ｊ集音チャネルで集音された反響信号ｙj(k)に対する擬似反響信号ｙ＾j(k)を生成する。このように、各チャネル毎のベクトルを結合して１つのベクトルとして扱うことにより、基本的な処理の流れは、図１に示した１チャネル反響消去装置と同様となる。
【００１２】
【発明が解決しようとする課題】
Ｉチャネルの再生系とＪチャネルの集音系とで構成される通信会議システムに用いられる従来の反響消去システムの欠点のうち、この発明が解決しようとするものを、具体例に沿って説明する。
図５に示すように、Ａ地点とＢ地点との間において、２チャネルで集音・再生を行なうステレオ音声会議装置に従来の反響消去システムを適用した場合、Ｂ地点側の反響路が全く変動しない場合においても、Ａ地点側で発話者が移動あるいは交替を行なう度にその発話に対するＢ地点からの反響音が増大するという問題がある。これは、Ｂ地点側の反響消去システムにおいて反響路推定が正しく行なわれていないために起こる問題である。
【００１３】
そこで、この問題を説明するために、Ｂ地点における反響消去システムの構成単位である２チャネル反響消去装置のうちの１つである第１集音チャネルに接続された装置２２ｂ1の動作に注目する。以下では、各再生チャネルの動作を明確化するために、従来技術の項で用いた結合ベクトルの各再生チャネルについての要素が明示された形で表記する。結合ベクトルを用いずに各再生チャネル毎のベクトルで表記するＢ地点側における２チャネル受話信号ベクトルをｘ 1(k)と
ｘ 2(k)とする。各再生チャネルに対する真の反響路１５11, １５21の反響路ベ
クトルをｈ 11(k),ｈ 21(k)とすると、これら反響路１５11, １５21を経て集
音される反響信号ｙ1(k)は、
ｙ1(k)＝ｈ 11 T(k)ｘ 1(k)＋ｈ 21 T(k)ｘ 2(k) (26)
と表される。一方、反響消去装置内で生成される擬似反響信号ｙ＾1(k)は、装置内で生成される擬似反響路ｈ＾11(k)とｈ＾21(k)とを用いて、
ｙ＾1(k)＝ｈ＾11 T(k)ｘ 1(k)＋ｈ＾21 T(k)ｘ 2(k) (27)
と得られる。Ａ地点から一人の話者が発話した場合には、この受話信号ベクトルｘ 1(k)とｘ 2(k)との間には、非常に強い相互相関がある。ｘ 1(k)とｘ 2(
ｋ）との間に、一定な強い相互相関がある場合には、
ｙ＾1(k)＝ｙ1(k) (28)
の解としての結合ベクトル［ｈ＾11 T(k),ｈ＾21 T(k)]は無数に存在し、ｘ
1(k)とｘ 2(k)との相互相関に固有な部分空間Ｈ xを形成する。このため、Ｎ
ＬＭＳアルゴリズムのような一般的な逐次誤差最小化アルゴリズムを用いた場合に、［ｈ＾11 T(k),ｈ＾21 T(k)]は初期値から部分空間Ｈ xまでの距離が最
小となる点に収束し、一般に真値［ｈ 11 T(k),ｈ 21 T(k)]には収束しない。
【００１４】
説明を簡単にするために、一定なスカラー値ｐ1,ｐ2と原信号ベクトルｓ(k)
により、受話信号ベクトルｘ 1(k), ｘ 2(k)が、
ｘ 1(k)＝ｐ1 ｓ(k), ｘ 2(k)＝ｐ2 ｓ(k) (29)
と表される場合を考える。［ｈ＾11 T(k),ｈ＾21 T(k)]が存在し得る部分空間
Ｈ xは、
p1 ｈ＾11(k)+p2 ｈ＾21(k)＝p1 ｈ 11(k)+p2 ｈ 21(k) (30)
を満たす図６Ａ中の直線のように見なすことができ、初期値０から適応を開始した場合、収束点［ｈ＾11p T(k),ｈ＾21p T(k)]は、
【００１５】
以上の例からも分かるように、一般にＩチャネルの再生系とＪチャネルの集音系とで構成される通信会議システムに、従来の反響消去装置を適用した場合は、各チャネルの受話信号間に相互相関がある場合に、反響路の推定が正しく行なわれないため、受話信号間の相互相関が変動する度に反響が増大する問題が生じる。
【００１６】
この問題に対して、射影アルゴリズム等を用いて各チャネルの受話信号間の相互相関の変動の情報を抽出して利用することにより、真値への収束速度を改善できることが特願平７−５０００２で提案されている。しかし、全周波数帯域におけるインパルス応答に対して射影アルゴリズム等により修正を行なうこの提案の方法法では、まだまだ収束速度がおそいという問題があった。また、収束速度を向上させるためには、非常に高い射影次数が必要であり、演算量が増加するという問題がある。
【００１７】
さて、前述のように射影アルゴリズム及びＥＳ射影アルゴリズムは入力信号の自己相関を取り除くことにより収束速度を上げているものである。一方、信号を複数の周波数帯域に分割して処理するサブバンド法は入力信号を周波数領域で平坦化(白色化)することにより収束速度を上げているものである。ここで、サブバンド構成にすることにより、相互相関に対してどのような影響があるかは、全く知られていない。むしろ、ステレオエコーキャンセラ（ステレオ反響消去装置）にサブバンド法を適用しても前述したステレオエコーキャンセラの問題は何ら解決されず、無駄だと思われてきた。そのため、これまでずっと、フルバンド法が用いられてきた。
この発明の目的は、従来の多チャネル音声通信会議用反響消去システムにおいて、以上に挙げたような問題を解決する多チャネル音声通信会議用の反響消去方法を提供することにある。
【００１８】
【課題を解決するための手段】
この発明の方法を説明するに先立ち、この発明の一部の考え方のもとになる多チャネル受話信号間の相互相関が変動した場合における、多チャネル反響消去装置の反響路推定部の動作について考察する。
簡単のため、式(29)で表される２チャネルステレオ受話信号ｘ 1(k)とｘ 2(
ｋ）との相互相関が変動した場合として、式(29)のｐ1, ｐ2がそれらとは比関係の異なるｑ1, ｑ2に変化した例を考える。まず、〔ｈ＾11 T(k), ｈ＾21 T(k)〕
は、式(31), (32)の〔ｈ＾11p T(k), ｈ＾21p T(k)〕に収束する。次に、ｐ1
とｐ2とがｑ1とｑ2に変化したとき、〔ｈ＾11p T(k), ｈ＾21p T(k)〕を“初
期値”として、そこから最短距離にある〔ｈ＾11q T(k), ｈ＾21q T(k)〕に収
束する。この動作は、図６Ｂに示すように幾何学的に解釈される。ここで、収束点(ｈ＾11q, ｈ＾21q)は収束点(ｈ＾11p, ｈ＾21p)から直線ｈ＾11ｑ
1＋ｈ＾21ｑ2＝ｈ 11ｑ1＋ｈ 21ｑ2におろした垂線の交点になる。従って図
６Ｂにおけるフィルタ係数誤差ベクトルｅp, ｅqのノルムは、一般に‖ｅp‖＞‖ｅq‖の関係にあることが自明である。このことは、一般に、受話信号間の相互相関の変化の度に、フィルタ係数誤差ベクトルのノルムが小さくなることを意味している。つまり、多チャネル受話信号間の相互相関の変動は、反響消去装置内において反響路推定が誤っている場合に、反響の増大をひき起こすが、無限回の変動が繰り返された末には、反響路推定部における真の反響路の推定を可能とする有効な情報であると捉えることができる。
【００１９】
この発明による多チャネル反響消去方法には第１の方法と、第２の方法と、第３の方法とがある。
第１の方法としては、多チャネル反響消去方法において、サブバンド法を用いる。サブバンド法では間引きにより各サンプル間の時間間隔が広がっているため、相互相関の変動の情報が強調される。もちろん１チャネル反響消去方法にサブバンド法を用いた場合と同様に、入力信号の周波数領域での平坦化(白色化)も同時に行なわれる。これにより真値推定の収束速度が向上する。
【００２０】
第２の方法としては、第１の方法において残留反響信号と各チャネルの受話信号とから修正ベクトルを求め、この修正ベクトルを用いて、各反響路のインパルス応答の推定を逐次修正するが、この発明では各チャネル間の過去の受話信号の相互相関に対する現在の受話信号間の相互相関の変動成分を抽出し、この変動成分を修正ベクトルとする。一例として、各チャネル間の相互相関の変動を強調する方法として(ＥＳ)射影アルゴリズムを用いる。このように、サブバンド多チャネルエコーキャンセラに(ＥＳ)射影アルゴリズムを用いると、サブバンド法では間引きによりタップ数が減っているため、サブバンドの相互相関の変動の強調にさらに(ＥＳ)射影アルゴリズムの相互相関の変動の強調効果が相乗され、予期せぬ効果を生み、少ない射影次数で非常に速い収束速度が得られる。さらに、射影次数を各周波数帯域で最適に設定することにより、少ない演算量で最大の効果を得ることができる。
【００２１】
第３の方法としては、第１の方法において受話信号間の相互相関を、聴感上の違和感のない範囲で能動的に変動させる機能を付加して、各再生器で音響信号を再生し、この相互相関の変動が付加された受話信号を擬似反響路ベクトルの修正ベクトルの導出に利用する。さらに, 付加する機能を各周波数帯域で異なるものに最適に設定することにより、聴感上の劣化を最小限に押えることができる。
【００２２】
【発明の実施の形態】
図７は前記第１の方法および第２の方法を用いたこの発明の反響消去方法を適用した反響消去装置の機能構成例を示し、図３と対応する部分には同一符号を付けてある。受話信号ｘi(k')はスピーカ１２iで音声に再生されると共に周波数帯域分割部５１i内で周波数帯域別のＮ個の実数信号ｘin(k)(n=0,1,…,N-1)に分割される。一方、スピーカ１２iからの再生音声が反響路１５ijを経てマイクロホン１６jにより反響信号ｙj(k')としてピックアップされる。この反響信号ｙj(k')は周波数帯域分割部５２j内で周波数帯域分割部５１iと同一の分割特性で周波数帯域別のＮ個の実数信号ｙjn(k)に分割される。以降、ｊについてはすべて同様の処理となるので、簡単のためｊは省略して記述する。
【００２３】
周波数帯域分割部５１iで分割されたそれぞれの周波数帯域には受話信号蓄積・ベクトル生成部１７in、ベクトル結合部２４n、擬似反響路１８n、反響路推定部１９nからなるＩチャネル反響消去装置２２nが設けられてあり、それぞれの擬似反響路１８nは擬似反響信号y^n(k)を生成し、減算器２１nでこれら擬似反響信号y^n(k)を対応する周波数帯域の反響信号yn(k)から差し引くことにより反響信号yn(k)は消去される。ここで擬似反響路１８nは反響路１５の経時変動に追従する必要があり、残差en(k)＝yn(k)−y^n(k)が０に近づくように、射影アルゴリズムまたはＥＳ射影アルゴリズムを用いた推定部１９nによって擬似反響路ベクトルｈ＾n(k)が逐次推定され、擬似反響路１８nの修正が行なわれることによっ
て、常に最適な反響消去が維持される。各周波数帯域の誤差信号(残差信号)en(k)は周波数帯域合成部５３jで全周波数帯域の誤差信号e(k')に合成され、送信端４に出力される。
【００２４】
図８は周波数帯域分割部５１の内部の機能構成を示しており、A/D 変換器５により受話信号x(t)がサンプル値化され、帯域通過フィルタ２０nにより帯域制限される。または、帯域通過フィルタ２０nを用いる代わりに、文献Crochiere and Rabiner,“Multirate Digital Signal Processing”, Englewood Cliffs, NJ:Prentice-Hall, pp.52-56, 1983 に記載されているSSB(Single Side Band)法を用いても、帯域制限された実数信号xn(k')を得ることができる。帯域制限された実数信号xn(k')は間引き率Ｒで間引かれ実数信号xn(k)とされる。以下、分割された各周波数帯域のこの信号xn(k)をサブバンド受話信号と呼ぶ。反響信号y(k')に対する周波数帯域分割部５２も図８の周波数帯域分割部５１と同様に構成されており、これによって周波数帯域毎に分割された反響信号yn(k)をサブバンド反響信号と呼ぶ。
【００２５】
サブバンド法では周波数帯域幅が狭まっており、間引きにより各サンプル間の時間間隔が広がっているため、相互相関の変動の情報が強調される。このため、真値への収束速度が早まる。
さらに、第２の方法では前述したように、各チャネルの受話信号間の相互相関の変動の情報を抽出して利用する。図９に各周波数帯域における反響消去装置２２jを示す。図４と対応する部分に同一符号を付けてある。この発明では各反響消去装置２２1〜２２jに相互相関変動成分抽出部３１を設ける。相互相関変動成分抽出部３１では、受話信号結合ベクトルｘ(k)と残留反響信号ｅj(k)の情報
を蓄積し、自己相関除去ベクトル、つまり修正ベクトルｖ(k)を生成する。こ
のベクトルｖ(k)は、ｘ(k)が相互相関の高い多チャネル信号ベクトルの結合
ベクトルである場合、各チャネル間の相互相関の変わらない成分は除去されて、相互相関の変動成分が強調されたベクトルとなる。修正部３２では、現在の推定反響路ベクトルｈ＾j(k)に対し、修正ベクトルｖ(k)を用いて擬似反響路結
合ベクトルｈ＾j(k)を更新し、これを擬似反響路１８jへ出力する。
【００２６】
従来装置の構成においては、各チャネル間の受話信号ベクトルを結合して扱う。このため、各チャネルの受話信号間の相互相関は、受話信号結合ベクトルと過去の受話信号結合ベクトルとの相関関係である自己相関の中に現れる。よって、各チャネルの受話信号について、相互相関の変動していない成分を除去して、相互相関の変動した成分を抽出するためには、受話信号結合ベクトルの自己相関を小さくする、つまり受話信号結合ベクトルの自己相関を除去する手法を用いればよい。このような手法として、１チャネル反響消去装置において、射影アルゴリズム、ＲＬＳアルゴリズム、あるいは線形予測を用いる方法等が提案されている。これらのうち、線形予測による手法は、音声信号を線形予測して、その線形予測係数を用いて音声信号の自己相関を除去するものである。ＲＬＳアルゴリズムは、射影アルゴリズムの特殊な場合とみなすことができる。そこで、この発明では、最も現実的な手法の例として、射影アルゴリズムを用いた場合における受話信号結合ベクトルの自己相関除去手法を説明する。
【００２７】
図１０は第ｎ番目の周波数帯域の推定部１９nの内部の機能構成例としてｐn次のＥＳ射影アルゴリズム(Ａ＝Ｉの時には射影アルゴリズム)を用いた場合を
示す。
受話信号記憶部３１はサブバンド受話信号xn(k)が与えられる毎にそれぞれ連続するＬn個ずつのサブバンド受話信号からなるpn個のサブバンド信号ベクトル
Ｘ n(k)＝ [ｘ n(k),ｘ n(k-1),…,ｘ n(k-pn+1)]
を生成する。Ｌnはｎ番目の周波数帯域の擬似反響路１８nを構成するFIR フィルタのタップ数である。なおこれらの式中のｘ n(k),ｘ n(k-1),…はそれぞれ式
（２２）で与えられるベクトル結合したベクトルである。つまり受話信号記憶部３１には１乃至Ｉチャネルのサブバンド受話信号ｘ n(k)がベクトル結合した
Ｘ n(k)が入力される。
【００２８】
ただし、ｎ番目の周波数帯域ではpn次の射影アルゴリズム又はＥＳ射影アルゴリズムを実行するものとする。ステップサイズ行列記憶部３２には第１のステップサイズ行列Ａ n＝diag[αn1,αn2,…,αnLn] が記憶される。ステップサイズ
行列Ａ nは対応する周波数帯域におけるインパルス応答の変動特性で重み付け
られている。
【００２９】
一般的な室内を対象とする場合には、第ｎ番目の周波数帯域におけるインパルス応答変動量は減衰率γnを用いた指数関数として表わされる。自己相関演算部３３では第１のステップサイズ行列Ａ nで重み付けたサブバンド受話信号行列
Ｘ n(k)の自己相関行列Ｘ n(k)T Ａ n Ｘ n(k)が演算される。この演算された
自己相関行列と、残差記憶部３４からの残差en(k)とがβ n(k)演算部３５に供
給されて次式のpn元連立一次方程式
[Ｘ n(k)T Ａ n Ｘ n(k)]β n(k)＝ ｅ n(k) (33)
を解くことにより、定数β n(k)を求める。逆行列演算における不安定性を回避
するために、小さな正の定数δnを用いて式(33)の代わりに次式
[Ｘ n(k)T Ａ n Ｘ n(k)＋δn Ｉ]β n(k)＝ ｅ n(k) (33)'
を使ってもよい。ただし、Ｉは単位行列である。ステップサイズ記憶部３６か
らの第２のステップサイズμnと、Ａ n, Ｘ n(k), β n(k)とが修正ベクトル
演算部３７に供給されて修正ベクトル
μn Ａ n Ｘ n(k)β n(k) (34)
が演算され、その修正ベクトルは加算器３８へ供給されてタップ係数記憶部３９からのＬn個の要素からなる擬似反響路ベクトルｈ＾n(k)に加算されて修正さ
れた擬似反響路ベクトルｈ＾n(k+1)が得られる。演算結果ｈ＾n(k+1)は擬似
反響路１８nへ出力されると同時に、タップ係数記憶部３９の値を更新する。
【００３０】
以上の操作をサブバンド受話信号xn(k)が与えられる毎に繰り返すことにより、擬似反響路１８nは次に示す(35)式に従って逐次修正され、擬似反響路ベクトルｈ＾n(k)は真の擬似反響路１５の第ｎ周波数帯域におけるインパルス応答
ｈ n(k)に近づいてゆく。
【００３１】
もう一つ特筆すべきことは、各帯域のタップ数Ｌnは間引きにより少なくなっているという点である。(ＥＳ)射影アルゴリズムでは、次数ｐと収束特性の関係はタップ数Ｌにより影響を受ける。すなわち、タップ数Ｌが大きい場合には、完全に収束速度が飽和するためには次数ｐを大きくする必要があり、タップ数Ｌが小さい場合には、小さな次数ｐで完全に収束速度が飽和する。例えば、タップ数Ｌが1000程度の場合には、完全に収束速度が飽和するためにはｐが５０〜１００次程度必要であるのに対して、帯域分割と間引きによりタップ数Ｌnが６４程度に小さくなった場合には、１６〜３２次程度で十分となる。
【００３２】
このように、サブバンド多チャネルエコーキャンセラにさらに(ＥＳ)射影アルゴリズムを用いると、サブバンド法では間引きによりタップ数が減っているため、サブバンドの相互相関の変動の強調にさらに(ＥＳ)射影アルゴリズムの相互相関の変動の強調効果が相乗され、予期せぬ効果を生み、少ない射影次数で非常に速い収束速度が得られる。さらに、射影次数ｐを各周波数帯域で最適に設定することにより、少ない演算量で最大の効果を得ることができる。
【００３３】
図１１に示す一般的な音声の周波数スペクトルの例では、受話信号を複数の周波数帯域Ｆ0,Ｆ1,…,ＦN-1に分割した場合には、各帯域でそのスペクトル形状が異なる。その結果、各帯域の収束速度が飽和するために必要となる(ＥＳ)射影アルゴリズムの次数も異なる。一例を挙げれば、図１１中の帯域Ｆg では、スペクトルが複雑に変化しているため、必要な(ＥＳ)射影アルゴリズムの次数は大きく、帯域Ｆnではスペクトルが平坦に近いため、必要な(ＥＳ)射影アルゴリズムの次数は小さい。
【００３４】
従って、この発明では各帯域においてその帯域に適した、つまり収束速度が最も速く、かつ次数が最も少ないような次数を決める。このため、図７中に示す次数決定制御部５４を設ける。その内部の機能構成例を図１２に示す。それぞれの周波数帯域における(ＥＳ)射影アルゴリズムの次数ｐnは、次数決定制御部５４で次のように決定する。
【００３５】
方法１：次数ｐnを変えながらｙnとｅnとから収束の様子を観測する。この場合の次数決定制御部５４は図１２に示すように、それぞれの周波数帯域毎に設けられた次数決定部５４0〜５４N-1から構成されている。各周波数帯域において、例えば次数pn=1と決め、サブバンド受話信号xn(k)が入力される毎に得られるサブバンド反響信号ynと残差信号enの比(echo return loss enhancement：ERLE)rpn=20log10(yn/en)である反響消去量を求めることにより例えば図１３に模式的に示すような反響消去量ERLEの収束曲線が得られる。同様にpnを順次大にした場合についても同様のERLE収束曲線が得られる。そこで、方法１では、時間k=0 からpn次の(ＥＳ)射影アルゴリズムによる反響消去処理を開始し、次数決定部５４nにおいて予め決めた時点k=kKでのERLEの値rsを求めることを単調増加する一連の次数pn=ps,s=1,2,…, 例えばps+1=ps+1,p1=1、について順次繰り返し実行し、各次数pn=psについて反響消去量rsを求める毎にその前の次数pn=ps-1で求めた反響消去量rs-1からの増加の、次数の増加(ps-ps-1)に対する割合R=(rs-rs-1)/(ps-ps-1)を求め、この値が予め決めた閾値Rthより最初に小さくなる次数pn=psを決定する。
【００３６】
図１４は第１の次数決定方法による具体的な次数決定手順の例を示す。次数決定部５４nはステップＳ１で整数パラメータｓ, ｋをそれぞれ１と０に初期設定し、ステップＳ２で次数pn=psとし、対応する周波数帯域の推定部１９nに与える。ステップＳ３でサブバンド受話信号xn(k)が入力されると、ステップＳ４で受話信号ベクトルｘ n(k)を擬似反響路１８nに入力して擬似反響信号y^n(k)=ｈ
＾n(k)T ｘ n(k)を得て、その擬似反響信号y^n(k)の、サブバンド反響信号yn(k)
に対する推定誤差en(k)=yn(k)-y^n(k)を減算器２１nで求める。更に、推定部１９nにおいて時点ｋを最新時点とするpn+Ln個のサブバンド受話信号xn(k),xn(k-1),…,xn(k-pn-Ln+2)とpn個の推定誤差en(k),en(k-1),…,en(k-pn+1)とを使ってpn=ps次の(ＥＳ)射影アルゴリズムにより擬似反響路ベクトルｈ＾n(k+1)を推定
する。更に、推定したｈ＾n(k+1)を対応する擬似反響路１８nに設定する。即
ち、ステップＳ４ではサブバンド受話信号xn(k)が入力される毎に、図７の反響消去装置における第ｎ番目の周波数帯域に係わる部分によりpn=ps次の(ＥＳ)射影アルゴリズムに基づく反響消去処理が行われる。
【００３７】
ステップＳ５で時間ｋが予め決めた時間kKに達したか判定し、達していなければステップＳ６でｋを１歩進してステップＳ３に戻り、ステップＳ３, Ｓ４で同様のpn次(ＥＳ)射影アルゴリズムによる反響消去処理を実行する。時間ｋがkKに達するまで反響消去処理を繰り返し実行し、k=kKとなった時点でステップＳ７において次数決定部５４nはその時のサブバンド反響信号ys=yn(kK)と推定誤差es=en(kK)から反響消去量rs=20log10(ys/es)を求め、更に、次数増加(ps-ps-1)に対する反響消去量の増加の割合(即ち収束速度の飽和の程度)R=(rs-rs-1)/(ps-ps-1)を求める。ただしs=1の場合R=∞とする。次にステップＳ８で収束速度の飽和の程度Ｒが予め決めた値Rthより小さくなったか判定し、Rthより小となっていない(収束速度が飽和していない)場合はステップＳ１０でｋを０にリセットし、ｓを１歩進してステップＳ２に戻り、次数pn=psについて再び前述と同様の処理ステップＳ３〜Ｓ９を実行する。ステップＳ８でR＜Rthを満足すれば、収束速度は十分飽和したと判定し、ステップＳ１０でその時の次数psをｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnとして決定し、対応する推定部１９nに出力する。
【００３８】
方法２：あるいは、図１３において、一定消去量rKに達する時間が次数pnと共に短くなることを利用して、反響消去量の飽和値に対し、予め決めた割合の閾値rK、例えば30dBを決める。単調増加する次数pn=ps, s=1,2,… についてそれぞれ時点k=0からpn=ps次の(ＥＳ)射影アルゴリズムによる反響消去動作を開始し、サブバンド受話信号xn(k)が入力される毎に図１２の次数決定部５４nで反響消去量rs=20log10(ys/es)を求めることを繰り返し、rs＞rKとなる時点ksを得る。前の次数ps-1で得た時点ks-1との差(ks-1-ks)の、次数の増加(ps-ps-1)に対する割合R=(ks-1-ks)/(ps-ps-1)が予め決めた閾値Rthより小さくなる次数pn=psを決定する。この場合の次数決定処理手順を図１５に示す。
【００３９】
図１４の場合と同様にステップＳ１で整数パラメータｓ, ｋをそれぞれ１と０に初期設定し、ステップＳ２で次数pnをpsに決め、ステップＳ３でサブバンド受話信号xn(k)が入力される毎にステップＳ４でps次の(ＥＳ)射影アルゴリズムによる反響消去処理を行う。この第２の方法ではステップＳ５で次数決定部５４nはサブバンド反響信号ys=yn(k)と推定誤差es=en(k)から反響消去量rs=20log10(ys/es)を求め、ステップＳ６で反響消去量rsが予め決めた値rKより大となったか判定し、rs＞rKとなっていなければステップＳ７でｋを１歩進してステップＳ３に戻り、以下ステップＳ４, Ｓ５, Ｓ６で同様の処理を繰り返す。rs＞rKとなるとステップＳ８で現在の時点ｋを次数pn=psで消去量rsがrKに達した時点ksと判定し、次数pn=ps-1の場合にrKに達した時点ks-1からの時間差(ks-1-ks)の、次数変化(ps-ps-1)に対する割合、即ち収束速度の飽和の程度をR=(ks-1-ks)/(ps-ps-1)として求める。ただし、s=1の時はR=∞とする。次にステップＳ９でＲが予め決めた閾値Rthより小さくなったか判定し、なっていなければステップＳ１０でｋを０にリセットし、ｓを１歩進してステップＳ２に戻り、ステップＳ２〜Ｓ９の処理を繰り返す。ステップＳ９でR＜Rthと判定された場合は、ステップＳ１１でその時点での次数pn=psをｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnと決定し、対応する推定部１９nに設定する。
【００４０】
上述の第１及び第２のいずれの方法の場合も、ｎ番目の周波数帯域において、単調増加させる(ＥＳ)射影アルゴリズムの次数pn=ps, s=1,2,…として、例えばps+1=ps＋d,ｄは１以上の一定の整数、としてもよいし、ps+1=ps＋sdとしてもよいし、あるいはps+1=cps、ｃは２以上の一定整数、としてもよい。その他、漸次増加する関数であればどのような単調増加関数であってもよい。
【００４１】
方法３：pn次の(ＥＳ)射影アルゴリズムは、入力信号xnを(pn-1)次の白色化ＦＩＲフィルタ(即ちタップ数pnの線形予測フィルタ)に通すことと等価である。そこで、図１６に示すように次数決定制御部５４の各次数決定部５４n(n=0,1,…,N-1)を(pn-1)次の白色化ＦＩＲフィルタ54Fnと予測分析部54Pnで構成する。予測分析部54Pnは白色化FIR フィルタ54Fnに入力される一連のLn個の各サブバンド受話信号xn(k-j),j=0,1,…,Ln-1,に対し、Ln個の予測誤差εn(k-j),j=0,1,…,Ln-1, の２乗和
Σεn 2(k-j)＝ Σ{xn(k-j)-Σanixn(k-j-i)}2 (40)
ただし、左辺及び右辺第１のΣはj=0〜Lnについて、右辺第２のΣはi=1〜pn-1についての総和とする、
が最小となる予測係数ani,i=1,2,…,pn-1を求める(一般に線形予測分析と呼ばれ、周知の技術である)。これによって得られた予測係数ani をフィルタ54Fnに設定して出力に得られるLn個の予測誤差εn(k-j), j=0,1,…,Ln-1をベクトル
ε n(k)＝[εn(k),εn(k-1),…,εn(k-Ln+1)] (41)
で表すと、予測誤差ベクトルε n(k)は次式
ε n(k)＝Ｘ n(k)ａ n(k) (42)
と表すことができる。ただし
ａ n(k)＝[1,-an1,-an2,…,-anpn-1]T (43)
式(42)はサブバンド受話信号行列Ｘ n(k)に対する白色化処理を表しており、こ
の白色化処理により得られた予測誤差ベクトルε n(k)の共分散行列
Ｑ n(k)＝ε n(k)ε n(k)T (44)
はLn個の固有値λn0,λn1,…,λnLn-1を有している。それらの固有値のうちの最大値λmaxと最小値λminの比Cs=λmax/λminはサブバンド信号行列Ｘ n(k)に対
する白色化の程度を表している。この比Csの値が小さいほど白色化の程度は大きい。完全な白色化が達成されると比Cs=1となる。そこで、射影次数pnをpn=ps, s=1,2,… と順次増加させたときの比Cs, s=1,2,…を求め、比Csが予め決めた閾値Cthより小さくなったとき、あるいはCsの変化量ΔCs=Cs-1-Csが予め決めた閾値ΔCthより小さくなったときの最初の次数psを第ｎ番目の周波数帯域における射影の次数pnと決める。
【００４２】
図１７は第３の方法を使って第ｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnを決める手順を示す。ステップＳ１で整数パラメータｓを１とし、ステップＳ２で次数pnをpsに設定し、ステップＳ３で受話信号行列Ｘ n(k)を
構成するのに必要な数のサブバンド受話信号xn(k),xn(k-1),…,xn(k-pn-Ln+2)を入力する。次にステップＳ４で入力されたサブバンド受話信号に対し式(40)による線形予測分析を行って予測係数ani,i=1,2,…,pn-1を求め、ステップＳ５で式(42)によりサブバンド受話信号に対し白色化処理を行って推定誤差ベクトルε n
（ｋ）を求める。次にステップＳ６で式(44)で表される推定誤差ベクトルε n(k)
の共分散行列Ｑ n(k)を求め、更にその共分散行列のLn個の固有値λ0,λ1,…,
λLn-1を求める。ステップＳ７で固有値の最大値と最小値の比Cs=λmax/λminを計算し、ステップＳ８で比Csが閾値Cthより小となったか判定し、小となっていなければステップＳ９でｓを１歩進してステップＳ２に戻り、再びステップＳ２〜Ｓ８による同様の処理を繰り返す。ステップＳ８で比Csが閾値Cthより小と判定されると、ステップＳ１０で次数psを第ｎ番目の周波数帯域における(ＥＳ)射影アルゴリズムの次数pnと決定し、出力する。
【００４３】
上述のステップＳ８では比Csを閾値Cthと比較した場合を示したが、前述のようにステップＳ７で前回の次数ps-1で得た比Cs-1と今回の次数psで得た比Csとの差分ΔCs=Cs-1-Csを求め、ステップＳ８でこの差分ΔCsを予め決めた閾値ΔCthと比較し、ΔCsがΔCthより小になったらステップＳ１０でその時の次数pn=psを出力してもよい。次数pn=psを単調に増加させる関数としては前述の第１及び第２の次数決定方法で説明したと同様な単調増加関数を使うことができる。
【００４４】
例えば工場出荷時に、方法１〜３のいずれかを用いていろいろな音声について(ＥＳ)射影アルゴリズムの次数ｐnを決定して推定部１９nに予め設定しておいてもよい。なお、方法１〜３のいずれかを用いていろいろな音声、いろいろな分割数Ｎ、タップ数Ｌnについて(ＥＳ)射影アルゴリズムの次数ｐnを決定してその標準的な値を予めＲＯＭ化しておき、使用者が、その反響消去装置の所望の帯域分割数Ｎと対応して前記ＲＯＭから推定部１９nにｐnを設定するようにしてもよい。
【００４５】
ＤＳＰなどを用いて反響消去装置を構成する場合には、実時間処理の制約上、(ＥＳ)射影アルゴリズムの次数を完全に収束速度が飽和するレベルまで上げることができない場合も多い。このような場合には与えられた演算時間の中で装置全体としての性能が最高となるように各帯域の次数ｐnを決定する。
以上のように各周波数帯域における(ＥＳ)射影アルゴリズムの次数を、複数の周波数帯域のそれぞれに対してその装置に許される最も好ましい次数に設定することにより、(ＥＳ)射影アルゴリズムの次数を上げることによる相互相関の変動の強調と入力信号の白色化の効果を十分に引き出すことができ、収束速度の大きな反響消去装置を得ることができる。
【００４６】
図１８にこの発明の他の実施例を適用した機能構成を示す。この実施例は図７に示した実施例とは周波数帯域分割方法が異なっており、信号Xn(k), Yn(k), En(k)および擬似反響路ベクトルＨ^n(k)が複素数である点が異なる。同様な周波
数帯域分割方法を用いた反響消去装置は前記S.Gay and R.Mammone の文献に示されている。受話信号x(k')は周波数帯域分割部６１iで周波数帯域別のＮ個のサブバンド複素数信号Xin(k)(n=0,1,…,N-1)に分割される。同様に反響信号yj(k')は周波数帯域分割部６２jで周波数帯域別のＮ個のサブバンド複素数信号Yjn(k)に分割される。以降、ｊについてはすべて同様の処理となるので、簡単のためｊは省略して記述する。
【００４７】
それぞれの周波数帯域には受話信号蓄積ベクトル生成部１１７n、ベクトル結合部１２４n、擬似反響路６５nが設けられてあり、擬似反響路６５nからの擬似反響信号Y^n(k)をサブバンド反響信号Yn(k)から減算器６６nで差し引くことによりサブバンド反響信号Yn(k)は消去される。
擬似反響路(複素ＦＩＲフィルタ)６５nは擬似反響路１５の経時変動に追従する必要があり、残差En(k)＝Yn(k)−Y^n(k)が０に近づくように、複素射影アルゴリズム又は複素ＥＳ射影アルゴリズムを用いた推定部６７nによって逐次推定され、擬似反響路６５nの修正が行なわれることによって、常に最適な反響消去が維持される。
各帯域の誤差信号En(k)は周波数帯域合成部６３jで全帯域信号e(k')に合成される。この分割・合成過程はＮ点ＦＦＴを用いて効率的に実行できる。
【００４８】
図１９に周波数帯域分割部６１の内部を示しており、Ａ／Ｄ変換器５により受話信号x(t)がサンプル値化され、その受話信号x(k')に乗算器６８nでWN -k'n＝exp{-j2πk'n/N}が乗算され、通過周波数帯域幅-π/N〜π/Nの低域通過フィルタ７１nを用いて帯域制限され、Ｎ個の周波数帯域に分割される。周波数帯域制限された信号Xn(k')は間引き率Ｒで間引かれ、サブバンド信号Xn(k)となる。全分割周波数帯域のサブバンド信号Xo(k)〜XN-1(k)は短時間スペクトルに対応する。Ｎ＝１６の場合の周波数帯域を図２０に示す。１６帯域信号のうち０と８が実数、残りは複素数である。帯域８に対して対称なもの(例えば７と９、等)は複素共役の関係にあり、全部で９つ(２実数、７複素数)の周波数帯域信号があれば全周波数帯域信号を合成することができる。
【００４９】
図２１は第ｎ番目の周波数帯域の推定部６７nの内部の一例としてｐn次の複素ＥＳ射影アルゴリズム(Ａ＝Ｉの時には複素射影アルゴリズム)を用いた構成
例を示したものである。
サブバンド受話信号Xn(k)は受話信号記憶部７５でサブバンド受話信号行列
Ｘ n(k)とされる。ここで受話信号記憶部７５には１乃至Ｉチャネルの各サブバ
ンド受話信号ｘ n(k)が図９中のベクトル結合部２４と同様の処理でベクトル結
合されたＸ n(k)が入力される。ステップサイズ行列記憶部７６には第１のステ
ップサイズ行列Ａ nが記憶される。ステップサイズ行列Ａ nは対応する周波数
帯域におけるインパルス応答の変動特性で重み付けられている。一般的な室内を対象とする場合には、第ｎ番目の周波数帯域におけるインパルス応答変動量は減衰率γnを用いた指数関数として表わされる。自己相関演算部７７では第１のステップサイズ行列Ａ nで重み付けた受話信号行列Ｘ n(k)の自己相関行列Ｘ n
（ｋ）Ｔ Ａ n Ｘ n *(k)が演算される。ただし＊は複素共役を表す。この演算された
自己相関行列と、残差記憶部７８からの残差Ｅ n(k)は、β n(k)演算部７９に
供給されてpn元連立一次方程式
[Ｘ n(k)T Ａ n Ｘ n *(k)]β n(k)＝Ｅ n(k) (45)
を解くことにより、定数β n(k)を求める。逆行列演算における不安定性を回避
するために、小さな正の定数δnを用いて式(45)の代わりに次式
[Ｘ n(k)T Ａ n Ｘ n *(k)＋δn Ｉ]β n(k)＝Ｅ n(k) (45)'
を使ってもよい。ただし、Ｉは単位行列である。
【００５０】
Ａ n, Ｘ n(k), β n(k)とステップサイズ記憶部８１からのμnとが修正情
報生成部８２に供給されて次式
μn Ａ n Ｘ n *(k)β n(k) (46)
が演算され、その出力は加算器８３へ供給されてタップ係数記憶部８４からの
Ｈ^n(k)に加算されてＨ^n(k+1)が得られる。演算結果Ｈ^n(k+1)は擬似反
響路６５nへ出力されると同時に、タップ係数記憶部８４の値を更新する。
【００５１】
以上の操作により、擬似反響路６５nは次の式(47)に従って逐次修正され、擬似反響路ベクトルＨ^n(k)は真の反響路のインパルス応答Ｈ n(k)に近づいて
ゆく。
【００５２】
図２２は図１４中の第１又は第２の次数決定方法を適用する場合の次数決定制御部６４の機能構成例を示したもので, それぞれの周波数帯域に対応して次数決定部６４0〜６４N-1が設けられる。各次数決定部６４nはサブバンド複素受話信号Xn(k)、サブバンド複素反響信号Yn(k)、複素誤差信号En(k)が与えられ、複素(ＥＳ)射影アルゴリズムの次数ｐnを図１２の場合と同様に次のように決定する。
【００５３】
第１及び第２の方法では、次数pnをpn=ps, s=1,2,…と変えながら、Yn=YsとEn=Esとから求めた反響消去量rs=20log10(Ys/Es)の収束の様子を観測する。次数psを大きくするにつれ収束速度が大となり、図１３で示したと同様に収束速度が飽和値に近づく。収束速度が充分飽和に近づいたと判定された時の次数pn=psを出力して推定部６７nに設定する。即ち、図１３で説明したと同様に第１の方法では各次数毎に反響消去処理開始後、予め決めた時点kKでの反響消去量rs=20log10(Ys/Es)を求め、前回の次数ps-1で求めた反響消去量rs-1からの変化の割合 Rs=(rs-rs-1)/(ps-ps-1)が閾値Rthより小さくなったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。第２の方法では各次数毎に反響消去処理開始後、反響消去量 rs=20log10(Ys/Es)が予め決めた値rKに達した時点までの時間ksを求め、前回の次数ps-1について求めた時間ks-1からの短縮率(ks-1-ks)/(ps-ps-1)が閾値Rthより小さくなったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。
【００５４】
図２３は図１４において第３の次数決定方法を適用する場合の次数決定制御部６４の構成例を示し、図１６の場合と同様に各帯域の次数決定部６４n(n=0,1,…,N-1)は(pn-1)次の白色化FIR フィルタ64Fnと予測分析部64Pnとから構成されている。サブバンド複素信号Xnを(pn-1)次の白色化 FIRフィルタ64Fnに通し、予測分析部64Pnにより線形予測分析を行って予測係数ani,i=1,2,…,pn-1を決め、その時の推定誤差ベクトルε n(k)をＸ n(k)ａ n(k)から計算する。更に、推定
誤差ベクトルの共分散行列Ｑ n(k)=ε n(k)ε n(k)Tを求め、そのLn個の固有
値を求め、それらの固有値の最大値と最小値の比Cs=λmax/λminを求める。この比Csが次数psの増加につれ小さくなり、予め決めた値Cthより小となったときの次数psを複素(ＥＳ)射影アルゴリズムの次数pnと決める。
【００５５】
図７の実施例と同様に、いろいろな音声およびいろいろな分割数Ｎ、タップ数Ｌnについて次数ｐnを決定し、その標準的な値を予めＲＯＭ化しておき、例えば電源立ち上げの際にこのＲＯＭから推定部６nに与えるようにしてもよい。また、ＤＳＰなどを用いて反響消去装置を構成する場合には、実時間処理の制約上、複素(ＥＳ)射影アルゴリズムの次数を完全に収束速度が飽和するレベルまで上げることができない場合も多い。このような場合には与えられた演算時間の中で装置全体としての性能が最高となるように各帯域の次数ｐnを決定する。
【００５６】
以上のように各周波数帯域における複素(ＥＳ)射影アルゴリズムの次数を、複数の周波数帯域のそれぞれに対して最適とされる次数に設定することにより、複素(ＥＳ)射影アルゴリズムの次数を上げることによる相互相関の変動量の強調と入力信号の白色化の効果を十分に引き出すことができ、収束速度の大きな反響消去装置を得ることができる。
【００５７】
また、室内の残響時間は一般に、低い周波数帯域では長く、高い周波数帯域では短い点から、擬似反響路６５nのタップ数Lnを低い周波数帯域に対しては大に、低い周波数帯域に対しては小にし、従って射影次数pnは低い周波数帯域に対しては大きく、高い周波数帯域に対しては小さくするのが好ましい。例えば音声信号では老若男女によらず一般に図１１に示したように低い周波数対により多くのエネルギーが集中していることを利用して、低い周波数帯域ではタップ数Lnを大きく、従って射影の次数pnも十分大きな値とするが、高い周波数帯域ではタップ数Lnを小さくし、かつ射影の次数pnも小さくすることが可能である。更に、人間の聴覚感度は一般に低い周波数帯域では高く、高い周波数帯域では低いことからも、低い周波数帯域に対してはタップ数Lnを大きく、従って射影次数pnも大きく、低い周波数帯域に対してはタップ数Lnを小さく、従って射影次数pnも小さくしてよい。この様に、高い周波数帯域のタップ数Lnを小さくすることにより、あるいは更に射影次数pnを小さくすることによって全体としての演算量を削減することができる。音声の場合、例えば周波数帯域を３２帯域に分割し、周波数の低い方から１番目と２番目の周波数帯域の射影次数をそれぞれ１６とし、３及び４番目の周波数帯域の射影次数を８とし、５〜８番目の周波数帯域の射影次数を４とし、９〜１６番目の周波数帯域の射影次数を２とし、それより高い周波数帯域の次数を全て１にする。
【００５８】
なお、上述において周波数帯域の分割数Ｎは３２〜６４程度が現実的と考えられ、分割数が多過ぎると遅延が大となる。また分割方法は例えば図１１に示すように非等分割にする場合に限らず、等分割に分けてもよい。各帯域の最適次数ｐnの決定は方法１の場合は誤りが生じない。
図２４にこの発明の第３の方法の実施例を示す。図７と対応する部分に同一符号を付けてある。この発明では、相互相関変動付加部２４が設けられる。相互相関変動付加部２４で、各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)は、それらの相互相関の変動を能動的に付加されて、ｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換され、これらｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)を、スピーカ１２1, １２2, …, １２Iから再生するとともに、反響消去システム２３への入力とし、擬似反響路ベクトルの修正ベクトルの導出に利用する。
【００５９】
相互相関変動付加部２４の実現については、変換された受話信号ｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)が音響信号として再生されるときに、聴覚上の品質が損なわれないように注意する必要がある。ここで注目すべきことは、人間の聴覚特性は各周波数帯域で異なり、各実現方法による聴覚上の品質劣化は各周波数帯域で異なるという点である。
【００６０】
各チャネルの受話信号間の相互相関に変動付加する方法としては、▲１▼フィルタ処理による実現方法と、▲２▼信号乗算処理による実現方法と、▲３▼信号加算処理による実現方法と、▲４▼ピッチシフト処理による実現方法とがある。以下、順に▲１▼〜▲４▼各実現方法の具体例を説明する。
▲１▼ フィルタ処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる時変特性をもつ時変フィルタに印加、すなわち、これら時変フィルタのインパルス応答ｆ1(k), ｆ2(k), …, ｆI(k), 畳み込み演算を＊で表すとして、
ｘ￣1(k)＝ｆ1(k)＊ｘ1(k)
ｘ￣2(k)＝ｆ2(k)＊ｘ2(k)
ｘ￣I(k)＝ｆI(k)＊ｘI(k) (48)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６１】
人の聴覚による音声知覚においては、主として振幅情報が重要であり、位相情報は余り重要はでないと言われており、このことは、例えば文献「古井, “ディジタル音声処理”, 東海大学出版会」で述べられている。そこで、入力信号の周波数に対して振幅特性が平坦な特性を保つように、時変フィルタを実現すれば、聴覚的にフィルタ処理による影響が小さくなると考えられる。
【００６２】
この目的に適した構成として、全域通過伝達関数をもつＩＩＲフィルタがある。このフィルタの伝達関数Ｆ(ｚ)は、次数をＫとして、
｜Ｆ(ｅｘｐ(ｊωＴ))｜
式は、フィルタ係数ａ1, ａ2, …, ａKがどのように定められても分母と分子で相殺し合い、ωによらない一定利得Ａをとる。一方、位相特性はフィルタ係数ａ1, ａ2, …, ａKにより異なる。このａ1, ａ2, …, ａKを時間とともに変化させた場合には、時変の位相特性を有することになるが、振幅特性への影響はない。
【００６３】
さて、ここでは構成が簡単で実現の容易な２次の全域通過フィルタを考える。２次の全域通過フィルタの構成は、例えば文献「辻井, “ディジタル信号処理の基礎”, 電子情報通信学会」に詳しく述べられている。式(49)について、簡単のため利得Ａ＝１とすると、２次の全域通過伝達関数Ｆ(ｚ)は、
Ｆ(z)＝(ｚ-2−ａ1ｚ-1＋ａ2)／(１−ａ1ｚ-1＋ａ2ｚ-2) (50)
となる。この伝達関数をもとに、ラチス型で構成すると、式(50)の係数は
ａ1＝−ｒ(１＋ｒ2) (51)
ａ2＝ｒ2 (52)
と置き換えられ
【００６４】
▲２▼ 信号乗算処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる関数ｇ1(k), ｇ2(k), …, ｇI(k)と乗算、すなわち、
ｘ￣1(k)＝ｇ1(k)・ｘ1(k)
ｘ￣2(k)＝ｇ2(k)・ｘ2(k)
・
・
・ (54)
ｘ￣I(k)＝ｇI(k)・ｘI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６５】
式(54)において、もし関数ｇ1(k), ｇ2(k), …, ｇI(k)が正負の値をとる場合には、その変動の大きさによらず受話信号の品質は大幅に劣化すると考えられる。そこで、関数ｇ1(k), ｇ2(k), …, ｇI(k)は、常に正、あるいは常に負の値のみをとり、また、変動の幅も制限されていることが望ましい。
そこで、関数ｇ1(k), ｇ2(k), …, ｇI(k)が以下のような形である場合を考える。最大振幅が１に正規化された異なる関数ω1(k), ω2(k), …, ωI(k)と、スカラー値ｋ1, ｋ2, …, ｋI(０＜‖ｋ1‖, ‖ｋ2‖, …, ‖ｋI‖＜１), および利得係数Ａ1, Ａ2, …, ＡIを用いて、ｇ1(k), ｇ2(k), …, ｇI(k)を、
ｇ1(k)＝Ａ1(１＋ｋ1ω1(k))
ｇ2(k)＝Ａ2(１＋ｋ2ω2(k))
・
・
・ (55)
ｇI(k)＝ＡI(１＋ｋIωI(k))
と表す。また任意の時刻ｋにおいて、−１＜ｋ1ω1(k), ｋ2ω2(k), …, ｋIωI(k)＜１が成り立つから、ｇ1(k), ｇ2(k), …, ｇI(k)の値の符号はそれぞれ一定である。聴覚的なバランスを考えれば、利得係数Ａ1, Ａ2, …, ＡIの値はすべて等しいか、あるいは少なくとも同符号の値であることが望ましく、この場合、ｇ1(k), ｇ2(k), …, ｇI(k)はすべて同符号の値を取る。また、スカラー値ｋ1, ｋ2, …, ｋIの値により、処理後の信号の歪み量を調節することができる。
【００６６】
また、周波数シフトという観点から、式(55)とは別に、
ｇ1(k)＝Ａ1cos(ω1(k)・ｋ＋φ1)
ｇ2(k)＝Ａ2cos(ω2(k)・ｋ＋φ2)
・
・
・ (56)
ｇI(k)＝ＡIcos(ωI(k)・ｋ＋φI)
として、各チャネルごとに異なる時変特性をもち、ある変動幅の中で変化する関数ω1(k), ω2(k), …, ωI(k)によって、受話信号ｘ1(k), ｘ2(k),…, ｘI(k)の周波数特性をシフトさせることにより、もとの多チャネル受話信号に対して、相互相関の変動付加を実現することもできる。
【００６７】
▲３▼ 信号加算処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、異なる関数ｎ1(k), ｎ2(k), …, ｎI(k)と加算、すなわち、
ｘ￣1(k)＝ｘ1(k)＋ｎ1(k)
ｘ￣2(k)＝ｘ2(k)＋ｎ2(k)
・
・
・ (57)
ｘ￣I(k)＝ｘI(k)＋ｎI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００６８】
関数ｎ1(k), ｎ2(k), …, ｎI(k)は、聴覚的な影響を考慮すると、各チャネルの受話信号ｘ1(k), ｘ2(k),…, ｘI(k)と比べて、振幅値が適度に小さいことが望ましい。そこで、例えば、各チャネルの受話信号ｘ1(k), ｘ2(k),…, ｘI(k)の振幅の定格値をＡr として、最大振幅がこのＡr となるように規格化された異なる関数ｎr1(k), ｎr2(k), …, ｎ2I(k)に対して、スカラー値λ1, λ2, …, λIを掛けることにより、ｎ1(k), ｎ2(k), …, ｎI(k)を、
ｎ1(k)＝λ1ｎr1(k)
ｎ2(k)＝λ2ｎr2(k)
・
・
・ (58)
ｎI(k)＝λIｎrI(k)
と表す。スカラー値λ1,λ2, …, λIの値により、受話信号ｘ1(k), ｘ2(k),…,ｘI(k)に加える信号の大きさを定格値Ａrからどの程度小さくするのかを決定できる。
【００６９】
▲４▼ ピッチシフト処理による実現方法
各チャネルの受話信号ｘ1(k), ｘ2(k), …, ｘI(k)を、各受話信号の周波数特性について、各チャネルごとに異なる時変の周波数伸縮処理、すなわち、ピッチシフト処理することにより得られるｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。
【００７０】
ピッチシフト処理は、周波数伸縮とともに、時間伸縮をともない、結局、時間領域で処理することが可能であるが、時間軸を縮小させれば、もとの信号が占めていた占有時間と等しくするための補間処理が必要となり、逆に時間軸を伸長させれば、もとの信号よりも占有時間が長くなるため間引き処理が必要となる。これらの補間・間引き処理は、無音区間を検出するなどして、その無音区間を引き延ばしたり、削除することにより実現できる。
【００７１】
【発明の効果】
この発明方法は、２地点間において、多チャネルの伝送系と、多チャネルの集音・再生系を持つ端末装置とを用いることにより、双方の音響空間情報の伝達を可能とする臨場感の高い音声通信を実現する際に反響を消去するために適用することができる。
【００７２】
簡単のため、図５に示したような、２地点間を２チャネルの伝送系で結び、２チャネルの集音・再生系を持つ端末装置を用いて、ステレオ音声通信を行なう場合を考える。例えば、Ａ地点から複数の異なる話者が一人ずつそれぞれの席から発話した場合に、集音されるステレオ音声信号には、それぞれの発話者と２本のマイクロホンの位置関係に依存した相互相関がある。それらの音声信号がＢ地点側において再生されるとき、従来の反響消去装置を用いた場合では、反響路推定がステレオ信号の相互相関に依存して誤るため、話者の交替の度にＡ地点側に大きな反響が戻ってしまう。ところが、この発明の反響消去方法を用いた場合、話者の交替によるステレオ再生信号の相互相関の変動を抽出して、反響路推定の誤りを修正するため、話者の交替の度に起きていた反響の増大を低減できる。また、人間の発話音声を複数のマイクロホンによって集音するとき、固定した位置から発話した場合でも、集音された多チャネル音声信号の相互相関は微妙に変動している。この発明方法では、このような信号間の相互相関の微妙な変動をも有効に利用できる。
【００７３】
図７の実施例において、周波数帯域分割部５１、５２内の帯域通過フィルタ２０0〜２０N-1(分割部５２の構成は５１の構成と同様であり図示してない)による帯域制限の代わりに、前述のCrochiere and Rabinerの文献に示されているSSB法を使って帯域制限された実信号xn(k)、yn(k)を得て反響消去処理を行った場合の収束特性の計算機シミュレーション結果を図２５に示す。計算機シミュレーションには実測したインパルス応答(512タップ、サンプリング周波数１６kHz)を使用した。体や頭を固定して発話した音声をステレオ集音した信号を受話信号として用いた。反響信号にはＳ／Ｎ比＝３５ｄＢとなるように近端雑音を加えた。
【００７４】
図２５は、反響路推定部で生成された擬似反響路結合ベクトルと真の反響路結合ベクトルとの誤差ベクトルの大きさを帯域分割数Ｎをパラメータとして比較したものである。ここで、この発明方法の相互相関変動成分抽出には、ｐ＝１次の射影アルゴリズム、すなわち、従来のＮＬＭＳアルゴリズムを用いている。帯域分割数Ｎ＝1,4,8,32である。間引き率Ｒ＝Ｎ/４である。各帯域のタップ数はＮ＝１(フルバンド)のとき５１２＋５１２とし、サブバンドでは間引き率に応じて少なく設定した。定常消去量が等しくなるように、第２のステップサイズμnおよび小さな正の定数δnを調節した。この結果より、この発明方法が信号間の相互相関の微妙な変動をも捉え、反響路推定の誤りを修正できること、さらに帯域分割数Ｎが大きくなるほど収束速度が速くなることが分かる。これは従来は予期し難い効果である。この発明ではチャネル間の微妙な変動を帯域分割手法を用いて有効にとらえることにより、収束速度を早めていると言える。
【００７５】
図２６に図２５と同様なステレオ集音の場合の擬似反響路ベクトルの収束の様子を帯域分割数Ｎ＝３２の場合について射影アルゴリズムの次数をパラメータとして示す。帯域分割数Ｎ＝３２、間引き率Ｒ＝８である。各帯域のタップ数は６４＋６４とした場合である。射影アルゴリズムの次数は、pn＝1,2,4,8,32である。ここでは、定常消去量が等しくなるように、第２のステップサイズμnおよび小さな正の定数δnを調節した。射影アルゴリズムの次数ｐnを増加させるに従って、収束速度が増加することがわかる。しかも従来における周波数分割処理法で得られる収束速度の高速化よりも、可成り高速に収束している。この図から、帯域分割数を行いさらに射影アルゴリズムを用いることが有効であることが理解される。このように、この発明を用いれば、小さな射影次数で速い収束速度が得られる。拡声通話系では人の移動などによる反響路の変動が多く、これに迅速に適応できることは大きな利点となる。
【００７６】
更に、周波数帯域に応じて適切な射影次数を決めることにより、一層少ない演算量で高速の収束が可能となる。
ステレオ再生装置を有する端末において、図５に示したように相手側で２チャネル集音されたステレオ信号を受信してそのまま再生する方法の他に、多地点間通信等では、対地毎の受話信号を受信側で任意に音像定位処理することにより、受話環境を快適にする方法が考えられている。この発明方法は、このような多地点間通信用端末にも適用可能である。図２７は、４地点間通信の構成を示したものである。各地点において、集音は１チャネル(モノラル)である。いま、Ｄ地点を例にとって説明する。Ｄ地点において、Ａ、Ｂ、Ｃ地点からの受話信号について、それぞれ右、中央、左に定位するように音像定位処理を受話信号に処理部１３ｄで施すことにより、新たな２チャネルステレオ受話信号を生成して２チャネルのステレオ再生を行なうものとする。この方法では、受話信号間の相互相関が一定であり、この場合は、受話信号間の相互相関の変動抽出・利用をしようにも、受話信号間の相互相関の変動そのものがないため、従来法と比較しても、反響路推定は停滞して改善されない。そこで、上記方法にこの発明の第３の方法を適用すれば、受話信号間の相互相関は常に変動することになり、先の場合と同様に、ステレオ受話信号の相互相関の変動を抽出して、反響路推定の誤りを修正するため、反響路推定が停滞することがなく、従来方法を用いた場合よりも反響の増大を低減できる。
【００７７】
すなわち、一般に多チャネル再生系と１チャネル以上の集音系で構成される通信会議システムに、従来の反響消去方法を適用した場合、各チャネルの受話信号間に相互相関がある場合に、擬似反響路の推定が正しく行われないため、受話信号間の相互相関が変動する度に反響が増大する問題が生じていた。この発明の第１の方法においては、サブバンド法を用いて受話信号間の相互相関の変動成分を抽出・利用することにより、反響路推定の誤りを修正するため、上記のような問題を改善する効果がある。
【００７８】
また、この発明の第２の方法においては、射影アルゴリズム等を用いて受話信号間の相互相関の変動成分を抽出・利用することにより、反響路推定の誤りを修正するため、上記のような問題を改善する効果があり、更に、周波数帯域に応じて適切な次数を決めることにより、一層少ない演算量で高速の収束が可能となる。
【００７９】
また、この発明の第３の方法においては、受話信号間の相互相関に変動を付加する機能を有するため、反響路推定において誤った解に完全に停滞することがなく、真の反響路との誤差を小さくする方向へ反響路推定を続けるので、上記のような問題を改善する効果があり、更に、周波数帯域に応じて適切な相互相関変動付加機能を決めることにより、聴感上違和感を与えることなく高速の収束が可能となる。
【図面の簡単な説明】
【図１】従来の１チャネル反響消去装置の機能構成を示すブロック図。
【図２】Ａはステップサイズ行列Ａの対角成分αlを示す説明図、Ｂはステップサイズ行列Ａの対角成分αlを階段状に近似する一例を示す説明図。
【図３】従来の多チャネル反響消去装置システムを示すブロック図。
【図４】従来の多チャネル反響消去装置の機能構成を示すブロック図。
【図５】ステレオ音声通信系を示すブロック図。
【図６】Ａは受話信号間に相互相関がある場合の反響路推定動作を示す図。Ｂは前記相互相関が変動した場合の反響路推定動作を示す図である。
【図７】この発明の実施例の機能構成例を示すブロック図。
【図８】図７中の周波数帯域分割部５１の内部の機能構成例を示すブロック図。
【図９】この発明による第１の方法を適用した多チャネル反響消去装置の構成を示すブロック図。
【図１０】図７中の第ｎ番目の周波数帯域の推定部１９nの内部の機能構成例を示すブロック図。
【図１１】音声信号の周波数スペクトルの一例を示す説明図。
【図１２】図７中の第１又は第２の次数決定方法を適用する場合の次数決定制御部５４の機能構成例を示すブロック図。
【図１３】射影次数を増加した場合の反響消去量の収束速度の変化を模式的に示す図。
【図１４】第１の次数決定方法による次数決定手順を示すフロー図。
【図１５】第２の次数決定方法による次数決定手順を示すフロー図。
【図１６】第３の次数決定方法を実施する場合の次数決定制御部５４の構成例を示すブロック図。
【図１７】第３の次数決定方法による次数決定手順を示すフロー図。
【図１８】この発明のもう１つの実施例の機能構成例を示すブロック図。
【図１９】図１８中の周波数帯域分割部６１の内部の機能構成例を示すブロック図。
【図２０】周波数帯域信号の一例を示す説明図。
【図２１】図１８中の第ｎ番目の周波数帯域の推定部６７nの内部の機能構成例を示すブロック図。
【図２２】図１４中の第１又は第２の次数決定方法を適用する場合の次数決定制御部６４の構成例を示すブロック図。
【図２３】図１４中の第３の次数決定方法を適用する場合の次数決定制御部６４の構成例を示すブロック図。
【図２４】この発明による第３の方法を適用した多チャネル反響消去装置の構成を示すブロック図。
【図２５】この発明方法による第１の方法による擬似反響路ベクトルの収束の様子を示す図。
【図２６】この発明方法による第２の方法による擬似反響路ベクトルの収束の様子を示す図。
【図２７】４地点間通信において音像定位機能をもたせる音声通信会議方式を示すブロック図。
Claims (15)
- 各チャネルの受話信号をチャネルごとの再生器で音響信号に再生し、
これら各音響信号が、上記各再生器から集音器に到る各反響路を経由して集音され、
その集音器からの反響信号から擬似反響信号を差し引き、
その残りである残留反響信号と、上記各チャネルの受話信号とから修正ベクトルを求め、
この修正ベクトルを用いて上記各反響路のインパルス応答の推定値を逐次修正し、
その修正されたインパルス応答をもつ各擬似反響路を生成し、
これら各擬似反響路に上記受話信号の対応するものをそれぞれ印加して上記擬似反響信号を生成する多チャネル音声通信会議用反響消去方法において、
(a) 上記受話信号と上記反響信号とをそれぞれＮ個の周波数帯域に分割してＮ個のサブバンド受話信号とＮ個のサブバンド反響信号を生成するステップと、Ｎは２以上の整数であり、
(b) 上記反響路の上記Ｎ個の周波数帯域におけるそれぞれのインパルスレスポンスを模擬するそれぞれ予め決めたタップ数のフィルタ係数が与えられるディジタルフィルタによりそれぞれ構成されたＮ個の擬似反響路に上記Ｎ個のサブバンド受話信号をそれぞれ通してＮ個の擬似反響信号を生成するステップと、
(c) 上記Ｎ個のサブバンド反響信号から対応する上記Ｎ個の擬似反響信号をそれぞれ減算することによりＮ個の周波数帯域の反響消去誤差信号を生成するステップと、
(d) それぞれの上記Ｎ個の反響消去誤差信号と、上記Ｎ個のサブバンド受話信号の対応するものとから、対応する上記反響消去誤差信号を最小とするように上記ディジタルフィルタに与える上記フィルタ係数をそれぞれ逐次的に修正するステップと、
(e) 上記Ｎ個の周波数帯域の上記反響消去誤差信号を合成して上記反響信号が抑圧された全周波数帯域の送信信号を生成するステップ、
とを含み、
上記各チャネルの受話信号の系列よりなる受話信号ベクトルを結合させた受話信号結合ベクトルを求め、この受話信号結合ベクトルの過去のものに対する現在のそれとの相関の変動を検出して上記各チャネルの受話信号の相互相関の変動成分を抽出し、この変動成分を上記修正ベクトルとする。 - 請求項１のサブバンド多チャネル音声通信会議用反響消去方法において、
上記各チャネルの上記受話信号結合ベクトルの過去のものに対する現在のそれとの相関の変動を検出する検出方法を上記Ｎ個の周波数帯域で最適に設定する。 - 請求項２のサブバンド多チャネル音声通信会議用反響消去方法において、
上記各チャネルの上記受話信号結合ベクトルの過去のものに対する現在のそれとの相関の変動を検出する検出方法が射影アルゴリズムまたはＥＳ射影アルゴリズムであり、射影次数を上記Ｎ個の周波数帯域で最適に設定する。 - 請求項３のサブバンド多チャネル音声通信会議用反響消去方法において、
上記Ｎ個の周波数帯域の上記射影アルゴリズム又はＥＳ射影アルゴリズムのそれぞれの次数は上記受話信号に対しそれぞれの周波数帯域において反響消去量の収束速度がほぼ飽和する最小の値にそれぞれ決められている。 - 請求項３のサブバンド多チャネル音声通信会議用反響消去方法において、
上記Ｎ個の周波数帯域の上記射影アルゴリズム又はＥＳ射影アルゴリズムのそれぞれの次数は、上記受話信号を線形予測フィルタにより白色化したときの推定誤差ベクトルの白色化がほぼ飽和する最小の値にそれぞれ決められている。 - 請求項３のサブバンド多チャネル音声通信会議用反響消去方法において,
上記Ｎ個の周波数帯域のそれぞれの擬似反響路を構成する上記ディジタルフィルタのタップ数は、所望の受話信号の周波数領域におけるエネルギー分布、室内残響特性、及び人間の聴覚特性の少なくとも１つに基づいて予め決められている。 - 請求項３のサブバンド多チャネル音声通信会議用反響消去方法において、
上記Ｎ個の周波数帯域の低い周波数帯域に対応する上記ディジタルフィルタのタップ数は、高い周波数帯域の対応するディジタルフィルタのタップ数より大とされている。 - 請求項３のサブバンド多チャネル音声通信会議用反響消去方法において、
上記低い周波数帯域における上記射影アルゴリズム又はＥＳ射影アルゴリズムの次数は、上記高い周波数帯域における上記射影アルゴリズム又はＥＳ射影アルゴリズムの次数より大とされている。 - 各チャネルの受話信号をチャネルごとの再生器で音響信号に再生し、
これら各音響信号が、上記各再生器から集音器に到る各反響路を経由して集音され、
その集音器からの反響信号から擬似反響信号を差し引き、
その残りである残留反響信号と、上記各チャネルの受話信号とから修正ベクトルを求め、
この修正ベクトルを用いて上記各反響路のインパルス応答の推定値を逐次修正し、
その修正されたインパルス応答をもつ各擬似反響路を生成し、
これら各擬似反響路に上記受話信号の対応するものをそれぞれ印加して上記擬似反響信号を生成する多チャネル音声通信会議用反響消去方法において、
(a) 上記受話信号と上記反響信号とをそれぞれＮ個の周波数帯域に分割してＮ個のサブバンド受話信号とＮ個のサブバンド反響信号を生成するステップと、Ｎは２以上の整数であり、
(b) 上記反響路の上記Ｎ個の周波数帯域におけるそれぞれのインパルスレスポンスを模擬するそれぞれ予め決めたタップ数のフィルタ係数が与えられるディジタルフィルタによりそれぞれ構成されたＮ個の擬似反響路に上記Ｎ個のサブバンド受話信号をそれぞれ通してＮ個の擬似反響信号を生成するステップと、
(c) 上記Ｎ個のサブバンド反響信号から対応する上記Ｎ個の擬似反響信号をそれぞれ減算することによりＮ個の周波数帯域の反響消去誤差信号を生成するステップと、
(d) それぞれの上記Ｎ個の反響消去誤差信号と、上記Ｎ個のサブバンド受話信号の対応するものとから、対応する上記反響消去誤差信号を最小とするように上記ディジタルフィルタに与える上記フィルタ係数をそれぞれ逐次的に修正するステップと、
(e) 上記Ｎ個の周波数帯域の上記反響消去誤差信号を合成して上記反響信号が抑圧された全周波数帯域の送信信号を生成するステップ、
とを含み、
上記各チャネルの受話信号間の相互相関に変動成分を付加して、上記再生器で音響信号を再生し、相互相関の変動成分が付加された受話信号を上記修正ベクトルの導出に利用する。 - 請求項９のサブバンド多チャネル音声通信会議用反響消去方法において、
再生チャネル数をＩとして、上記各チャネルの受話信号それぞれを、離散時間ｋの関数として、ｘ1(k), ｘ2(k), …, ｘI(k)と表したとき、これらの受話信号を各チャネルに対して異なる時変特性をもつ時変フィルタに印加、これら時変フィルタのインパルス応答ｆ1(k), ｆ2(k), …, ｆI(k), 畳み込み演算を＊で表すとして、
ｘ￣1(k)＝ｆ1(k)＊ｘ1(k)
ｘ￣2(k)＝ｆ2(k)＊ｘ2(k)
・
・
・
ｘ￣I(k)＝ｆI(k)＊ｘI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。 - 請求項９のサブバンド多チャネル音声通信会議用反響消去方法において,
再生チャネル数をＩとして、上記各チャネルの受話信号それぞれを、離散時間ｋの関数として、ｘ1(k), ｘ2(k), …, ｘI(k)と表したとき、これらの受話信号を各チャネルに対して異なる関数ｇ1(k), ｇ2(k), …, ｇI(k)と乗算し、
ｘ￣1(k)＝ｇ1(k)・ｘ1(k)
ｘ￣2(k)＝ｇ2(k)・ｘ2(k)
・
・
・
ｘ￣I(k)＝ｇI(k)・ｘI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、上述の各チャネルの受話信号間の相互相関への変動の付加を実現する。 - 請求項９のサブバンド多チャネル音声通信会議用反響消去方法において，
再生チャネル数をＩとして、上記各チャネルの受話信号それぞれを、離散時間ｋの関数として、ｘ1(k), ｘ2(k), …, ｘI(k)と表したとき、これらの受話信号を各チャネルに対して異なる関数ｎ1(k), ｎ2(k),…, ｎI(k)と加算し、
ｘ￣1(k)＝ｘ1(k)＋ｎ1(k)
ｘ￣2(k)＝ｘ2(k)＋ｎ2(k)
・
・
・
ｘ￣I(k)＝ｘI(k)＋ｎI(k)
を満足するｘ￣1(k), ｘ￣2(k), …, ｘ￣I(k)に変換することにより、上述の各チャネルの受話信号間の相互相関への変動の付加を実現する。 - 請求項９のサブバンド多チャネル音声通信会議用反響消去方法において，
再生チャネル数をＩとして、上記各チャネルの受話信号それぞれを、離散時間ｋの関数として、ｘ1(k), ｘ2(k), …, ｘI(k)と表したとき、これらの受話信号を各受話信号の周波数特性について、各チャネルごとに異なる時変の周波数伸縮処理することにより得られるｘ￣1(k), ｘ￣2(k),…, ｘ￣I(k)に変換することにより、各チャネルの受話信号間の相互相関への変動の付加を実現する。 - 請求項９〜１３のサブバンド多チャネル音声通信会議用反響消去方法において、
各チャネルの受話信号間の相互相関への変動の付加方法を、聴覚上の品質劣化が少なくなるように上記Ｎ個の周波数帯域で最適に設定する。 - 請求項１〜１４のサブバンド多チャネル音声通信会議用反響消去方法において、
上記Ｎ個のサブバンド受話信号と上記Ｎ個のサブバンド反響信号を生成するステップは、上記受話信号及び上記反響信号をそれぞれ上記Ｎ個の周波数帯域に分割してからそれぞれ予め決めた間引き率で信号を間引くステップを含む。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24352496A JP3654470B2 (ja) | 1996-09-13 | 1996-09-13 | サブバンド多チャネル音声通信会議用反響消去方法 |
| US08/927,961 US6246760B1 (en) | 1996-09-13 | 1997-09-11 | Subband echo cancellation method for multichannel audio teleconference and echo canceller using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24352496A JP3654470B2 (ja) | 1996-09-13 | 1996-09-13 | サブバンド多チャネル音声通信会議用反響消去方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1093680A JPH1093680A (ja) | 1998-04-10 |
| JP3654470B2 true JP3654470B2 (ja) | 2005-06-02 |
Family
ID=17105193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24352496A Expired - Lifetime JP3654470B2 (ja) | 1996-09-13 | 1996-09-13 | サブバンド多チャネル音声通信会議用反響消去方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6246760B1 (ja) |
| JP (1) | JP3654470B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3710606B2 (ja) * | 1997-09-04 | 2005-10-26 | 松下電器産業株式会社 | エコーキャンセラ |
| DE19806015C2 (de) * | 1998-02-13 | 1999-12-23 | Siemens Ag | Verfahren zur Verbesserung der akustischen Rückhördämpfung in Freisprecheinrichtungen |
| DE19814971A1 (de) * | 1998-04-03 | 1999-10-07 | Daimlerchrysler Aerospace Ag | Verfahren zur Störbefreiung eines Mikrophonsignals |
| AU3430199A (en) * | 1998-04-08 | 1999-11-01 | British Telecommunications Public Limited Company | Echo cancellation |
| JP3781902B2 (ja) * | 1998-07-01 | 2006-06-07 | 株式会社リコー | 音像定位制御装置および音像定位制御方式 |
| US7072465B1 (en) * | 1999-01-06 | 2006-07-04 | Agere Systems, Inc. | Adaptive filter for network echo cancellation |
| US6744886B1 (en) * | 1999-01-06 | 2004-06-01 | Lucent Technologies Inc. | Adaptive filter utilizing proportional affine projection algorithm |
| JP2003500937A (ja) * | 1999-05-25 | 2003-01-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 音響エコー消去 |
| WO2001001571A1 (en) * | 1999-06-24 | 2001-01-04 | Koninklijke Philips Electronics N.V. | Acoustic echo and noise cancellation |
| US6694020B1 (en) * | 1999-09-14 | 2004-02-17 | Agere Systems, Inc. | Frequency domain stereophonic acoustic echo canceller utilizing non-linear transformations |
| FI114258B (fi) * | 2000-06-09 | 2004-09-15 | Nokia Corp | Menetelmä häiriön vaikutuksen vähentämiseksi ja vastaanotin |
| US6700978B2 (en) | 2000-09-08 | 2004-03-02 | Intel Corporation | Method and apparatus for fast converging affine projection based echo canceller |
| US6909782B2 (en) * | 2000-09-08 | 2005-06-21 | Intel Corporation | Fast converging affine projection based echo canceller for sparse multi-path channels |
| KR100355033B1 (ko) * | 2000-12-30 | 2002-10-19 | 주식회사 실트로닉 테크놀로지 | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 |
| US6766021B2 (en) * | 2001-03-13 | 2004-07-20 | Adaptive Digital Technologies | Echo canceller |
| US20020191779A1 (en) * | 2001-03-23 | 2002-12-19 | Tien Pham | System for convolutional echo cancellation by iterative autocorrelation |
| JP3608525B2 (ja) | 2001-05-09 | 2005-01-12 | ヤマハ株式会社 | ２チャンネルエコーキャンセル用フィルタのインパルス応答設定方法および２チャンネルエコーキャンセラ並びに双方向２チャンネル音声伝送装置 |
| GB2379369B (en) * | 2001-08-29 | 2005-06-29 | Zarlink Semiconductor Inc | Subband echo location and double-talk detection in communication systems |
| FR2841721B1 (fr) * | 2002-06-28 | 2004-08-20 | France Telecom | Dispositif de traitement d'echo pour systeme de communication de type monovoie ou multivoies |
| CA2399159A1 (en) * | 2002-08-16 | 2004-02-16 | Dspfactory Ltd. | Convergence improvement for oversampled subband adaptive filters |
| NO318401B1 (no) * | 2003-03-10 | 2005-03-14 | Tandberg Telecom As | Et audio-ekkokanselleringssystem og en fremgangsmate for a tilveiebringe et ekkodempet utgangssignal fra et ekkotillagt signal |
| US20040252652A1 (en) * | 2003-06-10 | 2004-12-16 | Alexander Berestesky | Cross correlation, bulk delay estimation, and echo cancellation |
| DE10351793B4 (de) * | 2003-11-06 | 2006-01-12 | Herbert Buchner | Adaptive Filtervorrichtung und Verfahren zum Verarbeiten eines akustischen Eingangssignals |
| JP4663630B2 (ja) * | 2004-03-22 | 2011-04-06 | ティーオーエー株式会社 | マルチチャンネルシステム同定装置 |
| JP4630956B2 (ja) * | 2004-03-30 | 2011-02-09 | 学校法人早稲田大学 | ハウリング周波数成分強調方法およびその装置、ハウリング検出方法およびその装置、ハウリング抑圧方法およびその装置、ピーク周波数成分強調方法およびその装置 |
| US7352858B2 (en) * | 2004-06-30 | 2008-04-01 | Microsoft Corporation | Multi-channel echo cancellation with round robin regularization |
| US7903137B2 (en) * | 2004-10-15 | 2011-03-08 | Lifesize Communications, Inc. | Videoconferencing echo cancellers |
| US8457614B2 (en) | 2005-04-07 | 2013-06-04 | Clearone Communications, Inc. | Wireless multi-unit conference phone |
| JP4581114B2 (ja) * | 2005-05-16 | 2010-11-17 | 株式会社国際電気通信基礎技術研究所 | 適応型ビーム形成器 |
| US20070036342A1 (en) * | 2005-08-05 | 2007-02-15 | Boillot Marc A | Method and system for operation of a voice activity detector |
| US7426270B2 (en) * | 2005-08-10 | 2008-09-16 | Clarity Technologies, Inc. | Method and system for clear signal capture |
| KR101277041B1 (ko) | 2005-09-01 | 2013-06-24 | 파나소닉 주식회사 | 멀티 채널 음향 신호 처리 장치 및 방법 |
| US8189765B2 (en) * | 2006-07-06 | 2012-05-29 | Panasonic Corporation | Multichannel echo canceller |
| US8199927B1 (en) | 2007-10-31 | 2012-06-12 | ClearOnce Communications, Inc. | Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter |
| US8050398B1 (en) | 2007-10-31 | 2011-11-01 | Clearone Communications, Inc. | Adaptive conferencing pod sidetone compensator connecting to a telephonic device having intermittent sidetone |
| CN101878637B (zh) * | 2007-11-29 | 2013-09-18 | 艾利森电话股份有限公司 | 用于对语音信号进行回声消除的方法和配置 |
| US8170226B2 (en) * | 2008-06-20 | 2012-05-01 | Microsoft Corporation | Acoustic echo cancellation and adaptive filters |
| JP5284475B2 (ja) * | 2008-08-25 | 2013-09-11 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 前白色化を伴うｌｍｓアルゴリズムによって適応させられる適応フィルタの更新済みフィルタ係数を決定する方法 |
| US8605890B2 (en) * | 2008-09-22 | 2013-12-10 | Microsoft Corporation | Multichannel acoustic echo cancellation |
| JP5113794B2 (ja) * | 2009-04-02 | 2013-01-09 | 日本電信電話株式会社 | 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム |
| JP5161157B2 (ja) * | 2009-06-15 | 2013-03-13 | 日本電信電話株式会社 | 周波数領域エコー除去装置、周波数領域エコー除去方法、プログラム |
| US8724798B2 (en) | 2009-11-20 | 2014-05-13 | Adobe Systems Incorporated | System and method for acoustic echo cancellation using spectral decomposition |
| GB2493801B (en) | 2011-08-18 | 2014-05-14 | Ibm | Improved audio quality in teleconferencing |
| JP5698110B2 (ja) * | 2011-11-30 | 2015-04-08 | 日本電信電話株式会社 | マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム |
| CN102457632B (zh) * | 2011-12-29 | 2014-07-30 | 歌尔声学股份有限公司 | 一种多受话端回声消除方法 |
| US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
| US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
| US20140016794A1 (en) * | 2012-07-13 | 2014-01-16 | Conexant Systems, Inc. | Echo cancellation system and method with multiple microphones and multiple speakers |
| CN102876969B (zh) * | 2012-07-31 | 2015-03-04 | 宝山钢铁股份有限公司 | 一种超高强度高韧性耐磨钢板及其制造方法 |
| CN103888630A (zh) | 2012-12-20 | 2014-06-25 | 杜比实验室特许公司 | 用于控制声学回声消除的方法和音频处理装置 |
| US20150371655A1 (en) * | 2014-06-19 | 2015-12-24 | Yang Gao | Acoustic Echo Preprocessing for Speech Enhancement |
| EP3275208B1 (en) | 2015-03-25 | 2019-12-25 | Dolby Laboratories Licensing Corporation | Sub-band mixing of multiple microphones |
| US9712866B2 (en) | 2015-04-16 | 2017-07-18 | Comigo Ltd. | Cancelling TV audio disturbance by set-top boxes in conferences |
| US9947337B1 (en) * | 2017-03-21 | 2018-04-17 | Omnivision Technologies, Inc. | Echo cancellation system and method with reduced residual echo |
| US10013995B1 (en) * | 2017-05-10 | 2018-07-03 | Cirrus Logic, Inc. | Combined reference signal for acoustic echo cancellation |
| GB201709849D0 (en) * | 2017-06-20 | 2017-08-02 | Nokia Technologies Oy | Processing audio signals |
| US10200540B1 (en) * | 2017-08-03 | 2019-02-05 | Bose Corporation | Efficient reutilization of acoustic echo canceler channels |
| CN111149370B (zh) | 2017-09-29 | 2021-10-01 | 杜比实验室特许公司 | 会议***中的啸叫检测 |
| CN111213359B (zh) | 2017-10-04 | 2021-09-10 | 主动音频有限公司 | 回声消除器和用于回声消除器的方法 |
| US10566008B2 (en) * | 2018-03-02 | 2020-02-18 | Cirrus Logic, Inc. | Method and apparatus for acoustic echo suppression |
| JP6894402B2 (ja) * | 2018-05-23 | 2021-06-30 | 国立大学法人岩手大学 | システム同定装置及び方法及びプログラム及び記憶媒体 |
| US11417351B2 (en) | 2018-06-26 | 2022-08-16 | Google Llc | Multi-channel echo cancellation with scenario memory |
| CN110782911A (zh) * | 2018-07-30 | 2020-02-11 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、装置、设备和存储介质 |
| US11600287B2 (en) * | 2019-03-28 | 2023-03-07 | Bose Corporation | Cancellation of vehicle active sound management signals for handsfree systems |
| CN111294474B (zh) * | 2020-02-13 | 2021-04-16 | 杭州国芯科技股份有限公司 | 一种双端通话检测方法 |
| EP4205108A1 (en) * | 2020-09-02 | 2023-07-05 | Huawei Technologies Co., Ltd. | Acoustic processing device for multichannel nonlinear acoustic echo cancellation |
| WO2022048736A1 (en) * | 2020-09-02 | 2022-03-10 | Huawei Technologies Co., Ltd. | Acoustic processing device for mimo acoustic echo cancellation |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04123621A (ja) * | 1990-09-14 | 1992-04-23 | Nippon Telegr & Teleph Corp <Ntt> | 反響消去装置 |
| JP2508574B2 (ja) * | 1992-11-10 | 1996-06-19 | 日本電気株式会社 | 多チャンネルエコ―除去装置 |
| JP3397269B2 (ja) * | 1994-10-26 | 2003-04-14 | 日本電信電話株式会社 | 多チャネル反響消去方法 |
| FR2729024A1 (fr) * | 1994-12-30 | 1996-07-05 | Matra Communication | Annuleur d'echo acoustique avec filtrage en sous-bandes |
| CA2174366C (en) * | 1995-04-20 | 2001-03-27 | Shoji Makino | Subband echo cancellation method using projection algorithm |
| DE69634027T2 (de) * | 1995-08-14 | 2005-12-22 | Nippon Telegraph And Telephone Corp. | Akustischer Teilband-Echokompensator |
| DE69628618T2 (de) * | 1995-09-26 | 2004-05-13 | Nippon Telegraph And Telephone Corp. | Verfahren und Einrichtung zur mehrkanaligen Kompensation eines akustischen Echos |
| US5721782A (en) * | 1996-03-25 | 1998-02-24 | Motorola, Inc. | Partitioned echo canceler utilizing decimation echo location |
-
1996
- 1996-09-13 JP JP24352496A patent/JP3654470B2/ja not_active Expired - Lifetime
-
1997
- 1997-09-11 US US08/927,961 patent/US6246760B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6246760B1 (en) | 2001-06-12 |
| JPH1093680A (ja) | 1998-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3654470B2 (ja) | サブバンド多チャネル音声通信会議用反響消去方法 | |
| JP3397269B2 (ja) | 多チャネル反響消去方法 | |
| CN111292759B (zh) | 一种基于神经网络的立体声回声消除方法及*** | |
| Shimauchi et al. | Stereo projection echo canceller with true echo path estimation | |
| Gilloire et al. | Using auditory properties to improve the behaviour of stereophonic acoustic echo cancellers | |
| RU2495506C2 (ru) | Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки | |
| EP0739102B1 (en) | Subband echo cancellation method using projection algorithm | |
| KR100825214B1 (ko) | 비대칭 다중 채널 필터 | |
| JP3099870B2 (ja) | 音響エコーキャンセラ | |
| US6744887B1 (en) | Acoustic echo processing system | |
| JPH04123621A (ja) | 反響消去装置 | |
| Schobben | Real-time adaptive concepts in acoustics: Blind signal separation and multichannel echo cancellation | |
| CN111213359A9 (zh) | 回声消除器和用于回声消除器的方法 | |
| Benesty et al. | A hybrid mono/stereo acoustic echo canceler | |
| JP3756828B2 (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| JP3673727B2 (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
| JP3402427B2 (ja) | 多チャネル反響消去方法及び装置 | |
| JP3616341B2 (ja) | 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体 | |
| Surin et al. | An adaptive noise decorrelation technique for stereophonic acoustic echo cancellation | |
| JP3707572B2 (ja) | サブバンド反響消去方法 | |
| JP3339612B2 (ja) | 多チャンネル音声通信会議用反響消去方法 | |
| Romoli et al. | An interactive optimization procedure for stereophonic acoustic echo cancellation systems | |
| Chang et al. | Distributed Kalman Filtering for Speech Dereverberation and Noise Reduction in Acoustic Sensor Networks | |
| Bendoumia | New two-microphone simplified sub-band forward algorithm based on separated variable step-sizes for acoustic noise reduction | |
| Nezamdoust et al. | Frequency-Domain Functional Links For Nonlinear Feedback Cancellation In Hearing Aids |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |