JP2011514706A - エコー抑制のためのフィルタ係数を演算する装置および方法 - Google Patents

エコー抑制のためのフィルタ係数を演算する装置および方法 Download PDF

Info

Publication number
JP2011514706A
JP2011514706A JP2010544613A JP2010544613A JP2011514706A JP 2011514706 A JP2011514706 A JP 2011514706A JP 2010544613 A JP2010544613 A JP 2010544613A JP 2010544613 A JP2010544613 A JP 2010544613A JP 2011514706 A JP2011514706 A JP 2011514706A
Authority
JP
Japan
Prior art keywords
signal
filter
echo
speaker
component signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010544613A
Other languages
English (en)
Other versions
JP4954334B2 (ja
Inventor
ファビアン キュッヒ
マルクス カリンガー
クリストフ フォーラー
アレクシス ファブロ
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2011514706A publication Critical patent/JP2011514706A/ja
Application granted granted Critical
Publication of JP4954334B2 publication Critical patent/JP4954334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/237Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using two adaptive filters, e.g. for near end and for end echo cancelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

スピーカ信号によるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタ(210)のフィルタ係数を演算する装置(200)であって、スピーカ信号またはスピーカ信号から導き出された信号から定常成分信号または非定常成分信号を抽出する抽出手段(250)と、 抽出された定常成分信号または抽出された非定常成分信号に基づいて適応フィルタ(210)のフィルタ係数を演算する演算手段(270)とを含む。
【選択図】図2

Description

本発明の実施形態は、例えば、会議システムの局面で使用することができるような、スピーカ信号によるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタのフィルタ係数を計算する装置および方法に関する。会議システムの実施例には、電話会議システム、ビデオ会議システムまたは他の双方向会議システムを含む。
スピーカからのトーン、サウンドおよびノイズが同じ部屋または同じ音響環境内に位置するマイクロフォンによってピックアップされるときはいつでも、音響エコーが生ずる。通信システムにおいて、この音響フィードバック信号は遠端の加入者に返送され、遠端の加入者は自分自身の音声の遅延バージョンを認知する。この局面において、エコー信号は、非常に気が散る外乱を表し、双方向全二重通信を妨げる可能性さえある。加えて、音響エコーは、音響フィードバックループのハウリング作用および他の不安定性に結果としてなり得る。
特許文献1は、マルチチャンネルオーディオ信号におけるエコーを除去する方法および装置に関する。音響エコー制御およびノイズ抑制は、電話、オーディオまたはビデオ会議システムのようなあらゆるハンズフリー通信システムの重要な部分である。本文献に記載されたこの局面におけるマルチチャンネルオーディオスピーカ信号および少なくとも一つのマイクロフォン信号の処理方法は、入力マイクロフォン信号を入力マイクロフォン短時間スペクトルに変換するステップと、スピーカ信号から結合されたスピーカ信号短時間スペクトルを演算するステップと、入力マイクロフォン信号から結合されたマイクロフォン短時間スペクトルを演算するステップと、結合されたマイクロフォン信号短時間スペクトルのなかのエコーの振幅スペクトルまたはパワースペクトルを推定するステップと、入力マイクロフォン短時間スペクトルの振幅修正のためのゲインフィルタを演算するステップと、ゲインフィルタを少なくとも1つの入力マイクロフォンスペクトルに適用するステップと、フィルタされた入力マイクロフォンスペクトルを時間ドメインに変換するステップとを含む。
国際公開第2006/111370号
今日使用されるような、要約するとエコー除去システムとも称することができる、エコー抑制システムおよびエコーキャンセレーションシステムは、適応フィルタの使用にもかかわらず、それらが異なるサウンド、トーンおよびノイズ成分に最適な方法で対処しないという問題をしばしば有している。例えば、このような通信システムのマイクロフォン信号において、1つの成分が他方と比較して支配的である場合、最適でないスピーカ信号のエコーの抑制が起こる。他方、異なる音源成分の組成が偏移するケースでは、エコー抑制またはエコーキャンセレーションシステムの使用によって音のアーチファクトが生じ、音のアーチファクトもまた極めて不快に認知される可能性がある。
それ故に、本発明の目的は、この従来技術から始まり、エコー抑制システムまたはエコーキャンセレーションシステムの音響品質を改善することである。
この目的は、請求項1に記載の装置、請求項23に記載の方法または請求項24に記載のプログラムによって達成される。
スピーカ信号によるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタのフィルタ係数を演算する装置の一実施形態は、スピーカ信号から、または、スピーカ信号から導き出された信号から、定常成分信号または非定常成分信号を抽出する抽出手段を備える。それは、抽出された定常成分信号または抽出された非定常成分信号に基づいて適応フィルタのフィルタ係数を演算する演算手段を更に備える。
この局面において、スピーカ信号によるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタのフィルタ係数を演算する方法の一実施形態は、スピーカ信号から、または、スピーカ信号から導き出された信号から、定常成分信号または非定常成分信号を抽出することと、抽出された定常成分信号または抽出された非定常成分信号に基づいて適応フィルタのフィルタ係数を演算することとを備える。
本発明の実施形態は、スピーカ信号がその統計的特性を解析され、マイクロフォン信号のなかのエコーを抑制するための適応フィルタリングのフィルタ係数を演算するという局面の中で、スピーカ信号、または、スピーカ信号から導き出された信号の、統計的特性を改善することができるという点において、音声品質の改善を達成できるという発見に基づいている。この目的に対して、本発明の実施形態によれば、スピーカ信号またはスピーカ信号から導き出された信号は、定常成分および/または非定常成分に対して、それぞれのスピーカ信号またはそれから導き出された信号から1つ以上の対応する成分信号が抽出されるという点で、解析される。適応フィルタのフィルタ係数の演算は、次に、抽出された定常成分信号または抽出された非定常成分信号に基づいて実行される。
信号、すなわち、例えばスピーカ信号またはスピーカ信号から導き出された信号の定常成分は、例えば、周波数関連ドメインにおいて、時間上でわずかにしか変動しないエネルギー関連値を表すことができるか、または、対応する定常成分を形成することができる。このような信号の定常成分は、エネルギー関連値がそれぞれの信号のバンドパス信号に対して決定され、時間経過上の平均演算が実行されるという点で、例えば、周波数関連ドメインにおいて決定されるかもしれない。平均演算は、おそらく異なる演算仕様を用いながら、浮動平均演算として行うことができる。このような演算は、例えば、IIRフィルタ構成(IIR=無限インパルス応答)を活用して、再帰的方法で行うことができる。同様に、対応する平均演算は、FIRフィルタ構成(FIR=有限インパルス応答)を用いて行うこともできる。
したがって、スピーカ信号または導き出された信号の非定常成分は、それぞれの信号の対応するバンドパス信号に基づいて決定することができる。例えば、本発明の実施形態において、関連する非定常成分信号は、例えば、定常成分信号およびゲインフィルタに基づいて決定することができる。実施形態において、ゲインフィルタは、少なくとも1つの制御パラメータに更に依存することができ、本発明の実施形態において、例えば、スピーカ信号およびマイクロフォン信号、またはそれから導き出された信号を考慮に入れたコヒーレンス関数に基づいて決定される。
本発明の実施形態において、第1のフィルタ係数は定常成分信号に基づいて演算することができ、第2のフィルタ係数は非定常成分信号に基づいて演算することができ、結局それらに基づいて適応フィルタのフィルタ係数が決定される。これは、例えば、適応フィルタのフィルタ係数が、第1のフィルタ係数に基づく第1のフィルタと、第2のフィルタに基づく第2のフィルタの直列接続に対応するように行われる。本発明の実施形態において、第1のフィルタ係数または第2のフィルタ係数のいずれかに基づいてフィルタ係数を決定することも可能である。
更なる実施形態は、本明細書の更なる過程において、それらの構成および動作モードに関連して記述される。特定の実施形態に依存して、定常成分信号および非定常成分信号は、それぞれの信号から推定される信号であってもよい。同様に、本発明の実施形態による装置は、フィルタ係数に基づいてマイクロフォン信号をフィルタリングするように構成される抑制フィルタリング手段を更に備えることができる。
本発明の実施形態は、添付図面を参照して更に詳細に以下に説明される。それ故、本発明の実施形態は、以下の図面に関してよりよく理解することができる。
音響エコー除去問題の一般的なセットアップを示す。 本発明の実施形態によるフィルタ係数を演算する装置のブロック図を示す。 本発明の実施形態による異なる抽出手段のブロック図を示す。 本発明の実施形態による異なる抽出手段のブロック図を示す。 本発明の実施形態による異なる抽出手段のブロック図を示す。 本発明の実施形態によるオプションのエコー推定フィルタのブロック図を示す。 本発明の実施形態に係るオプションのエコー推定フィルタのブロック図を示す。 本発明の各種実施形態による演算手段のブロック図を示す。 本発明の各種実施形態による演算手段のブロック図を示す。 本発明の各種実施形態による演算手段のブロック図を示す。 本発明の各種実施形態による演算手段のブロック図を示す。 本発明の各種実施形態による演算手段のブロック図を示す。 本発明による更なる実施形態のブロック図を示す。 フィルタ係数を演算する装置の形での本発明の更なる実施形態のブロック図を示す。 スピーカ信号の定常成分と非定常成分の分離を図示する。 (a)は、1KHzの周波数での非定常成分に対するエコー抑制フィルタを示し、(b)は、信号の定常成分に対する関連エコー抑制フィルタを示す。 定常成分と非定常成分と予測ゲインの強さの関係をスピーカチャネルの音声アクティビティとともに図示する。 本発明の更なる実施形態のブロック図を示す。 本発明の更なる実施形態のブロック図を示す。 マルチチャンネル実施態様のための本発明の実施形態のブロック図を示す。 人間聴覚系の不均一な周波数分解能を模擬するための均一な短時間フーリエ変換スペクトルのグループ化の図解説明を示す。 (a)は、ゲインフィルタの周波数上の平滑化に使用するハン補間フィルタを示し、(b)は、ゲインフィルタ係数の経過をその補間された曲線とともに示す。
図2〜15を参照して定常信号成分と非定常信号成分の分離を用いながら音響エコー抑制を可能にする本発明のさまざまな実施形態を記述する前に、図1を参照して音響エコー除去問題の一般的なセットアップが最初に図解説明される。
スピーカのサウンド、トーンおよびノイズが同じ部屋または同じ音響環境に設置されたマイクロフォンによってピックアップされるときはいつでも、音響エコーが生ずる。通信システムにおいて、これらの音響フィードバック信号は、遠端の加入者に返送され、遠端の加入者は自分自身の音声の遅延バージョンを認知する。この局面において、エコー信号は、非常に気が散る外乱を表し、双方向全二重通信を阻害する可能性さえある。加えて、音響エコーは、音響フィードバックループのハウリング作用および他の不安定性に結果としてなリ得る。それ故、全二重に適応するハンズフリー通信システムにおいて、エコー制御は、スピーカとマイクロフォンの間の結合を抑制するために必要とされる。図1は、音響エコー問題を図示する。
図1は、例えば、1つの部屋でもよい音響環境120において、マイクロフォン110とともに提供することができるスピーカ100を示す。同様に、音響環境120は、車両の内部でもよい。
この局面において、図1において整数時間指標nを有するx[n]とも称されるスピーカ信号130は、スピーカ100に利用可能とされる。マイクロフォン110は、音響環境120から生じるノイズ、サウンドおよびトーンをピックアップし、図1においてy[n]とも称されるマイクロフォン信号140を生成する。図1において、スピーカ信号130とマイクロフォン信号140の両方は、入力信号としてエコー除去処理ユニット150に提供され、エコー除去処理ユニット150は、図1においてe[n]とも称されるマイクロフォン信号140のエコーを抑制された信号160を出力に提供する。
図1は、このように、基本的に、双方向通信システムにおいて生ずる可能性のあるような音響エコー問題を図示する。スピーカによって出力される遠隔通信システムの遠端の信号は、直接パス170で、および、間接パスとも称される反射パス180−1、180−2を介して、マイクロフォンに到達する。このため、マイクロフォン110は、ローカルの近端で音声をピックアップするだけでなく、次に遠端でユーザにフィードバックされるエコーも記録する。
言い換えれば、スピーカ信号x[n]は、マイクロフォン信号y[n]にフィードバックされる。エコー除去処理装置150において実行されるエコー除去処理は、理想的には、遠隔通信システムのローカルの近端の音声が通過することを許容しながら、このエコーを除去する。
このエコーに対処する従来方法は、参考文献1に記載されているように、エコー信号の伝播パスに応じて音響エコーキャンセラ(AEC)を設置することである。このような音響エコーキャンセラにおいて、エコー信号のデジタル複製が推定され、引き続いて測定されたまたは観測されたマイクロフォン信号から減算される。音響エコーをキャンセルする標準アプローチは、参考文献1にも記載されていているように、エコーパスは線形FIRフィルタ(FIR=有限インパルス応答)によってモデル化することができるという仮定に依存しており、したがって音響エコーキャンセラを実装する。エコーパスは、通常は知られておらず、そのうえ動作時間中に変化する可能性があるので、このような音響エコーキャンセラの線形フィルタは、通常は順応して実現される。通常のエコーパスをモデル化することができるように、それぞれのサンプリングレートに関して通常は数百ミリ秒の長さのFIRフィルタが用いられ、それはまた高水準の演算量を意味する。
実際には、これらの従来のアプローチに対する達成可能なエコー減衰は、さまざまな原因に対してしばしば充分でない。さまざまな原因には、参考文献2に記載されているように、例えば、エコーパスの過小モデル化に結果としてなる、長い残響時間(エコーテール効果)、例えばとりわけ低コストのオーディオハードウェアの振動作用または非線形動作による非線形エコー成分、および、エコーパスに関する高い時間変化率のケースにおける収束問題を含む。それ故、音響エコーキャンセラは、参考文献3に記載されているように、エコーキャンセラが除去することができない残留エコーやエコー成分を除去するために、非線形ポストプロセッサと結合される。一般に、残留エコーの抑制は、参考文献4に記載されているように、周波数選択式で実行される。実際に、全ての音響エコーキャンセラは、それが聞こえなくなるように十分にエコーを低減することにあまりにしばしば失敗するので、実質的にこのようなポストプロセッサを用いる。
近年、サブバンドドメインに対する多くの音響エコー抑制装置が参考文献5、6において提案されており、これらは上述の非線形ポストプロセッサに類似点を持つが、音響エコーキャンセラに対して、そして、エコーパスのインパルス応答の推定に対して必要性は有しない。これらのシステムは、低い演算量であって、高度な二重性を達成しながらロバストであることが主張されている。
参考文献6において提案されたエコー抑制方式は、スピーカ信号とマイクロフォン信号のスペクトルを演算するために、短時間フーリエ変換(STFT)を適用する。2つの信号の短時間変換されたもの間のディレイ値dが、対応するスピーカ信号に適用され、前記ディレイ値は、大部分のエコーパスのインパルス応答の作用が考慮に入れられるように選択される。
次に、初期のエコーパスの効果を模擬する実数値のエコー推定フィルタが推定される。推定されたエコー振幅スペクトルを取得するために、推定されたディレイ値およびエコー推定フィルタがスピーカスペクトルに適用される。エコー振幅スペクトルの推定を用いながら、実数値のエコー抑制フィルタが演算され、エコーを抑制するためにマイクロフォン信号スペクトルに適用される。
上述の音響エコー抑制システムの欠点は、それらが定常信号成分と非定常信号成分の混合から成るスピーカ信号に関してうまく実行しないことである。これは、例えば、遠端の音声がノイズの多い環境で記録されるケースである。そのとき、スピーカ信号およびエコー信号は、非定常の遠端の音声と定常の遠端のバックグラウンドノイズを含む。
現在の音響エコー抑制システムは、スピーカ信号に対する1つのエコー信号除去フィルタのみを決定する。従って、これらのアプローチは、異なる特性を有するエコー成分が近端の信号において異なる種類の外乱を生じさせ、それ故それらは異なって処理すべきであることを考慮していない。
図2は、エコー抑制を改善し、従って達成可能な音声品質を改善するために、関連する方法のように、定常信号と非定常信号の分離を利用する、適応フィルタ210のフィルタ係数を演算する装置200の第一実施形態を示す。本発明の実施形態は、このように、それらの統計的特性および特徴に従って異なる種類の信号の抑制を取り扱うことを可能にし、アーチファクトをより被りにくい、より効果的なエコー抑制につながる。
序言として、本発明の実施形態による装置200のブロック図が最初に説明され、その後に、本発明のさまざまな実施形態に関して図3〜5に関連して更なる実施態様の詳細が説明される。この局面において、本発明の実施形態による装置のブロック図が、図において示され、記載されている場合であっても、前記ブロックダイヤグラムは、対応する方法のステップを流れの方向を示しながら描く、対応する方法のフローチャートとして理解することもできることを指摘することは有用である。言い換えれば、本明細書に関連して描かれるブロック図は、個々の手段およびユニットの個々の方法ステップを反映する、対応するフローチャートとして理解することもできる。
加えて、この点において、本明細書の文脈のなかで、同一または類似の符号が、機能において同一または類似の手段、目的および構成に用いられることに注目することは有用である。他方では、同一または類似の符号によって示される手段、ユニットおよび目的は、同一または類似の構成および機能的な特徴を含む。言い換えれば、本明細書において、同一の参照番号は、同一の動作、機能または構成、または、類似の動作、機能または構成である手段、ユニットおよび目的を示す。このことは、明示的に除外されない限り、記載の一節が1つの実施形態から他に対して転写することができるので、本発明の実施形態のより短くてより簡潔な表現を可能とする。
加えて、本明細書において、参照符号の要約は、1つの図または実施形態の中で2回以上発生する手段、構成および物体のために用いられる。例えば、図1に示される2つの間接パス180−1、180−2は、実際に図1において異なる符号が与えられているが、間接パス自体が示される場合、または、それの一般的な特徴が記載される場合は、本明細書において要約参照符号180のみが用いられる。これは、また、本明細書の理解および簡潔性を改善するのに役立つ。
装置200は、図2に示されるように、図2に示されないスピーカのスピーカ信号のための入力220を含む。入力220は、装置200のオプションの構成要素として図2において点線で表される時間/周波数変換手段230に、入力側で接続される。時間/周波数変換手段230は、オプションの構成要素であるが、装置200の局面の中で必ずしも実装される必要がないオプションの第1のエコー推定フィルタ240に接続される。エコー推定フィルタ240の出力は、抽出手段250の入力250aに接続され、次に、抽出手段250は、第1の出力250cおよび第2の出力250dによって、オプションの第2のエコー推定フィルタ260に、第1の入力260aおよび第2の入力260bを介して接続される。このエコー推定フィルタもまた、本発明の実施形態において、その実施態様に関連して、なしで済ますことができる。例えば、装置200の本発明の異なる実施形態において、第1または第2のエコー推定フィルタ240、260のいずれかを完全には有しない装置200とちょうど同じように、第1のエコー推定フィルタ240を第2のエコー推定フィルタ260とともに実装することができる。もちろん、2つのエコー推定フィルタ240、260のうちの1つのみが実装される実施態様も可能である。更なる構成要素の実施態様も可能である。
第2のエコー推定フィルタ260が存在する場合、第2のエコー推定フィルタ260は、第1の出力260cおよび第2の出力260dによって、適応フィルタ210のフィルタ係数を演算する演算手段270の第1の入力270aおよび第2の入力270bに接続される。演算手段270は、また、出力270dを介して、適応フィルタ210の入力に接続される。
加えて、適応フィルタ210の入力は、オプションの時間/周波数変換手段290を介して、マイクロフォン信号の入力280に接続される。適応フィルタ210の出力は、オプションの周波数/時間変換手段300を介して、エコーをキャンセルされたマイクロフォン信号のための出力に接続される。加えて、入力280は、また、オプションとして、時間/周波数変換手段290を介して、抽出手段250の第2の入力250bおよび演算手段270の第3の入力270cに接続される。しかしながら、抽出手段250および演算手段270のこれらの2つの入力250b、270cは、オプションであり、本発明の各種実施形態において互いに独立に実装することができる。
装置200は、例えば、図1に示されたエコー除去処理ユニット150において実装することができる。
図2に示された装置200の実施形態の動作モードがより詳細に説明される前に、本発明の実施形態は、基本的に、ディスクリート回路のなかに、および、集積回路または他のより複雑な回路のなかに実装することができることも述べられるべきである。例えば、本発明の実施形態は、データ処理手段、すなわちプロセッサ、集積システム(SOC=システムオンチップ)、特定用途向け集積回路(ASIC)または他の集積回路および特定目的プロセッサにおいて実装することもできる。この局面において、異なる手段において、一時的に連続的な方法でそれぞれのデータ処理手段の同一の回路部品が使用されることは、まさに可能である。例えば、プロセッサの算術論理ユニット(ALU)の同じ論理ゲートを、第1に抽出手段250の機能の局面のなかで、第2に演算手段270の機能の局面のなかで用いることができる。にもかかわらず、2つの手段は、例えば、上述のケースにおいて、異なる手段を共同定義する異なる制御命令に関するように、更なる特徴に関して少なからず異なる。異なる手段の回路‐工学の実施態様の部分的または完全なオーバーラップは、それ故、まさに可能である。
本明細書の手段において、お互いに接続されている構成要素および構成は、間接的にまたは直接に相互接続された手段、構成要素および構成として理解されるのは、少なからずこの理由による。例えば、データ処理手段に基づく実施態様がある場合、接続は、そこにラッチされた信号の形で中間結果を持つメモリの記憶場所によって行うことができる。
加えて、本発明の実施形態は、しかしながら、明細書の過程において主にデジタルの実施態様が記載されている場合であっても、基本的にデジタルの実施態様に限定されない。例えば、アナログの実施態様またはアナログとデジタルの混合された実施態様が原則として可能である。このようなケースにおいて、例えば、付加的なA/DまたはD/Aコンバータ(アナログ/デジタルおよびデジタル/アナログ・コンバータ)を、おそらく1つのタイプの信号を他方に対して形成するように、使用することができる。
図2に描かれたように、装置200の動作モードに関して、装置200の入力220に利用可能とされるスピーカ信号は、オプションとして存在する時間/周波数変換手段230によって、おそらく周波数関連ドメインに変換される。時間/周波数変換手段230は、データブロック(フレーム)上で動作する実施態様のケースにおいて、それぞれのデータブロックのスペクトル表現への変換を保証し、その結果、時間/周波数変換手段230の出力に提供されるスペクトル表現は、時間ドメインのデータブロックに対応する。特定の実施態様に依存して、フーリエ変換ベースの変換手段、サブバンドベースの変換手段、またはQMFベースの変換手段(QMF=直交ミラーフィルタ)を時間/周波数変換手段230の局面のなかで用いることができる。実装された時間/周波数変換手段230の正確な動作モードに拘りなく、前記変換手段230は、その入力に提供される信号(時間ドメインに存在する)を複数のバンドパス信号に変換する。各バンドパス信号は、例えば、中心周波数、それぞれのバンドの下側の遮断周波数、またはそれぞれのバンドの上側の遮断周波数とすることができる、それに関連した特性周波数を例えば有している。特定の実施態様に依存して、個々のバンドパス信号は、複数の特性周波数またはそれらに関連した更なる特性パラメータを有することができる。
第1のエコー推定フィルタ240は、音響環境120(図1の)を調節する可能性を表し、理想的には、その出力に、スピーカ信号のためにマイクロフォン信号によってピックアップされる信号に対応する振幅スペクトルを含む信号が存在する。しかしながら、既に上述されたように、第1のエコー推定フィルタ240は、おそらく実装されないかもしれないオプションのフィルタである。
スピーカ信号、または、オプションの構成要素230、240によってオプションとして処理され、フィルタされ、それ故しかるべく導き出された信号は、抽出手段250に対して、その第1の入力に提供される。抽出手段250は、スピーカ信号またはスピーカ信号から導き出された信号から、定常成分信号および非定常成分信号を生成するように構成される。これは、本発明の実施形態の更なる記載に示されるように、定常成分信号を決定するために、入来する信号を平均演算することによって、遂行することができる。
特定の実施態様に依存して、信号は「実際の」定常成分から偏移した推定信号とすることができる。したがって、非定常成分、または非定常成分信号は、図2に描かれていないゲインフィルタをおそらく用いながら、定常成分信号から決定することができる。
本発明の他の実施形態において、抽出手段250は、また、例えば記載されているものと異なる不変の尺度を用いることもできる。
非定常成分、または非定常成分信号に関して、前記成分または信号は、例えば、入力信号における時間的変化の比較によって決定することもできる。また、装置200の局面のなかの、または、装置200の環境での音声コーデックの実施態様のケースにおいて、言及された2つの信号のうちの少なくとも1つを抽出するために、抽出手段250において、おそらく予測尺度を用いることができる。このような予測尺度は、例えば、LPCコーデック(LPC=線形予測符号化)のエラー信号を表すことができる。
抽出手段250は、実施態様に依存して、すでに上述され、異なる信号を提供することができる2つの出力を備える。例えば、少なくとも定常成分信号または非定常成分信号は、通常は抽出手段250の第1の出力に提供される。2つの成分信号の他の1つ、または第1の出力に出力される信号に関する情報を備える信号は、おそらく第2の出力に提供することができる。これは、例えば、演算手段270におけるそれぞれの信号の更なる処理のパラメータでもよく、または、単に2つの成分信号のどちらが送信されるかを示す制御信号であってもよい。
オプションの第2のエコー推定フィルタ260は、一般に、機能に関して第1のエコー推定フィルタ240に対応する。第2のエコー推定フィルタ260はまた、このような方法でエコー推定を実行することが実装されると仮定するならば、マイクロフォンによって記録された信号に対応する信号を取得するように入力220に提供されるスピーカ信号を推定することが、理想的に更なるノイズ源が存在しないという条件で一般に可能である。第1のエコー推定フィルタ240は、第2のエコー推定フィルタ260と同様に、マイクロフォンによってピックアップされたスピーカのエコーの遅延を考慮に入れるディレイ手段をオプションで備える。言い換えれば、フィルタ240、260は、ディレイ手段の付加的な実装またはそれらの内部構成のいずれかによって、スピーカ信号またはそれから導き出された信号を遅延させるために用いることもできる。一般に、一方ではエコー推定、他方では遅延の、2つの機能の分離は、例えば、第1のエコー推定フィルタ240がそれぞれの信号を遅延させるためにのみ用いられるのに対して、第2のエコー推定フィルタ260が実際のエコー推定を実行するということにおいて、さらにまた可能である。
第2のエコー推定フィルタ260によって提供される信号は、次に演算手段270に提供され、演算手段270は、抽出された定常成分信号または抽出された非定常成分信号に基づいて適応フィルタ210のフィルタ係数を演算または決定するように構成される。特定の実施態様に依存して、演算手段270は、この目的のために、入力280に提供されたマイクロフォン信号を、または、周波数関連ドメインに変換されたマイクロフォン信号を、フォールバックすることもできる。この信号は、以下で詳しく述べるように、おそらく抽出手段250に利用可能とすることもできる。
演算手段270からフィルタ係数を取得する適応フィルタ210は、次に、更なる処理のために、その出力においてマイクロフォン信号の少なくとも部分的にエコーをキャンセルされたバージョンを提供するために、マイクロフォン信号の実際のスペクトル修正を実行する。特定の実施態様に依存して、エコーキャンセルされた、または、この方法でスペクトル修正されたマイクロフォン信号は、周波数/時間変換手段300を介して時間ドメインに戻す変換を行うことができ、または直接出力310に出力することができる。例えば、変換手段300による時間ドメインへの逆変換は、例えば、対応するマイクロフォン信号がどっちみち周波数ドメインまたは周波数関連ドメインに符号化されるときには、有用でないかもしれない。
図2に示された装置200のブロック図の個々の構成要素が図3a〜5eに関連して更に詳細に記載される前に、スピーカ信号またはスピーカ信号から導き出された信号の処理は、個々の関連するバンドパス信号、複数のバンドパス信号、多数のバンドパス信号または全てのバンドパス信号がしかるべく処理されるように、一般に周波数関連ドメインにおいて実行することができることがこの点で注目される。
個々の手段およびフィルタは、特定の実施態様に依存して、例えば、エネルギー関連値を用いながら動作することができることにも注目される。エネルギー関連値は、偶数の指数を有する実数の基部のパワーとして形成される、または、何らかの累乗を有する値の振幅のパワー(絶対値)として形成される値である。例えば、短時間スペクトルが個々のフィルタまたは個々の手段において処理される場合、前記スペクトルは、エネルギー関連値、例えば、関連するスペクトル係数の振幅の自乗として形成されるエネルギー値に関して動作することができる。同様に、振幅スペクトル、すなわちそれぞれのスペクトル係数の絶対値は、指数1を用いることができる。言い換えれば、実数値または複素数値である任意の値zから始まる、|z|m(mは正数、例えば自然数)に比例する値を、エネルギー関連値として用いることができる。実数値zのケースでは、z2mに比例する値をエネルギー関連値としてさらに用いることができる。
図3aは、装置200の局面において実装することができるような、本発明の実施形態による抽出手段250のブロック図を示す。抽出手段250は、単に第1の入力250aを備え、図2のオプションの第1のエコー推定フィルタ240の出力に接続される。しかしながら、抽出手段250は、図3aに示されるように、第2の入力(図2における入力250b)を備えない。
抽出手段250の第1の入力250aは、入力250aに提供される信号の平均値を決定するように構成される平均化手段320に接続される。用語「信号」は、ここで、時間ドメインの信号(時間信号)だけでなく、それぞれの信号が時間ドメインにおけるスペクトル表現の信号である、周波数ドメインまたは周波数関連ドメインの信号も含む。同様に、信号は、周波数ドメインにおける振幅値(スペクトル振幅)、エネルギー値(振幅の自乗)、スペクトルおよび他の導き出された値や量のような、先に述べた信号から導き出された情報を含み、送信することもできる。
図3aに示された抽出手段250において、入力250aに提供された前記信号は、平均化手段320の出力において、定常成分信号として、抽出手段250の第1の出力250cに出力される。図2にも示されたように、第1の出力250cは、オプションの第2のエコー推定フィルタ260および/または演算手段270に接続される。
第1の入力250aに提供された信号は、平均化手段320の出力に提供される定常成分信号とともに、更にゲインフィルタ330に提供され、ゲインフィルタ330は出力に非定常成分信号を出力し、それを抽出手段250の第2の出力250dに転送する。ゲインフィルタ330は、定常成分信号と同様に、第1の入力250aに入来するスピーカ信号またはそれから導き出された信号に基づいて、非定常成分信号を決定するように構成される。平均化手段320とゲインフィルタ330の両方の更なる機能に関して、図2に関して与えられた上記説明と、本明細書の更なる過程において与えられる更なる説明が参照される。
図3bは、装置200において本発明の実施形態に使用することができるような更なる抽出手段250を示す。図3bに示された抽出手段250は、基本的に、入力側において第1の入力250aに接続されるパラメータ演算手段340を更に備えるという点で、図3aに示されたものと異なる。パラメータ演算手段340は、出力によって、ゲインフィルタ330に接続され、ゲインフィルタ330は、非定常成分信号を演算するパラメータ演算手段340によって提供される制御パラメータを有する。動作モードに関するより具体的な詳細のために、以下に続く記載が参照される。
図3bに示された抽出手段250は、オプションの構成要素として、一方ではパラメータ演算手段340の更なる入力に、他方では図2にも示されたようにマイクロフォン信号の入力280に、おそらく間接的に接続される、図2に関連してすでに描かれた第2の入力250bを更に備える。本ケースにおいて、間接接続は、おそらく時間/周波数変換手段290を利用して遂行することができる。また、パラメータ演算手段340の動作モードに関して、以下に続く記載が参照される。
図3cは、図2の装置200において使用することができるような抽出手段250の更なる潜在的な実施態様を示す。図3cに示された抽出手段250は、ここで、図3bに示されたもの基づいており、パラメータ演算手段340は、オプションの構成要素として、その接続とともに示されている。図3cに示された抽出手段250は、図3bに示された抽出手段250とは異なり、各ケースにおいて1つの入力によってそれぞれ平均化手段およびゲインフィルタ330の出力に接続される分配手段350を備える。分配手段350は、それに提供される平均化手段320の定常成分信号およびゲインフィルタ330の非定常成分信号の両方を有する。
分配手段350は、出力側で、抽出手段250の第1の出力250cおよび第2の出力250dの両方に接続される。分配手段350は、それに利用可能とされる2つの成分信号に基づいて、2つのいずれが第1の出力250cを介して次の構成要素に提供されるかを決定するために実装される。2つの成分信号のうちどちらが関係するかに依存して、分配手段350は、抽出手段250の第2の出力250dを介して、例えば第1の出力250cに2つの成分信号のどちらが存在するかの情報を含む制御信号を更に出力するか、または、分配手段350は、成分信号出力の更なる処理のためのパラメータを含む対応する制御信号を出力する。制御信号の局面の中で送信することができる異なるパラメータに関して、例えば以下に続く記載が参照される。
特定の実施態様に依存して、分配手段350は、他の成分信号と比較して、より高いラウドネス、より高いエネルギー、または、より高いエネルギー値を含む成分信号を、第1の出力250cに転送するように実装することができる。異なる成分信号は、例えば、異なるバンド信号に対して出力することもできる。
図3cに示された抽出手段250は、このように、図3aおよび図3bに示されたそれらとは、2つの成分信号のうちの1つのみが抽出手段250の第1の出力250cに出力されるという点で、少なからず異なる。図2に関連してすでに説明されたように、第1の出力250cに出力される成分信号出力に関する情報を含む制御信号のみが図3cに示される抽出手段250によって出力される。
図4aは、図2においてオプションの構成要素としても示されたような、第2のエコー推定フィルタ260の第一実施形態を示す。オプションの第2のエコー推定フィルタ260は、2つのフィルタステージ360−1、360−2を備え、それらは、入力によって、それぞれ第2のエコー推定フィルタ260の入力260a、260bに接続される。2つのフィルタステージ360−1、360−2は、加えて、出力によって、それぞれ第2のエコー推定フィルタ260の出力260c、260dに接続される。
この局面において、図4aに示されたオプションの第2のエコー推定フィルタ260は、図3aおよび図3bに示された抽出手段250に関連して使用することができるものである。より詳しくは、図4aに示された第2のエコー推定フィルタ260は、フィルタステージ360−1による定常成分信号とフィルタステージ360−2による非定常成分信号の両方の並列処理を可能にする。2つのフィルタステージ360−1、360−2は、一般に、音響環境120(図1に示されたような)を調節するために、定常成分信号と非定常成分信号に対して異なるエコー推定フィルタが使用されるか否かに依存して、同一または異なって構成することができる。当然、2つのフィルタステージ360−1、360−2は、回路工学の観点から、例えば1つの信号をラッチまたはバッファリングするときに同じ回路素子によって実現することもできる。
図2に関連してエコー推定フィルタ240、260の二層の実施態様の可能性について論ずることに関してすでに説明されたように、フィルタステージ360は、例えば、単に遅延を実現するフィルタステージであってもよい。もちろん、第2のエコー推定フィルタ260の局面のなかで、記載されたエコー推定フィルタステージとは別のフィルタステージを使用することもできる。フィルタステージ360は、例えば、それが調整され、影響を与えるフィルタリング作用を実装するために、制御信号を受信するオプションの制御入力を備える。
図4bは、オプションの第2のエコー推定フィルタ260の実施態様の更なる形を示し、それは、図4aに示されたものに対して、単に1つのフィルタステージ360のみが実装されるという点で異なり、第1の入力260aと第1の出力260cの間に接続される。図4bに示された実施形態において、第2の入力260bに入来する信号は、第2の出力260dに転送される。
図4bに示された第2のエコー推定フィルタ260は、このように、例えば、図3cに表されたような抽出手段250の局面のなかで使用することができる。このケースにおいて、第1の入力260aに入来する成分信号の情報を含む制御信号は、エコー推定フィルタ260によって修正されない。
もちろん、図4bに示されたエコー推定フィルタは、一実施形態において、例えば2つの成分信号のうちの1つのみがフィルタステージ360によって修正されるとき、図3aおよび図3bに示された抽出手段250によって実装することもできる。ここで、もちろん、第2の入力260bに入来する信号をフィルタするエコー推定フィルタ260のミラーバージョンを使用することもできる。
図5aは、図2の装置200に関連して使用することができるような、本発明の実施形態による演算手段270の実施態様を示す。再び、演算手段270は、ここで第1の入力270aおよび第2の入力270bを備える。演算手段270は、第1および第2のフィルタ演算手段370−1、370−2を更に備え、それらは、それぞれ、入力側で、演算手段270の2つの入力270a、270bの1つに接続される。より詳しくは、フィルタ演算手段370−1は、入力側で、例えば、定常成分信号を受信するために、第1の入力270aに接続される。したがって、第2のフィルタ演算手段370−2は、例えば、図3aまたは3bによれば、抽出手段250から非定常成分信号を受信するために、第2の入力270bに接続される。第2のエコー推定フィルタ260が抽出手段250と演算手段270の間に接続される場合には、それぞれの成分信号から導き出された信号は、両方のフィルタ演算手段370に提供される。
2つのフィルタ演算手段370は、1つの出力によって、出力側で出力270dに接続される結合手段380に接続される。オプションの構成要素として、図5aに示される演算手段270は、第3の入力270cを更に備え、それは、演算手段270の中で、両方のフィルタ演算手段370に接続され、図2にも示されているように、直接または間接的にマイクロフォン信号の入力280に接続される。
演算手段270の動作モードに関して、両方のフィルタ演算手段370は、それらが利用可能とされた成分信号に基づいて、オプションとして入力280からのマイクロフォン信号を考慮に入れながら、それらが引き続いて結合手段380に利用可能とする、対応するフィルタ係数を演算するように構成される。2つのフィルタ演算手段370が、それらに利用可能とされ、おそらく第2のエコー推定フィルタ260によって修正された、それぞれの成分信号から導き出された信号を有する場合、フィルタ演算手段370は、これらの信号に基づいてそれぞれの演算を実行する。しかしながら、これにかかわりなく、フィルタ演算手段370は、このように、抽出手段250によって提供された成分信号に基づいて、それぞれ第1および第2のフィルタ係数を演算するように構成される。
このように演算された第1および第2のフィルタ係数は、次に、結合手段380によって一組のフィルタ係数に結合され、次に、演算手段270の出力270dを介して、適応フィルタ210に対して入力データとして提供される。結合は、複数の異なる動作によって達成することができる。適応フィルタ210のフィルタ係数を取得するために、使用された時間/周波数変換手段230、290および関連する周波数/時間変換手段300にも少なからず依存する実際に実装されたフィルタ技術に依存して、第1のフィルタ係数と第2のフィルタ係数を結合する多数の異なる可能性があり得る。対応する実施例は、明細書の更なる過程において、より詳細に説明される。
図5bは、図5aのそれに非常に類似する第2の演算手段270を示す。それは、単に、図5aの結合手段380の代わりに選択手段390がここで実装され、前記選択手段390は、第1のフィルタ係数および第2のフィルタ係数に基づいて一組のフィルタ係数を出力270dに出力し、そのフィルタ係数が第1のフィルタ演算手段370−1の第1のフィルタ係数または第2のフィルタ演算手段370−2の第2のフィルタ係数のいずれかに基づいているという点で、図5aに示された演算手段270と異なる。異なって置かれて、選択手段390は、定常成分信号または非定常成分信号のいずれかに基づいて、適応フィルタ210のフィルタ係数を決定するために実装される。
ここで、選択手段390は、まさにおそらく、演算手段370のフィルタ係数のそれぞれのセットに基づいて、より複雑な数学的関係を実行することができる。しかしながら、それは、単に、フィルタ演算手段370によって出力された2組のフィルタ係数のうちの1組を考慮に入れるという点で、図5aの演算手段270の結合手段380と異なる。
図5cは、更なる演算手段270を示し、それは、図5aの演算手段270が、単に、演算手段270の第1の入力270aに接続されたフィルタ演算手段370を備えるという点で、図5aに示された演算手段270と異なる。加えて、図5cに示された演算手段270において、フィルタ演算手段370は、第2の入力270bに接続され、それを介して、フィルタ係数を決定するパラメータを取得するために実装される。また、オプションの構成要素として、図5cのフィルタ演算手段370は、おそらくマイクロフォン信号に基づいてフィルタ係数演算を実行するために、第3の入力270cに接続することもできる。
図5cに示された演算手段270は、このように、図3cに示された抽出手段250、および、おそらく図4bに示された第2のエコー推定フィルタ260に関連して動作することができるような演算手段に対応する。抽出手段250の第2の出力250dを介してフィルタ演算手段370の局面のなかで演算するための対応するパラメータは、演算手段270の第2の入力270bを介してそれぞれのフィルタ演算手段370に直接送信される。この目的のため、第2の入力270bは、フィルタ演算手段370のパラメータ入力に接続され、そのパラメータ入力を介して、前記フィルタ演算手段370は、フィルタ係数を演算するための付加的なパラメータを受信することができる。
この演算手段270によって、1つのフィルタ演算手段370のみが実装されるという事実のため、結合手段および選択手段は省略することができる。
図5dは、更なる演算手段270を示し、それは、構成および動作モードに関して、図5cのそれと非常に類似している。図5dに描かれたものは、図5cに示された演算手段270とは異なり、第2の入力270bとフィルタ演算手段370の対応するパラメータ入力の間に接続されるパラメータ決定手段400を更に備える。
図5cに示された演算手段270とは異なり、図5dに示された演算手段270は、装置200の局面において動作することができ、抽出手段250は、第2の出力250dを介して、単にそれによって2つの成分信号のうちのどちらが第1の出力250cを介して出力されるかに関する情報を含む制御信号を提供する。フィルタ演算手段370の局面のなかで用いられる2つの成分信号に対するフィルタ係数を演算する仕様、または、それに基づく信号が、単にパラメータに関して異なる場合、それぞれのパラメータは、図5dに描かれたように、演算手段270を使用しながら、パラメータ決定手段400によって、送信される成分信号に依存して、演算することができる。パラメータ決定手段400は、それ故、例えば、メモリとしてまたは演算回路として実装することができる。それがメモリとして実装される場合、リードオンリーメモリ(ROM)、不揮発性メモリ(NVM)またはランダムアクセスメモリ(RAM)が可能である。
図5eは、それに基づいて適応フィルタ210のフィルタ係数が演算される成分信号に依存する2つのフィルタ演算手段370−1、370−2を備える更なる演算手段270を示す。ここで、両方のフィルタ演算手段370は、入力側で、第1の入力270aに接続される。オプションの第3の入力270cのオプションの接続に加えて、両方のフィルタ演算手段370は、それぞれ、分配ポイント410の入力に各々接続され、その分配ポイントは、出力によって、演算手段270の出力に接続される。分配ポイント410は、加えて、演算手段270の第2の入力270bに接続される制御入力を備える。
図5eの演算手段270は、このように、第1の入力270aに入来する信号に基づいて、フィルタ係数の第1のセットをフィルタ演算手段370−1に基づいて演算し、フィルタ係数の第2のセットを第2のフィルタ演算手段370−2に基づいて演算することを可能にする。フィルタ演算手段370によって演算される2つのフィルタ係数のどちらのフィルタ係数が最終的に出力270dに転送されるかの選択は、第2の入力270bを介して分配ポイント410の制御入力に転送される信号に依存してなされる。その制御入力での制御信号に依存して、分配ポイント410は、2つの入力のうちの1つを出力270dに接続する。
図5eの演算手段270は、このように、例えば、図3cに示されたような抽出手段250に関連して動作することができ、そこにおいて、第1の出力250cを介して送信される成分信号に関する情報を含む制御信号が、第2の出力250dを介して送信される。図5cに示された演算手段270は、このように、例えば、フィルタ演算手段370の局面において使用される2つの成分信号の演算仕様が、パラメータの単純な変化によって有効に変更することができない程度にまで異なるときに、実装することができる。
もちろん、ここで、図3a〜3cに記載されたようなさまざまの抽出手段250、図4aおよび4bに記載されたようなさまざまのエコー推定手段260、および、図5a〜5eに記載されたようなさまざまの演算手段270は、個々の形態に関して、相互に結合することができることに注意すべきである。出力270dに接続されるフィルタ演算手段370の選択を実行することに加えて、例えば、更なる操作、例えばフィルタ係数に基づく演算を実行する手段を、例えば、図5eに示される演算手段において、分配ポイント410に代えて用いることができる。
図2〜5においてすでに記載されたように、本発明の実施形態は、定常エコー成分と非定常エコー成分の分離抑制を可能にする新規な技術を表す。これは、スピーカ信号の変動成分と定常成分から別々にエコーを推定することによって達成される。次に、本発明の実施形態における両方の信号タイプに対して、2つの対応するエコー除去フィルタが演算される。エコー除去フィルタは、近端信号のアーチファクトおよび外乱を最小化しながら、可能な最高のエコー抑制パフォーマンスを達成するために、個別に最適化することができる。
更なる記述は、以下のように編成される。最初に、スピーカ信号のモデルが提案される。引き続いて、このモデルに従って、定常成分の推定に基づいて行うことができる定常成分と非定常成分の分離がなされる。次に、定常エコー成分および非定常エコー成分のパワースペクトルが、エコー推定フィルタに基づいて推定される。対応して、本発明のいくつかの実施形態において、2つのエコー除去フィルタが演算される。引き続いて、定常成分と非定常成分の分離は、エコー除去フィルタの帰納的なパフォーマンスの解析に基づいて適応することができる。
信号モデリングに関して、エコー推定フィルタを用いたエコー寄与スペクトルまたはエコーパワースペクトルの推定は、真のエコーパス長の一部分のみしか考慮することができないので、通常は実用的な条件下ではあまり正確でないことを陳述すべきである。これらの精度が残留エコーにおいて結果として生ずることを防止するため、エコー除去フィルタは、積極的にエコーを抑制し、残留エコーが残らないように、演算される。これは、エコーパワースペクトルを過大推定することによっておよび時間平滑化を実行することによって達成され、それは小さいゲインフィルタ値を支持する。
スピーカ信号が定常ノイズを含むとき、エコー抑制器は前記定常ノイズのエコーを抑制することを試みる。これは、上述の積極的なエコー抑制フィルタのために、非常にしばしば、定常ノイズのエコーの抑制だけでなく、定常の近端ノイズおよび近端音声の障害につながる。
ここで提案された方法は、図6においても図解説明されているように、それぞれ定常信号および非定常信号に対する2つの異なるエコー抑制パスを用いることによって、この問題を緩和する。
図6は、スピーカ100とマイクロフォン110を備える本発明の実施形態による装置200のブロック図を示す。スピーカ100は、それに利用可能とされるスピーカ信号x[n]を有し、それは抽出手段250に提供される。抽出手段250は、定常状態弁別器(定常弁別)とも称される。図2に関連してすでに説明されたように、抽出手段250は、2つの出力を備え、それは演算手段270に接続される。加えて、演算手段270は、それに利用可能とされるマイクロフォン110の信号y[n]をも有する。
図5aにも示されたように、演算手段270は、抽出手段250によって出力される定常成分信号に対する第1のフィルタ演算手段370−1および非定常成分信号に対するフィルタ演算手段370−2を備える。加えて、両方のフィルタ演算手段370は、それぞれマイクロフォン信号が提供される。
いずれのケースにおいても、両方のフィルタ演算手段370は、それらに利用可能とされる信号に基づいて、フィルタ係数HWおよびHSを演算し、それは結合手段380に提供される。この目的に対して、両方のフィルタ演算手段370は、それぞれ1つの出力によって結合手段380に接続される。結合手段380は、その部分として、2組のフィルタ係数HWおよびHSに基づいて演算または決定されたフィルタ係数を、適応フィルタ210に出力する。
マイクロフォン信号y[n]から最終的にエコーを抑制された信号e[n]を取得するために、適応フィルタ210は、入力でマイクロフォン信号を受信するため、さらにマイクロフォンに接続される。エコーを抑制された信号e[n]は、適応フィルタ210の出力に現れる。
適応フィルタ210は、このように、実際のエコー抑制を行い、2つのフィルタ演算手段370は、各々対応するフィルタ係数の形でエコー除去フィルタを演算し、それは次に結合手段380によって有効なエコー除去フィルタに結合される。
図6の表現に関して、図6に描かれたブロック図は、例えば、おそらく実装される時間/周波数変換手段が、エコー推定フィルタと同様に、表現を単純化するために示されない簡略ブロック図であることに注意すべきである。
非定常(音声)エコーは、このケースにおいて不快と認知される残留エコーを回避するために、積極的に抑制されなければならない。しかしながら、スピーカ信号において定常ノイズから生じたかも知れない定常エコーは、通常は、音の外乱のようなアーチファクトを防止するために、より積極的でない方法で抑制される。
適切なモデルを生成するために、スピーカから発せられた信号x[n]は、次式により分割することができる。

x[n]=xs[n]+xw[n] (1)

ここで、xs[n]は非定常音声の寄与度をモデル化し、xw[n]は定常ノイズの寄与度をモデル化する。離散時間指標は、変数nによって示される。
定常成分と非定常成分の分離に関して、短時間フーリエ解析(STFT)が、式(1)に示されたモデルの両側に関して最初に実行され、それは次式を産生する。

X[k,m]=Xs[k,m]+Xw[k,m] (2)

Figure 2011514706
Figure 2011514706
Figure 2011514706
Figure 2011514706
ゲインフィルタとも称されるフィルタFx[k,m]は、参考文献7によれば、その一般形において、次式のように書くことができる。
Figure 2011514706
ここで、γxは指数部であり、βxは制御パラメータ、または、それが過小または過大推定されたイベントの定常信号成分の抑制の強度を制御するためのパラメータである。定常成分と非定常成分の分離は、図8に関して1kHzの周波数に対して図示される。
式(5)および(6)によって記載された機能は、図2〜6に記載された実施形態において、抽出手段250のゲインフィルタ330によって実行される。
Figure 2011514706
で更新することによって実行することができる。各データブロック(フレーム)kにおいて、音声またはノイズが存在するかどうかを決定するために、2つの時定数によって単一極の平均演算が実行されるという点において、ノイズパワースペクトルが更新される。小さい開始時定数は、現在のデータブロックがノイズを含むことを反映する。大きい解放時定数は、現在のデータブロックが音声を含むことを反映する。
実際には、これは、次式により実装される。
Figure 2011514706
ここで、μ1は開始時定数であり、μ2は解放時定数である。より詳しくは、式(7)において生ずるパラメータμ1およびμ2は、μ1<μ2である無次元パラメータである。しかしながら、サンプリング周波数を考慮に入れて、これらのパラメータは、例えば、上記に示された時定数と解釈し、参照することができる。下記の比例的関係(16)のように、実際の時定数およびパラメータは、各々互いに反比例する。開始時定数μ1は、例えば、10000m秒=10秒の値を含むことができるのに対して、サンプリングレートを考慮すると、解放時定数μ2は10m秒の値に対応することができる。
図2〜6に記載された本発明の実施形態において、式(7)の機能は、抽出手段250の平均化手段320によって実装される。
エコーパワー推定に関して、エコー信号のエコースペクトルの推定は、次式によって、スピーカパワースペクトラムの時間的に遅延されたバージョンにエコー推定フィルタG[k,m]を適用することによって達成することができる。
Figure 2011514706
例えば、図2〜5に関連して描かれたように、本発明の実施形態の特定の実施態様に依存して、式(8)によって記載された機能は、例えば、第1のエコー推定フィルタ240によって実装することができる。したがって、式(9)および(10)によって記載された機能は、2つのフィルタステージ360−1、360−2による第2のエコー推定フィルタ260によって実装することができる。
すでに前述したように、ディレイ値dを有する式(8)〜(10)において生ずる信号に関するディレイ機能は、前記エコー推定フィルタ240、260によって実装することもできる。あるいは、前記ディレイ機能は、独立したディレイ手段が実装されない場合、時間/周波数変換手段230によって自然に実現することもできる。
Figure 2011514706
E[k,m]=Hs[k,m]Hw[k,m]Y[k,m] (11)
このケースにおいて、エコー除去フィルタのそれぞれのフィルタ係数Hs[k,m]とHw[k,m]の乗算は、結合手段380において実行され、それはそれぞれのエコー除去フィルタの直列接続に対応する。周波数ベースのドメインにおけるそれぞれのフィルタ係数の乗算は、時間ドメインにおけるそれぞれのインパルス応答の畳み込みに対応する。
式(11)にも描かれたような因数分解法でエコー除去フィルタを実現することによって、異なるエコー成分に対するパラメータとして異なるゲイン係数を導入することが可能である。非定常エコー除去フィルタのフィルタ構成要素は、例えば、次式により演算することができ、
Figure 2011514706
設計パラメータβs、γs、βw、γwは、各々のエコー除去フィルタの意図されたパフォーマンスを制御するために用いることができる。本発明の実施形態の特定の実施態様に依存して、前記設計パラメータは、固定化されるように選択することができ、任意の他の方法において、適応性が高く、プログラム可能または修正可能となるように設計することができる。指数パラメータの代表的な選択は、例えば、γs=γw=2である。
いわゆる過剰推定係数βsおよびβwは、エコー減衰の積極性を制御するために用いられる。例えば、対応するエコー除去フィルタの積極性は、過剰推定係数を増加することによって増加することができる。それ故、中等度のエコー減衰のみに適用するためのパラメータβwに関する定常エコー除去フィルタHw[k,m]の通常の選択は、βw=2である。
他方、非定常エコー成分の抑制の役割を果たすエコー除去フィルタは、エコー信号における音声成分を妨げることを有効に減衰するために、高度に積極的な方法で設計される。過剰推定係数βsは、それ故、しばしばβwより大きくなるように設計され、その結果、通常は、βs>βwである。βw=2が選択されたら、βsは、例えば、20>βs>2の範囲の値を含むことができる(例えばβs=4)。一般に、βwとβsは、同じ桁の大きさに帰属する。
リミット値LsおよびLwは、デシベル(dB)で与えられる最大エコー減衰を決定する。定常エコー除去フィルタの通常値は、Lw=−10dBまたは−15dBであり、それは偶発的なアーチファクトを低減するために、定常エコーの減衰を便宜上制限する。遠端における非定常音声のケースでは、減衰は、対応するエコー成分の完全な減衰を確実にすべきであり、非定常成分信号に対して約−60dBのLsの制限値に対応する。
式(12)および(13)によって指定されたような機能は、フィルタ演算手段370の局面において、図2〜6に記載された実施形態において実装し、実現することができる。
本発明のいくつかの実施形態において、実際のエコー抑制は、式(12)および(13)に記載されているように、エコー除去フィルタを適用することによって直接には実行されない。むしろ、対応するエコー除去は、対応する時間平滑化されたバージョンに基づいて実行される。上記の設計パラメータのケースのように、時間平滑化パラメータは、通常は手動で調整され、非定常エコー抑制および定常エコー抑制のためにそれぞれ別々に最適化される。それにより、定常ノイズ成分抑制の要求条件が非定常音声成分に対するものと異なるので、知覚できるオーディオ品質は更に改善することができる。
このような機能は、例えば、フィルタ演算手段370自体のなかで、または、それらの下流の任意の手段において、例えば、結合手段380、選択手段390または分配ポイント410において、実行することができる。必要であれば、このような時間平滑化を適応フィルタ210の局面のなかで直接実行することも可能である。
上述の品質の改善に関して、例えば、参考文献8に記載されているように、いわゆる音の外乱を回避するために、定常信号成分が抑制されるケースにおいて、さらなる平滑化が適用されることが知られている。他方、エコーパスの残響による非定常エコー除去フィルタの適用された減衰が、エコーの十分に高い減衰を生じさせるために、小さい値を支持することも保証すべきである。しかしながら、これによって、エコーレベルが急速に変化するケースにおいて、適応フィルタ210の追跡可能性を劣化させるべきでない。この議論は、質的なものである傾向があり、式(12)および(13)により示されたエコー除去フィルタの個々の調節および最適化の必要性を明らかに示している。
図7は、本明細書の局面において提案され、記載されている音響エコー減衰アルゴリズムの、より大きい、より完全なブロック図またはフロー図の形における本発明の更なる実施形態を示す。図7は、図2に記載された実施形態と非常に類似するような本発明の実施形態を示す。ここで、また、装置200は、それに提供されるスピーカ信号x[n]を有する短時間フーリエ変換ユニット(STFT)の形の時間/周波数変換手段230を備える。一例として、図7の上部は、時間の関数として、時間指標n上でプロットされた、スピーカ信号x[n]の曲線420を示す。
信号x[n]を時間ドメインから周波数ドメインに変換することに加えて、時間/周波数変換手段230は、ディレイ値dによる上述の遅延も実行する。それ故、一般に複素数のスペクトルであるスペクトルX[k−d,m]は、時間/周波数変換手段230の出力において利用可能である。前記スペクトルX[k−d,m]は、次に図7において文字SD(定常分別)で示される抽出手段250に提供される。図2〜5に記載された実施形態に関連してすでに説明されたように、抽出手段250は、図7に示された実施形態において、周波数ドメインの定常成分信号Xw[k,m]および周波数ドメインの非定常成分信号Xs[k,m]も提供する。前記成分信号は、演算手段270に利用可能とされる。
加えて、図7に示された装置200の実施形態は、短時間フーリエ変換ユニット(STFT)の形でも実装される時間/周波数変換手段290を備える。前記時間/周波数変換手段290は、一例として図7の上部において曲線430によって描かれたように、入力信号としてそれに提供されるマイクロフォン信号y[n]を有する。時間/周波数変換手段290は、また、周波数ドメインのマイクロフォン信号(指標kは再びデータブロックを示し、指標mは周波数バンドまたは周波数値またはスペクトル係数を示す)の対応する表現を生成する。このスペクトルY[k,m]は、また、一般に複素数のスペクトルである。
しかしながら、時間/周波数変換手段230と異なり、時間/周波数変換手段290は、いかなる付加的な遅延機能も備えない。一般に、これは、マイクロフォンによってピックアップされた信号y[n]における関連するスピーカ信号x[n]と比較した遅延につながる音波の伝播速度(音速)は、回路および他の構成要素における電気信号の伝播速度と比較して明らかに低いので、必要でない。
これを説明するため、図7の上部において、2つの曲線420、430について言えば、スピーカ信号x[n]に関して、第1の括弧440が示される。マイクロフォン信号y[n]に関して、括弧440によって示されるスピーカ信号x[n]の部分に対応するマイクロフォン信号y[n]の範囲を示す第2の括弧450が図7に示される。スピーカ信号x[n]およびマイクロフォン信号y[n]は、それ故、図7において矢印460によっても示されるように、ディレイ値dによって相互にシフトされる。
Figure 2011514706
Figure 2011514706
図5aに関連して示されたように、図7においてERF(エコー除去フィルタ)とも称される両方のフィルタ演算手段370は、図7においてFC(フィルタ結合)と称される結合手段380に接続される。前記結合手段380は、適応フィルタ210のフィルタ係数を生成するために、両方のフィルタ演算手段から取得されたフィルタ係数を結合する。
したがって、図2および5に関連して述べられた実施形態によってすでに説明されたように、結合手段380は、図7においてSM(スペクトル修正)と称される適応フィルタ210に接続される。前記適応フィルタ210は、マイクロフォン信号の中に含まれるエコーを減衰し、抑制するために、それに利用可能ともされるマイクロフォン信号y[n]のスペクトル表現Y[k,m]に基づいて、関連するスペクトル修正を実行する。
最後に、適応フィルタ210は、逆短時間フーリエ変換ユニット(ISTFT)である周波数/時間変換手段300に接続される。後者は、時間ドメインにおいて、エコーをキャンセルされた信号e[n]を出力する。
例えば、図7に示されたような、対応する方法または装置200の形の本発明の実施形態は、適応フィルタ210によるスペクトル修正によって導入される多数のアーチファクトにおける低減を可能にする。言い換えれば、本発明の実施形態は、このように、それに対してパワー制御を可能にする。遠端の音声のみが存在するとき、エコー抑制処理は、いかなる信号も通過することを許容しないために、十分に積極的でなければならず、このような状況において、非定常信号と定常信号の成分信号を分離することは、おそらく望むことができない。このため、このような状況において、ちょうど今記載されたこの状況を検出することによって、式(6)においてスピーカ信号から減算される定常成分信号のまさしくその振幅を制御するかまたは少なくとも影響を及ぼす制御パラメータβxをしかるべく適応させることは、おそらく望ましい場合がある。
スピーカ信号によって遠端の音声のみが出力されるときに、状況を区別するために、2つの異なるパラメータが演算される。これは、最初に、スピーカチャネルとマイクロフォンチャネルの間のコヒーレンス関数のフルバンドの平均演算に対応するいわゆる予測ゲインを含む。第2のパラメータとして、例えば、スピーカ信号の時間信号レベルの比較から、または、例えば、音声送信に適するコーデックによって特に用いられるようなコーデックに特有のパラメータから導き出すことができるスピーカチャネルのなかの音声アクティビティが用いられる。これらのコーデックは、例えば、LPCベースのコーデックまたはCELPベースのコーデック(CELP=コード励起された線形予測、または、コード表で励起された線形予測)を含む。(用語コーデックは、英語の用語コーダーとデコーダの省略形を結合することによって創作された人造語である)
Figure 2011514706
係数αは、時間上の推定の平滑化の程度を決定する。式(15)は概略的に指数関数的減衰に対応するので、この係数はそれにつながる時定数を有する。数秒の指数関数的減衰の時定数Tαは、およそ次式の関係にある。
Figure 2011514706
ここで、fsは、サンプリング周波数を意味する。言い換えれば、比例的関係(16)は、サンプリングレートfsと関係する実際に無次元である係数(ここで、α)を、時定数(ここで、Tα)として、どのように示すことができるかを説明する。
Figure 2011514706
ここで、Mは、周波数バンドのまさしくその数を示す。
1に近いエコーゲイン係数は、マイクロフォン信号が、遅延されたスピーカ信号に基づいて(ほとんど)完全に予測することができることを意味する。それ故、マイクロフォン信号が遠端の音声のみを含む可能性は、1に近い傾向がある。制御パラメータβxは、次に予測ゲインωに関して制御することができる。予測ゲインが高いときはいつでも、遠端の音声のみが存在し、エコー減衰は、すべての(エコー)信号を除去するために十分に積極的であるべきである。このように、ノイズは、非定常パスのなかに保たれ、制御パラメータβx=βw=0が選択されるという点で、デシベル(dB)において最も低いリミット値Lsによって除去される。予測ゲインが低いときはいつでも、近端と遠端の両方の音声が存在することができ、エコー抑制は、アーチファクトを導入しないために、積極的であってはならない。このケースにおいて、ノイズは、定常パスによって処理され、デシベル(dB)においてリミット値Lwによって除去される。そのうえ、制御パラメータβx=βwが、このケースにおいて用いられる。
しかしながら、このケースにおいて、スピーカ信号が音声の存在なしにマイクロフォンによってピックアップされたノイズのみを含む場合、予測ゲインを高くすることができることに注意すべきである。制御パラメータβxの値が、過剰な抑制に至るこのケースにおいて、あまりに大きく選択されることを防止するために、第2の制御パラメータ、すなわちスピーカチャネルのなかの音声アクティビティ、が用いられる。それ故、制御パラメータβxを予測ゲインωの関数として演算する上述のルールは、スピーカチャネルのなかで音声がアクティブであるときにのみ、実際に適用する。
図7に描かれた実施形態において、式(14)〜(17)によって記述されたこの機能は、演算手段270によって、より具体的には2つのフィルタ演算手段370および結合手段380によって、実行される。対応する実施態様は、演算手段270が、図2においてオプションとして描かれた入力280を介してそれに提供されるマイクロフォン信号をおそらく有するだけでなく、入力220を介してそれに提供されるおそらく未修正のスピーカ信号をも有する点において、図2〜5に記述された実施形態の局面のなかで、また当然に可能である。
本発明の実施形態の動作モードを更に詳細に説明するため、図8〜10に関連して信号処理が以下に記載される。図8は、スピーカ信号の定常成分と非定常成分の分離または抽出を示す。図8は、部分図(a)において、1kHzの周波数でのスピーカパワースペクトラムを示し、それは時間の関数として約5秒〜約7.5秒の範囲においてプロットされている。部分図(c)の横軸は、ここで、3つの部分図(a)〜(c)の全てに適用される。部分図(b)は、非定常成分の対応するパワースペクトラムを示すのに対して、部分図(c)は、定常成分の対応するパワースペクトラムを示す。
部分図8(b)に描かれた非定常成分、または関連する非定常成分信号は、部分図8(a)において、関連するパワースペクトラムが、また対応して高い寄与度を含む各ケースにおいて、高い値を含む。しかしながら、これらの範囲のエリアにおいて、非定常成分は、ほぼ完全に消えている。
対照的に、式(7)による浮動再帰平均演算によって決定された定常成分は、図8(b)の非定常成分と比較して、振幅において明らかにより小さい値を呈し、しかしながら、浮動平均演算のために明らかによりなめらかな曲線を呈する。特に、図8(c)の定常成分および/または約6.4秒からの時間周期において関連する定常成分信号は、比例的関係(16)に関連しても言及されたように、指数関数的なまたは指数関数的なような降下を呈する。この減衰は、ここで、図8(a)のパワースペクトルが、この範囲において、対応する音声信号によるどんな高い値も含まないという事実に起因する。定常成分を超えるスペクトル寄与度は、したがって降下する。
図8に示されたデータに基づいて、図9は関連するエコー除去フィルタを描く。より詳しくは、図9は、式(12)および(13)に基づいて演算される1kHzの周波数に対する2つの関連するエコー除去フィルタ曲線HsおよびHwを示す。部分図9(a)は、前記フィルタが式(12)により演算された1kHzの周波数での非定常成分に対するエコー除去フィルタHsを示す。部分図(b)は、式(13)による定常成分Hwに対する対応するエコー除去フィルタを示す。
図10は、しかしながら、部分図(a)および(b)にも適用される部分図10(c)の横軸によって示されるように、より大きな時間スケールでプロットされた同じデータに基づいて図示する。
図10は、部分図10(a)に、制御パラメータβxと定常/非定常分離の強さの関係を、部分図10(b)に、予測ゲインωの強さの関係を、部分図10(c)に、スピーカチャネルの音声アクティビティの強さの関係とともに、図示する。より詳しくは、図10は、上記記載において紹介されたように、制御パラメータβxと2つの制御パラメータωと音声アクティビティの関係を図示する。図10の基礎をなす3つのシミュレーションの第1は、高い予測ゲインによって特徴づけられる、遠端の音声のみが存在する状況に対応する。このケースにおいて、いかなる信号も通過することを許容しないように、積極的方法において非定常成分を抑制し、定常成分をも抑制するため、制御パラメータβxは、βx=βw=0にセットされる。
3つのシミュレーションの第2は、スピーカ信号における低い予測ゲインωおよび音声アクティビティの欠如によって認識可能および検出可能である、音声が遠端でのみ存在する状況に対応する。そのとき、制御パラメータβxは、すべての定常成分が定常パスを通過することを可能とするために大きく、いかなるアーチファクトも導入しないためにできるだけ小さい積極性によって除去されるように選択される。3つのシミュレーションの最後は、制御パラメータβxが、スピーカチャネルにおいて音声アクティビティが存在するときの低い値と、音声アクティビティが検出されないときのより大きい値の間で変化する、二重トーク状況に対応する。
今までに記載された本発明の実施形態において、例えば、本発明による対応する実施形態の全体フロー図とみなすこともできる図6に図示されたように、定常エコー成分および非定常エコー成分の別々の抑制は、対応するスピーカ信号を分離することによって達成されず、全体のエコー信号を推定することによって実行される。
本発明のこれらの実施形態において、エコー信号のパワースペクトルの推定は、マイクロフォン信号に含まれるエコーのパワースペクトラムの予測を表す式(8)により、スピーカパワースペクトルの遅延されたバージョンに対してエコー推定フィルタG[k,m]またはG[k,m]2を適用することによって達成される。式(3)によりスピーカパワースペクトラムを定常成分と非定常成分に分離することは、非定常スピーカ信号成分から生じるエコーが式(10)によって与えられ、定常スピーカ信号成分から生じるエコーが式(9)によって与えられることに結果としてなる。
Figure 2011514706
E[k,m]=H[k,m]Y[k,m] (18)

ここで、H[k,m]は、次式によって与えられる。

H[k,m]=Comb(Hs[k,m],Hw[k,m]) (19)
異なるエコー除去フィルタHs[k,m]とHw[k,m]を結合する1つの可能性は、式(11)によるその積を用いることであり、それは2つのフィルタを直列に接続することに対応する。
更なる可能性は、次式によってそれぞれのエコー除去フィルタの最小を用いることである。

E[k,m]=Min(Hs[k,m],Hw[k,m])Y[k,m] (20)

ここで、関数Min(…)は、それぞれの値の最小を表す。異なって置かれて、このケースにおいて、Comb(…)=Min(…)の関係があてはまる。
すでに上述されたように、これらの演算は、例えば、結合手段380において実行することができ、選択手段390または分配ポイント410においても実行することができる。加えて、例えば線形結合または非線形方程式に基づく個々の抑制フィルタのより複雑な結合および演算は、それぞれの手段で実行することもできる。同様に、対応する結合を、バンドパス信号的な方法ではなく、バンドパス信号のグループに基づいて、または、全てのバンドパス信号に対して同じ方法で、実行することが可能である。
この結合方法でのエコー除去フィルタを実現することによって、異なるエコー成分に対して異なるゲインを導入することが可能である。非定常エコー除去フィルタは、式(12)によって演算されるのに対して、定常エコー除去フィルタは、式(13)によって演算される。
実際のエコー抑制は、しばしば、式(12)および(13)によるエコー除去フィルタの直接適用に基づいては実行されず、むしろ対応する時間平滑化されたバージョンに基づいて実行される。上記の設計パラメータのケースのように、時間平滑パラメータは、また、非定常エコー抑制と定常エコー抑制に対して別々に手動で調整することができる。この方法において、定常ノイズ成分の抑制の要求条件は非定常音声成分に対するものとは異なるので、知覚されるオーディオ品質は更に向上することができる。
例えば、いわゆる楽音を避けるために、定常信号成分が抑制されるそれらのケースにおいて、より強度の平滑化を用いることが望ましいことはよく知られている。他方、非定常エコー除去フィルタに適用される平滑化は、エコーパスの長い寄与またはエコーパスの長いテールから生じるエコーを十分に抑制するために、より小さい値を支持することが保証される。しかしながら、これは、急速に変化するエコーレベルのケースにおける連続挙動を損なうべきでない。この定性的考察は、式(12)および(13)による2つの異なるエコー除去フィルタを個々に適応させ、最適化する必要性を明らかに示す。
以下において、定常信号成分および非定常信号成分に対して別々のエコー除去フィルタが適用される、方法および/または装置の形の本発明の更なる実施形態による更なるアプローチが記載される。図11は、対応する適応フィルタ210を備える装置200の対応するブロック図を示す。多数の構造上の類似のため、特に図2〜5、6および7に示された実施形態の記載が、以下で参照される。
本発明の実施形態による装置200は、再びスピーカ100またはスピーカ100の端子または対応するスピーカ信号x[n]の入力を備える。前記スピーカ信号x[n]は、DFT(離散フーリエ変換)と称される時間/周波数変換手段230の局面のなかで、スピーカ信号のスペクトル表現X[k,m]に変換される。前記スピーカ信号は、ディレイ手段480に提供され、対応するディレイ値であるその遅延されたバージョンX[k−d(k,m),m]、ここでd(k,m)は対応するディレイ値である、を生成する。
Figure 2011514706
マイクロフォン110のマイクロフォン信号y[n]は、DFTとして構成される時間/周波数変換手段290に提供され、それから時間信号y[n]のスペクトル表現Y[k,m]を生成する。この信号は、エネルギー値演算手段490を介して出力され、マイクロフォン信号のスペクトル成分に基づいて、個々の値の(絶対)振幅を自乗することで、前記スペクトル成分のパワースペクトルを決定する。このようにして得られたスペクトルは、演算手段270にも提供され、演算手段270は、上記のパワースペクトルとともに、実際の適応フィルタH[k,m]のフィルタ係数である2つのエコー除去フィルタHs[k,m]およびHw[k,m]を演算し、それらを適応フィルタ210に転送する。
適応フィルタ210は、時間/周波数変換手段290の出力にも接続され、このように、マイクロフォン信号y[n]のスペクトル成分Y[k,m]を受信し、そのスペクトル成分から、フィルタ係数H[k,m]を考慮に入れながら、周波数ドメインまたは周波数関連ドメインにおけるエコーを抑制された信号E[k,m]を生成する。このエコーを抑制された信号は、次に、IDFT(離散逆フーリエ変換)として構成される周波数/時間変換手段300に提供され、周波数/時間変換手段300は、最終的にこの信号を時間ドメインに逆変換する。
ディレイ手段480のディレイ値d(k,m)を決定し、エコー推定フィルタ240のエコー推定フィルタ係数を決定するために、スピーカ信号のスペクトル表現X[k,m]およびマイクロフォン信号のスペクトル表現Y[k,m]の両方が、2つの時間/周波数変換手段230、290の出力に接続された対応するエネルギー演算手段500、510に送信される。エネルギー演算手段500は、時間/周波数変換手段230の出力に接続され、エネルギー演算手段510は、周波数/時間変換手段300の出力に接続される。
両方のエネルギー値演算手段500、510は、各々、エネルギー値演算手段490の類似により、それぞれのスペクトル成分の振幅を自乗することによってパワースペクトルを演算し、これらの値を更なる演算手段520に提供する。更なる演算手段520は、次に、それに利用可能とされた値に基づいて、ディレイd(k,m)の推定と、エコー推定フィルタ240のフィルタ係数G[k,m]の値を決定する。対応する前述の値は、次に、更なる演算手段520にも接続されている、一方ではディレイ手段480に、他方ではエコー推定フィルタ240に、送信される。
Figure 2011514706
この演算は、エコー推定フィルタ240において行われる。
式(12)および(13)による2つのエコー除去フィルタHs[k,m]およびHw[k,m]の定義は、不変のままである。同じことは、結合されたエコー除去フィルタH[k,m]の決定にあてはまる。
図11に記載された付加的な方法、または関連する装置200は、このように、推定されたエコー信号の定常エコー成分と非定常エコー成分が無相関であり、その結果次式が成り立つという仮定に基づいている。
Figure 2011514706
Figure 2011514706
Figure 2011514706
フィルタとして、ゲインフィルタFx[k,m]またはFx[k,m]2との類似により決定される更なるゲインフィルタFy[k,m]またはその自乗のFy[k,m]2が使用され、それ故、この点で詳細には記述・説明しない。この機能は、また、導き出されたそれぞれの信号に基づいて、抽出手段250によって実行される。
Figure 2011514706
Figure 2011514706
従って、続く記載が示すように、非常に類似しているのは、図11および12に示された2つの実施形態の動作モードだけでなく、それらの構成もである。
より詳しくは、図12に示された実施形態は、基本的に、エネルギー演算手段500が、周波数ドメインに転送されたスピーカ信号x[n]に関して、更なる演算手段520の上流にもはや排他的には接続されないが、むしろDFTとして再び構成される時間/周波数変換手段230の出力に直接接続されるという点で、図11に示されたそれと異なる。この方法において、更なる演算手段520だけでなく、ディレイ手段480、エコー推定フィルタ240および抽出手段250もまた、もはや実際のスペクトル成分ではなく、むしろそのパワースペクトルが提供される。
しかしながら、これから離れて、図11および12に示された2つの実施形態は、それぞれの演算がおそらく個々の構成要素と手段のなかで互いにわずかに異なって進行するという点でのみ、異なる。例えば、個々のスペクトル成分のエネルギー関連値の対応する演算は、すでにエネルギー値演算手段500によって先に実行されているので、もはや抽出手段250において実行されない。
図13は、本発明の更なる実施形態を示し、例えば、複数のスピーカ信号または複数のマイクロフォン信号がそれぞれの装置200に提供される。異なって置かれて、図13に描かれた実施形態は、マルチチャンネル装置である。
本発明の実施形態は、上記では、個々のチャネルまたは個々のチャネルのケースに対してのみが議論され、記述され、1つのスピーカ信号および1つのマイクロフォン信号のみが利用可能であったが、本発明の実施形態は、後述するように、個々のチャネルのケースに限定されない。前記実施形態は、類似によって、マルチチャンネルの可能な音響エコー減衰システムに適用することもできる。
図13に示された装置200の実施形態は、図2に示された実施形態に対して構成において非常に類似しているので、動作モード、接続および他の側面が関係する限り、図2〜5に関する記載が以下で参照される。
図13に示された装置200のマルチチャンネル変形は、いくつかのスピーカ信号を装置200に接続することができる複数の入力220−1、220−2、…を備える。したがって、装置200は、図2に関連してすでに詳細に記載されたように、おそらく対応するスピーカ信号の時間ドメインから周波数関連ドメインへの転換または変換を実行する対応する複数のオプションの時間/周波数変換手段230−1、230−2、…も備える。
複数の時間/周波数変換手段230は、入来するスピーカ信号に基づいて、共通の、導き出されたスピーカ信号を形成し、次に、オプションの第1のエコー推定フィルタ240が存在するかどうかに依存して、それを第1のエコー推定フィルタ240または抽出手段250に転送するバンドリング手段530の対応する多数の入力に接続される。図2に示された実施形態に関連してすでに記載されたように、抽出手段250は、おそらく、オプションの第2のエコー推定フィルタ260または直接演算手段270に接続される。前記手段は、最終的に、演算されたフィルタ係数をその出力に出力する。
図2に示された実施形態とは異なり、図13の装置200のマルチチャンネル変形は、入力側で、オプションの時間/周波数変換手段290−1、290−2を介して、対応するマイクロフォン信号に対する対応する多数の入力280−1、280−2、…に接続される更なるバンドリング手段540を更に備える。更なるバンドリング手段540は、バンドリング手段530との類似により、時間ドメインのなかで、または、周波数関連ドメインにおいて存在し、それに利用可能とされるマイクロフォン信号に基づいて、オプションとして抽出手段250または演算手段270に利用可能とすることができる、導き出された、有効な、または共通のマイクロフォン信号を決定する。
図13に示されたような装置200のマルチチャンネル変形は、各マイクロフォン信号、または、各マイクロフォン信号入力280に対する適応フィルタ210−1、210−2、…を更に備え、前記適応フィルタ210−1、210−2、…は、おそらくオプションの時間/周波数変換手段290−1、290−2を介して、それぞれの入力280−1、280−2、…に接続されている。したがって、適応フィルタ210−1、210−2、…は、おそらく複数のオプションの周波数/時間変換手段300−1、300−2、….を介して、出力310−1、310−2、…にそれぞれ接続される。適応フィルタ210によってフィルタされた出力信号は、エコーをクリアされ、または、スペクトル修正され、従って前記出力310において装置200に利用可能である。
適応フィルタ210−1、210−2、…は、全て、演算手段270の出力に並列に接続され、前記演算手段は、その出力に、適応フィルタに対するフィルタ係数を提供する。言い換えれば、図13に描かれた本発明の実施形態において、複数のマイクロフォン信号の全てのマイクロフォン信号は、スペクトル修正された、または、エコーキャンセルされた対応するマイクロフォン信号のバージョンを取得するために、機能的な観点から同じ適用フィルタによって、すなわち同じフィルタ係数に基づいて、フィルタされる。
このように、xl[n]が第l番目のスピーカの信号である場合(ここで、lは0からL−1であって、Lは異なるスピーカまたはスピーカ信号の数を示す)、式(1)との類似によって、同じモデルを次式により導入することができる。

l[n]=xs, l[n]+xw, l[n] (25)

ここで、xs, l[n]は第l番目のスピーカ信号に含まれる非定常音声の寄与度を調節し、xw, l[n]は第l番目のスピーカ信号に含まれる定常雑音の寄与度を調節する。式(2)に従って、式(25)のSTFTドメイン表現が次式により与えられる。

l[k,m]=Xs, l[k,m]+Xw, l[k,m] (26)
全てのスピーカチャネルに対する共通のバンドルされたパワースペクトルは、次に、図13に示されたバンドリング手段530において、個々のスピーカ信号のスペクトルを結合することによって演算される。
Figure 2011514706
ここで、Lは、スピーカチャネルの数を表す。式(5)および(7)による非定常成分と定常信号成分の分離は、次に、共通のまたはバンドルされたパワースペクトラムに関して、式(27)により実行される。
それとの類似によって、マイクロフォンチャネルに対する共通のまたはバンドルされたパワースペクトラムも、次式により演算される。
Figure 2011514706
ここで、Yp[k,m]は、p番目のマイクロフォン110の信号を示し、Pはマイクロフォンの数を示す。指標pは、再び、0からP−1にわたる整数である。この演算は、図13に示された実施形態において、おそらく更なるバンドリング手段540によって実行される。
Figure 2011514706
スペクトル修正の局面のなかでの実際のエコー抑制は、次に、各マイクロフォン信号に対して個々に実行されるが、各マイクロフォンに対して同じエコー除去フィルタ210を用いて、次式により実行される。

p[k,m]=Hs[k,m]Hw[k,m]Yp[k,m] (29)

ここで、p=0、1、…、P−1である。それとの類似によって、エコー除去フィルタ210は、上述されたように、例えば式(19)との類似によって、異なって実装することもできる。
この局面において、装置200のマルチチャンネル変形の局面のなかで、例えば、図13で示されたように、スピーカ信号の数Lとマイクロフォン信号の数Pは、両方同一であり、互いに異なるべきことは注目に値する。原則として、スピーカ信号とマイクロフォン信号の両方に対して、いかなる入力数も提供することができる。また、複数のスピーカ信号入力と複数のマイクロフォン信号入力の両方に、対応するバンドリング手段530、540を設けることは、絶対に不可欠ではない。本発明の実施形態において、対応する更なるバンドリング手段540によって複数のマイクロフォン信号入力を実装することなしに、対応するバンドリング手段530によって複数のスピーカ信号入力のみを実装することは事実上可能である。例えば自動車において実装することができるような、例えば遠端の加入者の通信シグナルがいくつかのスピーカを備える音響システムを介して再生されるために、例えば1つのマイクロフォンがある一方で複数のスピーカがあるようなシステムを使用することができる。
加えて、例えば、会議システムの局面のなかで、1つの中心スピーカのみが実装される一方、複数のスピーカが各々それらに利用可能な自分自身のマイクロフォンを有するとき、対応するバンドリング手段530によって1つのスピーカ信号に対して複数の入力を実装することはおそらく必要ない。このようなケースにおいて、更なるバンドリング手段540の実施態様のみがおそらく望ましいかもしれない。
加えて、この点で、バンドリング手段530、540が、結局それらに提供されているより多くのスピーカ信号またはマイクロフォン信号に対して設計されるように当然構成できることは注目に値する。したがって、装置200は、おそらく、結局用いられるより多い対応する入力220、280を備えることができる。このケースにおいて、例えば、オプションの時間/周波数変換手段230、290、または、バンドリング手段530、540それ自身のような上流の回路は、アクティブチャンネルの数を決定することができ、したがってパラメータLおよびPを選択することができる。もちろん、考慮されるチャンネル数およびおそらくマイクロフォンとスピーカの信号の数の外部供給を実装することもできる。
この点で、図13に示された実施形態が、対応するパラメータLおよびPがバンドリング手段530、540に送信される場合、1つの単一のスピーカ信号および1つの単一のマイクロフォン信号のみによってもちろん機能することにも注意すべきである。原則として、式(27)および(28)は、P=1および/またはL=1のケースにも適用可能である。このように、図13に示された実施形態は、図2に示された実施形態の「下位互換」の拡張を示す。
Figure 2011514706
16kHzのサンプリングレートに対して、512のサンプルおよび15のグループまたは区画のSTFTのためのDFTブロック長は、合理的な選択であり、各区画は、参考文献10に記載されているように、等価矩形バンド幅(ERB)のおよそ2倍に対応するバンド幅を有する。図14に示されるように、バンドは区画に対応する。
図14は、均一のSTFTスペクトルのスペクトル係数を、人間の聴覚系の不均一な周波数分解能を模倣するために、どのようにグループ化し、または、区画またはグループに分割することができるかを示す。図14に描かれたような周波数軸は、0Hzから約8000Hに及び、16kHzのサンプリング周波数に基づいて有効な周波数帯に対応する。
異なるゲインフィルタは、各グループの中心周波数に対してのみ演算される。加えて、これは、均一のSTFTの全スペクトル分解能のケースと比較して、演算量の減少に結果としてなる。最終的な区画またはグループのゲインフィルタが均一のSTFT信号スペクトルに適用される前に、前記STFT信号スペクトルは、ハン補間フィルタを用いて補間される。
図15aは、周波数上でゲインフィルタを平滑化するために使用することができる対応するハン補間フィルタを示す。図15bは、個々の区画のゲインフィルタの値を補間することによって取得されるゲインフィルタ係数を実線で示し、各部の値は図15bにおいて太字の点で描かれる。
図15の部分図は、これらのハンフィルタを正確に描いたものであり、一方、部分図(b)は、補間の前後のゲインフィルタ値の実施例を描いたものである。図15(b)に描かれた点は補間前の値を表すが、実線は補間後の前記値に対応する。ゲインフィルタの周波数平滑化は、周波数の関数として、結果として生じるスペクトルのより平滑なバリエーションにつながり、このように楽音および他のアーチファクトを低減する。
本発明の実施形態の先の記載のように、本発明の実施形態は、いくつかのケースにおいて、概要として以下のステップを含む機能ユニットを備える。本発明のいくつかの実施形態は、少なくとも1つのスピーカ信号を受信すること、少なくとも1つのマイクロフォン信号を受信すること、スピーカ信号とマイクロフォン信号を短時間スペクトルに変換すること、対応するスピーカおよびマイクロフォンのパワースペクトルを演算すること、スピーカパワースペクトルを定常および非定常のパワースペクトルに抽出または分離すること、定常スピーカパワースペクトルを用いながらエコー除去ゲインフィルタを演算すること、非定常スピーカパワースペクトルを用いながらエコー除去ゲインフィルタを演算すること、エコーを抑制するためにゲインフィルタをマイクロフォンスペクトルに適用すること、およびエコーを抑制されたマイクロフォンスペクトルを時間ドメインに変換することを実装する。
事情に応じて、発明の方法の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実施態様は、発明の方法の実施形態が実行されるように、プログラム可能なコンピュータシステムと相互に作用することができる、電子的に読取可能な制御信号を有するデジタル記憶媒体、特にディスク、CDまたはDVD上で遂行することができる。一般に、本発明の実施形態は、このようにまた、プログラムコードを有し、ソフトウェアプログラム製品がコンピュータまたはプロセッサ上で動作するときに、発明の方法の実施形態を実行するために、機械読取可能なキャリア上に記憶された、ソフトウェアプログラム製品またはコンピュータプログラム製品またはプログラム製品に存在する。言い換えれば、本発明の実施形態は、プログラムがプロセッサ上で動作するとき、その方法を実行するためのプログラムコードを有するコンピュータプログラムまたはソフトウェアプログラムまたはプログラムとして実現することもできる。プロセッサは、コンピュータ、チップカード(スマートカード)、集積システム(SOC=システムオンチップ)、特定用途向け集積回路(ASIC)または他の任意の集積回路(IC)を含むことができる。
[参考文献]
1.C. Breining、P. Dreiseitel、E. Hansler、A. Mader、B. Nitsch、H. Puder、T. Schertler、G. SchmidtおよびJ. TiIp、音響エコー制御、IEEE信号処理マガジン、16(4):42−69、1999年7月
2.A. N. BirkettおよびR. A. Goubran、非線形スピーカ歪およびエンクロージャの振動効果によるハンズフリー音響エコーキャンセラーの限界、オーディオおよびアコースティックへの信号処理の応用に関するワークショップの議事録、13−16頁、ニュー・プラッツ、1995年10月
3.G. SchmidtおよびE. Hansler、音響エコーおよびノイズの制御、現実的なアプローチ、ホーボーケン:ワイリー、2004年
4.W. L. B. Jeannes、P. Scalart、G. FauconおよびC. Beaugeant、ハンズフリーシステムにおける結合ノイズおよびエコーの低減:サーベイ、IEEEスピーチおよびオーディオ処理論文集、9(8):808−820、2001年11月
5.C. FallerおよびJ. Chen、標本化された聴覚エンベロープ空間における音響エコーの抑制、IEEEスピーチおよびオーディオ処理論文集、13(5):1048−1062、2005年9月
6.C. FallerおよびC. Tournery、低演算量のエコー抑制のための音響エコーパスのディレイおよび呈色効果の推定、音響エコーおよびノイズ制御に関する国際会議(IWAENC)の議事録、2005年9月
7.W. EtterおよびG. S. Moschytz、ノイズによるノイズ低減−適応スペクトル振幅拡張、音響工学学会誌、(42):341−349、1994年5月
8.O. Capp'e、ephrain とmalah のノイズ抑制装置による音楽ノイズ減少の除去、IEEEスピーチおよびオーディオ処理論文集、2(2):345−349、1994年4月
9.C. FallerおよびF. Baumgarte、両耳のキューコーディング−パート2:スキームおよびアプリケーション、IEEEスピーチおよびオーディオ処理論文集、11(6):520−531、2003年11月
10.B. R. GlasbergおよびB. C. J. Moore、ノッチノイズデータからの聴覚フィルタシェイプの派生、ヒアリングリサーチ、47:103−138、1990年
100 スピーカ
110 マイクロフォン
120 音響環境
130 スピーカ信号
140 マイクロフォン信号
150 エコー除去処理ユニット
160 エコーを抑制された信号
170 直接パス
180 間接パス
200 装置
210 適応フィルタ
220 入力
230 時間/周波数変換手段
240 エコー推定フィルタ
250 抽出手段
260 エコー推定フィルタ
270 演算手段
280 入力
290 時間/周波数変換手段
300 周波数/時間変換手段
310 出力
320 平均化手段
330 ゲインフィルタ
340 パラメータ演算手段
350 分配手段
360 フィルタステージ
370 フィルタ演算手段
380 結合手段
390 選択手段
400 パラメータ決定手段
410 分配ポイント
420 曲線
430 曲線
440 括弧
450 括弧
460 矢印
470 エコー推定フィルタ手段
480 ディレイ手段
490 エネルギー値演算手段
500 エネルギー値演算手段
510 エネルギー値演算手段
520 更なる演算手段
530 バンドリング手段
540 更なるバンドリング手段

Claims (24)

  1. スピーカ信号によるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタ(210)のフィルタ係数を演算する装置であって、
    前記スピーカ信号から、または、前記スピーカ信号から導き出された信号から、定常成分信号または非定常成分信号を抽出する抽出手段(250)と、
    前記抽出された定常成分信号または前記抽出された非定常成分信号に基づいて、前記適応フィルタ(210)の前記フィルタ係数を演算する演算手段(270)と、
    を備えた、装置(200)。
  2. 前記抽出手段(250)は、前記スピーカ信号または前記導き出された信号のバンドパス信号のエネルギー関連値の平均演算に基づいて、前記定常成分信号を抽出するように構成された、請求項1に記載の装置(200)。
  3. 前記抽出手段(250)は、前記バンドパス信号の基礎となる現在のデータブロックの値にわたり、また前記現在のデータブロックに時間的に先行する少なくとも1つのデータブロックの値のみにわたり、浮動平均演算の形で前記平均演算を実行するように構成された、請求項2に記載の装置(200)。
  4. 前記抽出手段(250)は、前記現在のデータブロックのエネルギー関連値と、先行するデータブロックの、または、先に取得された平均演算の値のエネルギー関連値との比較に依存して、異なる演算仕様に基づいて、浮動平均演算として前記平均演算を実行するように構成された、請求項2または3に記載の装置(200)。
  5. 前記抽出手段(250)は、加算パラメータに依存する、前記現在のデータブロックのエネルギー関連値の、先に演算された平均演算の値への加算に基づいて、前記浮動平均演算の再帰演算を実行するように構成され、前記加算パラメータは、前記現在のデータブロックのエネルギー関連値が前記先に決定された平均演算の値のそれより小さいイベントにおけるよりも、前記現在のデータブロックのエネルギー関連値が前記先に決定された平均演算の値のそれより大きいイベントにおいて、小さい、請求項3または4に記載の装置(200)。
  6. 前記抽出手段(250)は、前記スピーカ信号または前記導き出された信号のバンドパス信号に基づいて、前記非定常成分信号を抽出するように構成された、先行する請求項のいずれかに記載の装置(200)。
  7. 前記抽出手段(250)は、前記定常成分信号とゲインフィルタに基づいて、前記非定常成分信号を抽出するように構成された、先行する請求項のいずれかに記載の装置(200)。
  8. 前記抽出手段(250)は、前記ゲインフィルタが可変または非可変の制御パラメータに依存するように構成された、請求項7に記載の装置(200)。
  9. 前記抽出手段(250)は、前記スピーカ信号または前記スピーカ信号から導き出された信号に基づく、また前記マイクロフォン信号または前記マイクロフォン信号から導き出された信号に基づくコヒーレンス関数に基づいて、前記ゲインフィルタの前記制御パラメータを決定するように構成された、請求項8に記載の装置(200)。
  10. 前記抽出手段(250)は、前記スピーカ信号または前記スピーカ信号から導き出された信号と、前記マイクロフォン信号または前記マイクロフォン信号から導き出された信号の、複数のバンドパス信号にわたる前記コヒーレンス関数の平均値に基づいて、前記制御パラメータを決定するように構成された、請求項9に記載の装置(200)
  11. 前記マイクロフォン信号または前記導き出された信号としてバンドルされたマイクロフォン信号を取得するために、複数のマイクロフォン信号をバンドルするバンドリング手段(540)を更に備えた、先行する請求項のいずれかに記載の装置(200)。
  12. 前記抽出手段(250)は、前記定常成分信号と前記非定常成分信号を出力するように構成され、前記演算手段(270)は、前記定常成分信号に基づいて第1のフィルタ係数を演算し、前記非定常成分信号に基づいて第2のフィルタ係数を演算するように構成され、前記演算手段(270)は、前記第1および第2のフィルタ係数に基づいて前記フィルタ係数を決定するように更に構成された、先行する請求項のいずれかに記載の装置(200)。
  13. 前記抽出手段(250)は、前記フィルタ係数が、前記第1のフィルタ係数が対応する第1のフィルタと前記第2のフィルタが対応する第2のフィルタの直列接続に対応するように、前記フィルタ係数を演算するように構成された、請求項12に記載の装置(200)。
  14. 前記抽出手段(250)は、前記定常成分信号と前記非定常成分信号を出力するように構成され、前記演算手段(270)は、前記定常成分信号に基づいて第1のフィルタ係数を演算し、前記非定常成分信号に基づいて第2のフィルタ係数を演算するように構成され、前記演算手段は、前記第1のフィルタ係数または前記第2のフィルタ係数のいずれかに基づいて前記フィルタ係数を決定するように更に構成された、先行する請求項のいずれかに記載の装置(200)。
  15. 前記演算手段(270)は、より高い減衰レベルに対応する前記第1のフィルタ係数または前記第2のフィルタ係数のそれらのフィルタ係数に基づいて、前記フィルタ係数を決定するように構成された、請求項14に記載の装置(200)。
  16. 前記抽出手段(250)は、前記成分信号出力の情報を備える制御情報信号と同様に、前記定常成分信号または前記非定常成分信号を提供するように構成され、前記演算手段(270)は、前記制御情報信号に含まれる情報と同様に、前記抽出手段(250)によって出力された信号、または、それから導き出された前記信号に基づいて前記フィルタ係数を演算するように構成された、先行する請求項のいずれかに記載の装置(200)。
  17. 前記抽出手段(250)は、前記定常成分信号または前記非定常成分信号を、前記定常成分信号のエネルギー関連値の前記非定常成分信号のエネルギー関連値に対する関係に依存して、前記演算手段(270)に出力するように構成された、請求項16に記載の装置(200)。
  18. 前記抽出手段(250)は、推定された信号として、前記定常成分信号または前記非定常成分信号を抽出するように構成された、先行する請求項のいずれかに記載の装置(200)。
  19. 前記抽出手段(250)は、前記定常成分信号と前記非定常成分信号を出力するように構成された、先行する請求項のいずれかに記載の装置(200)。
  20. 前記フィルタ係数に基づいて前記マイクロフォン信号をフィルタするために、前記適応フィルタ(210)を更に備えた、先行する請求項のいずれかに記載の装置(200)。
  21. 前記複数のマイクロフォン信号のうちの少なくとも2つのマイクロフォン信号を、前記演算手段(270)の同じフィルタ係数に基づいてフィルタするために、バンドリング手段(540)と複数の適応フィルタ(210)を更に備えた、先行する請求項のいずれかに記載の装置(200)。
  22. 前記スピーカ信号として、または、前記スピーカ信号から導き出された信号として、バンドルされたスピーカ信号を取得するために、複数のスピーカ信号をバンドルするバンドリング手段(530)を更に備えた、先行する請求項のいずれかに記載の装置(200)。
  23. スピーカ信号のよるエコーを抑制するためにマイクロフォン信号をフィルタリングする適応フィルタ(210)のフィルタ係数を演算する方法であって、
    前記スピーカ信号から、または、前記スピーカ信号から導き出された信号から、定常成分信号または非定常成分信号を抽出するステップと、
    前記抽出された定常成分信号または前記抽出された非定常成分信号に基づいて前記適応フィルタの前記フィルタ係数を演算するステップと、
    を備えた、フィルタ係数を演算する方法。
  24. プログラムがプロセッサ上で動作するときに、請求項23に記載の方法を実行するプログラムコードを備えた、プログラム。
JP2010544613A 2008-01-31 2009-01-16 エコー抑制のためのフィルタ係数を演算する装置および方法 Active JP4954334B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US2500608P 2008-01-31 2008-01-31
US61/025,006 2008-01-31
DE102008039330A DE102008039330A1 (de) 2008-01-31 2008-08-22 Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
DE102008039330.4 2008-08-22
PCT/EP2009/000270 WO2009095161A1 (en) 2008-01-31 2009-01-16 Apparatus and method for computing filter coefficients for echo suppression

Publications (2)

Publication Number Publication Date
JP2011514706A true JP2011514706A (ja) 2011-05-06
JP4954334B2 JP4954334B2 (ja) 2012-06-13

Family

ID=40847455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010544613A Active JP4954334B2 (ja) 2008-01-31 2009-01-16 エコー抑制のためのフィルタ係数を演算する装置および方法

Country Status (14)

Country Link
US (1) US8462958B2 (ja)
EP (1) EP2238590B1 (ja)
JP (1) JP4954334B2 (ja)
KR (1) KR101169535B1 (ja)
CN (1) CN101933088B (ja)
AU (1) AU2009210295B9 (ja)
BR (1) BRPI0905794A2 (ja)
CA (1) CA2713450C (ja)
DE (1) DE102008039330A1 (ja)
ES (1) ES2585406T3 (ja)
HK (1) HK1149622A1 (ja)
MX (1) MX2010008372A (ja)
TW (1) TWI388190B (ja)
WO (1) WO2009095161A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5296247B1 (ja) * 2012-07-02 2013-09-25 リオン株式会社 音処理装置及びフィードバックキャンセル方法
JP2015037239A (ja) * 2013-08-13 2015-02-23 日本電信電話株式会社 残響抑圧装置とその方法と、プログラムとその記録媒体

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8150052B2 (en) * 2008-10-15 2012-04-03 Hewlett-Packard Development Company, L.P. Integrating acoustic echo cancellation as a subsystem into an existing videoconference and telepresence system
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
JP2013530420A (ja) * 2010-05-06 2013-07-25 ドルビー ラボラトリーズ ライセンシング コーポレイション 可搬型メディア再生装置に関するオーディオ・システム等化処理
US9307340B2 (en) 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9245538B1 (en) * 2010-05-20 2016-01-26 Audience, Inc. Bandwidth enhancement of speech signals assisted by noise reduction
EP2444967A1 (en) * 2010-10-25 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Echo suppression comprising modeling of late reverberation components
EP2671223B1 (en) * 2011-02-03 2015-10-21 Telefonaktiebolaget L M Ericsson (PUBL) Estimation and suppression of harmonic loudspeaker nonlinearities
CN103636236B (zh) 2011-07-01 2016-11-09 杜比实验室特许公司 音频回放***监视
US20130066638A1 (en) * 2011-09-09 2013-03-14 Qnx Software Systems Limited Echo Cancelling-Codec
US8896651B2 (en) * 2011-10-27 2014-11-25 Polycom, Inc. Portable devices as videoconferencing peripherals
US8737188B1 (en) * 2012-01-11 2014-05-27 Audience, Inc. Crosstalk cancellation systems and methods
US8712076B2 (en) 2012-02-08 2014-04-29 Dolby Laboratories Licensing Corporation Post-processing including median filtering of noise suppression gains
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
US9524638B2 (en) * 2012-02-08 2016-12-20 Qualcomm Incorporated Controlling mobile device based on sound identification
JP5897343B2 (ja) * 2012-02-17 2016-03-30 株式会社日立製作所 残響除去パラメータ推定装置及び方法、残響・エコー除去パラメータ推定装置、残響除去装置、残響・エコー除去装置、並びに、残響除去装置オンライン会議システム
CN103325379A (zh) 2012-03-23 2013-09-25 杜比实验室特许公司 用于声学回声控制的方法与装置
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
CN103516921A (zh) 2012-06-28 2014-01-15 杜比实验室特许公司 通过隐藏音频信号的回声控制
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9768884B2 (en) * 2012-10-17 2017-09-19 Acacia Communications, Inc. Multi-range frequency-domain compensation of chromatic dispersion
US9318092B2 (en) 2013-01-29 2016-04-19 2236008 Ontario Inc. Noise estimation control system
EP2760024B1 (en) * 2013-01-29 2017-08-02 2236008 Ontario Inc. Noise estimation control
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
GB2515592B (en) * 2013-12-23 2016-11-30 Imagination Tech Ltd Echo path change detector
JP6295722B2 (ja) * 2014-02-28 2018-03-20 沖電気工業株式会社 エコー抑圧装置、プログラム及び方法
JP6349899B2 (ja) * 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置
US9398374B2 (en) * 2014-08-12 2016-07-19 Cirrus Logic, Inc. Systems and methods for nonlinear echo cancellation
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9479650B1 (en) * 2015-05-04 2016-10-25 Captioncall, Llc Methods and devices for updating filter coefficients during echo cancellation
US10504501B2 (en) 2016-02-02 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive suppression for removing nuisance audio
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
KR20170142001A (ko) * 2016-06-16 2017-12-27 삼성전자주식회사 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US9922637B2 (en) 2016-07-11 2018-03-20 Microsoft Technology Licensing, Llc Microphone noise suppression for computing device
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
WO2018085949A1 (en) * 2016-11-14 2018-05-17 Symroc Business And Project Management Ltd. Vibration-analysis system and method therefor
WO2018155164A1 (ja) * 2017-02-24 2018-08-30 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
JP7122756B2 (ja) * 2017-06-12 2022-08-22 株式会社オーディオテクニカ 音声信号処理装置と音声信号処理方法と音声信号処理プログラム
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
CN107644649B (zh) * 2017-09-13 2022-06-03 黄河科技学院 一种信号处理方法
US10446165B2 (en) * 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11017798B2 (en) 2017-12-29 2021-05-25 Harman Becker Automotive Systems Gmbh Dynamic noise suppression and operations for noisy speech signals
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
EP3796629B1 (en) * 2019-05-22 2022-08-31 Shenzhen Goodix Technology Co., Ltd. Double talk detection method, double talk detection device and echo cancellation system
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN113160782B (zh) * 2020-01-22 2022-11-01 百度在线网络技术(北京)有限公司 音频处理的方法、装置、电子设备及可读存储介质
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
BR112022018422A2 (pt) 2020-03-23 2022-10-25 Dolby Laboratories Licensing Corp Supressão residual de eco
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
WO2022103290A1 (en) 2020-11-12 2022-05-19 "Stc"-Innovations Limited" Method for automatic quality evaluation of speech signals using neural networks for selecting a channel in multimicrophone systems
CN113345456B (zh) * 2021-05-31 2023-06-06 北京小米移动软件有限公司 回声分离方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61242127A (ja) * 1985-04-19 1986-10-28 Fujitsu Ltd エコ−キヤンセラ
JPS62110336A (ja) * 1985-11-08 1987-05-21 Matsushita Electric Ind Co Ltd エコ−キヤンセル装置
JPH01129623A (ja) * 1987-11-16 1989-05-22 Hitachi Ltd エコーキヤンセラ
JPH04335721A (ja) * 1991-05-13 1992-11-24 Matsushita Electric Ind Co Ltd エコーキャンセラー装置
JPH0832494A (ja) * 1994-07-13 1996-02-02 Mitsubishi Electric Corp ハンズフリー通話装置
JP2002076998A (ja) * 2000-08-25 2002-03-15 Oki Electric Ind Co Ltd 反響及び雑音除去装置
JP2002084212A (ja) * 2000-09-08 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
JP2002111552A (ja) * 2000-09-29 2002-04-12 Fujitsu Ltd 音響エコーキャンセラ及びハンズフリー電話機
JP2005142756A (ja) * 2003-11-05 2005-06-02 Oki Electric Ind Co Ltd エコーキャンセラ
JP2005530443A (ja) * 2002-06-19 2005-10-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非定常エコーキャンセラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947093B2 (ja) * 1994-11-02 1999-09-13 日本電気株式会社 適応フィルタによるシステム同定の方法および装置
US5610909A (en) 1995-05-31 1997-03-11 Lucent Technologies Inc. Multistage echo canceler including time variation compensation
US5872728A (en) * 1996-06-20 1999-02-16 International Business Machines Corporation Process for computing the coefficients of an adaptive filter in an echo-cancellor
US5930366A (en) * 1997-08-29 1999-07-27 Telefonaktiebolaget L M Ericsson Synchronization to a base station and code acquisition within a spread spectrum communication system
US6442275B1 (en) * 1998-09-17 2002-08-27 Lucent Technologies Inc. Echo canceler including subband echo suppressor
US6590881B1 (en) * 1998-12-04 2003-07-08 Qualcomm, Incorporated Method and apparatus for providing wireless communication system synchronization
FR2791492B1 (fr) * 1999-03-26 2001-06-08 France Telecom Procede et dispositif d'identification adaptative, et annuleur d'echo adaptatif mettant en oeuvre un tel procede
US6665645B1 (en) * 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
WO2002101728A1 (es) * 2001-06-11 2002-12-19 Lear Automotive (Eeds) Spain, S.L. Metodo y sistema para cancelacion de exos y ruidos en entornos con condiciones acusticas variables y altamente realimentados
US7889804B2 (en) * 2003-05-30 2011-02-15 Mohammad Jaber Borran Partially coherent constellations for multiple-antenna systems
ES2294506T3 (es) * 2004-05-14 2008-04-01 Loquendo S.P.A. Reduccion de ruido para el reconocimiento automatico del habla.
US7383179B2 (en) 2004-09-28 2008-06-03 Clarity Technologies, Inc. Method of cascading noise reduction algorithms to avoid speech distortion
WO2006111370A1 (en) 2005-04-19 2006-10-26 Epfl (Ecole Polytechnique Federale De Lausanne) A method and device for removing echo in a multi-channel audio signal
EP1715669A1 (en) * 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
EP1879181B1 (en) 2006-07-11 2014-05-21 Nuance Communications, Inc. Method for compensation audio signal components in a vehicle communication system and system therefor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61242127A (ja) * 1985-04-19 1986-10-28 Fujitsu Ltd エコ−キヤンセラ
JPS62110336A (ja) * 1985-11-08 1987-05-21 Matsushita Electric Ind Co Ltd エコ−キヤンセル装置
JPH01129623A (ja) * 1987-11-16 1989-05-22 Hitachi Ltd エコーキヤンセラ
JPH04335721A (ja) * 1991-05-13 1992-11-24 Matsushita Electric Ind Co Ltd エコーキャンセラー装置
JPH0832494A (ja) * 1994-07-13 1996-02-02 Mitsubishi Electric Corp ハンズフリー通話装置
JP2002076998A (ja) * 2000-08-25 2002-03-15 Oki Electric Ind Co Ltd 反響及び雑音除去装置
JP2002084212A (ja) * 2000-09-08 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
JP2002111552A (ja) * 2000-09-29 2002-04-12 Fujitsu Ltd 音響エコーキャンセラ及びハンズフリー電話機
JP2005530443A (ja) * 2002-06-19 2005-10-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非定常エコーキャンセラ
JP2005142756A (ja) * 2003-11-05 2005-06-02 Oki Electric Ind Co Ltd エコーキャンセラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5296247B1 (ja) * 2012-07-02 2013-09-25 リオン株式会社 音処理装置及びフィードバックキャンセル方法
JP2015037239A (ja) * 2013-08-13 2015-02-23 日本電信電話株式会社 残響抑圧装置とその方法と、プログラムとその記録媒体

Also Published As

Publication number Publication date
AU2009210295A1 (en) 2009-08-06
AU2009210295B2 (en) 2013-05-02
CA2713450C (en) 2014-07-29
WO2009095161A1 (en) 2009-08-06
DE102008039330A1 (de) 2009-08-13
US20110019833A1 (en) 2011-01-27
TWI388190B (zh) 2013-03-01
US8462958B2 (en) 2013-06-11
KR101169535B1 (ko) 2012-07-31
HK1149622A1 (zh) 2011-10-07
AU2009210295B9 (en) 2014-01-30
TW200948030A (en) 2009-11-16
JP4954334B2 (ja) 2012-06-13
EP2238590B1 (en) 2016-06-01
CN101933088A (zh) 2010-12-29
CA2713450A1 (en) 2009-08-06
RU2010132161A (ru) 2012-02-10
CN101933088B (zh) 2016-05-11
BRPI0905794A2 (pt) 2020-08-11
ES2585406T3 (es) 2016-10-05
MX2010008372A (es) 2010-08-23
KR20100114059A (ko) 2010-10-22
EP2238590A1 (en) 2010-10-13

Similar Documents

Publication Publication Date Title
JP4954334B2 (ja) エコー抑制のためのフィルタ係数を演算する装置および方法
JP5671147B2 (ja) 後期残響成分のモデリングを含むエコー抑制
EP3791565B1 (en) Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters
JP5102371B2 (ja) エコー抑制フィルタの制御情報を演算する装置および方法、並びに、ディレイ値を演算する装置および方法
Gustafsson et al. A psychoacoustic approach to combined acoustic echo cancellation and noise reduction
Faller et al. Suppressing acoustic echo in a spectral envelope space
EP3080975B1 (en) Echo cancellation
JP4413205B2 (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP2003516673A (ja) 端末通信システムのエコー処理装置
AU2011322792B9 (en) Echo suppression comprising modeling of late reverberation components
RU2485607C2 (ru) Устройство и способ расчета коэффициентов фильтра эхоподавления

Legal Events

Date Code Title Description
A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20110322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120313

R150 Certificate of patent or registration of utility model

Ref document number: 4954334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250