JP4913155B2 - 音響エコーキャンセラ - Google Patents

音響エコーキャンセラ Download PDF

Info

Publication number
JP4913155B2
JP4913155B2 JP2008549087A JP2008549087A JP4913155B2 JP 4913155 B2 JP4913155 B2 JP 4913155B2 JP 2008549087 A JP2008549087 A JP 2008549087A JP 2008549087 A JP2008549087 A JP 2008549087A JP 4913155 B2 JP4913155 B2 JP 4913155B2
Authority
JP
Japan
Prior art keywords
signal
input signal
echo cancellation
unit
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008549087A
Other languages
English (en)
Other versions
JP2009522904A (ja
Inventor
ダフィド エイ シー エム ローフェルス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009522904A publication Critical patent/JP2009522904A/ja
Application granted granted Critical
Publication of JP4913155B2 publication Critical patent/JP4913155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音響エコーキャンセラに関する。更に詳細には、本発明は、遠端信号に応じてマイクロフォン信号におけるエコーをキャンセルするための音響エコーキャンセル装置であって、前記遠端信号をフィルタリングしてエコーキャンセル信号を生成するように構成された適応フィルタユニットと、前記エコーキャンセル信号を前記マイクロフォン信号と結合して残余信号を生成するように構成された結合ユニットと、前記残余信号からいずれの残りのエコー成分をも略除去するように構成されたポストプロセッサユニットと、を有する装置に関する。
エコーキャンセル装置は良く知られている。(ハンズフリー型の)電話機におけるように、ラウドスピーカとマイクロフォンとが互いに近く配置され同時に使用されると、遠端信号の一部がマイクロフォン信号におけるエコーとして現れる。一般的なエコーキャンセル装置は、遠端信号を再生するラウドスピーカとエコー及び近端信号の両方を受信するマイクロフォンとの間の音響経路をモデリングする適応フィルタを有する。該適応フィルタにより生成されたエコーキャンセル信号がマイクロフォン信号におけるエコーと等しい場合には、該エコーが相殺され、近端信号のみが残る。しかしながら、マイクロフォン信号とエコーキャンセル信号とを結合した結果生じる残余信号は、一般にエコー成分を依然として含む。斯かるエコー成分を除去するため、残余信号を更に処理しいずれの残りのエコー成分をも除去するためのポストプロセッサが利用され得る。ポストプロセッサユニットは一般に、大きな残余遠端エコーが存在する周波数を選択的に減衰させる、時間及び周波数に依存する利得関数を提供する。
米国特許US6,546,099(Philips社)は、ポストプロセッサを含む音響エコーキャンセル装置を開示している。該先行技術のエコーキャンセル装置は、エコーキャンセル信号の周波数スペクトルを決定するためのスペクトル推定器を更に含む。前記ポストプロセッサは、前記エコーキャンセル信号の周波数スペクトルに依存するフィルタを有する。斯かるポストプロセッサの利用は、残余信号中の残りのエコーの抑制を著しく改善する。
米国特許US6,546,099より知られる構成は、殆どの場合において好適に動作する。しかしながら、幾つかの状況においては、近端信号を抑制する又は歪ませることなく、残りのエコーが効率的に抑制され得ない。この状況は、所謂ダブルトーク状態、即ち遠端発話と近端発話が同時にマイクロフォンによって受信される場合、特に遠端発話が比較的大きい場合に生じ得る。現代のモバイル型(携帯)電話機においては、ラウドスピーカとマイクロフォンとが互いに非常に近く配置されることがしばしばある。ハンズフリーモードにおいて使用される場合、遠端エコーは近端信号よりもかなり大きくなり得、先行技術のエコーキャンセル装置は可聴の信号の歪みをもたらすこととなる。
この問題は、エコーが遠端信号のみならず、音楽信号又は第2の遠端信号のような付加的な信号によっても引き起こされる場合には更に悪化される。例えば現代のモバイル型電話機はしばしば、例えばMP3形式又は同様の形式で保存された音楽のような、インターネットからダウンロードされた音楽を再生することが可能である。該音楽が通話の間に再生される場合、継続的なダブルトークの状態に帰着する。先行技術のエコーキャンセル装置は、この問題に対する解決方法を提供できない。
本発明の目的は、先行技術のこれら及びその他の問題を克服し、遠端音声信号及び音楽信号のような、複数の入力信号に対処することが可能な音響エコーキャンセル装置を提供することにある。
従って本発明は、第1の入力信号及び第2の入力信号に応じてマイクロフォン信号におけるエコーをキャンセルするための音響エコーキャンセル装置であって、
前記第1の入力信号を前記第2の入力信号と結合して集約入力信号とするように構成された第1の結合ユニットと、
前記集約入力信号をフィルタリングして集約エコーキャンセル信号を生成するように構成された適応フィルタユニットと、
前記集約エコーキャンセル信号を前記マイクロフォン信号と結合して残余信号を生成するように構成された第2の結合ユニットと、
前記第1の入力信号又は前記第2の入力信号のいずれかをフィルタリングして、それぞれ第1の部分的エコーキャンセル信号又は第2の部分的エコーキャンセル信号を生成するように構成された更なるフィルタユニットと、
前記残余信号における残りのエコー成分を略抑制するように構成されたポストプロセッサユニットと、
を有する音響エコーキャンセル装置において、
前記ポストプロセッサは、前記部分的エコーキャンセル信号の少なくとも一方を利用して、前記第1の入力信号に対応するエコー成分を、前記第2の入力信号に対応するエコー成分よりも大きく抑制するように構成された、音響エコーキャンセル装置を提供する。
入力信号を集約入力信号へと結合し、該集約入力信号を適応フィルタにおいて利用することにより、該フィルタは双方の入力信号のエコー経路の信頼性高いモデルを提供することが可能である。適応フィルタにおいて前記集約入力信号を利用することは、信号が常に適応フィルタに供給される見込みが増大され、そのため該フィルタのフィルタ係数が最新に保たれるという更なる利点を持つ。
入力信号の1つをフィルタリングするように構成された更なるフィルタユニットを提供することにより、該入力信号の1つにのみ関連する部分的なエコーキャンセル信号が生成される。斯かる部分的なエコーキャンセル信号は、残りのエコー成分(即ちエコー)を選択的に抑制するために利用され得る。本発明によれば、前記第1の入力信号に対応するエコー成分が、前記第2の入力信号のエコー成分よりも大きく抑制される。ポストプロセッサによる残りのエコー成分の当該選択的な抑制の結果、前記第1の入力信号のエコー成分を略完全に抑制し、一方で前記第2の入力信号のエコー信号を部分的にのみ抑制する又は全く抑制しないことが可能である。
前記第1の入力信号は、例えば離れた電話機により生成された発話信号のような遠端信号であっても良く、前記第2の入力信号は、例えば該音響エコーキャンセル装置が組み込まれたモバイル型電話機により生成された音楽信号のような音楽信号であっても良いことに留意されたい。このことは、遠端エコーを略除去しつつ、残余信号における、それ故該装置の出力信号における残りの音楽エコーの少なくとも一部を残すことを可能とし得る。
前記第2の入力信号が、例えば他の離れた電話機又は他のリモートの若しくはローカルの音源からの、着信音又はストリーミングオーディオ信号であることも可能である。本発明は2つの入力信号に限定されるものではなく、3以上の入力信号が集約入力信号へと結合されても良いことは、理解されるであろう。
上述したように、前記第1の入力信号からのエコー成分を、前記第2の入力信号からのエコー信号よりも大きく抑制するため、部分的なエコーキャンセル信号が利用される。即ち、前記第1の入力信号のエコー成分は略完全に、及び少なくとも部分的に抑制され得、第2の入力エコー信号成分は全く抑制されなくとも良い。この目的のために利用される前記部分的なエコーキャンセル信号は好適には、前記第1の入力信号に関連する第1の部分的エコーキャンセル信号である。該第1の部分的エコーキャンセル信号は、前記第1の入力信号から直接に、又は第2の部分的エコーキャンセル信号及び前記集約エコーキャンセル信号から、導出されても良い。
それ故、好適な実施例においては、前記更なるフィルタユニットは、前記第2の入力信号をフィルタリングして前記第2の部分的エコーキャンセル信号を生成するように構成され、前記音響エコーキャンセル装置は更に、前記集約エコーキャンセル信号と前記第2の部分的エコーキャンセル信号とを結合して前記第1の部分的エコーキャンセル信号を生成するように構成された第3の結合ユニットを有する。それ故本実施例においては、前記第1の部分的エコーキャンセル信号は、間接的に導出される。第3の結合ユニットが、第2の結合ユニットと同様に、減算を実行しても良いことは理解されるであろう。
典型的な実施例においては、ポストプロセッサユニットは、前記更なるフィルタユニット又は第3の結合ユニットから、前記第1の部分的エコーキャンセル信号を受信する。しかしながら、代替実施例においては、前記第3の結合ユニットはポストプロセッサユニットに組み込まれ、該ポストプロセッサユニットが前記第1の部分的エコーキャンセル信号の代わりに第2の部分的エコーキャンセル信号及び集約エコーキャンセル信号を受信することを可能とする。
前記更なるフィルタユニットは、適応フィルタユニットを有しても良い。好適には、前記更なるフィルタユニットは、フィルタ係数を共有するため前記適応フィルタユニットに結合される。該結合は、前記更なるフィルタユニットが、(主)適応フィルタユニットの係数の全て又は一部をコピーすることを可能とする。該(主)適応フィルタユニット及び更なるフィルタユニットは、フィルタ係数決定ユニットを共有しても良い。
本発明の装置は有利にも、ステレオ音楽信号、5.1音楽信号又はステレオ音声信号のような、それ自体が複数の(又は合成の)入力信号である少なくとも1つの入力信号を受信するように構成されても良い。斯かる実施例においては、入力信号の総数は少なくとも3である。斯かるこれら入力信号を処理するため、本発明の装置は有利にも、集約合計入力信号及び集約差分入力信号を生成するための第5の結合ユニットと、それぞれ前記集約合計入力信号及び前記集約差分入力信号をフィルタリングするための適応フィルタと、前記エコーキャンセル信号を生成するため前記適応フィルタに結合された第6の結合ユニットと、を有しても良い。即ち、合計信号及び差分信号の両方が、別個の適応フィルタにより処理される。
本発明の装置は有利にも、入力信号を受信し適応された入力信号を生成するように構成された信号適応ユニットと、前記適応された入力信号と前記ポストプロセッサの出力信号とを結合するための第4の結合ユニットと、を更に有しても良い。入力信号の適応されたバージョンを出力信号に加算することにより、いずれの「ゲーティング(gating)」もが抑制されつつ、歪み及び望ましくない副作用が更に低減される。
斯かる信号適応ユニットは、単一の入力信号のみを持つ音響エコーキャンセル装置において利用されても良い。
該信号適応ユニットは、遅延ユニット、増幅ユニット及び/又はフィルタユニットを有しても良い。該増幅ユニットは、好適には可変の利得を持つ。
本発明はまた、第1の入力信号及び第2の入力信号に応じてマイクロフォン信号におけるエコーをキャンセルする方法であって、
前記第1の入力信号を前記第2の入力信号と結合して集約入力信号とするステップと、
前記集約入力信号をフィルタリングして集約エコーキャンセル信号を生成するステップと、
前記集約エコーキャンセル信号を前記マイクロフォン信号と結合して残余信号を生成するステップと、
前記第1の入力信号又は前記第2の入力信号のいずれかをフィルタリングして、それぞれ第1の部分的エコーキャンセル信号又は第2の部分的エコーキャンセル信号を生成するステップと、
前記残余信号における残りのエコー成分を略抑制するステップと、
を有する方法において、
前記残りのエコー成分を抑制するステップは、前記部分的エコーキャンセル信号の少なくとも一方を利用して、前記第1の入力信号に対応するエコー成分を、前記第2の入力信号に対応するエコー成分よりも大きく抑制するステップを含む方法を提供する。
更なる方法の請求の範囲は、以下の説明により明らかとなるであろう。
本発明は更に、以上に定義された方法を実行するためのコンピュータプログラムを提供する。コンピュータプログラムは、CD又はDVDのようなデータ担体に保存されたコンピュータ実行可能な命令のセットを有しても良い。プログラム可能なコンピュータが以上に定義された方法を実行することを可能とする、前記コンピュータ実行可能な命令のセットは、例えばインターネットを介した、リモートのサーバからのダウンロードのために利用可能であっても良い。
本発明は、添付図面に示された実施例を参照しながら、以下に更に説明される。
図1に模式的に示された、先行技術による音響エコーキャンセル装置1'は、適応フィルタ(AF)ユニット11、フィルタ係数(FC)ユニット10、結合ユニット14及びポストプロセッサ(PP)ユニット15を有する。装置1'は更に、説明の明確さのため図1には示されてないD/A(ディジタル/アナログ)変換器、A/D(アナログ/ディジタル)変換器、増幅器及び/又は他の構成要素を有しても良い。
入力信号xは、装置1'の入力端子Aにおいて受信される。入力信号xは、典型的にはリモートに生成された所謂遠端信号であり、該信号を音声へと変換するラウドスピーカ2へと供給される。該音声の一部は、マイクロフォン3により、音響エコーeとして受信される。マイクロフォン3はまた、音響近端音声nを受信し、エコーeと該近端音声nとの組み合わせをマイクロフォン信号zへと変換し、該信号zは結合ユニット14へと供給される。
入力信号xは、適応フィルタユニット11及び関連するフィルタ係数ユニット(又はフィルタ更新ユニット)10にも供給される。フィルタ係数ユニット10はまた、残余信号rを受信し、典型的には信号xと信号rとの間の相関が最小となるように適応フィルタ11の係数を設定する。
適応フィルタユニット11は、入力信号xをフィルタリングし、理想的にはマイクロフォン信号zのエコー成分と等しいエコーキャンセル信号yを生成する。マイクロフォン信号z及びエコーキャンセル信号yは、結合ユニット14において結合される。該結合ユニット14は、本例においては加算器により構成される。エコーキャンセル信号yは負の符号により加算され、それ故マイクロフォン信号zから減算され、残余信号rを出力する。
残余信号rは理想的にはエコー成分を含まないが、実際には幾分かのエコー成分が残ることとなる。この理由のため、残余信号rを更に処理して、処理された残余信号r'を出力するポストプロセッサ15が追加される。ポストプロセッサ15により出力された処理された残余信号r'は、装置1'の出力端子Cへと供給される。
ポストプロセッサ15はまた、エコーキャンセル信号yを受信し、信号yに依存して残余信号rを更に処理する。適切な処理演算はスペクトル減算であり、ここで処理された残余信号r'の周波数スペクトルの絶対値|R'(ω)|が、例えば関係:
Figure 0004913155
により決定される。ここで、|R(ω)|及び|Y(ω)|は、それぞれ信号r及びyの周波数スペクトルの絶対値であり、γは過減算パラメータである。スペクトル減算又は同様の手法が式(1)に従って直接に実行されても良いし、又は例えば
Figure 0004913155
のように、残余信号rが乗算される利得関数を決定するために利用されても良い。ここで、G(ω)はポストプロセッサの(周波数依存の)利得関数であり、Gmin(ω)は最小の利得値であり、|Z(ω)|はマイクロフォン信号zの周波数スペクトルの絶対値であり、γは過減算パラメータであり、|Y(ω)|はエコーキャンセル信号yの周波数スペクトルの絶対値であり、|R(ω)|は残余信号rの周波数スペクトルの絶対値である。典型的にγは1より大きくなるように選択され、例えば1.2、1.5、1.8又は2.0である。信号zは、関係z=y+rを用いて決定されても良い。この種のポストプロセッサ演算は、以上において参照した米国特許US6,546,099に、より詳細に説明されている。
幾つかの状況において、図1に示された先行技術の装置1'により生成される出力信号r'の品質が満足できるものではないことが分かっている。例えば(モバイル型又はワイヤレス型の)電話の受話器がハンズフリーモードで使用される場合、特に発話している人物が該受話器から比較的離れているときには、エコーeが近端音声nよりもかなり大きくなり得る。結果として、近端信号が装置1'によって大きく抑制されることとなる。エコーキャンセル信号yはマイクロフォン信号zと殆ど等しくなり、近端信号のいずれの残りの成分もが、ポストプロセッサによって減衰される。それ故、結果の出力信号r'は歪まされる。
この問題は、第2の入力信号が存在する場合に悪化させられる。このことは図2において模式的に示され、ここでは装置1''が、図1を参照しながら議論された構成要素に加え、更なる結合ユニット13及び更なる入力端子Bを有する。第1の入力端子Aにおいて、装置1''は第1の入力信号s(例えば遠端音声信号)を受信し、一方で第2の入力信号m(例えば音楽信号)が第2の入力端子Bにおいて受信される。これら入力信号s及びmは結合ユニット13において結合され(例えば加算され)、結合又は集約入力信号xを生成する。該集約信号xは次いで、図1の装置1'におけるように再生され処理される。
しかしながら図2の装置1''は、近端音声(例えば発話)nが存在するときにラウドスピーカにより再生され得る2つの入力信号があるため、所謂ダブルトーク状態の確率が非常に増大させられるという欠点を持つ。とりわけ、第2の入力信号mが中断なく数分間鳴り得る音楽を有する場合、ダブルトークの見込みが非常に高くなる。以上に議論されたようにダブルトーク状態は、ポストプロセッサが比較的大きなエコーeを除去しようとするため、近端信号nの歪みに導く見込みが高い。従って、図2の装置1''の性能は満足できるものではない。
本発明は、入力信号の少なくとも1つに依存してポストプロセッサを適切に制御して、それぞれの入力信号により引き起こされるエコー成分の選択的な減衰を提供することにより、この問題を解決する。
単に限定的でない例として図3に示される本発明による音響エコーキャンセル装置1もまた、適応フィルタ(AF)ユニット11、フィルタ係数(FC)ユニット10、第1の結合ユニット13、第2の結合ユニット14及びポストプロセッサ(PP)ユニット15を有する。加えて、本発明の装置1は、第2の適応フィルタ(AF)ユニット12を有する。
装置1は、説明の明確さのために図3には示されていない増幅器、D/A(ディジタル/アナログ)変換器、A/D(アナログ/ディジタル)変換器、1以上のバンドパスフィルタ、及び他の構成要素を更に有しても良いことは、当業者には明らかであろう。
第1の適応フィルタユニット11は集約入力信号xを受信する一方、第2の適応フィルタユニット12は入力信号の1つ(図3の例においては第1の入力信号s)のみを受信し、部分的エコーキャンセル信号(本例においては(第1の)部分的エコーキャンセル信号y)を生成する。図3の実施例においては、集約エコーキャンセル信号yの代わりに、部分的エコーキャンセル信号yがポストプロセッサ15へと供給される。結果としてポストプロセッサ15は、第2の入力信号mとは独立に、第1の入力信号sのみに基づいて残余信号rを処理することが可能である。ポストプロセッサ15が利得関数を利用する場合には、該関数は
Figure 0004913155
と記述されることができ、ここでG(ω)はポストプロセッサの(周波数依存の)利得関数であり、Gmin(ω)は最小の利得値であり、|Z(ω)|はマイクロフォン信号zの周波数スペクトルの絶対値であり、γは重み係数(又は過減算パラメータ)であり、|Y(ω)|は部分的エコーキャンセル信号yの周波数スペクトルの絶対値であり、|R(ω)|は残余信号rの周波数スペクトルの絶対値である。典型的にγは1より大きくなるように選択され、例えば1.2、1.5、1.8又は2.0である。マイクロフォン信号zはポストプロセッサ15に供給されても良いが、好適には関係z=r+yを用いてポストプロセッサにおいて導出される。
利得関数G(ω)又はそれと同等のものは好適には、それぞれが狭い周波数範囲に対応する周波数ビン毎に決定されることに留意されたい。
図3の実施例においてフィルタ12は、第1のフィルタ係数(FC)ユニット10及びそれ故(第1の)適応フィルタ(AF)11に結合された、(第2の)適応フィルタ(AF)である。本構成において、(第2の)フィルタ12は、フィルタ係数ユニット10及び(第1の)適応フィルタ11により構成される適応フィルタユニットから、該フィルタ12のフィルタ係数を受信する。第1のフィルタ11はラウドスピーカ2とマイクロフォン3との間のエコー経路をモデリングするため、第2のフィルタ12も同様のことを行う。当業者には、エコー経路を最適にモデリングするため、フィルタ係数ユニット10が典型的には集約入力信号xと残余信号rとの間の相関を最小化しようと試みることが分かる。幾つかの実施例においては、第2の適応フィルタ12は、第1のフィルタ11よりも短いフィルタ長を持ち、それ故フィルタ係数のサブセット(例えば最初のn個の係数(nは10、20、25、30又は他のいずれの適切な数であっても良い))のみを受信し得ることに留意されたい。
以上に議論されたように、図3に示された本発明の音響エコーキャンセル装置1においては、(ことによると比較的大きな)第2の信号mがポストプロセッサに過度の減衰を引き起こさせ得るため、部分的エコーキャンセル信号yのみを利用した選択的なポストプロセシングにより、残余信号の歪みが低減され又は除去される。しかしながら、第2の信号mに基づく何らかのポストプロセシング(例えば減衰)を可能とすることにより、該付加的なポストプロセシングの程度が限られる場合には、出力信号r'が更に改善され得ることが分かった。該ポストプロセシングが減衰を含む場合、ポストプロセッサは第1の入力信号に対するよりも少ない減衰を第2の入力信号にもたらす。第2の入力信号に基づいて減衰の量(及びそれと同等のもの)を選択することにより、該第2の信号の抑制と歪みのリスクとの間のトレードオフが為され得る。
第2の部分的音響エコーキャンセル信号yを含む適切な利得関数は
Figure 0004913155
であり、ここでG(ω)、Gmin(ω)、|Z(ω)|、γ、|Y(ω)|及び|R(ω)|は以上に定義したとおりであり、γは第2のエコーキャンセル信号yに適用される重み係数(過減算パラメータ)であり、|Y(ω)|は第2のエコーキャンセル信号yの周波数スペクトルの絶対値である。本発明によれば、第1の重み係数γは、第2の重み係数γよりも大きくなるように選択される。例えば、γは1.8に略等しく、γは約0.9に略等しくても良い。他の値もとり得ることは理解されるであろう。典型的な実施例においては、関係γ≦γに従い、第1の重み係数γは1.0乃至2.0の範囲であり、第2の重み係数γは0.3乃至1.1の範囲であっても良い。
min(ω)の値は、一定であっても良いし又は可変であっても良い。Gmin(ω)の適切な一定値は0であり、負の利得値を防ぐように働く。一方、Gmin(ω)の適切な可変値は、
Figure 0004913155
を利用して決定されても良く、ここでGはyが0に等しい場合の利得であり、適切な値は0.25、0.5又は1.0であるが、他の値が利用されても良い。
2つの部分的エコーキャンセル信号が利用される本発明による音響エコーキャンセル装置の実施例が、図4に示される。図4の実施例もまた、フィルタ係数(FC)ユニット10、第1の適応フィルタ(AF)ユニット11、第2の適応フィルタ(AF)ユニット12、第1の結合ユニット13、第2の結合ユニット14及びポストプロセッサ(PP)ユニット15を有する。加えて、図4の装置1は、第3の結合ユニット16、信号適応(SA)ユニット17及び第4の結合ユニット18を有する。
図4の実施例においては、第2の適応フィルタ12は、第1の入力信号sの代わりに第2の入力信号mを受信する。結果として、フィルタ12は、ポストプロセッサ15に供給される第2のエコーキャンセル信号yを生成する。第3の結合ユニット16は、関係y=y−yを用いて、集約エコーキャンセル信号y及び第2のエコーキャンセル信号yから、第1のエコーキャンセル信号yを導出するように動作する。第1のエコーキャンセル信号yはまた、例えば上述した式(4)を用いた選択的な減衰のような選択的な処理に利用されるために、ポストプロセッサ15に供給される。
第3の結合ユニット16はポストプロセッサ15に組み込まれても良く、その場合には該ポストプロセッサは信号y及びyのみを受信する点に留意されたい。同様に、図3の実施例において、ポストプロセッサ15は、信号y及びyを受信し、信号yを導出しても良い。
信号適応ユニット17は、第2の入力信号mを受信し、該入力信号の遅延された、減衰された及び/又はフィルタリングされたバージョンm'を第4の結合ユニット18へと供給する。該ユニット18は次いで、適応された第2の入力信号m'及び処理された残余信号r'を結合(典型的には加算)し、拡張された残余信号r''を生成する。第2の入力信号mの一部を出力信号に加算することにより、前記第2の入力信号のいずれの歪みもが、加算された信号m'により隠蔽される。信号適応ユニット17の動作は、図7を参照しながら後により詳細に説明される。
第1の入力信号sが、遠端音声信号のような音声信号であり、第2の入力信号mが、例えばMP3プレイヤ又は同様の装置により生成された音楽信号のような音楽信号であることが好適である。しかしながら本発明はこれに限定されるものではなく、いずれの入力信号もが音声信号又は音楽信号であっても良い。加えて、第3の入力信号が第3の入力端子において受信されても良く、必要であれば第3の部分的エコーキャンセルが導出されても良い。当業者は、それに応じて本発明の装置を容易に適応させることが可能であろう。
図5に示された実施例は、図4の実施例に基づくものであり、アップサンプラ21並びにダウンサンプラ22及び23が追加されたものである。加えて、ディジタル/アナログ(D/A)変換器19及びアナログ/ディジタル(A/D)変換器20が示されている。本実施例において、第1の入力信号sは8kHzでサンプリングされた(例えば音声)信号であり、第2の入力信号mは48kHzでサンプリングされた(例えば音楽)信号であることが仮定される。アップサンプラ21は、第1の入力信号sのサンプリング周波数を8kHzから48kHzへと変換し、入力信号s及びmが第1の結合ユニット13において結合されることを可能とする。装置1の出力信号r''が8kHzのサンプリング周波数を持つべきである場合、及び/又は適応フィルタにおいて8kHzのサンプリング周波数を利用することが望ましい場合には、ダウンサンプラ22及び23は、第2の入力信号m及び集約入力信号xのサンプリング周波数を48kHzから8kHzへと変換するために備えられる必要がある。言及されたサンプリング周波数は例としてのみ示されたものであり、他のサンプリング周波数が利用され得ることは、理解されるであろう。
D/A変換器19は、ディジタルの集約入力信号xを、ラウドスピーカ2に供給されるアナログ信号へと変換する。任意に増幅器(図示されていない)が、D/A変換器19とラウドスピーカ2との間に配置されても良い。A/D変換器20は、アナログのマイクロフォン信号をディジタル信号へと変換する。
以上に議論された実施例においては、各入力信号はモノラル(即ち単一チャネル)信号である。しかしながら本発明は、そのように限定されるものではなく、複数チャネルの入力信号が提供される場合にも適用され得る。ステレオ入力信号を受信することが可能な音響エコーキャンセル装置の実施例は、図6に示される。
図6の実施例は、図4の実施例と大部分が同一であり、フィルタ係数(FC)ユニット10、第1の適応フィルタ(AF1S、AF1D)ユニット11、第2の適応フィルタ(AF)ユニット12、第1の結合ユニット13、第2の結合ユニット14、ポストプロセッサ(PP)ユニット15、第3の結合ユニット16、任意の信号適応(SA)ユニット17及び任意の第4の結合ユニット18を有する。
図6の実施例においては、単一の入力端子Bが第1の入力信号sを受信し、2つの入力端子Aが左の第2の入力信号mL及び右の第2の入力信号mRを受信する。2つの第1の結合ユニット13が、第1の入力信号sと第2の入力信号mL及びmRとを結合して、左集約入力信号xL及び右集約入力信号xRをそれぞれ生成する。集約入力信号xL及びxRは、それぞれラウドスピーカ2及びそれぞれの(第5の)結合ユニット25へと供給される。結合ユニット25は、2つの信号xL及びxRを結合し、左のユニットが合計信号xSを生成し、右のユニットが差分信号xDを生成する。これらの集約合計及び差分入力信号xS及びxDは、それぞれ合計(AF1S)及び差分(AF1D)適応フィルタ11に供給され、これらフィルタの出力信号が(第6の)結合ユニット26において結合され、集約エコー補償信号yを生成する。
合計信号xS及び差分信号xDはまたフィルタ係数(FC)ユニット10へと供給され、双方の信号が適応フィルタ11及び12の係数を生成するために利用され得るようにする。
入力信号mL及びmRは(第7の)結合ユニット27において結合され、(任意の)信号適応ユニット17に供給される合計信号mSを生成する。信号適応ユニット17の出力信号mS'は(第4の)結合ユニット18に供給され、処理された残余信号r'と結合される。合計信号mSは(第2の)入力信号mL及びmRを結合することにより導出されるものであり、第1の入力信号sを含まないが、合計信号xSは全ての入力信号即ちmL、mR及びsを結合することにより導出されるものであることに留意されたい。入力端子Bと(第2の)適応フィルタ12との間に結合された増幅ユニット30は、2に等しいファクタで第1の入力信号sのレベルを乗算し、信号sが集約入力合計信号xSにおいて2sとして現れるという事実を補償する。
かくして、本発明の音響エコーキャンセル装置は、複数チャネルの入力信号を受信するように変更され得ることが分かる。フィルタ係数ユニット10により利用される集約入力信号(合計信号xS)が生成される。
図7の実施例においては、音響エコーキャンセル(AEC)装置1の本体が明確さのため単一のユニット100により表され、信号適応ユニット17及び(第4の)結合ユニット18のみが別途示されている。AECユニット100は、例えば図4のユニット10乃至16を、又は図1のユニット10、11、14及び15のみを有しても良い。図7の実施例においては、単一の入力信号mのみが存在し、該入力信号mは音楽信号であっても良いが、これに限定されるものではない。
図7に模式的に示された信号適応ユニット17は、遅延ユニット28及び(制御された)増幅器29を有する。遅延ユニット28は、第2の適応フィルタ12及びポストプロセッサ15により導入される遅延を補償する。増幅器29は、信号m(又はx)を或る程度まで増幅又は減衰させる。好適には、増幅器29の利得は制御されることができる(調節可能な利得g)。該信号適応ユニットは、入力信号mの周波数帯域を選択するための1以上のバンドパスフィルタ(図示されていない)を更に有しても良い。
信号適応ユニット17は、入力信号の適応されたバージョンを、音響エコーキャンセル装置の出力信号に加算するように動作する。入力信号の当該再加算は、音のアーティファクトを低減させ、ポストプロセッサにより引き起こされるいずれの「ゲーティング」をも隠蔽する。当業者は、出力信号における「ゲーティング」即ち中断の出現は、入力信号がポストプロセッサの利得関数を低い値に推定させる場合にダブルトークにより引き起こされることを理解するであろう。
更に詳細には、図3乃至7の実施例における第2の入力信号mに当てはまり得るように、入力信号が適応フィルタ及びポストプロセッサによっては抑制されない又は完全には抑制されない場合がある。いずれの残りの(第2の)入力信号もが、出力信号の劣化を引き起こす。なぜなら該入力信号は反響のみを含み得、非線形であり得、一般に近端信号が存在する場合に完全に抑制され得るからである(ゲーティング)。完全には抑制されていない入力信号を出力信号に加算することにより、残りの入力信号が隠蔽され、歪みが典型的には可聴ではなくなる。
信号適応ユニット17は、第2の適応フィルタ(図3乃至5における17)とは別に利用されても良いことに留意されたい。即ち、信号適応ユニット17は、単一の入力信号及び/又は単一の適応フィルタのみを持つ音響エコーキャンセル装置においても利用され得る。
図8において模式的に示されたモバイル型電話機5は、本発明による音響エコーキャンセル装置が組み込まれ得る消費者向け機器の例として動作する。本発明の他の用途は、ラウドスピーカが(例えばラジオ、CDプレイヤ又はMP3プレイヤからの)音楽と(例えばモバイル型電話からの)音声との両方を再生する車載オーディオシステムを含むが、これに限定されるものではない。
本発明は、ハードウェアで及び/又はソフトウェアで実装され得る。ハードウェアの実装は、特定用途向け集積回路(ASIC)を含んでも良い。ソフトウェアの実装は、通常の又は特殊用途向けコンピュータにおいて実行されることが可能なソフトウェアプログラムを含んでも良い。
本発明は、複数の入力信号を持つ音響エコーキャンセル装置の出力信号の品質が、入力信号の1つにのみ基づく少なくとも1つのエコーキャンセル信号を提供することにより著しく改善されるという洞察に基づくものである。本発明は、音響エコーキャンセル装置の出力信号の品質が、入力信号の一部を出力信号に加算することにより更に改善されるという更なる洞察から利益を得るものである。
本明細書において利用されるいずれの語も、本発明の範囲を限定するものとして解釈されるべきではないことに留意されたい。とりわけ、「有する(comprise(s)及びcomprising)」なる語は、明示的に言及されていないいずれの要素をも除外することを意図したものではない。単一の(回路)要素は、複数の(回路)要素又はその同等物により代用されても良い。
本発明は以上に示された実施例に限定されるものではなく、添付する請求項において定義された本発明の範囲から逸脱することなく多くの変更及び追加が為され得ることは、当業者には理解されるであろう。
先行技術による音響エコーキャンセル装置を模式的に示す。 2つの入力信号を受信するように構成された音響エコーキャンセル装置を模式的に示す。 本発明による音響エコーキャンセル装置の第1の実施例を模式的に示す。 本発明による音響エコーキャンセル装置の第2の実施例を模式的に示す。 本発明による音響エコーキャンセル装置の第3の実施例を模式的に示す。 本発明による音響エコーキャンセル装置の第4の実施例を模式的に示す。 本発明による音響エコーキャンセル装置の第5の実施例を模式的に示す。 本発明が利用され得る消費者向け機器を模式的に示す。

Claims (14)

  1. 第1の入力信号及び第2の入力信号に応じてマイクロフォン信号におけるエコーをキャンセルするための音響エコーキャンセル装置であって、
    前記第1の入力信号を前記第2の入力信号と結合して集約入力信号とするように構成された第1の結合ユニットと、
    前記集約入力信号をフィルタリングして集約エコーキャンセル信号を生成するように構成された適応フィルタユニットと、
    前記集約エコーキャンセル信号を前記マイクロフォン信号と結合して残余信号を生成するように構成された第2の結合ユニットと、
    前記第1の入力信号をフィルタリングして第1の部分的エコーキャンセル信号を生成するように、又は、前記第2の入力信号をフィルタリングして第2の部分的エコーキャンセル信号を生成するように、構成された更なるフィルタユニットと、
    前記残余信号におけるエコー成分を抑制するように構成されたポストプロセッサユニットと、
    を有する音響エコーキャンセル装置において、
    前記ポストプロセッサは、前記第1の部分的エコーキャンセル信号を利用して、又は、前記第2の部分的エコーキャンセル信号と前記集約エコーキャンセル信号とを利用して、前記第1の入力信号に対応するエコー成分を、前記第2の入力信号に対応するエコー成分よりも大きく抑制するように構成された、音響エコーキャンセル装置。
  2. 前記更なるフィルタユニットは、前記第2の入力信号をフィルタリングして前記第2の部分的エコーキャンセル信号を生成するように構成され、前記装置は更に、前記集約エコーキャンセル信号と前記第2の部分的エコーキャンセル信号とを結合して前記第1の部分的エコーキャンセル信号を生成するように構成された第3の結合ユニットを有する、請求項1に記載の装置。
  3. 前記第3の結合ユニットは前記ポストプロセッサユニットに組み込まれた、請求項2に記載の装置。
  4. 前記更なるフィルタユニットは、フィルタ係数を共有するため前記適応フィルタユニットに結合された、請求項1に記載の装置。
  5. 前記第1の信号は発話信号であり、前記第2の信号は音楽信号である、請求項1に記載の装置。
  6. 前記第1の入力信号及び前記第2の入力信号のいずれかが多重信号である、請求項1に記載の装置。
  7. いずれかが多重信号である前記第1の入力信号と前記第2の入力信号との合計である集約合計入力信号及び前記第1の入力信号と前記第2の入力信号との差分である集約差分入力信号を生成するための第5の結合ユニットを有し、前記適応フィルタは、前記集約合計入力信号をフィルタリングするための第1の適応フィルタと、前記集約差分入力信号をフィルタリングするための第2の適応フィルタとから成り、前記集約エコーキャンセル信号を生成するため前記第1の適応フィルタ及び前記第2の適応フィルタに結合された第6の結合ユニットを有する、請求項6に記載の装置。
  8. 前記第1の入力信号及び前記第2の入力信号のいずれかを受信し適応された入力信号を生成するように構成された信号適応ユニットと、前記適応された入力信号と前記ポストプロセッサの出力信号とを結合するための第4の結合ユニットと、を更に有する、請求項1に記載の装置。
  9. 前記信号適応ユニットは、前記受信した信号を遅延させるための遅延ユニット、前記受信した信号を増幅させるための増幅ユニット及び/又は前記受信した信号の周波数帯域を選択するためのバンドパスフィルタユニットを有する、請求項8に記載の装置。
  10. 前記増幅ユニットは可変の利得を持つ、請求項9に記載の装置。
  11. 請求項1に記載の音響エコーキャンセル装置を有する音声処理システム。
  12. 請求項1に記載の音響エコーキャンセル装置を有する、携帯型消費者向け装置。
  13. 第1の入力信号及び第2の入力信号に応じてマイクロフォン信号におけるエコーをキャンセルする方法であって、
    前記第1の入力信号を前記第2の入力信号と結合して集約入力信号とするステップと、
    前記集約入力信号をフィルタリングして集約エコーキャンセル信号を生成するステップと、
    前記集約エコーキャンセル信号を前記マイクロフォン信号と結合して残余信号を生成するステップと、
    前記第1の入力信号をフィルタリングして第1の部分的エコーキャンセル信号を生成する、又は、前記第2の入力信号をフィルタリングして第2の部分的エコーキャンセル信号を生成するステップと、
    前記残余信号におけるエコー成分を抑制するステップと、
    を有する方法において、
    記エコー成分を抑制するステップは、前記第1の部分的エコーキャンセル信号を利用して、又は、前記第2の部分的エコーキャンセル信号と前記集約エコーキャンセル信号とを利用して、前記第1の入力信号に対応するエコー成分を、前記第2の入力信号に対応するエコー成分よりも大きく抑制するステップを含む方法。
  14. 請求項13に記載の方法に含まれる各ステップをコンピュータに実行させるためのコンピュータプログラム。
JP2008549087A 2006-01-06 2007-01-03 音響エコーキャンセラ Active JP4913155B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06100125 2006-01-06
EP06100125.1 2006-01-06
PCT/IB2007/050011 WO2007077536A1 (en) 2006-01-06 2007-01-03 Acoustic echo canceller

Publications (2)

Publication Number Publication Date
JP2009522904A JP2009522904A (ja) 2009-06-11
JP4913155B2 true JP4913155B2 (ja) 2012-04-11

Family

ID=37891889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549087A Active JP4913155B2 (ja) 2006-01-06 2007-01-03 音響エコーキャンセラ

Country Status (7)

Country Link
US (1) US8155302B2 (ja)
EP (1) EP1982509B1 (ja)
JP (1) JP4913155B2 (ja)
CN (1) CN101366265B (ja)
AT (1) ATE460809T1 (ja)
DE (1) DE602007005228D1 (ja)
WO (1) WO2007077536A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056334A1 (en) * 2006-11-10 2008-05-15 Koninklijke Philips Electronics N.V. Signal processing system and method
CN101689371B (zh) * 2007-06-21 2013-02-06 皇家飞利浦电子股份有限公司 处理音频信号的设备和方法
US7813498B2 (en) * 2007-07-27 2010-10-12 Fortemedia, Inc. Full-duplex communication device and method of acoustic echo cancellation therein
CN101453532B (zh) * 2007-11-30 2013-03-20 博通集成电路(上海)有限公司 用于扬声器开关中的声音处理装置
JP4852068B2 (ja) * 2008-05-20 2012-01-11 日本電信電話株式会社 ステレオ音響エコーキャンセル方法、ステレオ音響エコーキャンセル装置、ステレオ音響エコーキャンセルプログラム、その記録媒体
JP5356160B2 (ja) * 2009-09-04 2013-12-04 アルプス電気株式会社 ハンズフリー通信システム及び近距離無線通信装置
US8634569B2 (en) * 2010-01-08 2014-01-21 Conexant Systems, Inc. Systems and methods for echo cancellation and echo suppression
US8462193B1 (en) * 2010-01-08 2013-06-11 Polycom, Inc. Method and system for processing audio signals
WO2012094528A1 (en) * 2011-01-05 2012-07-12 Conexant Systems, Inc., A Delaware Corporation Systems and methods for stereo echo cancellation
JP6094479B2 (ja) * 2011-05-19 2017-03-15 日本電気株式会社 音声処理装置、音声処理方法および音声処理プログラムを記録した記録媒体
EP2615739B1 (en) * 2012-01-16 2015-06-17 Nxp B.V. Processor for an FM signal receiver and processing method
US9065895B2 (en) 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
CN102964136A (zh) * 2012-11-23 2013-03-13 山东鲁阳股份有限公司 利用叶腊石和蓝晶石天然原料生产轻质隔热砖的方法
TWI469650B (zh) * 2012-11-29 2015-01-11 Quanta Comp Inc 回音消除系統
US9595997B1 (en) * 2013-01-02 2017-03-14 Amazon Technologies, Inc. Adaption-based reduction of echo and noise
GB201309781D0 (en) 2013-05-31 2013-07-17 Microsoft Corp Echo cancellation
US9195860B1 (en) 2014-01-10 2015-11-24 Seagate Technology Llc Adaptively combining waveforms
GB201414352D0 (en) 2014-08-13 2014-09-24 Microsoft Corp Reversed echo canceller
GB2525051B (en) 2014-09-30 2016-04-13 Imagination Tech Ltd Detection of acoustic echo cancellation
US10122863B2 (en) * 2016-09-13 2018-11-06 Microsemi Semiconductor (U.S.) Inc. Full duplex voice communication system and method
EP3563562B1 (en) * 2016-12-30 2022-10-12 Harman Becker Automotive Systems GmbH Acoustic echo canceling
US11017792B2 (en) * 2019-06-17 2021-05-25 Bose Corporation Modular echo cancellation unit
CN111370016B (zh) * 2020-03-20 2023-11-10 北京声智科技有限公司 一种回声消除方法及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8701633A (nl) 1987-07-10 1989-02-01 Philips Nv Digitale echocompensator.
JP2842607B2 (ja) * 1989-03-13 1999-01-06 株式会社日立製作所 エコーキャンセラ、それを備えた通信装置および信号処理方法
US5818945A (en) * 1995-04-20 1998-10-06 Nippon Telegraph And Telephone Subband echo cancellation method using projection algorithm
US5631899A (en) * 1995-05-31 1997-05-20 Lucent Technologies Inc. Acoustic echo canceler
DE69738288T2 (de) * 1996-05-31 2008-09-25 Koninklijke Philips Electronics N.V. Einrichtung zur unterdrückung einer störenden komponente eines eingangssignals
FR2762467B1 (fr) * 1997-04-16 1999-07-02 France Telecom Procede d'annulation d'echo acoustique multi-voies et annuleur d'echo acoustique multi-voies
US6147979A (en) * 1997-08-12 2000-11-14 Lucent Technologies, Inc. System and method for echo cancellation in a communication system
JP3877271B2 (ja) * 1999-11-05 2007-02-07 アルパイン株式会社 音声認識用オーディオキャンセル装置
US7747002B1 (en) 2000-03-15 2010-06-29 Broadcom Corporation Method and system for stereo echo cancellation for VoIP communication systems
JP2003249996A (ja) * 2002-02-25 2003-09-05 Kobe Steel Ltd 音声信号入出力装置
US7054437B2 (en) * 2003-06-27 2006-05-30 Nokia Corporation Statistical adaptive-filter controller
JP4297003B2 (ja) * 2004-07-09 2009-07-15 ヤマハ株式会社 適応ハウリングキャンセラ
US7813499B2 (en) * 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression

Also Published As

Publication number Publication date
ATE460809T1 (de) 2010-03-15
CN101366265A (zh) 2009-02-11
JP2009522904A (ja) 2009-06-11
CN101366265B (zh) 2012-06-20
EP1982509A1 (en) 2008-10-22
US8155302B2 (en) 2012-04-10
DE602007005228D1 (de) 2010-04-22
WO2007077536A1 (en) 2007-07-12
EP1982509B1 (en) 2010-03-10
US20080304675A1 (en) 2008-12-11

Similar Documents

Publication Publication Date Title
JP4913155B2 (ja) 音響エコーキャンセラ
JP5038143B2 (ja) エコーキャンセル
US9807503B1 (en) Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
KR101655003B1 (ko) 능동 노이즈 소거 적응형 필터를 위한 사전-성형 직렬 필터
US8311234B2 (en) Echo canceller and communication audio processing apparatus
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
US8538052B2 (en) Generation of probe noise in a feedback cancellation system
US20090310796A1 (en) method of reducing residual acoustic echo after echo suppression in a "hands-free" device
WO2009117084A2 (en) System and method for envelope-based acoustic echo cancellation
JPWO2002095975A1 (ja) エコー処理装置
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
JPH06500217A (ja) 静的干渉キヤンセラ
US8543390B2 (en) Multi-channel periodic signal enhancement system
EP1941712B1 (en) Acoustic echo canceller
US8406430B2 (en) Simulated background noise enabled echo canceller
JP2005533427A (ja) モデルミスマッチ補償をもつエコーキャンセラ
WO2009151062A1 (ja) 音響エコーキャンセラおよび音響エコーキャンセル方法
JP2019200366A (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP2000353989A (ja) エコーキャンセラ
JP2003218745A (ja) ノイズキャンセラ及び音声検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110831

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120118

R150 Certificate of patent or registration of utility model

Ref document number: 4913155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250