JP2010258941A - エコー除去装置、エコー除去方法および通信装置 - Google Patents

Abstract

【課題】通話双方において、通信装置の近傍で同一の音声が出力されている場合にエコーの発生を防止するエコー除去装置、エコー除去方法および通信装置を提供する。
【解決手段】エコー除去装置１００は、第１エコーキャンセル部１０１、第２エコーキャンセル部１０２、第３エコーキャンセル部１０３を備える。第１乃至第３エコーキャンセル部１０１、１０２、１０３はそれぞれ、適応フィルタ１０１Ａと減算器１０１Ｂ、適応フィルタ１０２Ａと減算器１０２Ｂ、適応フィルタ１０３Ａと減算器１０３Ｂとからなる。第１エコーキャンセル部１０１には、ＴＶ音声信号と受話音声信号とが入力される。第３エコーキャンセル部１０３には受話音声信号と、マイクロホン３３からの送話音声信号Ｓ３が入力される。第２エコーキャンセル部１０２には、ＴＶ音声信号と送話音声信号Ｓ４が入力される。
【選択図】図２

Description

この発明は、エコー除去装置、エコー除去方法および通信装置に関する。

近年、電話機でのハンズフリー通話システムやテレビ電話など、受話器を手で持つことなく通話が行えるいわゆる拡声通話系システムが実用化され、普及している。

しかし、そのような拡声通話系システムでは、通話者双方のうち、一方の通話者側の通信装置のスピーカから出力された他方の通話者側の通信装置の音声が、一方の通信装置にて再びマイクロホンによって集音されて他方の通信装置のスピーカから出力される。そして、このような動作が繰り返されることにより、スピーカから受話音声と共に、自分の話した声も混ざって聞こえる、いわゆるエコーといわれる現象が生じる。そして、エコーが生じることにより、通話音声品質が低下し、快適な通話が妨げられることとなる。

そこで、このようなエコーを防止するために、通常、テレビ電話端末等の通信装置にはいわゆるエコーキャンセラが備えられている。

図６に示すように、従来のエコーキャンセラを備える電話端末６００は、エコーキャンセラ６０１、スピーカ６０２、マイクロホン６０３を備える。そして、エコーキャンセラ６０１は、適応フィルタ６０１Ａと減算器６０１Ｂとから構成されている。

エコーキャンセラ６０１の適応フィルタ６０１Ａは、通話相手側から送信されてくる受話音声信号Ｓ６１を入力とする。適応フィルタ６０１Ａは、受話音声信号Ｓ６１に基づいてスピーカ６０２からマイクロホン６０３へのエコー成分を推定した疑似エコー信号Ｅ６１を生成する。生成された疑似エコー信号Ｅ６１は減算器６０１Ｂに入力される。また、減算器６０１Ｂには、マイクロホン６０３に入力された通話者の声と、スピーカ６０２から出力されてマイクロホン６０３に回り込んだ受話音声とが混合して変換された送話音声信号Ｓ６２も入力される。

そして、減算器６０１Ｂは送話音声信号Ｓ６２から疑似エコー信号Ｅ６１を減算することにより、送話音声信号Ｓ６２からエコー成分を除去し、送話音声信号Ｓ６３として出力する。このとき、適応フィルタ６０１Ａには、送話音声信号Ｓ６３が残差信号として入力される。そして、適応フィルタ６０１Ａは、その残差信号により示される残差量が最小になるように学習を行い、フィルタ係数を更新していくことにより、より適切な疑似エコー信号Ｅ６１を生成する。

このようなエコーキャンセラを用いたものとして特許文献１に記載のテレビ電話システムがある。

特開２００７―２１４９７６号公報

図７に示すように、テレビ電話システムは場所Ａにいる通話者側のテレビ電話端末装置と、場所Ｂにいる通話相手側のテレビ電話端末装置とから構成される。場所Ａにいる通話者が使用するテレビ電話端末装置は、従来のエコーキャンセラ６０１を備える電話端末６００と、電話端末６００とは別筐体であるテレビジョン７００とから構成される。場所Ｂにいる通話相手が使用するテレビ電話端末装置は、電話端末８００と、電話端末８００とは別筐体であるテレビジョン９００とから構成してある。そして、通話者側の電話端末６００と通話相手側の電話端末８００とをインターネットを介して接続することによりテレビ電話による通話が可能となっている。そして、通話者と通話相手は、通話を行いながら、同時にそれぞれテレビジョン７００とテレビジョン９００で同一のテレビジョン番組を視聴しているものとする。

図７に示すように、マイクロホン６０３がある空間と同じ空間にテレビジョン７００が設置されている場合、ＴＶスピーカ７０１から出力されたテレビジョン音声がマイクロホン６０３によって集音される。これにより、通話者の声と通話者側のテレビジョン音声とが混ざった音声が通話相手側に送られることになり、通話相手側の受話スピーカ８０１からは通話者の声と共に通話者側のテレビジョン音声が出力される。通話双方が同時に同一のテレビジョン番組を視聴している場合、受話スピーカ８０１から出力される通話者側のテレビジョン音声と通話相手側のＴＶスピーカ９０１から出力されているテレビジョン音声とでエコー現象が生じて、快適な通話が妨げられる。同様に、通話者側の受話スピーカ６０２からは受話音声として、通話相手の声と通話相手側のＴＶスピーカ９０１から出力されたテレビジョン音声とが出力される。これによっても快適な通話が妨げられることとなる。図６に示す従来のエコーキャンセラは、通話の声によるエコーの発生を防止するものであるから、上述したような同一のテレビジョン音声によるエコーの発生を防止することができない。

したがって、この発明の目的は、通話双方が同一のテレビジョン番組を視聴している場合など、通話双方において通信装置の近傍で同一の音声が出力されている場合にエコーの発生を防止するエコー除去装置、エコー除去方法および通信装置を提供することにある。

上述した課題を解決するために、第１の発明は、外部機器からの外部音声信号を入力する音声入力端子と、音声入力端子から入力された外部機器からの外部音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、外部音声信号から第１の疑似エコー成分を推定し、受話音声信号から第１の疑似エコー成分を除去する第１のエコー除去手段と、音声入力端子から入力された外部機器からの外部音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、外部音声信号から第２の疑似エコー成分を推定し、送話音声信号から第２の疑似エコー成分を除去する第２のエコー除去手段とを備えるエコー除去装置である。

また、第２の発明は、スピーカから出力される出力音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、出力音声信号から第１の疑似エコー成分を推定し、受話音声信号から第１の疑似エコー成分を除去する第１のエコー除去手段と、出力音声信号と、第１のエコー除去手段により第１のエコー成分を除去された受話音声信号とを合成し、合成音声信号として出力する合成手段と、合成手段から出力された合成音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、合成音声信号から第２の疑似エコー成分を推定し、送話音声信号から第２の疑似エコー成分を除去する第２のエコー除去手段とを備えるエコー除去装置である。

この発明によれば、通話双方が同一のテレビジョン番組を視聴している場合のように、通話双方において通信装置の近傍で同一の音声が出力されている場合であってもエコーが発生することがなく、快適に通話およびテレビジョンの視聴等を行うことができる。

この発明の第１の実施の形態に係るエコー除去装置を適用したテレビ電話端末装置の構成を示すブロック図である。 この発明の第１の実施の形態に係るエコー除去装置の構成を示すブロック図である。 この発明の第１の実施の形態の変形例を示すブロック図である。 この発明の第１の実施の形態の変形例を示すブロック図である。 この発明の第２の実施の形態に係るエコー除去装置を適用したパーソナルコンピュータの構成を示すブロック図である。 従来のエコーキャンセラを備える電話端末の構成を示すブロック図である。 従来のエコーキャンセラを備える電話端末により構成されるテレビ電話システムを示すブロック図である。

以下、この発明の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞（テレビ電話端末装置を構成するテレビジョンと電話端末とが別筐体である例）
＜２．第２の実施の形態＞（テレビ電話端末装置を構成するパーソナルコンピュータと通信装置が一体に構成されている例）

＜１．第１の実施の形態＞
［テレビ電話端末装置の構成］
以下、この発明の第１の実施の形態をテレビ電話端末装置に適用した場合を例にして、図面を参照して詳細に説明する。なお、本実施の形態では、外部機器であるテレビジョン１と通信装置である電話端末２１は別筐体として構成してある。

この発明に係るエコー除去装置は、通話者双方がテレビ電話で通話しながら、同一のテレビジョン番組を視聴している場合や同一のオンラインゲームをプレイしている場合など、双方のテレビジョンから同一の音声が出力されている場合に用いられるものである。したがって、本実施の形態では、通話者双方が通話を行いながら同一のテレビジョン番組を視聴している場合を想定して説明を行う。以下、電話端末２１を用いて通話を行う者を通話者と称し、その通話者と通話を行う相手を通話相手と称する。

テレビジョン１は、アンテナ２、チューナ部３、復調部４、ＴＳデコーダ５、映像デコーダ６、音声デコーダ７、表示部８、ＴＶスピーカ９、映像入力端子１０および音声出力端子１１とを備える。

アンテナ２により地上デジタル放送の放送波が受信され、その受信信号がチューナ部３に供給され、中間周波信号に変換される。中間周波信号は復調部４に供給されて、復調部４によってトランスポートストリームが復調されて取り出され、トランスポートストリームはＴＳデコーダ５に供給される。トランスポートストリームはＴＳデコーダ５によってデコードされ、映像信号と音声信号とに分離される。そして、ＴＳデコーダ５から出力された映像信号は映像デコーダ６によってデコードされ、そのデコードされた映像信号はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部８によって映像として表示される。また、ＴＳデコーダ５から出力された音声信号は音声デコーダ７によってデコードされ、そのデコードされたテレビジョン音声信号はテレビジョンスピーカ９（以下、ＴＶスピーカ９と称する。）によってテレビジョン音声として出力される。

映像入力端子１０は、後述する電話端末２１の映像出力端子２７とケーブル等で接続されている。音声出力端子１１は、電話端末２１の音声入力端子３１とケーブル等で接続されている。映像入力端子１０には、電話端末２１の映像出力端子２７から通話相手の映像を表示するための映像信号が入力される。音声出力端子１１からは、エコー除去に用いるために、電話端末２１の音声入力端子３１へテレビジョン音声信号が出力される。

電話端末２１は、制御部２２、通信部２３、メモリ部２４、操作部２５、映像出力処理部２６、映像出力端子２７、音声出力処理部２８、撮像部２９、映像入力処理部３０、音声入力端子３１を備える。さらに、受話スピーカ３２、マイクロホン３３、音声入力処理部３４及びエコー除去装置１００を備える。

制御部２２は、電話端末２１の各部を制御するものであって、テレビ電話を実現するための制御機能を備えるものである。通信部２３は、インターネットに接続されており、インターネットを介して、通話相手側のテレビ電話端末装置（図示せず。）と通信を行うものである。

メモリ部２４は、通話に用いるプログラム、ソフトウェアや電話番号等の各種のデータを記憶するものである。操作部２５は、ダイヤルキー、ボタンキー、フックキーなどの種々のキースイッチを備えたものであって、ユーザの指示を電話端末２１に入力するためのものである。

映像出力処理部２６は、インターネット、通信部２３を介して送信されてくる通話相手からの映像データに処理を施して映像信号を生成し、映像出力端子２７に出力するものである。映像出力端子２７は、テレビジョン１の映像入力端子１０とケーブル等で接続されており、映像出力処理部２６から出力された映像信号を映像入力端子１０を介してテレビジョン１に出力する。そして、映像信号が表示部８に供給されることにより、表示部８によって通話相手の映像が表示される。

音声出力処理部２８は、インターネット、通信部２３を介して入力された通話相手のテレビ電話端末装置からの受話音声データにＤ／Ａ変換等の処理を施して受話音声信号を生成し、後述するエコー除去装置１００に出力するものである。なお、通話相手からの受話音声データは、通話相手の声と通話相手側に設置されたテレビジョンから出力されているテレビジョン番組の音声とが混合したものである。

撮像部２９は、撮影レンズとＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を備えるものである。撮像部２９は、制御部２２の指示にしたがって、通話者の映像を撮像し、これを映像データに変換して映像入力処理部３０に出力する。映像入力処理部３０は、撮像部２９から出力された映像データにホワイトバランス調整等の処理を施した後、通信部２３に供給する。そして、映像データは通信部２３によってインターネットを介して通話相手側のテレビ電話端末装置に送信される。

音声入力端子３１は、テレビジョン１の音声出力端子１１とケーブル等で接続されており、テレビジョン音声信号を後述するエコー除去装置１００に出力するためのものである。なお、エコー除去装置１００の詳細については後述する。

受話スピーカ３２は、エコー除去装置１００から出力された受話音声信号を受話音声として出力するものである。マイクロホン３３は通話者の声を入力するものであり、マイクロホン３３に入力された声は送話音声信号に変換され、エコー除去装置１００に送られる。音声入力処理部３４は、エコー除去装置１００から出力された送話音声信号にＡ／Ｄ変換等の信号処理を施して送話音声データを生成し、通信部２３に供給する。そして、通信部２３、インターネットを介して送話音声データが送られることにより、通話相手側のテレビ電話端末装置のスピーカから通話者の声が出力される。

このようにして、別筐体であるテレビジョン１と電話端末２１とを接続することによって、テレビ電話端末装置が構成されている。なお、別筐体であるテレビジョンと接続することによりテレビ電話端末装置を構成する電話端末の多くは、いわゆるセットトップボックスと称されるものである。このように構成したテレビ電話端末装置では、通話相手の映像はテレビジョン１の表示部８に表示される。その際、テレビジョン番組の映像を通常の画面（親画面）に表示し、小さな画面（子画面）に通話相手の映像を表示する、いわゆるピクチャインピクチャで表示することが可能である。なお、親画面に通話相手の映像を表示し、子画面にテレビジョン番組の映像を表示してもよい。また、表示部８にテレビジョン番組の映像と通話相手の映像を同サイズで並べて表示する、いわゆるピクチャバイピクチャで表示してもよい。

［エコー除去装置の構成］
次に、電話端末２１内に設けられたエコー除去装置１００の構成について説明する。図２に示すように、エコー除去装置１００は、第１エコーキャンセル部１０１、第２エコーキャンセル部１０２、第３エコーキャンセル部１０３の計３つのエコーキャンセル部を備える。第１乃至第３エコーキャンセル部１０１、１０２、１０３はそれぞれ、適応フィルタ１０１Ａと減算器１０１Ｂ、適応フィルタ１０２Ａと減算器１０２Ｂ、適応フィルタ１０３Ａと減算器１０３Ｂとからなる。なお、第１乃至第３エコーキャンセル部はエコー除去手段の一例である。

第１エコーキャンセル部１０１の適応フィルタ１０１Ａには音声入力端子３１を介してテレビジョン音声信号Ｔ１（以下、ＴＶ音声信号Ｔ１と称する。）が入力される。また、減算器１０１Ｂには、音声出力処理部２８により処理された受話音声信号Ｓ１が入力される。

受話音声信号Ｓ１は、通話相手の声と、通話相手側のテレビジョンから出力されたテレビジョン音声が通話相手側のマイクロホンに回り込んで発生したエコー成分とが混合した音声信号である。したがって、そのままの状態で受話スピーカ３２から出力すると、通話者側のテレビジョン１のＴＶスピーカ９から出力されているテレビジョン音声と同一のテレビジョン音声が受話スピーカ３２から出力されてエコーが発生し、快適な通話の妨げとなる。そこで、通話双方のテレビジョンから同一のテレビジョン音声が出力されていることを利用して、第１エコーキャンセル部１０１は、受話音声信号Ｓ１に含まれている通話相手側のテレビジョン音声成分を除去するものである。

適応フィルタ１０１Ａは、ＴＶ音声信号Ｔ１に基づいてエコー成分を推定した疑似エコー信号Ｅ１を生成し、減算器１０１Ｂに出力する。減算器１０１Ｂは、受話音声信号Ｓ１から疑似エコー信号Ｅ１を減算することにより、受話音声信号Ｓ１に含まれるテレビジョン音声成分を除去し、受話音声信号Ｓ２として出力する。このとき、適応フィルタ１０１Ａには、エコー成分除去後の受話音声信号Ｓ２が残差信号として入力される。適応フィルタ１０１Ａはその残差信号からエコー残差を検出し、エコー残差が小さくなるように学習を行い、フィルタ係数を更新していくことにより、より適切な疑似エコー信号Ｅ１を生成するように構成されている。

第２エコーキャンセル部１０２については後述し、次に第３エコーキャンセル部１０３の構成について説明する。第３エコーキャンセル部１０３の適応フィルタ１０３Ａには受話音声信号Ｓ２が入力される。また、減算器１０３Ｂには、マイクロホン３３からの送話音声信号Ｓ３が入力される。

送話音声信号Ｓ３は、通話者の声と、受話スピーカ３２から出力されて空間伝送経路Ｈ１を経由してマイクロホン３３に集音された受話音声とが混合したものである。さらに、送話音声信号Ｓ３には、ＴＶスピーカ９から出力されて空間伝送経路Ｈ２を経由してマイクロホン３３に集音されたテレビジョン音声も混合されている。したがって、そのままの状態で音声入力処理部３４に出力すると、通話相手側に通話者の声と共に受話音声およびテレビジョン音声を送ることになる。それにより、通話相手側でエコーが発生し、快適な通話が妨げられることとなる。よって、第３エコーキャンセル部１０３は、送話音声信号Ｓ３に含まれている受話音声成分を除去するものである。

適応フィルタ１０３Ａは、受話音声信号Ｓ２に基づいてエコー成分を推定した疑似エコー信号Ｅ３を生成し、減算器１０３Ｂに出力する。減算器１０３Ｂは、送話音声信号Ｓ３から疑似エコー信号Ｅ３を減算することにより、送話音声信号Ｓ３に含まれる受話音声成分を除去し、送話音声信号Ｓ４として出力する。なお、残差信号からエコー残差を検出し、そのエコー残差が小さくなるように学習を行い、より適切な疑似エコー信号Ｅ３を生成するのは適応フィルタ１０１Ａと同様である。

第２エコーキャンセル部１０２の適応フィルタ１０２ＡにはＴＶ音声信号Ｔ１が入力される。また、減算器１０２Ｂには、第３エコーキャンセル部１０３によりエコー除去された送話音声信号Ｓ４が入力される。

送話音声信号Ｓ４は、通話者の声と、ＴＶスピーカ９から出力されて空間伝送経路Ｈ２を経由してマイクロホン３３に集音されたテレビジョン音声とが混合されたものである。したがって、そのままの状態で音声入力処理部３４に出力すると、通話相手側に通話者の声と共にテレビジョン音声を送ることになる。通話相手側のテレビジョンからは通話者側のテレビジョン１と同じテレビジョン音声が出力されているから、それにより通話相手側でエコーが発生し、快適な通話が妨げられることとなる。そこで、通話双方で同一のテレビジョン音声が出力されていることを利用して、第２エコーキャンセル部１０２は、送話音声信号Ｓ４に含まれているテレビジョン音声成分を除去するものである。

適応フィルタ１０２Ａは、ＴＶ音声信号Ｔ１に基づいてエコー成分を推定した疑似エコー信号Ｅ２を生成し、減算器１０２Ｂに出力する。減算器１０２Ｂは、送話音声信号Ｓ４から疑似エコー信号Ｅ２を減算することにより、送話音声信号Ｓ４に含まれるテレビジョン音声成分を除去し、送話音声信号Ｓ５として出力する。なお、残差信号からエコー残差を検出し、学習を行い、より適切な疑似エコー信号Ｅ２を生成するのは適応フィルタ１０１Ａと同様である。以上のようにして、エコー除去装置１００が構成してある。

［エコー除去装置の動作］
以下、エコー除去装置１００の動作について説明する。

テレビ電話端末装置を用いて通話を開始して通話相手が声を発すると、通話相手の声と、通話相手側のテレビジョンから出力されたテレビジョン音声との混合音声が変換された受話音声信号Ｓ１が第１エコーキャンセル部１０１の減算器１０１Ｂに入力される。また、第１エコーキャンセル部１０１の適応フィルタ１０１Ａにはテレビジョン１からＴＶ音声信号Ｔ１が入力されている。そして、上述のように適応フィルタ１０１Ａによって疑似エコー信号Ｅ１が生成され、減算器１０１Ｂで受話音声信号Ｓ１から疑似エコー信号Ｅ１を減算することにより、エコー成分が除去された受話音声信号Ｓ２が生成され、出力される。

そして、受話音声信号Ｓ２は受話スピーカ３２から受話音声として出力される。第１エコーキャンセル部１０１によって通話相手側のテレビジョン音声が除去されているので、受話スピーカ３２からは受話音声として通話相手の声のみが出力される。したがって、通話者は快適に通話相手の声を聞くことができる。

一方、通話者が声を発し、マイクロホン３３に入力する場合、同時に、受話スピーカ３２から出力された受話音声も空間伝送経路Ｈ１を経由して回り込み、マイクロホン３３に集音される。さらに、テレビジョン１のＴＶスピーカ９から出力されているテレビジョン音声も空間伝送経路Ｈ２を経由して回り込み、マイクロホン３３に集音される。

そして、それら３つの音声が混合した送話音声信号Ｓ３が第３エコーキャンセル部１０３の減算器１０３Ｂに入力される。また、第３エコーキャンセル部１０３の適応フィルタ１０３Ａには受話音声信号Ｓ２が入力される。そして、上述のように適応フィルタ１０３Ａによって疑似エコー信号Ｅ３が生成され、減算器１０３Ｂで送話音声信号Ｓ３から疑似エコー信号Ｅ３を減算することにより、受話音声成分が除去された送話音声信号Ｓ４が生成され、出力される。

次に、送話音声信号Ｓ４は第２エコーキャンセル部１０２の減算器１０２Ｂに入力される。また、第２エコーキャンセル部１０２の適応フィルタ１０２Ａにはテレビジョン１からＴＶ音声信号Ｔ１が入力される。そして、上述のように適応フィルタ１０２Ａによって疑似エコー信号Ｅ２が生成され、減算器１０２Ｂで送話音声信号Ｓ４から疑似エコー信号Ｅ２を減算することにより、テレビジョン音声成分が除去された送話音声信号Ｓ５が生成され、出力される。

送話音声信号Ｓ５は、空間伝送経路Ｈ１を経由して回り込んだ受話音声と、空間伝送経路Ｈ２を経由して回り込んだテレビジョン音声とが除去されたものであるので、通話相手側のスピーカからは通話者の声のみが出力される。したがって、通話相手は快適にその声を聞くことができる。

なお、第１の実施の形態における変形例として、図３に示すように、第２エコーキャンセル部１０２を第３エコーキャンセル部１０３の前に設けて、先に送話音声信号Ｓ３からテレビジョン音声成分を除去するようにしてもよい。

以上、第１の実施の形態について、テレビジョン１と電話端末２１を接続してテレビ電話端末装置を構成する場合について説明したが、電話端末２１と接続するものはテレビジョンに限られない。ラジオ受信機、コンポーネントステレオ等のオーディオ機器、パーソナルコンピュータ、ＤＶＤプレイヤー、ハードディスクプレイヤー等の音声を出力するものであればあらゆる機器を音声入力端子３１に接続して用いることができる。

例えば、図４に示すように、電話端末２１を設置している空間と同じ空間内にコンポーネントステレオ２００を設置している場合、コンポーネントステレオ２００から出力される音楽等はマイクロホン３３に集音され、通話者の声と共に通話相手側に送信される。そうすると、通話相手側のスピーカからはコンポーネントステレオ２００の音声と通話者の声が出力され、コンポーネントステレオ２００の音声によって通話者の声が聞き取りづらくなり、快適な通話の妨げとなる。

そこで、コンポーネントステレオ２００と音声入力端子３１を接続して、コンポーネントステレオ２００の出力音声信号をエコー除去装置１００の第２エコーキャンセル部１０２に入力する。これによって、第２エコーキャンセル部１０２で送話音声信号Ｓ４からコンポーネントステレオ２００の音声成分が除去されるので、通話相手に通話者の声のみを送ることができ、快適な通話を実現することができる。なお、通話相手側からは、コンポーネントステレオ２００の出力音声信号で除去することができる音声は送られてこないので、第１エコーキャンセル部１０１の適応フィルタ１０１Ａに音声信号を入力する必要はない。

また、音声入力端子３１に接続するものは音声を出力する機器に限られず、マイクロホン等の音声入力機器を接続してもよい。例えば、屋外で電車が走行しており、その走行音によって声が聞き取りづらく、快適な通話が妨げられる場合、屋外に雑音集音用マイクロホンを設ける。そして、その雑音集音用マイクロホンを音声入力端子３１に接続して電車の走行音をエコー除去装置１００に送ることにより、送話音声信号から電車の走行音成分を除去して、送話音声のみを通話相手に送ることができる。このように、周囲の雑音などの通話相手に送りたくない音声を雑音集音用マイクロホンで入力することにより、その雑音を除去して、快適な通話を実現することができる。

＜２．第２の実施の形態＞
［パーソナルコンピュータおよびエコー除去装置の構成］
以下、この発明の第２の実施の形態をパーソナルコンピュータに適用した場合を例にして、図面を参照して詳細に説明する。第２の実施の形態は、１つのスピーカが受話用スピーカと、パーソナルコンピュータの音声（以下、ＰＣ音声と称する。）出力用スピーカを兼ねるものであり、通話者双方がパーソナルコンピュータのテレビ電話機能で通話をしながら、同一のオンラインゲームをプレイしている場合を想定して説明を行う。

パーソナルコンピュータ３００は、制御部３０１、ＨＤＤ３０２、メモリ部３０３、通信部３０４、入力部３０５、表示部３０６、撮像部３０７、スピーカ３０８、マイクロホン３０９およびエコー除去装置４００を備える。

制御部３０１は、パーソナルコンピュータ３００の各部を制御するものである。ＨＤＤ３０２はオペレーティングシステムや、パーソナルコンピュータでテレビ電話を実現するためのソフトウェア等の各種ソフトウェアなどを記憶するものである。メモリ部３０３は、制御部３０１が処理を行う際のワークスペースとして用いられるものである。通信部３０４は、インターネットに接続されており、インターネットを介して、通話相手側のパーソナルコンピュータ（図示せず）と通信を行うものである。入力部３０５は、キーボード、マウスなどの種々の入力手段を備えたものであって、ユーザの指示をパーソナルコンピュータ３００に入力するためのものである。

表示部３０６は、オンラインゲームの映像、通話相手の映像等を表示するディスプレイである。通話相手のパーソナルコンピュータより送信されてきた通話相手の映像はインターネットを介して通信部３０４により受信され、制御部３０１の制御により処理を施され、表示部３０６に表示される。なお、その際、通話者双方がプレイしている同一のオンラインゲームの映像が、通話者の映像と共にピクチャインピクチャやピクチャバイピクチャで表示部３０６に表示される。

撮像部３０７は、例えば表示部３０６であるディスプレイの上部に内蔵されたカメラである。撮像部３０７によって撮影された映像は、制御部３０１の制御により映像信号に変換された後、通信部３０４およびインターネットを介して、通話相手側のパーソナルコンピュータに送信される。

通話相手側のパーソナルコンピュータから送信されてきた受話音声データは、通信部３０４により受信される。そして、制御部３０１によって処理を施されて受信音声信号Ｓ２１に変換された後、エコー除去装置４００でエコー除去処理が施され、スピーカ３０８から受話音声として出力される。また、スピーカ３０８からはパーソナルコンピュータでプレイしているオンラインゲームの音声も同時に出力される。スピーカ３０８は受話用スピーカとＰＣ音声出力用スピーカを兼ねるものである。また、通話者がマイクロホン３０９に入力した声は送話音声信号Ｓ２４に変換され、エコー除去装置４００でエコー除去処理される。そして、制御部３０１によって処理を施されて送話音声データに変換され、通信部３０４により通話相手のパーソナルコンピュータに送信される。

エコー除去装置４００は、第１エコーキャンセル部４０１、第２エコーキャンセル部４０２を備える。なお、エコーキャンセル部の構成は第１の実施の形態と同様である。さらに、第２の実施の形態では、エコー除去装置４００は合成器４０３を備える。詳しくは後述するが、合成器４０３は、第１エコーキャンセル部４０１の出力と、ＰＣ音声とを重畳して合成するものである。

［エコー除去装置の動作］
以下、エコー除去装置４００の動作について説明する。

インターネットを介して、通話者双方がオンラインゲームをプレイしながら通話を行うと、第１エコーキャンセル部４０１の適応フィルタ４０１ＡにはＰＣ音声信号Ｐ１が入力される。また、減算器４０１Ｂには受話音声信号Ｓ２１が入力される。

受話音声信号Ｓ２１は、通話相手の声と、通話相手側のパーソナルコンピュータから出力されたＰＣ音声が相手側のマイクロホンに回り込んだエコー成分とが混合したものである。したがって、そのままの状態でスピーカ３０８から出力すると、通話者側のパーソナルコンピュータ３００から出力されるＰＣ音声と同一の音声がスピーカ３０８から出力されることになるため、快適な通話の妨げとなる。そこで、第１エコーキャンセル部４０１は、通信双方のパーソナルコンピュータから同一のオンラインゲームの音声が出力されていることを利用して、受話音声信号Ｓ２１に含まれている通話相手側のＰＣ音声成分を除去するものである。

適応フィルタ４０１Ａは、ＰＣ音声信号Ｐ１に基づいてエコー成分を推定した疑似エコー信号Ｅ２１を生成し、減算器４０１Ｂに出力する。減算器４０１Ｂは、受話音声信号Ｓ２１から疑似エコー信号Ｅ２１を減算することにより、受話音声信号Ｓ２１に含まれるＰＣ音声成分を除去し、受話音声信号Ｓ２２として出力する。なお、その際、残差信号からエコー残差が小さくなるように学習を行い、より適切な疑似エコー信号Ｅ２１を生成するのは第１の実施の形態と同様である。

次に、第１エコーキャンセル部４０１の出力である受話音声信号Ｓ２２は合成器４０３に入力される。また、ＰＣ音声信号Ｐ１も合成器４０３に入力される。そして、合成器４０３は、受話音声信号Ｓ２２とＰＣ音声信号Ｐ１とを重畳することにより合成し、合成音声信号Ｓ２３として出力する。

そして、合成音声信号Ｓ２３はスピーカ３０８に送られ、スピーカ３０８からは受話音声としての通話相手の声と、通話者側のパーソナルコンピュータの音声とが出力される。第１エコーキャンセル部４０１によって通話相手側のＰＣ音声成分が除去されているので、通話相手側のＰＣ音声と通話者側のＰＣ音声によってエコーが発生することがなく、快適に受話音声およびＰＣ音声を聞くことができる。これにより、快適にオンラインゲームをプレイしながら、同時に通話相手の声を聞くことができる。

一方、通話者が声を発し、マイクロホン３０９に入力する場合、同時に、スピーカ３０８から出力された受話音声およびＰＣ音声が空間伝送経路Ｈ２１を経由して回り込み、マイクロホン３０９によって集音される。そして、それら３つの音声が混合した送話音声信号Ｓ２４が第２エコーキャンセル部４０２の減算器４０２Ｂに入力される。また、第２エコーキャンセル部４０２の適応フィルタ４０２Ａには合成音声信号Ｓ２３が入力される。そして、上述のように適応フィルタ４０２によって疑似エコー信号Ｅ２２が生成され、減算器４０２Ｂで送話音声信号Ｓ２４から疑似エコー信号Ｅ２２を減算することにより、受話音声成分とＰＣ音声成分とが除去された送話音声信号Ｓ２５が生成され、出力される。

出力された送話音声信号Ｓ２５は、制御部３０１によって処理を施された後、通信部３０４により通話相手のパーソナルコンピュータに送信される。そして、通話相手のパーソナルコンピュータのスピーカから音声として出力される。第２エコーキャンセル部４０２によって、空間伝送経路Ｈ２１を経由して回り込んだ受話音声およびＰＣ音声が除去されているので、通話相手側ではエコーが発生することがなく、快適に通話者の声とオンラインゲームの音声とを聞くことできる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく範囲内で各種の変形や適用が可能である。例えば、この発明は、家庭用テレビ電話システムに限らず、テレビ電話を用いたテレビ会議システムにも適用することができる。また、パーソナルコンピュータでオンラインゲームをプレイしている場合に限らず、Ｓｋｙｐｅ（登録商標）のようなパーソナルコンピュータを用いた電話サービスを利用しながら、インターネットテレビを視聴する場合にも用いることができる。

なお、この発明に係るエコー除去装置を備える電話端末を通話者のみが使用し、通話相手は使用していない場合であっても快適な通話を行うことができる。ただし、受話音声信号および送話音声信号に若干のエコー成分が残存してしまう場合がある。そこで、通話者、通話相手の双方がこの発明に係るエコー除去装置を備える電話端末を使用することによって、より快適な通話を実現することができる。すなわち、通話者側で送話音声信号に含まれるテレビジョン音声成分を除去し、さらに、通話相手側でもその通話者からの送話音声信号に含まれるテレビジョン音声成分を除去するので、より確実にエコー成分が除去されることになる。

１・・・・・・・・・テレビジョン
２１・・・・・・・・電話端末
２３、３０４・・・・通信部
３１・・・・・・・・音声入力端子
３２、３０８・・・・スピーカ
３３、３０９・・・・マイクロホン
１００、４００・・・エコー除去装置
１０１、４０１・・・第１エコーキャンセル部
１０２、４０２・・・第２エコーキャンセル部
１０３・・・・・・・第３エコーキャンセル部
４０３・・・・・・・合成器

Claims (12)

1. 外部機器からの外部音声信号を入力する音声入力端子と、
   該音声入力端子から入力された前記外部機器からの前記外部音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記外部音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去手段と、
   前記音声入力端子から入力された前記外部機器からの前記外部音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、前記外部音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去手段と、
   を備えるエコー除去装置。
2. 前記第１のエコー除去手段により前記第１の疑似エコー成分を除去された前記受話音声信号から第３の疑似エコー成分を推定し、前記送話音声信号から該第３の疑似エコー成分を除去する第３のエコー除去手段をさらに備える請求項１記載のエコー除去装置。
3. 前記外部機器は、テレビジョン受信機である請求項１記載のエコー除去装置。
4. 前記外部機器は、オーディオ機器である請求項１記載のエコー除去装置。
5. 前記外部機器は、マイクロホンである請求項１記載のエコー除去装置。
6. スピーカから出力される出力音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記出力音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去手段と、
   前記出力音声信号と、前記第１のエコー除去手段により前記第１のエコー成分を除去された前記受話音声信号とを合成し、合成音声信号として出力する合成手段と、
   該合成手段から出力された前記合成音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、前記合成音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去手段と、
   を備えるエコー除去装置。
7. 外部機器からの外部音声信号を入力する音声入力ステップと、
   該音声入力ステップで入力された前記外部機器からの前記外部音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記外部音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去ステップと、
   前記音声入力ステップで入力された前記外部機器からの前記外部音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、前記外部音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去ステップと、
   を有するエコー除去方法。
8. スピーカから出力される出力音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記出力音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去ステップと、
   前記出力音声信号と、前記第１のエコー除去ステップにより前記第１のエコー成分を除去された前記受話音声信号とを合成し、合成音声信号として出力する合成ステップと、
   該合成ステップで出力された前記合成音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、前記合成音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去ステップと、
   を有するエコー除去方法。
9. 外部機器からの外部音声信号を入力する音声入力端子と、
   該音声入力端子から入力された前記外部機器からの前記外部音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記外部音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去手段と、
   該第１のエコー除去手段によって前記第１の疑似エコー成分を除去された前記受話音声信号を受話音声として出力するスピーカと、
   前記通話相手側に送信する送話音声信号を入力するマイクロホンと、
   前記音声入力端子から入力された前記外部機器からの前記外部音声信号と、前記マイクロホンから入力された前記送話音声信号とを入力信号とし、前記外部音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去手段と、
   ネットワークに接続するためのネットワークインターフェイスと、
   を備える通信装置。
10. スピーカから出力される出力音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記出力音声信号から第１の疑似エコー成分を推定し、前記受話音声信号から前記第１の疑似エコー成分を除去する第１のエコー除去手段と、
    前記出力音声信号と、前記第１のエコー除去手段により前記第１のエコー成分を除去された前記受話音声信号とを合成し、合成音声信号として出力する合成手段と、
    該合成手段から出力された合成音声信号を音声として出力するスピーカと、
    通話相手側に送信する送話音声信号を入力するマイクロホンと、
    前記合成手段から出力された前記合成音声信号と、前記マイクロホンから入力された送話音声信号とを入力信号とし、前記合成音声信号から第２の疑似エコー成分を推定し、前記送話音声信号から前記第２の疑似エコー成分を除去する第２のエコー除去手段と、
    ネットワークに接続するためのネットワークインターフェイスと、
    を備える通信装置。
11. 外部機器からの外部音声信号を入力する音声入力端子と、
    該音声入力端子から入力された前記外部機器からの前記外部音声信号と、通話相手側から送信されてきた受話音声信号とを入力信号とし、前記外部音声信号から疑似エコー成分を推定し、前記受話音声信号から前記疑似エコー成分を除去するエコー除去手段と、
    を備えるエコー除去装置。
12. 外部機器からの外部音声信号を入力する音声入力端子と、
    該音声入力端子から入力された前記外部機器からの前記外部音声信号と、マイクロホンから入力された送話音声信号とを入力信号とし、前記外部音声信号から疑似エコー成分を推定し、前記送話音声信号から前記疑似エコー成分を除去するエコー除去手段と、
    を備えるエコー除去装置。

Images