JP2014529943A - 非可聴トーンを使用する音響エコー・キャンセラのためのクロック・スキュー補償 - Google Patents

Abstract

音声信号における音響エコー消去のための方法および装置が提供される。音響エコーは、音声信号に少なくとも１つのトーンを挿入するステップであって、少なくとも１つのトーンは、聞き手にとって実質的に非可聴であるステップと、少なくとも１つのトーンの周波数偏移に基づいて２つのサンプリング・クロック間のクロック・スキューを決定するステップと、決定されたクロック・スキューに基づいて音声信号をリサンプリングするステップと、リサンプリングされた音声信号を使用して、音響エコー消去を実行するステップとによってキャンセルされる。提供される音響エコー・キャンセラは、たとえば、端末ベースおよび／またはネットワークベースの音響エコー・キャンセラとして実装することができる。トーンは、オプションとして、非可聴トーンまたは複数のトーンを含む。トーン生成は、トーン周波数に近い音声パワーが事前に決定したしきい値より大きい場合のみ、または通話の始めのみに制限することができる。トーンが音声信号によってマスクされるように、トーンのレベルをオプションとして制御することができる。

Description

本発明は、一般的に信号処理技法に関し、より詳細には、エコー消去技法に関する。

スピーカフォンおよびテレビ会議の使用が広く使用されるようになり、音響エコー消去がますます重要になってきた。特に、音響エコー・キャンセラ（ＡＥＣ）は、望まれないエコーを減らすか、または排除することを目的としている。望ましくないエコーは、通常は、スピーカとマイクロフォンの結合による直接的な経路によって、および物体および壁に対するスピーカの信号の音響反射による間接的な経路によって、スピーカの信号がマイクロフォンにフィードバックされたときに生成される。たとえば、電話またはインターネットを通じた音声コミュニケーションでは、電話通信の相手に関連する端末によって音響エコーが十分に減らされていない場合、話し手は、遅延およびフィルタリングされたバージョンの自分の音声を聞くことになる。

端末においてＡＥＣを効果的に適用するには、スピーカに送信されるアナログ信号を再構築するデジタル／アナログ変換（Ｄ／Ａ）コンバータと、マイクロフォンによって拾い上げられた音声信号をサンプリングするアナログ／デジタル（Ａ／Ｄ）コンバータとのサンプリング・レートが正確に一致するべきである。サンプリング・レート間に小さなクロック・スキューがあるだけで、ＡＥＣのパフォーマンスが大きくを低下することが分かっている。一般的に、スピーカの信号とマイクロフォンの信号との間のサンプリング・レートのオフセットが増加するとＡＥＣの信頼性は低下する。たとえばＰＣベースのソフトウェア端末において、端末のサンプリング・レートのクロック・スキューは、頻繁に生じる問題である。たとえば、外部ＵＳＢカメラが、オーディオ再生のために独立したサウンドボードに関連してオーディオ録音するために、その内蔵マイクロフォンおよびＡ／Ｄコンバータとともに使用される場合、サンプリング・レート・スキューを常に想定することができる。この場合、Ａ／ＤコンバータおよびＤ／Ａコンバータは、共通の基準（クオーツ・クロック）からそれらのクロックを得ないため同期されない。

端末における展開のためにクロック・スキュー補償法が存在する。そのような端末ベースの方法では、典型的には、Ｄ／ＡおよびＡ／Ｄのコンバータに関連するバッファにおいて読み込みおよび書き込みのポインタの位置を利用する。たとえば、受信（ＲＸ）バッファの読み取りポインタが送信（ＴＸ）バッファの書き込みポインタより速くインクリメントする場合、Ｄ／Ａコンバータのサンプリング・レートは、Ａ／Ｄコンバータのサンプリング・レートより高い。したがって、受信バッファの指定された時間ごとの読み取りポインタのインクリメントと、送信バッファの書き込みポインタのインクリメントとの差は、クロックのオフセットまたはサンプリング・レートのオフセットを推定するために使用することができる。次に、結果として生じるオフセットは、スピーカおよびマイクロフォンの信号に対して同じサンプリング・レートを達成するために、信号の１つのリサンプリング・レートを制御するために使用することができる。たとえば、それぞれが参照により本明細書に組み込まれている、Ｍ．ＰａｗｉｇおよびＧ．Ｅｎｚｎｅｒ、「Ａｄａｐｔｉｖｅ Ｓａｍｐｌｉｎｇ Ｒａｔｅ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ａｃｏｕｓｔｉｃ Ｅｃｈｏ Ｃｏｎｔｒｏｌ ｉｎ Ｖｏｉｃｅ−Ｏｖｅｒ−ＩＰ」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．５８、Ｎｏ．１（２０１０年１月）、またはＤ．Ｍｉｌｊｋｏｖｉｃら、「Ｃｌｏｃｋ Ｓｋｅｗ Ｃｏｍｐｅｎｓａｔｉｏｎ ｂｙ Ｓｐｅｅｃｈ Ｉｎｔｅｒｐｏｌａｔｉｏｎ」、デジタル電気通信に関するＩＥＥＥ国際会議（２００６年）を参照すること。

端末で音響エコーが不十分に抑制またはキャンセルされる場合、音響エコー消去は、ネットワークにおいてリモートで試みることができる。しかし、ネットワークベースの音響エコー消去には、複数の技術的問題が存在する。たとえば、読み取りポインタおよび書き込みポインタの位置は、ネットワークなどリモートの位置からアクセス可能ではないため、上記の端末ベースのクロック・スキュー補償技法は、ネットワークにおいて適用することができない。

したがって、既存のネットワーク・サービスは、音響エコー抑制（ＡＥＳ）のみを提供している。しかし、音響エコー抑制器の知覚的なパフォーマンスは、ＡＥＣの知覚的なパフォーマンスより著しく劣っている。ＡＥＳの特定の欠点は、通話における透明性の欠如であり、両端が同時に話すことを試みたときに明白である。その基本的な形式において、ＡＥＳは、１つの信号経路に損失を挿入することによって、１つの端末だけが話すことを許可する（半二重通信モードに類似）。コンフォート・ノイズ挿入などの拡張により、知覚される通信品質を改善することはできるが、それでも、音響エコー抑制器のパフォーマンスは、真のＡＥＣのパフォーマンスより著しく劣っている。

Ｍ．ＰａｗｉｇおよびＧ．Ｅｎｚｎｅｒ、「Ａｄａｐｔｉｖｅ Ｓａｍｐｌｉｎｇ Ｒａｔｅ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ａｃｏｕｓｔｉｃ Ｅｃｈｏ Ｃｏｎｔｒｏｌ ｉｎ Ｖｏｉｃｅ−Ｏｖｅｒ−ＩＰ」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．５８、Ｎｏ．１（２０１０年１月） Ｄ．Ｍｉｌｊｋｏｖｉｃら、「Ｃｌｏｃｋ Ｓｋｅｗ Ｃｏｍｐｅｎｓａｔｉｏｎ ｂｙ Ｓｐｅｅｃｈ Ｉｎｔｅｒｐｏｌａｔｉｏｎ」、デジタル電気通信に関するＩＥＥＥ国際会議（２００６年） Ｓ．Ｈａｙｋｉｎ、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ（２００１年） Ｔ．Ｉ．Ｌａａｋｓｏら、「Ｓｐｌｉｔｔｉｎｇ ｔｈｅ Ｕｎｉｔ Ｄｅｌａｙ−Ｔｏｏｌｓ ｆｏｒ Ｆｒａｃｔｉｏｎａｌ Ｄｅｌａｙ Ｆｉｌｔｅｒ Ｄｅｓｉｇｎ」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ Ｍａｇａｚｉｎｅ（１９９６年１月）

したがって、ＡＥＣの効果的な適用を可能にするために、端末で発生するクロック・スキューを補償するための改善された技法に対する必要性が存在する。端末またはネットワークで用いることができるクロック・スキュー補償技法に対するさらなる必要性が存在する。

一般的に、音声信号における音響エコー消去のための方法および装置が提供される。本発明の一態様によると、音響エコーは、音声信号に少なくとも１つのトーンを挿入するステップであって、少なくとも１つのトーンは、聞き手にとって実質的に非可聴であるステップと、少なくとも１つのトーンの周波数偏移に基づいて２つのサンプリング・クロック間のクロック・スキューを決定するステップと、決定されたクロック・スキューに基づいて音声信号をリサンプリングするステップと、リサンプリングされた音声信号を使用して、音響エコー消去を実行するステップとによってキャンセルされる。提供される音響エコー・キャンセラは、たとえば、端末ベースおよび／またはネットワークベースの音響エコー・キャンセラとして実装することができる。

トーンは、たとえば、周波数が高いトーンまたは検出可能な最大周波数を上回るトーンなど、非可聴トーンを含むことができる（つまり、その周波数のために非可聴である）。さらに、トーンは、オプションとして、複数のトーンを含む。様々な実施形態において、トーン周波数に近い音声パワーが事前に決定したしきい値より大きい場合のみ、または通話の始めのみにトーンを生成することができる。

本発明の他の態様によると、トーンが音声信号によってマスクされるように、トーンのレベルをオプションとして制御することができる。たとえば、トーンのレベルは、音声信号から得たマスキングしきい値によって制御することができる。

本発明のより完全な理解、ならびに本発明の特徴および利点については、以下の詳細な説明および図面を参照することによって得られるだろう。

従来のネットワークベースの音響エコー抑制器（ＡＥＳ）を示す図である。 端末に展開した従来の端末ベースの音響エコー・キャンセラ（ＡＥＣ）を示す図である。 本発明によるクロック・スキュー補償技法を用いる端末に展開した端末ベースの音響エコー・キャンセラ（ＡＥＣ）を示す図である。 図３のトーン挿入ブロックをさらに詳細に示す図である。 図４に示す技法の代替となるトーン挿入方法を示す図である。 本発明によるクロック・スキュー補償技法を用いるネットワーク機器に展開したネットワークベースの音響エコー・キャンセラ（ＡＥＣ）を示す図である。

本発明は、音響エコー・キャンセラで使用するためのクロック・スキュー補償の方法および装置を提供する。本発明の一態様によると、非可聴トーンなど、トーンが音声信号に追加される。トーンは、サンプリング・レートの不一致を推定し、それに応じてリサンプラを適応させるために使用される。代表的な一実施形態では、周波数が高いトーンが使用され、それによってトーンが音声信号によってマスクされているように、トーンのレベルを制御することができる。代替の実装では、トーン・レベルは固定されたレベルに設定され、このために、ときには可聴トーンにつながる。

図１は、従来のネットワークベースの音響エコー抑制器（ＡＥＳ）１００を示している。通話の２つの側または端部を指すために、本明細書では「近端」および「遠端」という用語を使用する。音響エコーの問題は両端部で生じる可能性があるが、説明を容易にするために、本明細書では１つの端部だけについて説明する。その理由は、当業者には明白なように、典型的には、同じエコー緩和解決策をどちらの側にも適用することができるためである。言い換えると、本記述において、「近端」および「遠端」という用語は、説明全体にわたって入れ替えることができる。したがって、一般性を失うことなく、一方だけについて記述する。図１に示すように、ＡＥＳ１００は、ネットワーク機器１７０の一部である。各遠端音声１０５および近端音声１５０の音声活動検出器（ＶＡＤ）１１０−１、１１０−２は、それぞれ、損失制御ブロック１２０に入力を提供する。損失制御ブロック１２０は、ＶＡＤ１１０−１、１１０−２によって検出された音声活動に基づいて、遠端信号１０５または近端信号１５０のいずれかに対して損失を挿入する。真の音響エコー・キャンセラ（ＡＥＣ）とは対照的に、ＡＥＳ１００は、端末機器１８０におけるサンプリング・レート差による影響を受けない。

図１に示すように、端末機器１８０は、受信された遠端信号１０５を格納する受信バッファ１２５を含む。Ｄ／Ａコンバータ１３５は、デジタル受信された遠端信号１０５をスピーカ１４４に適用されるアナログ信号に変換する。さらに、マイクロフォン１４８によって生成されたアナログ近端音声信号１５０は、Ａ／Ｄコンバータ１４０によって、ネットワークを通じた送信前に送信バッファ１３０に格納されるデジタル信号に変換される。これらのバッファは、信号の効率的なコーディングおよび送信を可能にする。音響エコー１６０は、端末１８０のスピーカ１４４とマイクロフォン１４８との間の結合の結果として生じる。ＡＥＳは、一般的に、Ｄ／Ａコンバータ１３５を制御するサンプリング・クロックｆ_ＳＬと、Ａ／Ｄコンバータ１４０を制御するサンプリング・クロックｆ_ＳＭとの間のサンプリング・レート差の影響を受けないと考えられる。

説明を容易にするために、ＡＥＳ１００による、周知のコンフォート・ノイズ挿入およびダブルトーク検出技法は図１に示していない。同様に、ネットワーク機器１７０および端末機器１８０の周知の音声コーデックも、説明を容易にするために示していない。

図２は、端末２００に展開された従来の端末ベースの音響エコー・キャンセラ（ＡＥＣ）２９０を示している。図２に示すように、端末２００は、受信された遠端信号２０５を格納する受信バッファ２２５を含む。Ｄ／Ａコンバータ２３５は、デジタル受信された遠端信号２０５をスピーカ２４４に適用されるアナログ信号に変換する。さらに、マイクロフォン２４８によって生成されたアナログ近端音声信号２５０は、Ａ／Ｄコンバータ２４０によって、ネットワーク（図２に図示せず）を通じて送信前に送信バッファ２３０に格納されるデジタル信号に変換される。音響エコー２６０は、端末２８０のスピーカ２４４とマイクロフォン１４８との間の結合、および壁の反射の結果として生じる。すでに示したように、ＡＥＣは、Ｄ／Ａコンバータ２３５を制御するサンプリング・クロックｆ_ＳＬと、Ａ／Ｄコンバータ２４０を制御するサンプリング・クロックｆ_ＳＭとの間のサンプリング・レート差に影響されやすい。

先に示し、図２に示すように、サンプリング・クロック周波数ｆ_ＳＬとサンプリング・クロック周波数ｆ_ＳＭとの間にサンプリング・レート差を持つ端末２００の音響エコー消去を可能にするために、結果として生じるサンプリング・レート

が、Ｄ／Ａコンバータ２３５を制御するサンプリング・レートｆ_ＳＬに等しいように、近端音声信号２５０は、リサンプラ２８５を使用してリサンプリングされる。リサンプリングは、事前定義された時間間隔ごとに、受信バッファの読み取りポインタのインクリメント２７０と、送信バッファの書き込みポインタのインクリメント２８０との間の差に基づいている。ネットワーク機器は、これらのポインタにアクセスできないため、このリサンプリング方法は、端末２００のみで実行することができる（ネットワークではできない）。端末（特にＰＣにおけるＩＰソフト電話）は、ほとんど、このようにエコーを処理しないため、ネットワークベースのエコー処理に対する必要性がなお存在する。

ＡＥＣ２９０の詳細な記述については、たとえば、参照により本明細書に組み込まれている、Ｓ．Ｈａｙｋｉｎ、「Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ（２００１年）を参照すること。一般的に、ＡＥＣ２９０は、エコー経路を反射（ｍｉｒｒｏｒ）するために遠端音声信号２０５を適応するようにフィルタリングし、周知の方法で、近端音声信号２５０からフィルタリングされた信号、推定されたエコーを減じる。

図３は、本発明によるクロック・スキュー補償技法を用いる端末３００に展開した端末ベースの音響エコー・キャンセラ（ＡＥＣ）３９０を示している。以下で論じるように、本発明の態様は、挿入されたトーンに基づいてリサンプリングを実装する。挿入されたトーンは、オプションとして、マスクされたトーンでもよい。受信バッファおよび送信バッファは、説明を容易にするために図では省略している。

図３に示すように、周波数ｆ_Ｔｏｎｅを持つトーンがトーン挿入ブロック４００によって生成され、図４に関連して下にさらに論じている。スイッチＳ１およびＳ２が「適応」位置にあるとき、遠端音声信号３０５および挿入されたトーンは、Ｄ／Ａコンバータ３３５に渡され、次にスピーカ３４４に適用されて、その後、マイクロフォン３４８によって拾い上げられる。一般的に、挿入されたトーンは、サンプリング周波数ｆ_ＳＬとサンプリング周波数ｆ_ＳＭとの間のクロック・スキューにより周波数が偏移する。周波数偏移（または周波数比）を推定するために、偏移されたトーンは、帯域通過フィルタ３５０によってフィルタリングされ、周波数比計算ブロック３６０でさらに分析される。帯域通過フィルタ３５０は、周波数セレクタ３５５によって生成されたトーン周波数ｆ_Ｔｏｎｅに等しい中心周波数を持つ狭帯域を使用して、偏移されたトーンをフィルタリングする。ブロック３５５は、事前設定された周波数で始まる。帯域通過フィルタ３５０の出力レベルが、たとえば、スピーカ・エンクロージャ・マイクロフォン・システムの周波数レスポンスのノッチにより、希望のしきい値を下回る場合（つまり、スピーカ、空間、およびマイクロフォンの組み合わせられた周波数レスポンス）、周波数選択ブロック３５５は、別の事前設定した周波数に変更する。したがって、トーン挿入ブロック４００は、新しい周波数を持つトーンを生成する。帯域通過フィルタ３５０の出力信号に対するレベル要件が満たされるまで、周波数選択３５５は、多数の事前設定された周波数を循環することができる。周波数比計算ブロック３６０は、フィルタリングされたトーンの周波数オフセットを決定し、ブロック３６５に格納される対応するリサンプリング率Ｒを計算する。結果として生じるサンプリング周波数

がＤ／Ａコンバータ３３５を制御するサンプリング周波数ｆ_ＳＬと等しいように、リサンプリング・ブロック３８５は、近端信号３５０をリサンプリングする。リサンプリング技法は周知である。たとえば、参照により本明細書に組み込まれている、Ｔ．Ｉ．Ｌａａｋｓｏら、「Ｓｐｌｉｔｔｉｎｇ ｔｈｅ Ｕｎｉｔ Ｄｅｌａｙ−Ｔｏｏｌｓ ｆｏｒ Ｆｒａｃｔｉｏｎａｌ Ｄｅｌａｙ Ｆｉｌｔｅｒ Ｄｅｓｉｇｎ」、ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ Ｍａｇａｚｉｎｅ（１９９６年１月）を参照すること。

上記のように、たとえば、１〜２秒という事前に決定した評価時間ＴＡにおいてサイクルの数から単純な周波数比計算アルゴリズムを得ることができる。リサンプラ３８５の希望のリサンプリング率は、Ｒ＝ｆＳＬ／ｆＳＭにより得られる。２つのトーン周波数のサイクル期間はＴＳＬ＝１／ｆＳＬおよびＴＳＭ＝１／ｆＳＭとして示すことができるため、評価期間におけるサイクルの数は、ＮＳＬ＝ＴＡ／ＴＳＬおよびＮＳＭ＝ＴＡ／ＴＳＭとして表現することができる。ＴＳＬが知られているので、ＮＳＬは正確に計算することができる。対照的に、ＮＳＭは信号から推定しなければならない。たとえば、ＮＳＭの推定は、評価間隔ＴＡ内の正ゼロ交差（ｐｏｓｉｔｉｖｅ ｚｅｒｏ ｃｒｏｓｓｉｎｇ）の数を数えることによって実装することができる。（正ゼロ交差の数に等しい）サイクルの数により、リサンプリング率は、Ｒ＝ＮＳＬ／ＮＳＭとして決定することができる。端数のサンプル単位が計算される場合（つまり、２つのトーン信号が過剰サンプリングされた場合）、Ｒの決定における精度を改善することができる。

適応制御３０８は、遠端音声３０５およびリサンプルされた近端音声３８８（またはオリジナル・サンプリング・レートの近端音声３４２）を使用して、遠端の話し手、近端の話し手、または両方（いわゆるダブルトーク）が話しているかどうかを決定する。また、そのような検出は、音響エコー消去（図示せず）の適応に必要であり、したがって、ＡＥＣ制御から得ることができる。スイッチＳ１およびＳ２を「適応」位置に設定するために、近端の話し手が沈黙している（つまり近端の話し手が話していない）条件を満たさなければならない。近端の話し手が話している場合、適応制御は、スイッチＳ１およびＳ２を「凍結」位置に設定する。これは、トーンが近端スピーカに送信されず、周波数比が更新されないことを意味するが、３６５に格納された以前に決定された周波数比が使用される。

通話時間が制限されていて、端末（より正確にはサンプリング・レートを決定するクオーツ）の温度変動が制限されている場合、通話またはセッションの最初にのみ周波数比計算の適応を実行するだけで十分な場合がある。言い換えると、たとえば１〜２秒間だけ継続できる通話設定手順でのみ、周波数比計算ブロック３６０を介してリサンプリング率の適応を実行することで十分な場合がある。すなわち、スイッチＳ１およびＳ２は、短い設定間隔の間だけ「適応」位置にあり、通話の残りについては、スイッチＳ１およびＳ２は「凍結」位置にある。

あるいは、適応は、１〜２秒の期間について、たとえば１０分ごとに１度だけ実行することができる。代替のより単純なトーン挿入方法５００が使用される場合でも、図５に関連して下にさらに論じるように、そのようなまれな可聴トーンの急増は、一般的に、通話の参加者によって十分に許容される。

あるいは、遠端音声信号３０５が、たとえば「ｓ」および「ｆ」など摩擦で生じる音素の間に高周波帯域において十分なエネルギーを含んでいるときのみ、適応を実行することができる。高周波帯域の十分なエネルギーにより、より高いトーン・レベルが可能になる。これにより、周波数比計算ブロック３６０の信頼性が改善される。高周波帯域における十分なエネルギーの存在は、遠端音声信号の高域通過フィルタリングの手段、次に根二乗平均（ＲＭＳ）演算、次にしきい値検出によって得ることができる。

トーン挿入４００および周波数比計算３６０のための上記の適応方法のいずれかに基づいて、スイッチＳ１およびＳ２の共通制御信号が得られる。共通制御信号はスイッチＳ１およびＳ２に対して使用されるが、Ｓ２の制御信号は、スイッチＳ１の出力からリサンプラ３８５の入力へと信号が経験するラウンドトリップ遅延に対応するために遅延される必要がある。たとえば、Ｄ／Ａコンバータ３３５およびＡ／Ｄコンバータ３４０で遅延が発生するが、端末３００に示されていない他の信号処理ブロックでも発生する可能性がある。下に論じるネットワーク実装では、ネットワーク送信およびオーディオ・エンコーダ／デコーダによって追加の遅延が引き起こされる。ラウンドトリップ遅延は、たとえば相関を使った従来のライン・エコー・キャンセラにおけるラウンドトリップ遅延推定技法と同様に推定することができる。ネットワーク実装では、ラウンドトリップ遅延は時間とともに変動する場合があり、決定された公称ラウンドトリップ遅延からずれる場合がある。この場合、周波数比計算ブロック３６０においてトーンの正確な始まりを検出することが必要である。

上記のように、図２と同様にエコー経路の周波数レスポンスに対応するために、代表的なＡＥＣ３９０は、遠端音声信号３０５を適応するようにフィルタリングし、リサンプリングされた近端音声信号３５０からフィルタリングされた信号を引く。

図４は、図３のトーン挿入ブロック４００をさらに詳細に示している。図４に示すように、周波数ｆ_Ｔｏｎｅを持つトーンは、トーン・ジェネレータ４３０によって生成され、加算器によって遠端音声信号４０５のバージョンに追加される。代表的な一実装では、遠端音声信号４０５は、オプションとして、挿入されたトーンの中心周波数ｆ_Ｔｏｎｅを持つ音声信号４０５の狭帯域をフィルタリングするノッチ・フィルタ４１０によってフィルタリングされる。トーン周波数を設定する能力は、スピーカ・エンクロージャ・マイクロフォン（ＬＥＭ）システムの周波数レスポンスにおいて潜在的なノッチを回避するために有益である。

さらに、代表的な実装では、音声信号に基づいて、（聞き手によって知覚されるように）トーンが音声によってマスクされるように、トーン周波数のマスキングしきい値４２０が決定される。この目的のために、トーン周波数のマスキングしきい値は、音声信号から計算される。たとえば、Ｈ．ＦａｓｔｌｅおよびＥ．Ｚｗｉｃｋｅｒ、「Ｐｓｙｃｈｏａｃｏｕｓｔｉｃｓ：Ｆａｃｔｓ ａｎｄ Ｍｏｄｅｌｓ」、Ｓｐｒｉｎｇｅｒ（２００６年）を参照すること。一般的に、マスキングしきい値４２０は、所与の周波数ｆ_Ｔｏｎｅについて、トーンが非可聴になるトーン・レベルＬ_Ｔｏｎｅを示す。トーン・レベルＬ_Ｔｏｎｅは、マスキングしきい値４２０より高く設定されない。図４に示すように、トーン・ジェネレータ４３０の代表的な出力は、マスクされたトーンを含む遠端音声信号４５０を生成するために、トーン・レベルＬ_Ｔｏｎｅがかけられ、マスキングしきい値４２０によって計算され、かつノッチ・フィルタ４１０の出力に加えられる。挿入されたトーンは、トーン周波数の近辺において音声周波数コンポーネントがない場合、より簡単に識別されるため、オプションのノッチ・フィルタ４１０により、周波数比計算３６０（図３）のパフォーマンスが改善する。

たとえば、周波数ｆ_Ｔｏｎｅは高い周波数（ｆ_ｓ／４＜ｆ_Ｔｏｎｅ＜ｆ_Ｓ／２）でもよく、ｆ_ｓはサンプリング周波数である。１６ｋＨｚのサンプリング周波数を持つ広帯域音声信号について、トーン周波数は６ｋＨｚに設定することができる。そのような高トーン周波数は、単純かつ複雑度の低い時間領域アルゴリズムによって正確に周波数オフセットを検出できるという長所を持っている。たとえば、事前規定された時間間隔（たとえば約１〜２秒）のトーン・サイクルの数は、信号のゼロ交差を検出することにより数えることができる。しかし、トーン周波数が高いほど、音声信号によってマスクされるトーンは少なくなる。マスキングしきい値は、異なる音素を通じて音声が進むと継続的に変化する。たとえば、「ｓｏ」という単語について考える。摩擦音「ｓ」は、６ｋＨｚのトーン周波数の近辺に大きなエネルギーを持っているため、トーン周波数でより高いマスキングしきい値が得られる。これとは対照的に、有声母音「ｏ」は、より低い周波数にほとんどのエネルギーを持っているため、トーン周波数で低いマスキングしきい値が得られる。

一般的に、より高いマスキングしきい値が望ましい。その理由は、より高いレベルのトーンの注入が可能になり、次に周波数比計算の精度および堅牢さが高まるからである。言い換えると、周波数比推定の堅牢さおよび精度は、信号対雑音比（ＳＮＲ）に依存している。ＳＮＲは、トーンのレベルに比例して増加する。しかし、周波数比計算の精度は、トーン・レベルだけでなく、近端音声検出の信頼性によっても決定される。近端音声無音期間の誤検出のために、周波数比計算アルゴリズムの適応がアクティブ化される場合がある（凍結する代わり。つまり率を更新しない）。周波数比計算については、近端音声はノイズと考えられる。よって、近端音声の無音を誤検出するとＳＮＲが低下する。

図５は、基本的なトーン挿入方法を説明している。これは２つのモードで動作することができる。スイッチＳ３が位置０にあるとき、音声は、適応の時間間隔の間にトーンに置き換えられる。スイッチＳ３が位置１にあるとき、トーンは遠端音声信号５０５に追加される。トーン挿入ブロック５００は、トーン挿入ブロック４００と同様に、トーン・ジェネレータ５３０を介してトーンを生成する。トーン・レベルは、オプションとして、遠端音声のレベルまたは／および近端音声のレベルのみに依存して、固定されたレベルに設定される。

オーバフローを防ぐために、遠端音声信号５０５は、振幅を限定するか、または１より小さな係数で変倍することができ、それによってスイッチＳ１の位置が変更されたときに、振幅変化を回避するために、そのようなオーバフロー防止策を信号経路３０６および３０７の両方（図３に示す）に適用しなければならない。専門のオーディオ送信が、たとえば４８ｋＨｚで使用される場合、トーンは、約１９ｋＨｚ以上の周波数に設定されている場合、非可聴にもすることができる。この場合、トーンは、音声信号によってマスクする必要はない。その理由は、その周波数は、人間の聴覚系が知覚できる最大周波数を超えているからである。

図６は、本発明によるクロック・スキュー補償技法を用いるネットワーク機器６７０に展開されたネットワークベースの音響エコー・キャンセラ（ＡＥＣ）６９０を示している。以下に論じるように、本発明の態様は、挿入されたトーンに基づいてリサンプリングのネットワーク実現を実装する。挿入されたトーンのレベルは、オプションとして制御することができるため、トーンは音声によってマスクされるか、または挿入されたトーンのレベルは固定された値に設定することができる。受信バッファおよび送信バッファは、説明を容易にするために図では省略している。

図６に示すように、周波数ｆ_Ｔｏｎｅを持つトーンは、図４に関して上に論じた、トーン挿入ブロック４００によって生成される。スイッチＳ１およびＳ２が適応の位置にある場合、トーンはネットワーク機器６７０においてオーディオ・エンコーダ６１０によって送信され、次に、デコーダ６２０によって端末６８０で復号される。図１〜３と同様に、Ｄ／Ａコンバータ６３５は、スピーカ６４４に適用されるアナログ信号へと、マスクされたトーンを持つ復号されたデジタル受信された遠端信号を変換する。さらに、マイクロフォン６４８によって生成されたアナログ近端音声信号６５０は、Ａ／Ｄコンバータ６４０によって、端末６８０の符号器６２５によって符号化されるデジタル信号に変換され、次に、ネットワーク機器６７０のデコーダ６１５によって復号される。音響エコー６６０は、端末６８０のスピーカ６４４からマイクロフォン６４８への直接的な音および反射された音の結果として生じる。

一般的に、挿入されたトーンは、サンプリング・クロックｆ_ＳＬとサンプリング・クロックｆ_ＳＭとの間のクロック・スキューにより周波数が偏移する。偏移されたトーンは、帯域通過フィルタ６５０によってフィルタリングされ、周波数比計算ブロック６６０でさらに分析される。帯域通過フィルタ６５０は、周波数セレクタ６５５によって生成され、オリジナルのトーン周波数ｆ_Ｔｏｎｅの中央にある狭帯域を使用して、偏移されたトーンをフィルタリングする。周波数比計算ブロック６６０は、オリジナルとフィルタリングされたトーンとの間の周波数比Ｒ＝ｆ_ＳＬ／ｆ_ＳＭを決定する。この比は、図３の端末ベースの実装と同様に、リサンプラに使用される、希望のリサンプリング比である。さらに、リサンプリング比はブロック６６５に格納される。リサンプリング・ブロック６８５は近端信号６５０をリサンプリングするため、結果として生じるサンプリング・レート

は、Ｄ／Ａコンバータ３３５を制御するサンプリング・レートｆ_ＳＬに等しい。

上に示したように、図２および図３と同様に、エコー経路に対応するために、代表的なＡＥＣ６９０は、遠端音声信号６０５を適応するようにフィルタリングし、リサンプリングされた近端音声信号６５０からフィルタリングされた信号を引く。

図６のネットワークベースの実装について、オーディオ符号化／復号化プロセス６１０、６２０を通じてトーンが失われないように、トーン・レベルＬ_Ｔｏｎｅが設定される。低ビット・レートのオーディオ／音声コーデックについて、得されるトーン・レベルＬ_Ｔｏｎｅによりトーンを可聴にすることができる、または符号化／復号化プロセスを通過するためにトーン・レベルを上げる必要がある場合がある。あるいは、複数のトーンは、送信を保証するために異なる周波数で同時に生成することができる。トーンの期間が短いため（たとえば約１〜２秒）、わずかに可聴であるトーンを受け入れ可能である。たとえば、ＰＣＭ（パルス復号変調）符号化／復号化について、トーン・マスキングを完全に適用して、トーンを非可聴にすることができる。

マルチトーンの方法には、さらに２つの利点がある。第一に、トーン周波数のＬＥＭ周波数レスポンスにノッチがある場合、異なる周波数を通じて循環する必要性がない。これは、複数の間隔ではなく、１つの評価間隔ＴＡだけが必要であることを意味する。言い換えると、マルチトーンの解決策は、より短時間に適応させることができる。マルチトーンの解決策の第２の利点は、特定のトーン周波数のマスキングしきい値は、信頼性が高い周波数比計算にとって十分に高くない場合がある一方、別のトーン周波数では、マスキングしきい値は十分に高い場合があることである。当業者には明白であろうように、マルチトーンは、図４および図５の単一のトーンと同様に生成される。

先に示したように、クロック・スキュー補償方式の配置は、本明細書に記述したように、従来の配置と比べて多数の利点を提供している。上記のように、クロック・スキュー補償を実装するために開示された技法により、音響エコー消去の効果的な適用が可能になる。また、開示されたクロック・スキュー補償技法は、端末またはネットワークに実装することができる。

ここでも、本発明の上記の実施形態は、例示のみを意図することを強調するべきである。一般的に、当業者には明白であろうように、代表的なクロック・スキュー補償技法は、トーンを挿入し、それによってリサンプリング周波数を決定するために変更することができる。さらに、クロック・スキュー補償のために開示された技法は、音響エコーが生じる可能性がある任意の端末またはネットワーク環境で用いることができる。

本発明の代表的な実施形態について、デジタル論理ブロックに関して記述してきたが、当業者には明白であろうように、ソフトウェア・プログラムの処理ステップとして、回路素子またはステート・マシンによってハードウェアにおいて、またはソフトウェアとハードウェアの両方の組み合わせにおいて、デジタル領域に様々な機能を実装することができる。そのようなソフトウェアは、たとえば、デジタル信号プロセッサ、特定用途向け集積回路、マイクロコントローラ、または汎用コンピュータに用いることができる。そのようなハードウェアおよびソフトウェアは、集積回路内に実装された回路内に具体化することができる。

したがって、本発明の機能は、それらの方法を実践する方法および装置の形で具体化することができる。本発明の１つまたは複数の態様は、たとえば、記憶媒体に格納された、マシンにロードし、かつ／もしくはマシンによって実行される、または何らかの伝送媒体を通して送信されるプログラム・コードの形で具体化することができ、プログラム・コードがコンピュータなどのマシンにロードされ実行されると、マシンは、本発明を実践するための装置になる。汎用プロセッサに実装された場合、特定の論理回路と同様に動作するデバイスを提供するために、プログラム・コード・セグメントはプロセッサと協働する。本発明は、また、集積回路、デジタル信号プロセッサ、マイクロプロセッサ、およびマイクロコントローラの１つまたは複数に実装することができる。

本明細書に図示し記述した実施形態および変形形態は、単に本発明の原理を説明するためのものであり、当業者は、本発明の範囲および精神から逸脱することなく、様々な変更を実装できることを理解されるだろう。

Claims (10)

1. 音声信号における音響エコー消去の方法であって、
   前記音声信号に少なくとも１つのトーンを挿入するステップであって、前記少なくとも１つのトーンは、聞き手にとって実質的に非可聴であるステップと、
   前記少なくとも１つトーンの周波数偏移に基づいて２つのサンプリング・クロック間のクロック・スキューを決定するステップと、
   前記決定したクロック・スキューに基づいて前記音声信号をリサンプリングするステップと、
   前記リサンプリングされた音声信号を使用して、前記音響エコー消去を実行するステップと
   を含む方法。
2. 前記方法は、端末デバイスおよびネットワーク・デバイスのうちの１つまたは複数に実装される請求項１に記載の方法。
3. 前記少なくとも１つトーンは、周波数が高いトーン、および聞き手によって可聴ではない周波数を持つトーンのうちの１つまたは複数を含む請求項１に記載の方法。
4. 前記少なくとも１つのトーンが前記音声信号によってマスクされるように、前記少なくとも１つのトーンのレベルを制御するステップをさらに含む請求項１の方法。
5. 前記少なくとも１つトーンは、複数のトーンを含む請求項１に記載の方法。
6. 前記少なくとも１つトーンのレベルは、音声信号から得たマスキングしきい値によって制御される請求項１に記載の方法。
7. 音声信号において音響エコーをキャンセルするための装置であって、
   前記音声信号に少なくとも１つのトーンを挿入するためのトーン・ジェネレータであって、前記少なくとも１つのトーンは、聞き手にとって実質的に非可聴であるトーン・ジェネレータと、
   前記少なくとも１つのトーンの周波数偏移に基づいて２つのサンプリング・クロック間のクロック・スキューを決定するためのオフセット計算回路と、
   前記決定されたクロック・スキューに基づいて前記音声信号をリサンプリングするためのリサンプリング回路と、
   前記リサンプリングされた音声信号を使用して、前記音響エコーをキャンセルする音響エコー・キャンセラと
   を備える装置。
8. 前記少なくとも１つのトーンを含む帯域をフィルタリングするために少なくとも１つの帯域通過フィルタをさらに備える請求項７に記載の装置。
9. 前記少なくとも１つのトーンに対応する前記音声信号内の帯域をフィルタリングするために少なくとも１つのノッチ・フィルタをさらに備える請求項７に記載の装置。
10. 前記トーン・ジェネレータは、前記少なくとも１つトーンが前記音声信号によってマスクされるように、前記少なくとも１つのトーンのレベルを制御する請求項７に記載の装置。

Images