JP5629408B1 - 送受話端サンプリングレート偏差の補正方法及びシステム - Google Patents

Abstract

本発明は、送受話端サンプリングレート偏差の補正方法及びシステムを開示する。高精度なサンプリングレート偏差をリアルタイムに得ることができるとともに、送受話端信号に対してサンプリングレート補正を行い、補正後のサンプリングレートが同一である送話端信号及び受話端信号を得てからエコーキャンセルシステムに送ってエコーキャンセルを行うことができる。本発明は、エコーキャンセルの品質を向上させることに役に立ち、計算方法が簡単であり、コストが低い。本発明の実施例に提供する送受話端サンプリングレート偏差の補正方法は、送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算するステップと、伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得するステップと、伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップと、サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整するステップと、を含む。【選択図】図１

Description

本発明は、オーディオ処理技術分野に関し、特に、送受話端サンプリングレート偏差の補正方法及びシステムに関する。

音声通信において、通話品質及び設備の安全を保証するために、通常、音声通信中、エコーキャンセルを行う。現在よく利用されたエコーキャンセル方法において、受話端信号、送話端信号が知られたとき、この両者により、エコー経路フィルタ及びエコー信号を算出し、そして、送話端信号からエコー信号を除去し、エコーに通信が干渉されることを回避する。

しかしながら、今、大部の通信は、すでにデジタル化が実現し、受話端信号及び送話端信号は、いずれもデジタル方式で伝送されている。サンプリングクロックが異なるので、送受話端信号にサンプリングレート差異がある可能性があり、サンプリングレート差異で、エコー経路フィルタ及びエコー信号の推定精度が低減され、エコーキャンセル機能の低下を招く。

サンプリングレート偏差のエコーキャンセル機能への影響を低減し又は除去するためには、エコーキャンセル前に、送受話端信号間のサンプリングレート偏差を算出して補正する必要がある。サンプリングレート偏差を計算するとき、従来手段のやり方では、一定の時間内における送受話端信号のサンプリングクロック期間を統計して両端のサンプリングレート偏差を計算して得るか、又は、予め設定されたサンプリングレート偏差の変動範囲内に、２０Ｈｚ以内のサンプリングレート偏差を黙認し、純粋なアルゴリズムアプローチを用いて、サンプリングレート偏差を算出する。サンプリングレート偏差を算出した後、従来手段では、通常、計算して得たサンプリングレート差異をエコーキャンセルフィルタに伝達し、エコーキャンセルシステムによって相応的な調節を行う形態を採用することにより、サンプリングレート偏差を補正し、エコーキャンセル効果を保証する。

従来のサンプリングレート偏差の補正手段には、少なくとも下記のような欠陥がある。即ち、
サンプリングレート偏差を計算するとき、従来手段には、送受話端サンプリングクロックを監視する必要があり、場合によっては、特定なハードウェアのセットアップが必要とされ、例えば、高性能のCPUを設けることは、ハードウェアに対する要求が比較的に高く、また、計算上ではわりに複雑であり、占用するストレージリソースも多い。さらに、従来手段では、直接に信号に対してサンプリングレート偏差の補正を行うのではなく、ただ、サンプリングレート偏差をエコーキャンセルシステムに伝達しエコーキャンセルシステムによって調節処理を行う。このようなエコーキャンセルシステムによって調節する方式では、エコーキャンセルシステムの負担が増加され、エコーキャンセルの効果が影響される。

本発明は、従来手段において、ハードウェア設置に対する要求が高かったり、計算が複雑だったりした適用範囲が狭いという課題、及び、従来手段において、直接に信号に対してサンプリングレート偏差の補正を行わないということによりエコーキャンセルシステムの負担が重くなるという課題を解決するため、送受話端サンプリングレート偏差の補正方法及びシステムを提供する。

上記の目的を達成するため、本発明の実施例は、下記の技術手段を用いる。即ち、
本発明の実施例は、送受話端サンプリングレート偏差の補正方法であって、
送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算するステップと、前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得するステップと、前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップと、前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力することで、エコーキャンセルシステムが直接に補正後のサンプリングレートが同一である送話端信号及び受話端信号を利用してエコーキャンセルを行うために用いるステップと、を含む送受話端サンプリングレート偏差の補正方法を提供する。

本発明の実施例は、更に、送受話端サンプリングレート偏差の補正システムであって、時間遅延推定器、サンプリングレート偏差推定器及びサンプリングレート調整器を含み、前記時間遅延推定器の入力端が送話端信号及び受話端信号を受け、前記時間遅延推定器の出力端がサンプリングレート偏差推定器の入力端に接続され、前記サンプリングレート偏差推定器の出力端が前記サンプリングレート調整器の入力端に接続され、前記サンプリングレート調整器の入力端が更に送話端信号又は受話端信号を受け、前記サンプリングレート調整器の出力端がエコーキャンセルシステムに接続され、
前記時間遅延推定器は、送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算し、前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得することに用い、
前記サンプリングレート偏差推定器は、前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることに用い、
前記サンプリングレート調整器は、前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力することで、エコーキャンセルシステムが直接に補正後のサンプリングレートが同一である送話端信号及び受話端信号を利用してエコーキャンセルを行うために用いることに用いる
送受話端サンプリングレート偏差の補正システムを提供する。

本発明による実施例の有益な効果は、下記の通りである。

本発明による実施例は、伝送時間遅延とサンプリングレート偏差との間に線形関係を有するという特徴を利用して、送受話端信号に基づいて送受話端間の伝送時間遅延を得て送受話端間のサンプリングレート偏差をパラメータフィッティングするという技術手段を用い、高精度なサンプリングレート偏差をリアルタイムに得ることができ、且つ、付加的なハードウェアのオーバーヘッドが必要でなくなり、計算方法が簡単であり、システムコストが低減される。更に、本手段は、エコーキャンセル操作前にサンプリングレート偏差の補正を行う技術手段を用いるため、エコーキャンセルシステムの負担が低減され、エコーキャンセルの品質が高まる。

本発明の実施例一に提供する送受話端サンプリングレート偏差の補正方法のフローチャートである。 本発明の実施例に提供するサンプリングレート偏差が一定であるときの伝送時間遅延とサンプリングタイミングとの関係模式図である。 本発明の実施例に提供するサンプリングレート偏差が変化するときの伝送時間遅延とサンプリングタイミングとの関係模式図である。 本発明の実施例二に提供するサンプリングレート偏差の補正システムの構造模式図である。 本発明の実施例二に提供する他のサンプリングレート偏差の補正システムの構造模式図である。 本発明の実施例に提供するサンプリングレート補正前後のエコーキャンセル効果の実験結果図である。

本発明の目的、技術手段及び利点をより明確にするため、以下、図面を参照しながら本発明の実施の形態を更に詳しく述べる。

図１を参照して、本発明の実施例一に提供する送受話端サンプリングレート偏差の補正方法は、
１１：送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算するステップと、
１２：前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得するステップと、
１３：前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップと、
１４：前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力することで、エコーキャンセルシステムが直接に補正後のサンプリングレートが同一である送話端信号及び受話端信号を利用してエコーキャンセルを行うために用いるステップと、を含む。

本発明の実施例は、伝送時間遅延とサンプリングレート偏差との間に線形関係を有するという特徴を利用する。ここで、以下の分析を通して、前記特徴によりサンプリングレート偏差を補正できる原理を説明する。即ち、
送受話端にサンプリングレート偏差があれば、ｎをサンプリングタイミングとすると、受話端と送話端との間の相対伝送時間遅延がサンプリングタイミングの線形関数になり、この線形関数は、下記のように表すことができる。即ち、

そのうち、ＦｓＲが受話端サンプリング周波数であり、ＦｓＳが送話端サンプリング周波数であり、ｄＦｓがサンプリングレート偏差である。

サンプリングタイミングがｎのときの送受話端の伝送時間遅延をＤ［ｎ］と表すと、Ｄ［ｎ］とｎとは、下記の線形関係を満たす。即ち、
Ｄ［ｎ］＝ｎ・ｄＦｓ＋ｃ
そのうち、ｃが定数であり、伝送環境によって決定される。

図２Ａを参照して、サンプリングレート偏差が一定であるときのＤ［ｎ］とｎとの関係模式図が示されており、図中における横軸がサンプリングタイミング、縦軸が伝送時間遅延であり、図中における直線の勾配が即ちサンプリングレート偏差となり、サンプリングレート偏差が変化すると、勾配も変化する。図２Ｂに、サンプリングレート偏差が変化する（非一定）ときのＤ［ｎ］とｎとの関係模式図が示されている。

上記から分かるように、Ｄ［ｎ］が求められると、Ｄ［ｎ］とｎからｄＦｓを推定して得ることができ、そして、ｄＦｓにより送話端信号又は受話端信号を補正する。もしその推定がリアルタイムだったら、サンプリングレート偏差が変化するとき、その変化を追跡して適応することができ、これにより、送受話端のサンプリングレート偏差をオンラインでリアルタイムに補正することが実現できる。

本発明の実施例は、伝送時間遅延とサンプリングレート偏差との間に線形関係を有するという特徴を利用して、送受話端信号に基づいて送受話端間の伝送時間遅延を得て送受話端間のサンプリングレート偏差をパラメータフィッティングする技術手段を用い、高精度なサンプリングレート偏差をリアルタイムに得ることができ、且つ、付加的なハードウェアのオーバーヘッドが必要でなくなり、計算方法が簡単であり、システムコストが低減される。更に、本手段は、エコーキャンセル操作前にサンプリングレート偏差の補正を行うという技術手段を用いるため、エコーキャンセルシステムの負担が低減され、エコーキャンセルの品質が高まる。

図１に示す実施例の基で、更に、本実施例において、前記ステップ１１は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送話端信号及び現在のサンプリングタイミング前の所定数の送話端信号を利用して現在のサンプリングタイミングにおける送話端データフレームを生成することと、現在のサンプリングタイミングにおける受話端信号及び現在のサンプリングタイミング前の所定数の受話端信号を利用して現在のサンプリングタイミングにおける受話端データフレームを生成することと、現在のサンプリングタイミングにおける前記送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算することと、を含む。

更に、ステップ１１において、下記の式によって、前記現在のサンプリングタイミングにおける送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算する。即ち、

そのうち、ｈが伝達関数であり、Ｘ［ｋ］が現在のサンプリングタイミングｎにおける受話端データフレームｘ^→［ｎ］の周波数領域形式であり、Ｙ［ｋ］が現在のサンプリングタイミングｎにおける送話端データフレームｙ^→［ｎ］の周波数領域形式であり、Ｈが伝達関数ｈの周波数領域形式であり、Ｘ^＊［ｋ］がＸ［ｋ］の共役であり、Ｅ（．）が期待値演算を表し、ｉｆｆｔ（．）が逆フーリエ変換を表す。

更に、前記ステップ１２は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングの伝達関数の絶対値の最大値に対応する時点を選んで、現在のサンプリングタイミングにおける送受話端の伝送時間遅延推定値とすることと、伝送時間遅延推定値により現在のサンプリングタイミングの伝送時間遅延を得て、例えば、得られた伝送時間遅延推定値を、直接に、用いられている現在のサンプリングタイミングにおける送受話端の伝送時間遅延とすることと、を含む。

更に、前記ステップ１３は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端の伝送時間遅延及び現在のサンプリングタイミング前の所定数の送受話端の伝送時間遅延を利用して現在のサンプリングタイミングの伝送時間遅延データフレームを生成することと、伝送時間遅延とサンプリングレート偏差との間の線形関係により、前記伝送時間遅延データフレームにおける各要素を、各サンプリングタイミングに対してパラメータフィッティングを行い、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることと、を含む。

更に、前記ステップ１４は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で送話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて受話端信号のサンプリングレートとサンプリングレートが同一である送話端信号を得ること、
或いは、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で受話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて送話端信号のサンプリングレートとサンプリングレートが同一である受話端信号を得ること、を含む。前記補間方式は、多項式補間方式又は線形補間方式等であってもよい。

本発明の実施例二について、具体的な実装ディバイスを参照しながら本実施例に提供する送受話端サンプリングレート偏差の補正手段を説明する。

図３を参照して、本実施例に提供するサンプリングレート偏差の補正システムが示されており、このシステムが、時間遅延推定器１、サンプリングレート偏差推定器２及びサンプリングレート調整器３を含み、該システムにおける受話端信号及び送話端信号は、いずれもデジタル方式で伝送されるため、それに応じて、送話端に、更にアナログ-デジタル変換器が設けられ、これにより、収集された送話端のアナログ信号ｙ（ｔ）をデジタル信号ｙ［ｎ］に変換する。送話端（デジタル）信号ｙ［ｎ］及び受話端（デジタル）信号ｘ［ｎ］が時間遅延推定器１の入力端に受けられ、時間遅延推定器１の出力端がサンプリングレート偏差推定器２の入力端に接続され、時間遅延推定器１の出力端から出力された伝送時間遅延Ｄ_Ｅ［ｎ］がサンプリングレート偏差推定器２の入力端に伝送される。

サンプリングレート偏差推定器２の出力端が前記サンプリングレート調整器３の入力端に接続され、サンプリングレート偏差推定器２の出力端から出力されたサンプリングレート偏差ｄＦｓ_Ｅ［ｎ］がサンプリングレート調整器３の入力端に伝送され、サンプリングレート調整器３の出力端がエコーキャンセルシステムに接続される。

留意すべきことは、図３に示す場面には、得られたサンプリングレート偏差に基づいて、送話端信号に対して補正を行って、同じサンプリングレートの送受話端信号が得られるため、この場面では、サンプリングレート調整器の入力端が更に送話端信号を受け、補正後の送話端信号ｙ’［ｎ］及び受話端信号ｘ［ｎ］がエコーキャンセルシステムの入力端に伝送される。

図３に示す例には、サンプリングレート調整器により送話端信号のサンプリング周波数に対して補正を行ったが、代替実施形態では、サンプリングレート調整器により受話端信号のサンプリング周波数に対して補正を行ってもよく、本実施例においては、主に前者の場合を例として説明する。得られたサンプリングレート偏差に基づいて受話端信号に対して補正を行う場面について、サンプリングレート調整器の入力端が送話端信号ではなく、受話端信号に結合する必要があり、この場面では、送話端信号ｙ［ｎ］及び補正後の受話端信号ｘ’［ｎ］をエコーキャンセルシステムの入力端に伝送する。

前記時間遅延推定器１は、送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算し、前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得することに用い、
前記サンプリングレート偏差推定器２は、前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることに用い、
前記サンプリングレート調整器３は、前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート偏差の補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力してエコーキャンセルを行うために用いる。

上記から分かるように、本実施例は、送話端信号又は受話端信号のサンプリングレートを補正してからエコーキャンセルシステムに送り、即ち、エコーキャンセルシステムへの入力量が、同じサンプリング周波数を有する送受話端信号となり、本実施例は、同じサンプリング周波数を有する送受話端信号を得た後にエコーキャンセルを実行する方式を採用し、エコーキャンセルの効果の向上に役に立ち、データ処理の後端におけるエコーキャンセルシステムの負担が軽減される。

図４を参照して、図３における各ディバイスの具体的構造が示されており、前記ディバイスによりサンプリングレート偏差の補正を実行する操作は、主に以下の三つの部分を含む。

一、時間遅延推定
この部分の操作は、主に時間遅延推定器によって実現され、図４を参照して、送話端デジタル信号ｙ［ｎ］及び受話端デジタル信号ｘ［ｎ］がバッファーを通過して、それぞれ、送話端データフレームｙ^→［ｎ］及び受話端データフレームｘ^→［ｎ］を形成し、下記のように表す。即ち、

そのうち、ｎがサンプリングタイミングを表し、Ｌがデータフレームの長さ、即ちデータフレームにおける要素の個数を表す。

時間遅延推定器１は、受話端バッファー１１、送話端バッファー１２、伝達関数推定器１３及び時間遅延計算器１４を含む。

送話端バッファー１２は、各サンプリングタイミングにおける送話端信号をバッファリングするために用い、受話端バッファー１１は、各サンプリングタイミングにおける受話端信号をバッファリングするために用い、
前記伝達関数推定器１３は、各サンプリングタイミングの各現在のサンプリングタイミングに対して、送話端バッファーにおいての現在のサンプリングタイミングにおける送話端信号及び現在のサンプリングタイミング前の所定数の送話端信号を利用して現在のサンプリングタイミングにおける送話端データフレームを生成することと、受話端バッファーにおいての現在のサンプリングタイミングにおける受話端信号及び現在のサンプリングタイミング前の所定数の受話端信号を利用して現在のサンプリングタイミングにおける受話端データフレームを生成することと、現在のサンプリングタイミングにおける前記送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算することとに用い、
前記所定数がＬ−１であり、即ち、時間遅延推定器１の伝達関数推定器１３が現在のサンプリングタイミングにおける送話端信号ｙ［ｎ］及び現在のサンプリングタイミング前のＬ−１個の送話端信号を利用して現在のサンプリングタイミングにおける送話端データフレームｙ^→［ｎ］を生成し、現在のサンプリングタイミングにおける受話端信号ｘ［ｎ］及び現在のサンプリングタイミング前のＬ−１個の受話端信号を利用して現在のサンプリングタイミングにおける受話端データフレームｘ^→［ｎ］を生成し、Ｌの具体の数値がシステムの出力の時間遅延の制限に関連し、例えば、Ｌが２５６又は５１２等であってよい。

データフレームｘ^→［ｎ］及びｙ^→［ｎ］を伝達関数推定器１３の入力端に送り、ｙ^→［ｎ］からｘ^→［ｎ］までの伝達関数ｈを計算する。伝達関数推定器１３は、以下のような計算方式を通して、現在のサンプリングタイミングにおける前記送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算し、伝達関数計算方式は、クロスパワースペクトルをオートパワースペクトルで割る方式を用いてもよく、具体的な式は、以下になる。即ち、

そのうち、ｈが伝達関数であり、Ｘ［ｋ］が現在のサンプリングタイミングｎにおける受話端データフレームｘ^→［ｎ］の周波数領域形式であり、Ｙ［ｋ］が現在のサンプリングタイミングｎにおける送話端データフレームｙ^→［ｎ］の周波数領域形式であり、Ｈが伝達関数ｈの周波数領域形式であり、Ｘ^＊［ｋ］がＸ［ｋ］の共役であり、Ｅ（．）が期待値演算を表し、ｉｆｆｔ（．）が逆フーリエ変換を表す。

伝達関数推定器１３に算出した伝達関数を時間遅延計算器１４に入力し、時間遅延計算器１４が、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングの伝達関数の絶対値の最大値に対応する時点を選んで、現在のサンプリングタイミングにおける送受話端の伝送時間遅延推定値とし、そして、前記伝送時間遅延推定値に基づいて、用いられている現在のサンプリングタイミングにおける送受話端の伝送時間遅延を得る。

本実施例において、ｈの絶対値の最大値の位置に対応するｈパラメータ（時間パラメータ）の数値を選んで送受話端信号の時間遅延推定値Ｄ_Ｅ［ｎ］とする。

Ｄ_Ｅ［ｎ］＝ａｒｇｍａｘ［｜ｈ｜］
そのうち、ａｒｇｍａｘが最大値の位置を求める演算である。

Ｄ_Ｅ［ｎ］と実際値Ｄ［ｎ］との間にランダム推定誤差ｅｒｒ［ｎ］があり、下記の関係を満たす。即ち、
Ｄ_Ｅ［ｎ］＝Ｄ［ｎ］＋ｅｒｒ［ｎ］、そのうち、ｅｒｒ［ｎ］がランダム推定誤差であり、平均値が０である。

Ｄ_Ｅ［ｎ］とサンプリングタイミングｎとは、
Ｄ_Ｅ［ｎ］＝ｎ・ｄＦｓ＋ｃ＋ｅｒｒ［ｎ］
という関係を満たす。

以上のことから、時間遅延推定器１の計算を通して、いずれのサンプリングタイミングｎについても、対応する送受話端伝送時間遅延Ｄ_Ｅ［ｎ］が計算して得られる。

注：本実施例では、現在のサンプリングタイミング及び現在のサンプリングタイミング前の信号を利用して伝送時間遅延を推定する方式を用いるため、初期サンプリングタイミングについて、該初期サンプリングタイミングの前における信号の数値がデフォルト値（例えば０）を用いてもよい。

二、サンプリングレート偏差推定
この部分の操作は、主にサンプリングレート偏差推定器によって実現され、図４を参照して、サンプリングレート偏差推定器は、時間遅延バッファー２１と時間遅延サンプリングレート偏差フィッター２２とを含む。算出された伝送時間遅延Ｄ_Ｅ［ｎ］をサンプリングレート偏差推定器の時間遅延バッファー２１に送り、伝送時間遅延データフレームＤ^→ _Ｅ［ｎ］を形成し、それに対応したサンプリングタイミングで形成されたデータフレームをｎ^→と記すと、

になる。

そのうち、Ｍがデータフレームの長さである。Ｍが観測時間の長さを反映し、本実施例において、観測時間の増加は、フィッティングの精度を向上させることができる。

以上のことから、サンプリングレート偏差推定器２の時間遅延バッファー２１は、各サンプリングタイミングにおける送受話端の伝送時間遅延をバッファリングするために用いる。時間遅延サンプリングレート偏差フィッター２２は、各サンプリングタイミングの各現在のサンプリングタイミングに対して、時間遅延バッファーにおいての現在のサンプリングタイミングにおける送受話端の伝送時間遅延及び現在のサンプリングタイミング前の所定数の送受話端の伝送時間遅延を利用して現在のサンプリングタイミングの伝送時間遅延データフレームを生成し、伝送時間遅延とサンプリングレート偏差との間の線形関係により、前記伝送時間遅延データフレームにおける各要素を、各サンプリングタイミングに対してパラメータフィッティングを行い、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることに用いる。

即ち、時間遅延サンプリングレート偏差フィッター２２は、現在のサンプリングタイミングｎ送受話端の伝送時間遅延Ｄ_Ｅ［ｎ］及び現在のサンプリングタイミング前のＭ−１個の送受話端の伝送時間遅延を利用して現在のサンプリングタイミングの伝送時間遅延データフレームＤ^→ _Ｅ［ｎ］を生成する。そして、時間遅延サンプリングレート偏差フィッター２２を用いて、伝送時間遅延とサンプリングレート偏差との間の線形関係により、前記伝送時間遅延データフレームにおける各要素を、各サンプリングタイミングに対してパラメータフィッティングを行い、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差を得る。Ｄ^→ _Ｅ［ｎ］とｎ^→を時間遅延サンプリングレート偏差フィッターに送り、Ｄ^→ _Ｅ［ｎ］のｎ^→に対する勾配を推定し、この勾配が、推定してきたサンプリングレート偏差ｄＦｓ_Ｅになる。

フィッティング方式は、最小二乗フィッティング、最尤フィッティング又はその他のパラメータフィッティング方式を用いてもよい。

最小二乗フィッティングを用いる場合、具体的な算式は、下記のように表すことができる。

そのうち、ｄＦｓ_Ｅがサンプリングレート偏差を表し、Ｅ（．）が期待値演算を表し、Ｖａｒ（．）が分散計算である。

最小二乗フィッティング方式及びその他のパラメータフィッティング方式の推定精度は、いずれもＭの増加に伴って向上し、つまり、観測時間Ｍが延長すると、ｄＦｓ_Ｅの推定精度が向上する。

上記操作を通して、いずれのサンプリングタイミングｎについても、サンプリングレート偏差をリアルタイムで計算して得ることができる。

三、サンプリングレート調整
この部分の操作は、主にサンプリングレート調整器３によって実現され、サンプリングレート調整器３は、前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを補正することで、エコーキャンセルシステムが補正後のサンプリングレートが同一である送話端信号及び受話端信号を利用してエコーキャンセルを行う。

具体的に、各サンプリングタイミングにおいて、サンプリングレート調整器３が現在のサンプリングタイミングのサンプリングレート偏差に基づいて現在のサンプリングタイミングにおける送話端信号又は受話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいてサンプリングレートが同じの送話端信号及び受話端信号を得る。

更に、前記サンプリングレート調整器３がリサンプリングバッファー３１を含み、前記サンプリングレート調整器３の入力端が送話端信号を受けた場合、図４に示す場面のように、この場面では、前記サンプリングレート調整器３が、各サンプリングタイミングにおける送話端信号をバッファリングするリサンプリングバッファー３１を含み、このとき、前記サンプリングレート調整器３は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式でリサンプリングバッファー３１における送話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおける受話端信号のサンプリングレートとサンプリングレートが同一である送話端信号を得ることに用い、
サンプリングレート調整器３の入力端が受話端信号を受けた場合、サンプリングレート調整器３が、各サンプリングタイミングにおける受話端信号をバッファリングするリサンプリングバッファー３１を含み、このとき、サンプリングレート調整器３は、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式でリサンプリングバッファー３１における受話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおける送話端信号のサンプリングレートとサンプリングレートが同一である受話端信号を得ることに用いる。

上記から分かるように、時間遅延推定器１は、送受話端信号を同時に利用する必要があり、サンプリングレート調整器３は、送話端信号又は受話端信号を利用する必要があるが、両者が利用する送話端信号が異なるかもしれなく、受話端信号も異なるかもしれない。時間遅延推定器１とサンプリングレート調整器３との相互影響を回避し、データ処理速度を向上させるために、本実施例では、時間遅延推定器１に対する受話端バッファー及び送話端バッファーと、サンプリングレート調整器３に対する送話端リサンプリングバッファー又は受話端リサンプリングバッファーとを、それぞれ設ける方式が用いられる。

リサンプリングは、多項式補間、線形補間又はその他の一般的なリサンプリング方式を用いることができる。線形補間方式を例として、図４に示す場面のように送話端信号に対してリサンプリングを行うと、リサンプリングされた送話端信号は、下記のように表すことができる。

そのうち、_└・_┘が下向き丸め演算を表し、ｘ’［ｎ］がリサンプリングされたサンプリングタイミングｎの送話端信号を表す。

受話端信号に対してリサンプリングを行うと、リサンプリングされた受話端信号は、下記のように表すことができる。

そのうち、_└・_┘が下向き丸め演算を表し、ｘ’［ｎ］がリサンプリングされたサンプリングタイミングｎの受話端信号を表す。

ここまでオンラインサンプリングレート偏差の補正が実現され、補正後のサンプリングレートが同一である送受話端信号をエコーキャンセルシステムに送ってエコーキャンセルを行う。

本実施例によるディバイスは、特殊な設置を追加する必要がなく、例えば、前記時間遅延推定器１は、バッファー、伝達関数推定器１３及び時間遅延計算器１４によって実現してもよく、伝達関数推定器１３は、乗算器、積分器、除算器及び逆フーリエ変換器によって実現してもよい。時間遅延計算器１４は、乗算器、除算器及び比較器によって実現してもよいなど。

以上のことから、本実施例は、送受端信号に基づいてサンプリングレート偏差の補正を行い、送受話端サンプリングクロックを監視する必要がなくなり、これにより、付加的なハードウェア設置が必要でなくなり、ハードウェア機能に対する要求が低減され、システムコストが節約される。

更に、本発明の実施例は、伝送時間遅延とサンプリングレート偏差との間に線形関係を有するという特徴を利用して、送受話端信号に基づいて送受話端間の伝送時間遅延を得て送受話端間のサンプリングレート偏差をパラメータフィッティングするという技術手段を用い、高精度なサンプリングレート偏差をリアルタイムに得ることができ、且つ、付加的なハードウェアのオーバーヘッドが必要でなくなり、計算方法が簡単であり、システムコストが低減される。更に、本手段は、エコーキャンセル操作前にサンプリングレート偏差の補正を行うという技術手段を用いるため、エコーキャンセルシステムの負担が低減され、エコーキャンセルの品質が高まる。

以下、実験結果図を参照しながら本発明の実施例の有益な効果を説明する。図５は、サンプリングレート補正前後のエコーキャンセル効果の実験結果図である。送受話端の希望サンプリングレートが１６０００Ｈｚであり、存在するサンプリングレート偏差が０.９Ｈｚであり、２９秒からサンプリングレート偏差の補正を行う。２９秒の前に、サンプリングレート偏差を有する送受話端信号をエコーキャンセルシステムに入力し、２９秒の後、本手段を用いて得られたサンプリングレートが同一である送受話端信号をエコーキャンセルシステムに入力する。

図５における縦軸がＲＭＳ（二乗平均平方根誤差）Ｐｏｗｅｒ（エネルギー）、横軸が時間であり、図中の破線が送話端Ｍｉｃ（マイク）信号のエネルギー曲線、実線がエコーキャンセルシステムの出力した残留エコーエネルギー曲線であり、二つの曲線の差が即ちエコー抑制量になる。ここから分かるように、サンプリングレート偏差の補正が行われていない時（２９秒前）、エコー抑制量が２１ｄＢに達するに過ぎないが、補正後（２９秒後）、エコー抑制量が４５ｄＢを超えることができ、これにより、本手段では、エコーキャンセルの効果を著しく高められることを検証した。

上記内容は、本発明の好ましい実施例に過ぎず、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる修正、同等置換および改良は、本発明の保護範囲に含まれる。

Claims (10)

1. 送受話端サンプリングレート偏差の補正方法であって、
   送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算するステップと、
   前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得するステップと、
   前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップと、
   前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力してエコーキャンセルを行うステップと、を含む送受話端サンプリングレート偏差の補正方法。
2. 前記した送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算するステップは、
   各サンプリングタイミングの各現在のサンプリングタイミングに対して、
   現在のサンプリングタイミングにおける送話端信号及び現在のサンプリングタイミング前の所定数の送話端信号を利用して現在のサンプリングタイミングにおける送話端データフレームを生成することとともに、現在のサンプリングタイミングにおける受話端信号及び現在のサンプリングタイミング前の所定数の受話端信号を利用して現在のサンプリングタイミングにおける受話端データフレームを生成するステップを含み、
   下記の式によって、現在のサンプリングタイミングにおける前記送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算し、即ち、
   

   

   そのうち、ｈが伝達関数であり、Ｘ［ｋ］が現在のサンプリングタイミングｎにおける受話端データフレームｘ^→［ｎ］の周波数領域形式であり、Ｙ［ｋ］が現在のサンプリングタイミングｎにおける送話端データフレームｙ^→［ｎ］の周波数領域形式であり、Ｈが伝達関数ｈの周波数領域形式であり、Ｘ^＊［ｋ］がＸ［ｋ］の共役であり、Ｅ（．）が期待値演算を表し、ｉｆｆｔ（．）が逆フーリエ変換を表す、請求項１に記載の方法。
3. 前記した前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得するステップは、
   各サンプリングタイミングの各現在のサンプリングタイミングに対して、
   現在のサンプリングタイミングの伝達関数の絶対値の最大値に対応する時点を選んで、現在のサンプリングタイミングにおける送受話端の伝送時間遅延推定値とするステップと、
   前記伝送時間遅延推定値により現在のサンプリングタイミングにおける送受話端の伝送時間遅延を得るステップと、を含む請求項１に記載の方法。
4. 前記した前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップは、
   各サンプリングタイミングの各現在のサンプリングタイミングに対して、
   現在のサンプリングタイミングにおける送受話端の伝送時間遅延及び現在のサンプリングタイミング前の所定数の送受話端の伝送時間遅延を利用して現在のサンプリングタイミングの伝送時間遅延データフレームを生成するステップと、
   伝送時間遅延とサンプリングレート偏差との間の線形関係により、前記伝送時間遅延データフレームにおける各要素を、各サンプリングタイミングに対してパラメータフィッティングを行い、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差を得るステップと、を含む請求項１に記載の方法。
5. 前記した前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを補正するステップは、
   各サンプリングタイミングの各現在のサンプリングタイミングに対して、
   現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で送話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて受話端信号のサンプリングレートとサンプリングレートが同一である送話端信号を得て、
   或いは、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で受話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて送話端信号のサンプリングレートとサンプリングレートが同一である受話端信号を得るステップを含む請求項１に記載の方法。
6. 時間遅延推定器、サンプリングレート偏差推定器及びサンプリングレート調整器を含む送受話端サンプリングレート偏差の補正システムであって、
   前記時間遅延推定器の入力端が送話端信号及び受話端信号を受け、前記時間遅延推定器の出力端がサンプリングレート偏差推定器の入力端に接続され、前記サンプリングレート偏差推定器の出力端が前記サンプリングレート調整器の入力端に接続され、前記サンプリングレート調整器の入力端が更に送話端信号又は受話端信号を受け、前記サンプリングレート調整器の出力端がエコーキャンセルシステムに接続され、
   前記時間遅延推定器が、送受話端信号に基づいて各サンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算し、前記伝達関数を利用して各サンプリングタイミングにおける送受話端の伝送時間遅延を取得することに用い、
   前記サンプリングレート偏差推定器が、前記伝送時間遅延、及び、伝送時間遅延とサンプリングレート偏差との間の線形関係を利用して、パラメータフィッティング方式で各サンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることに用い、
   前記サンプリングレート調整器が、前記サンプリングレート偏差に基づいて各サンプリングタイミングにおける送話端信号又は受話端信号のサンプリングレートを調整し、サンプリングレート補正を実現し、そして、補正後のサンプリングレートが同一である送話端信号及び受話端信号をエコーキャンセルシステムに入力し、エコーキャンセルを行うために用いる、送受話端サンプリングレート偏差の補正システム。
7. 前記時間遅延推定器が、送話端バッファー、受話端バッファー及び伝達関数推定器を含み、
   前記送話端バッファーが、各サンプリングタイミングにおける送話端信号をバッファリングするために用い、
   前記受話端バッファーが、各サンプリングタイミングにおける受話端信号をバッファリングするために用い、
   前記伝達関数推定器が、各サンプリングタイミングの各現在のサンプリングタイミングに対して、前記送話端バッファーにおける現在のサンプリングタイミングにおける送話端信号及び現在のサンプリングタイミング前の所定数の送話端信号を利用して現在のサンプリングタイミングにおける送話端データフレームを生成することとともに、前記受話端バッファーにおける現在のサンプリングタイミングにおける受話端信号及び現在のサンプリングタイミング前の所定数の受話端信号を利用して現在のサンプリングタイミングにおける受話端データフレームを生成し、そして、下記の式によって、現在のサンプリングタイミングにおける前記送話端データフレーム及び受話端データフレームを利用して現在のサンプリングタイミングにおける受話端信号の送話端信号に対する伝達関数を計算することに用い、即ち、
   

   

   そのうち、ｈが伝達関数であり、Ｘ［ｋ］が現在のサンプリングタイミングｎにおける受話端データフレームｘ^→［ｎ］の周波数領域形式であり、Ｙ［ｋ］が現在のサンプリングタイミングｎにおける送話端データフレームｙ^→［ｎ］の周波数領域形式であり、Ｈが伝達関数ｈの周波数領域形式であり、Ｘ^＊［ｋ］がＸ［ｋ］の共役であり、Ｅ（．）が期待値演算を表し、ｉｆｆｔ（．）が逆フーリエ変換を表す、請求項６に記載のシステム。
8. 前記時間遅延推定器が更に時間遅延計算器を含み、
   前記時間遅延計算器は、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングの伝達関数の絶対値の最大値に対応する時点を選んで、現在のサンプリングタイミングにおける送受話端の伝送時間遅延推定値とし、前記伝送時間遅延推定値により現在のサンプリングタイミングにおける送受話端の伝送時間遅延を得ることに用いる、請求項７に記載のシステム。
9. 前記サンプリングレート偏差推定器が時間遅延バッファー及び時間遅延サンプリングレート偏差フィッターを含み、
   前記時間遅延バッファーが、各サンプリングタイミングにおける送受話端の伝送時間遅延をバッファリングすることに用い、
   前記時間遅延サンプリングレート偏差フィッターが、各サンプリングタイミングの各現在のサンプリングタイミングに対して、前記時間遅延バッファーにおける現在のサンプリングタイミングにおける送受話端の伝送時間遅延及び現在のサンプリングタイミング前の所定数の送受話端の伝送時間遅延を利用して現在のサンプリングタイミングの伝送時間遅延データフレームを生成し、伝送時間遅延とサンプリングレート偏差との間の線形関係により、前記伝送時間遅延データフレームにおける各要素を、各サンプリングタイミングに対してパラメータフィッティングを行い、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差を得ることに用いる、請求項６に記載のシステム。
10. 前記サンプリングレート調整器がリサンプリングバッファーを含み、
    前記サンプリングレート調整器の入力端が送話端信号を受けた場合、前記リサンプリングバッファーが各サンプリングタイミングにおける送話端信号をバッファリングすることに用い、前記サンプリングレート調整器が、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で前記リサンプリングバッファーにおける送話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて受話端信号のサンプリングレートとサンプリングレートが同一である送話端信号を得ることに用い、
    前記サンプリングレート調整器の入力端が受話端信号を受けた場合、前記リサンプリングバッファーが各サンプリングタイミングにおける受話端信号をバッファリングすることに用い、前記サンプリングレート調整器が、具体的に、各サンプリングタイミングの各現在のサンプリングタイミングに対して、現在のサンプリングタイミングにおける送受話端のサンプリングレート偏差に基づいて、補間方式で前記リサンプリングバッファーにおける受話端信号に対してリサンプリングを行い、現在のサンプリングタイミングにおいて送話端信号のサンプリングレートとサンプリングレートが同一である受話端信号を得ることに用いる、請求項６に記載のシステム。

Images