JP2005514668A

JP2005514668A - スペクトル出力比依存のプロセッサを有する音声向上システム

Info

Publication number: JP2005514668A
Application number: JP2003558839A
Authority: JP
Inventors: ヘープ−ウムバッハ，ラインホルト; ヤンセ，コルネリス　ペー; アーセーエムルーフェルス，ダーフィット
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-01-09
Filing date: 2002-12-09
Publication date: 2005-05-19
Also published as: WO2003058607A2; AU2002348779A1; EP1466321A2; CN1613109A; CN1320522C; WO2003058607A3; US20050118956A1

Abstract

歪んだ所期の信号と少なくとも参照信号とのための音声信号入力と、マイクロフォンの配列に結合され、前記所期の信号の歪みの推定としての機能を果たす参照信号を用いて前記歪んだ所期の信号を処理するためのスペクトルプロセッサとを有する音声向上システムが説明される。前記歪みの推定が参照信号のスペクトル出力のＡ倍に依存するように、前記スペクトルプロセッサが前記処理を変更するように構成され、Ａが、前記所期の信号の歪みの時間平均のスペクトル出力と、前記参照信号の時間平均のスペクトル出力との比率である。歪みの推定に含まれる比率Ａの周波数依存度は、例えば車の環境のように、干渉信号と所期の信号の歪みとの関係が事前にわからない状況における用途に更に適した改善された音声向上システムを結果として生じる。

Description

発明の詳細な説明

本発明は、歪んだ所期の信号と少なくとも参照信号とのための音声信号入力と、前記音声信号入力に結合され、前記所期の信号の歪みの推定としての機能を果たす少なくとも１つの参照信号を用いて前記歪んだ所期の信号を処理するためのプロセッサとを有する音声向上システムに関するものである。

本発明はまた、歪んだ所期の信号を向上する方法に関するものであり、その信号はスペクトル的に処理され、それによって少なくとも１つの参照信号が所期の信号の歪みの推定としての機能を果たす。

歪みを与えるノイズのような干渉成分を抑えるための構成により具体化されたそのような音声向上システムは、WO97/45995からわかる。既知のシステムは、音声信号入力に結合された複数のマイクロフォンを有する。マイクロフォンは、歪んだ所期の信号のための主要なマイクロフォンと、干渉信号を受信するための１つ以上の参照マイクロフォンとを有する。前記システムはまた、マイクロフォンに結合された信号処理構成により具体化されたスペクトルプロセッサを有する。信号処理構成において、干渉信号が所期の信号からスペクトル的に差し引かれ、その出力で減少した干渉ノイズ成分を有する出力信号を示す。

車の環境のように、干渉信号と所期の信号の歪みとの間の関係が事前にわからない状況において、干渉取消機能が十分ではないということが、既知の音声向上システムの欠点である。

従って、拡張した適用分野を有する改善された音声向上システムと関連する方法を提供することが本発明の目的である。

更に、本発明による音声向上システムは、歪みの推定が少なくとも１つの参照信号のスペクトル出力のＡ倍の関数であるように、スペクトルプロセッサが前記処理を変更するように構成されることを特徴とし、Ａは、前記所期の信号の歪みの時間平均のスペクトル出力と、前記少なくとも１つの参照信号の時間平均のスペクトル出力との比率である。

同様に、本発明による方法は、歪みの推定が少なくとも１つの参照信号のスペクトル出力のＡ倍に依存するように、スペクトル処理が実行されることを特徴とし、Ａは、歪んだ所期の信号の歪みの時間平均のスペクトル出力と、少なくとも１つの参照信号の時間平均のスペクトル出力との比率である。

記載の比率が、先行技術の構成では明らかにされていない、少なくとも１つの参照信号と歪んだ所期の信号における歪みの推定との関係における有利な確率密度関数を導くことを本発明者が発明した。関数依存性のため、音声向上システムは、例えば工場又は車や飛行機やそれと同様のもののような乗物の信頼できる用途に更に適している。なぜなら、干渉信号と所期の信号の歪みとの比率についての事前の知識の必要性がなく、比率Ａが歪みの推定を更に正確に記述することができるからである。特に１つ以上の参照信号が例えばノイズ、エコー、競合したスピーチ、所期のスピーチの反射、及びそれと同様のもののような歪みを有する場合において、そのことは歪みの取消を改善する。有利には、いくつかの参照信号が利用できる何らかの場面において、歪みの関数依存の推定が計算され得る。

ノイズ・フロアー又はエコーの追尾のような個々の歪み成分の明白な推定が必要である一方で、前記成分の組み合わせ技術が必要に応じて容易に達成され得るという更なる利点がある。このことは、マイクロフォンのビーム形成用途のような、良い推定技術が存在しない歪みの場合において特に有利である。更に、減算要素に周知の発見的な調整は、多かれ少なかれ、本発明による音声向上システムにもはや必要ない。

本発明による音声向上システムの実施例は、歪みの推定が少なくとも１つの参照信号のスペクトル出力のＡ倍に少なくとも部分的に比例することを特徴とする。

比例は、１より小さい、１と同じ又は１より大きいことがある減算要素で表されることがある。減算要素で、歪みの抑圧の量が影響を及ぼされ得る。このように、歪みの抑圧の量とプロセッサの出力信号の知覚的な品質とのトレードオフが行われ得る。

本発明による音声向上システムの更に複雑な実施例は、歪みの推定が歪んだ所期の信号の信号対ノイズ比率に少なくとも部分的に依存することを特徴とする。

その双方において、前述の実施例と同様に、依存が生じる部分は、例えば当面のスペクトルの低周波数部分又は高周波数部分に関係することがある。

本発明による音声向上システムの更なる実施例は、それぞれのスペクトル出力が、スペクトルの大きさ、平方のスペクトルの大きさ、出力スペクトル密度又はメル尺度の円滑化されたスペクトル密度のような、関係するスペクトル出力のいくつかの肯定的な関数によって規定されることを特徴とする。

一般的に、所期の信号の歪みの推定は、例えば信号出力又は信号エネルギーの点で、いくつかの肯定的な関数によって表現されることがあり、次に、前記スペクトル部のうちの１つによって定められる。

本発明による音声向上システムの更に別の実施例は、比率Ａが所期の信号の存在しない間に取得されたデータに基づいて計算されることを特徴とする。

一般的にスピーチの信号である所期の信号の存在しない間に、歪んだ所期のスピーチの信号は、歪んだ所期のスピーチの信号の歪みを表す。従って、比率Ａは、歪んだ所期のスピーチの信号の時間平均のスペクトル出力と、少なくとも１つの参照信号の時間平均の出力との比率として、所期のスピーチの存在しない時に測定され得る。一般的に、Ａの値は、所期のスピーチの信号の再現の後のある時間の間に少なくとも使用される。

本発明による音声向上システムの更なる例示の簡単な実施例は、スピーチ向上システムが、スペクトルプロセッサに結合されたスピーチ活動検出器を有することを特徴とする。

本発明による音声向上システムの他の実施例は、音声向上システムがスペクトルプロセッサに結合された適応マイクロフォンフィルタ手段を有することを特徴とする。

前記マイクロフォン適応フィルタ手段は、歪みを取り消すための適切なスペクトル処理を提供するために、音声向上システムに組み合わされることがある。

本発明による音声向上システムの更に他の実施例は、音声向上システムが、１つ以上のスピーカーと、前記少なくとも１つのスピーカーとスペクトルプロセッサとの間に結合されたエコー取消フィルタ手段とを有することを特徴とする。

有利には、この実施例は、実行できるマイクロフォンの信号処理に加えて、音響エコーの取り消しと、スピーカーの信号処理と、歪みの取消とを組み合わせる。

ここで、本発明による音声向上システム及び方法が、その更なる利点とともに明らかにされる。ここで、参照が添付の図面に対して行われ、同様の構成要素は、同じ参照番号を用いて参照される。

図１は、ポストプロセッサPPにより具体化された音声向上システム1の基本図を示したものであり、周波数ドメイン信号zとyとrとqが示されている。この周波数ドメイン信号は、プロセッサPPでブロックに関してスペクトル的に計算され、離散型フーリエ変換、例えばSTFTと省略して称される短時間DFTを用い、それが図５のＡとＢで概略的に示される。前記STFTは時間と周波数の双方の関数であり、引数kBとlw₀で表現される。kは離散時間型フレーム指数を示し、Bはフレームシフトを示し、lは（離散型）周波数指数を示し、w0は例示的な周波数間隔を示す。入力信号zは歪んだ所期の信号を示す。それは、一般的にスピーチの形式の所期の信号の合計と、ノイズやエコーや競合のスピーチや所期の信号の反射のような歪みとを有する。信号yは参照信号を示し、それから歪んだ所期の信号zの歪みの推定が導かれる。信号zとyは、図２ａと図２ｂと図３と図４とに示される通り、１つ以上のマイクロフォン2から生じることがある。複数マイクロフォンの音声向上システム1において、２つ以上の離れたマイクロフォン2が存在し、１つ以上のマイクロフォンから参照信号を導く。

音声向上システム1は、図２ａに示されるような場合に適応マイクロフォンフィルタ手段3を有することがあり、それに対して図２ｂは前記システム1が適応フィルタ手段を欠いている場合を示している。双方の場合は、開閉することがある図式化されたスイッチSを用いて図１に組み合わされる。スイッチSが閉じている場合、信号yが信号zから差し引かれ、信号rを表す。その減算は、フィルタ手段3が存在している場合は、減算ユニット4で行われる。スイッチが開いている場合、状況は図２ｂの実施例を示す。信号z並びにy及び場合によってはrが、参照信号yを用いて歪んだ所期の信号z又はrをスペクトル的に処理するために、スペクトルポストプロセッサPPに供給される。ポストプロセッサPPからの信号qは、実質的に歪みのない出力信号である。その動作は以下に説明される。

次に、参照が図３に行われ、いくつかのマイクロフォン2を有する音声向上システム1の実施例を示している。ここで、適応フィルタ手段は、マイクロフォン2とポストプロセッサPPに結合された汎用サイドローブ・キャンセラ（Generalized Sidelobe Canceller）（GSC）3によって具体化される。GSC3において、それぞれ伝達関数f₁(w)とf₂(w)とf₃(w)で示されるフィルタ及び合計ビーム形成器5-1が使用され、それぞれマイクロフォンの配列信号u1とu2とu3の線形の組み合わせから歪んだ所期の信号zを得る。参照信号yは、所期の信号に直交する部分空間に前記信号を伝えるためのそれぞれの配列信号から、ブロック・マトリクスB(w)によって導かれる。理想的には、マトリクスB(w)の出力信号x₁とx₂は、所期のスピーチを含まず、歪みのみを含む。合計の後に参照信号yを得るために、w₁(w)とw₂(w)で閉めされた複数チャネルの適応フィルタ5-2が使用され、その信号yが前述の通り信号zから差し引かれる。

図４は、適応エコーキャンセラ・フィルタ手段7を有することに加えて、ここでは１つのマイクロフォン2と、この場合に１つのスピーカー6とを有する音声向上システム1の実施例を示したものである。それ自体知られているように、適応フィルタ7は、その出力でエコーの複製を作り、それが適応フィルタリングによって得られた参照信号yでフィルタ7の遠端の信号に反映される。当然ながら、１つ以上のマイクロフォン及び／又はスピーカーが、音声向上システム1の考えられる実施例に含まれることがある。音声向上システム1は、システム、特に通信システム、例えば移動体電話又は音声制御システムのようなハンズフリーの通信装置に含まれることがある。

参照が図５に対して行われながら、スペクトルポストプロセッサPPの動作が説明される。主に、プロセッサPPは、前述の離散型フーリエ変換（DFT）で生成されたその後の周波数ビン（frequency bin）のための制御可能なゲイン関数として機能する。このゲイン関数は、歪んだ所期のスピーチの信号rに適用され、信号rの位相が変化されずに保たれる。前記信号のそれぞれは、以下の処理ステップに従う。シリアル・パラレル（S/P）変換の後、サイズＢのブロックでブロック処理が行われる。それぞれの新しいブロックＢが、以前のブロックに追加され、連結ブロックを生じる。ブロックが重ね合わせ、サイズＭを有するフレームと呼ばれ、次にそれがウィンドウにされ、サイズＭのDFTで変換され、その後、例えばFFT係数の大きさ又は平方の大きさが取り込まれる。場合によっては、その他のスペクトル出力の肯定的な関数が使用されることがある。

音声向上の良好な性能にとって、ゲイン関数の形式と、ここでrとして示される入力信号に存在する歪みの推定とが重要である。最適化に応じて、多様なゲイン関数で処理された基準が処理され得る。その例には、信号のスペクトル減算、ウィナー・フィルタリング（Wiener filtering）、例えば最小平均二乗誤差（MMSE）推定若しくはスペクトル振幅／大きさに基づくログMMSE推定、平方のスペクトルの大きさ、出力スペクトル密度、又はメル尺度の円滑化されたスペクトル密度が含まれる。前記技術は、１つ以上のマイクロフォン及び／又はスピーカーを有する音声向上システム1について前述された用途と組み合わされることがある。

ウィナー・フィルタ（Wiener Filter）形式の場合、ゲイン関数は以下の式を有する。

G(kB,lw₀)={P_zz(kB,lw₀)-P_zz,n(kB,lw₀)}/P_rr(kB,lw₀) (1)
ここで、P_zz(kB,lw₀)とP_rr(kB,lw₀)は、それぞれ信号zとrの出力の歪みの指標である。例えば短時間の出力スペクトル密度（PSD）がスペクトル出力密度の指標として取られる場合、それは以下のようになる。

P_zz(kB,lw₀)=|z(kB,lw₀)|²
等式(1)において、P_zz,n(kB,lw₀)は、信号zの歪みのPSDであり、それは一般的に知られておらず、それ故に推定されなければならない。推定ъは以下の解釈で提案される。

ъ_zz,n(kB,low₀)=A(kB,lw₀)*P_yy(kB,lw₀) (2)
ここで、比率は、以下の通りである。

ここで、

は、スピーチのような所期の信号の存在しない間に測定された歪んだ所期の信号zの歪みの時間平均のスペクトル出力であり、

は、参照信号yの時間平均のスペクトル出力である。スペクトル出力の肯定的な指標として、例えば含まれる信号のスペクトル振幅／大きさ、平方のスペクトルの大きさ、出力スペクトル密度又はメル尺度の円滑化されたスペクトル密度が取られ得る。

次に、ウィナー（Wiener）形式のフィルタの等式(1)のゲイン関数G(kB,lw₀)は、図５のブロックＢの残余で実施され、ブロックＣにおいて比率Ａが次の等式(3)を実装される。比率Ａの分子と分母のスペクトルは、円滑化の定数βでブロックＣに実装された一次回帰の出力スペクトルを円滑化することによって得られる。回帰の実装は、yとzの信号の円滑化されたPSDの変形を得るために図示のように結合された乗算器Xと、加算器+と、遅延線z^-1と、除算器./.とを有する。例えば、y信号のスペクトルは、以下の円滑化の規則に従う。

ここで、円滑化の定数βは、所期のスピーチがフレームkBに存在しない場合に０と１の間の値であり、他の場合にβ=1であると仮定する。同じ規則がzのスペクトルに当てはまる。一般的に、16msのフレームシフトの場合にβ=0.9である。プロセッサPPに結合された何らかのスピーチ検出器DETが、βの値を制御するために使用され得る。図示の通り、除算器の出力が比率Ａを表す。

ブロックＢの残余の乗算器Mにおいて、比率ＡがＹのスペクトルで乗算され、等式(2)を実施し、その後、結果の推定ъ_zz,nが減算器Sにおいて信号zのスペクトルから差し引かれ、そこでその結果が除算器Dの信号rのスペクトルで除算され、一次円滑化動作で円滑化された後にゲイン関数を表す。この動作は、信号yとzの円滑化に類似する。一般的に、16msのフレームシフトの場合に、円滑化の値はα=0.6である。円滑化の動作は、楽音を削減するのに役立つ。信号rのスペクトルとの乗算の後に、逆DFTが実行され、ブロックが再構成されてパラレルからシリアルに変換され、所要の出力信号q(kB,lw₀)を生じる。

前記は、基本的に好ましい実施例と最善の可能性のある態様を参照して説明されたが、特許請求の範囲にある多様な変更形態、機能及び機能の組み合わせが当業者の範囲内であるため、前記の実施例は、関与するシステムと方法の例を限定するものとして解釈されるべきではないことがわかる。

本発明による音声向上システムの基本図を示したものである。マイクロフォン適応手段を備えた図１の音声向上システムの実施例を示したものである。マイクロフォン適応手段のない図１の音声向上システムの実施例を示したものである。マイクロフォンのビーム形成器を有する本発明による音声向上システムの更なる実施例を示したものである。エコーキャンセラを有する本発明による音声向上システムの更に別の実施例を示したものである。図１の音声向上システムの詳細な実施例を示したものである。

Claims

歪んだ所期の信号と少なくとも参照信号とのための音声信号入力と、
前記音声信号入力に結合され、前記所期の信号の前記歪みの推定としての機能を果たす少なくとも１つの参照信号を用いて前記歪んだ所期の信号を処理するためのスペクトルプロセッサとを有し、
前記歪みの前記推定が少なくとも１つの参照信号のスペクトル出力のＡ倍の関数であるように、前記スペクトルプロセッサが前記処理を変更するように構成されることを特徴とし、
Ａが、前記所期の信号の前記歪みの時間平均のスペクトル出力と、前記少なくとも１つの参照信号の時間平均のスペクトル出力との比率である音声向上システム。
請求項１に記載の音声向上システムであって、
前記歪みの前記推定が、前記少なくとも１つの参照信号の前記スペクトル出力のＡ倍に少なくとも部分的に依存することを特徴とする音声向上システム。
請求項１又は２に記載の音声向上システムであって、
前記歪みの前記推定が、前記歪んだ所期の信号の信号対ノイズ比率に少なくとも部分的に依存することを特徴とする音声向上システム。
請求項１ないし３のうちのいずれか１項に記載の音声向上システムであって、
前記それぞれのスペクトル出力が、スペクトルの大きさ、平方のスペクトルの大きさ、出力スペクトル密度又はメル尺度の円滑化されたスペクトル密度のような、関係する前記スペクトル出力のいくつかの肯定的な関数によって規定されることを特徴とする音声向上システム。
請求項１ないし４のうちのいずれか１項に記載の音声向上システムであって、
前記比率Ａが、前記所期の信号の存在しない間に取得されたデータに基づいて計算されることを特徴とする音声向上システム。
請求項５に記載の音声向上システムであって、
前記スペクトルプロセッサに結合されたスピーチ活動検出器を有することを特徴とする音声向上システム。
請求項１ないし６のうちのいずれか１項に記載の音声向上システムであって、
前記スペクトルプロセッサに結合された適応マイクロフォンフィルタ手段を有することを特徴とする音声向上システム。
請求項１ないし７のうちのいずれか１項に記載の音声向上システムであって、
１つ以上のスピーカーと、前記少なくとも１つのスピーカーと前記スペクトルプロセッサとの間に結合されたエコー取消フィルタ手段とを有することを特徴とする音声向上システム。
音声向上システムを備えたシステム、特に通信システム、例えば移動体電話又は音声制御システムのようなハンズフリーの通信装置であって、
前記音声向上システムが、
歪んだ所期の信号と少なくとも参照信号とのための音声信号入力と、
前記音声信号入力に結合され、前記所期の信号の前記歪みの推定としての機能を果たす少なくとも１つの参照信号を用いて前記歪んだ所期の信号を処理するためのスペクトルプロセッサとを有し、
前記歪みの前記推定が少なくとも１つの参照信号のスペクトル出力のＡ倍の関数であるように、前記スペクトルプロセッサが前記処理を変更するように構成されることを特徴とし、
Ａが、前記所期の信号の前記歪みの時間平均のスペクトル出力と、前記少なくとも１つの参照信号の時間平均のスペクトル出力との比率であるシステム。
歪んだ所期の信号を向上する方法であって、
前記信号がスペクトル的に処理され、それによって少なくとも１つの参照信号が、前記所期の信号の歪みの推定として機能し、
前記歪みの前記推定が少なくとも１つの参照信号のスペクトル出力のＡ倍に依存するように、前記スペクトル処理が実行されることを特徴とし、
Ａが、前記所期の信号の前記歪みの時間平均のスペクトル出力と、前記少なくとも１つの参照信号の時間平均のスペクトル出力との比率である方法。