JP5435204B2 - 雑音抑圧の方法、装置、及びプログラム - Google Patents

Description

本発明は、所望の音声信号に重畳されている雑音を抑圧するための雑音抑圧の方法及び装置、特に共通の音響空間の異なった位置に配置された複数のマイクロフォンによって週音された多チャネル信号に含まれる所望信号以外の成分を抑圧するための多チャネル雑音抑圧の方法、装置、及びそのプログラムに関する。

ノイズサプレッサ（雑音抑圧システム）は、所望の音声信号に重畳されている雑音(ノイズ)を抑圧するシステムであり、一般的に、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、この推定パワースペクトルを入力信号から差し引くことにより、所望の音声信号に混在する雑音を抑圧するように動作する。雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用することができる。ノイズサプレッサとしては、例えば、特許文献１に記載されている方式がある。

さらに、演算量を削減した実現として、非特許文献１に記載されている方式がある。

これらいずれの方式も、基本的な動作は等しい。すなわち、入力信号を線形変換で周波数領域に変換し、振幅成分を取り出して周波数成分毎に抑圧係数を計算する。その抑圧係数と各周波数成分における振幅の積と各周波数成分の位相を組み合わせて逆変換して雑音抑圧された出力を得る。このとき、抑圧係数はゼロと１の間の値であり、ゼロなら完全抑圧で出力はゼロ、1なら抑圧なしで入力がそのまま出力される。

例えば多チャネル遠隔会議のように、一つの音響空間に複数のマイクロフォンが設置される状況においては、各マイクロフォンで得られる入力信号に対して、従来は前記ノイズサプレッサをチャネル毎に用いて雑音を抑圧する。このような場合のノイズサプレッサの構成を、図26に示す。図26は、3チャネルの例を表し、空間的に異なる位置に配置された３つのマイクロフォンから、入力端子１、７、13に劣化音声信号(所望音声信号と雑音の混在する信号)が、サンプル値系列として供給される。

劣化音声信号サンプルは、変換部２においてフーリエ変換などの変換を施して複数の周波数成分に分割され、振幅値を用いて求めたパワースペクトルを多重化して、抑圧係数計算部６及び乗算器５へ供給される。位相は、逆フーリエ変換部３に伝達される。抑圧係数計算部６では、劣化音声に乗算することによって雑音が抑圧された強調音声を求めるための、抑圧係数を複数の周波数成分それぞれに対して生成する。雑音抑圧係数生成の一例としては、強調音声の平均二乗パワーを最小化する最小平均二乗短時間スペクトル振幅法が広く用いられており、その詳細は特許文献１に記載されている。周波数別に生成された抑圧係数は、乗算器５に供給される。乗算器５は、変換部２から供給された劣化音声と抑圧係数計算部６から供給された抑圧係数を、各周波数毎で乗算し、その積を強調音声のパワースペクトルとして逆変換部３に伝達する。逆変換部３は、乗算器５から供給された強調音声パワースペクトルと変換部２から供給された劣化音声の位相を合わせて逆変換を行い、強調音声信号サンプルとして、出力端子４に供給する。これまでの処理ではパワースペクトルを用いた例を説明したが、代わりにその平方根に相当する振幅値を用いることができることは、広く知られている。同様の処理が、入力端子７、変換部８、抑圧係数計算部12、乗算器11、逆変換部９において行われ、その結果が出力端子10に供給される。全く同じ説明を、入力端子13、変換部14、抑圧係数計算部18、乗算器17、逆変換部15、出力端子16に対しても適用することができる。

図２６の構成で雑音抑圧処理を行うと、出力端子４、10、16において、入力端子１、７、13と対応した正しい音像の定位が得られない。これは、各チャネルの抑圧係数の計算が線形でないことに基づくと考えられる。この問題に対して、逆変換後の信号に補正を加える構成が、特許文献２に開示されている。

特許文献２に開示された構成は、雑音を抑圧した後に、チャネル間パワー比の入力時と出力時のずれを補正するような係数を乗算する。このため、出力側チャネル間パワー比が入力側と等しくなり、入力側に対応した正しい音像の定位が得られる。

特開２００２−２０４１７５号公報 特開２００２−２３６５００号公報 2006 年5 月、プロシーディングス・オブ・アイ・シー・エイ・エス・エス・ピー、(PROCEEDINGS OF ICASSP, VOL.I, PP.473-476, MAY, 2006)、４７３〜４７６ページ

ところが、特許文献２に開示された構成では、各チャネルで独立に抑圧係数の計算を行い、雑音を抑圧するために、チャネル数が増加すると演算量が著しく増加するという問題があった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、少ない演算量で、入力側に対応した出力側の音像定位を実現することのできる雑音抑圧の方法、装置、およびプログラムを提供することである。

上記課題を解決する本発明は、入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求め、該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定め、該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧することを特徴とする雑音抑圧の方法である。

上記課題を解決する本発明は、入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求める混合部と、該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定める利得計算部と、該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧するための乗算器とを具備することを特徴とする雑音抑圧の装置である。

上記課題を解決する本発明は、コンピュータに、入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求める処理と、該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定める処理と、該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧する処理とを実行させるための雑音抑圧プログラムである。

すなわち、本発明の雑音抑圧の方法、装置、及びプログラムでは、複数チャネルで共通の抑圧係数を計算し、これを前記複数チャネルで用いることを特徴とする。

より具体的には、複数チャネルの変換出力を受けて、これらのチャネルに共通の抑圧係数を計算するための共通抑圧係数計算部を備えていることを特徴とする。

本発明では、複数チャネルで共通の一つの抑圧係数計算部を有するために、全体的な抑圧係数計算部の数をチャネル数よりも少なくすることができる。このため、少ない演算量で高品質な雑音抑圧を達成することができる。

また、前記共通の抑圧係数を複数のチャネルで用いるために、入力側に対応した出力側の音像定位を実現することができる。

本発明の最良の実施の形態を示すブロック図。 本発明の最良の実施の形態に含まれる共通抑圧係数計算部の構成を示すブロック図。 本発明の最良の実施の形態に含まれる混合部の第１の構成を示すブロック図。 本発明の最良の実施の形態に含まれるスペクトル利得計算部の構成を示すブロック図。 本発明の最良の実施の形態に含まれる変換部の構成を示すブロック図。 本発明の最良の実施の形態に含まれる逆変換部の構成を示すブロック図。 本発明の最良の実施の形態に含まれる雑音推定部の構成を示すブロック図。 図７に含まれる推定雑音計算部の構成を示すブロック図。 図８に含まれる更新判定部の構成を示すブロック図。 図７に含まれる重み付き劣化音声計算部の構成を示すブロック図。 図１０に含まれる非線形処理部における非線形関数の一例を示す図。 図４に含まれる抑圧係数生成部の構成を示すブロック図。 図１２に含まれる推定先天的SNR計算部の構成を示すブロック図。 図１３に含まれる重み付き加算部の構成を示すブロック図。 図１２に含まれる雑音抑圧係数計算部の構成を示すブロック図。 図１２に含まれる抑圧係数補正部の構成を示すブロック図。 混合部の第２の構成を示すブロック図。 混合部の第３の構成を示すブロック図。 本発明の第２の実施の形態を示すブロック図。 混合部の第４の構成を示すブロック図。 混合部の第５の構成を示すブロック図。 本発明の第３の実施の形態を示すブロック図。 図２２に含まれるスペクトル利得計算部の構成を示すブロック図。 図２３に含まれる抑圧係数生成部の構成を示すブロック図。 本発明の第４の実施の形態に基づく雑音抑圧装置のブロック図。 従来の雑音抑圧装置の構成例を示すブロック図。

符号の説明

１, ７, 13 入力端子
２, ８, 14 変換部
３, ９, 15 逆変換部
４, 10, 16 出力端子
５, 11, 17, 122₀ 〜 122_M-1, 3203, 6204, 6205, 6901, 6903, 6507 乗算器
６, 12, 18 抑圧係数計算部
21 フレーム分割部
22, 32 窓がけ処理部
23 フーリエ変換部
31 フレーム合成部
33 逆フーリエ変換部
60 共通抑圧係数計算部
100 混合部
110 平均部
120 選択部
121 重み計算部
123 加算部
124, 6501 最大値選択部
125, 460 最小値選択部
126, 430, 6505 スイッチ
200, 210 スペクトル利得計算部
300 雑音推定部
310 推定雑音計算部
320 重みつき劣化音声計算部
330, 480 カウンタ
400 更新判定部
410 レジスタ長記憶部
420, 3201 推定雑音記憶部
440 シフトレジスタ
450, 6208, 6902, 6904 加算器
470 除算部
500 音声検出部
600, 601 抑圧係数生成部
610 後天的SNR計算部
620 推定先天的SNR計算部
630 雑音抑圧係数計算部
640 音声非存在確率記憶部
650 抑圧係数補正部
921 瞬時推定SNR
922 過去の推定SNR
923 重み
924 推定先天的SNR
3202 周波数別SNR計算部
3204 非線形処理部
4001 論理和計算部
4002, 4004, 6504 比較部
4003, 4005, 6503 閾値記憶部
4006 閾値計算部
6201 値域限定処理部
6202 後天的SNR記憶部
6203 抑圧係数記憶部
6206 重み記憶部
6207 重みつき加算部
6301 MMSE STSA ゲイン関数値計算部
6302 一般化尤度比計算部
6303 抑圧係数計算部
6502 抑圧係数下限値記憶部
6506 修正値記憶部
6905 定数乗算器

図１は、本発明の最良の実施の形態を示すブロック図である。図１と従来例である図２６とは、共通抑圧係数計算部60を除いて同一である。以下、これらの相違点を中心に詳細な動作を説明する。

図１では、図26の抑圧係数計算部６、12、18を削除して、代わりに共通抑圧係数計算部60を備えている。共通抑圧係数計算部60は、変換部２、８、及び14から周波数領域に変換された劣化音声のパワースペクトルを受け、これらを用いて共通の抑圧係数を計算する。計算された抑圧係数は、乗算器５、11、及び17に供給される。

図２に共通抑圧係数計算部60の構成を示す。共通抑圧係数計算部60は、混合部100とスペクトル利得計算部200から構成される。混合部は、図１の変換部２、８、及び14から供給された周波数領域に変換された劣化音声のパワースペクトルを受け、これらを混合した結果をスペクトル利得計算部200に伝達する。スペクトル利得計算部200は、混合部100から供給された信号を用いて抑圧係数を計算し、これを共通抑圧係数として出力する。

図３に、混合部100の第１の実施例を示す。混合部100は、平均部110として構成される。平均部110は、入力された複数の劣化音声のパワースペクトルを平均して、得られた平均値を出力する。

図４は、スペクトル利得計算部200の構成を示すブロック図である。雑音推定部300と抑圧係数生成部600から構成される。入力された劣化音声パワースペクトルは、雑音推定部300と抑圧係数生成部600に供給される。雑音推定部300は、劣化音声パワースペクトルを用いて、その中に含まれる雑音のパワースペクトルを複数の周波数成分それぞれに対して推定し、抑圧係数生成部600に伝達する。雑音推定の方式の一例としては、過去の信号対雑音比で劣化音声を重み付けて雑音成分とする方式があり、その詳細は特許文献１に記載されている。推定された雑音パワースペクトルの数は、周波数成分の数と等しい。抑圧係数生成部600は、供給された劣化音声パワースペクトルと推定雑音パワースペクトルを用いて、劣化音声に乗算することによって雑音が抑圧された強調音声を求めるための抑圧係数を生成し、これを出力する。抑圧係数は周波数成分毎に求めるので、抑圧係数生成部600の出力は、周波数成分の数と等しい抑圧係数である。雑音抑圧係数生成の一例としては、強調音声の平均二乗パワーを最小化する最小平均二乗短時間スペクトル振幅法が広く用いられており、その詳細は特許文献１に記載されている。

図５は、変換部２の構成を示すブロック図である。変換部８及び14も、変換部２と同じ構成とすることができる。図５を参照すると、変換部２はフレーム分割部21、窓がけ処理部22、及びフーリエ変換部23から構成されている。劣化音声信号サンプルは、フレーム分割部21に供給され、K/2サンプル毎のフレームに分割される。ここに、Kは偶数とする。フレームに分割された劣化音声信号サンプルは、窓がけ処理部22に供給され、窓関数w(t)との乗算が行なわれる。第nフレームの入力信号y_n(t) (t=0, 1, ..., K/2-1)に対するw(t)で窓がけされた信号y_n(t)バーは、次式で与えられる。

また、連続する２フレームの一部を重ね合わせ(オーバラップ)して窓がけすることも広く行なわれている。オーバラップ長としてフレーム長の５０％を仮定すれば、t=0, 1, ..., K/2-1に対して、

で得られるy_n(t)バー(t=0, 1, ..., K-1)が、窓がけ処理部2の出力となる。実数信号に対しては、左右対称窓関数が用いられる。また、窓関数は、抑圧係数を1に設定したときの入力信号と出力信号が計算誤差を除いて一致するように設計される。これは、w(t)+w(t+K/2)=1 となることを意味する。

以後、連続する2フレームの50%をオーバラップして窓がけする場合を例として説明を続ける。w(t)としては、例えば次式に示すハニング窓を用いることができる。

このほかにも、ハミング窓、ケイザー窓、ブラックマン窓など、様々な窓関数が知られている。窓がけされた出力y_n(t)バーはフーリエ変換部23に供給され、劣化音声スペクトルY_n(k)に変換される。劣化音声スペクトルY_n(k)は位相と振幅に分離され、劣化音声位相スペクトルarg Y_n(k)は、逆フーリエ変換部３に、劣化音声振幅スペクトル|Y_n(k)|は、共通抑圧計算部60に供給される。

図６は、逆変換部３の構成を示すブロック図である。逆変換部９及び15も、逆変換部３と同じ構成とすることができる。図６を参照すると、逆変換部３は逆フーリエ変換部33、窓がけ処理部32、及びフレーム合成部31から構成されている。逆フーリエ変換部33は、乗算器５から供給された強調音声振幅スペクトル|X_n(k)|バーとフーリエ変換部２から供給された劣化音声位相スペクトルarg Y_n(k)を乗算して、強調音声X_n(k)バーを求める。すなわち、

を実行する。

得られた強調音声X_n(k)バーに逆フーリエ変換を施し、1フレームがKサンプルから構成される時間領域サンプル値系列x_n(t)バー (t=0, 1, ..., K-1)として、窓がけ処理部32に供給され、窓関数w(t)との乗算が行なわれる。第nフレームの入力信号x_n(t) (t=0, 1, ..., K/2-1) に対するw(t)で窓がけされた信号x_n(t)バーは、次式で与えられる。

また、連続する２フレームの一部を重ね合わせ(オーバラップ)して窓がけすることも広く行なわれている。オーバラップ長としてフレーム長の50%を仮定すれば、t=0, 1, ..., K/2-1 に対して、

で得られるy_n(t)バー (t=0, 1, ..., K-1)が、窓がけ処理部32の出力となり、フレーム合成部31に伝達される。フレーム合成部31は、x_n(t)バーの隣接する2フレームからK/2サンプルずつを取り出して重ね合わせ、

によって、強調音声x_n(t)ハットを得る。得られた強調音声x_n(t)ハット (t=0, 1, ..., K-1)が、フレーム合成部31の出力として、出力端子４に伝達される。図５と図６において変換部と逆変換部における変換をフーリエ変換として説明したが、フーリエ変換に代えて、コサイン変換、アダマール変換、ハール変換、ウェーブレット変換など、他の変換も用いることができることは広く知られている。

図７に、図４の雑音推定部300の構成を示すブロック図である。雑音推定部300は、推定雑音計算部310、重み付き劣化音声計算部320、及びカウンタ330から構成される。雑音推定部300に供給された劣化音声パワースペクトルは、推定雑音計算部310、及び重みつき劣化音声計算部320に伝達される。重みつき劣化音声計算部320は、供給された劣化音声パワースペクトルと推定雑音パワースペクトルを用いて重みつき劣化音声パワースペクトルを計算し、推定雑音計算部310に伝達する。推定雑音計算部310は、劣化音声パワースペクトル、重みつき劣化音声パワースペクトル、及びカウンタ330から供給されるカウント値を用いて雑音のパワースペクトルを推定し、推定雑音パワースペクトルとして出力すると同時に、重み付き劣化音声計算部320に帰還する。

図８は、図７に含まれる推定雑音計算部310の構成を示すブロック図である。更新判定部400、レジスタ長記憶部410、推定雑音記憶部420、スイッチ430、シフトレジスタ440、加算器450、最小値選択部460、除算部470、カウンタ480を有する。スイッチ430には、重みつき劣化音声パワースペクトルが供給されている。スイッチ430が回路を閉じたときに、重みつき劣化音声パワースペクトルは、シフトレジスタ440に伝達される。シフトレジスタ440は、更新判定部400から供給される制御信号に応じて、内部レジスタの記憶値を隣接レジスタにシフトする。シフトレジスタ長は、後述するレジスタ長記憶部410に記憶されている値に等しい。シフトレジスタ440の全レジスタ出力は、加算器450に供給される。加算器450は、供給された全レジスタ出力を加算して、加算結果を除算部470に伝達する。

一方、更新判定部400には、カウント値、周波数別劣化音声パワースペクトル及び周波数別推定雑音パワースペクトルが供給されている。更新判定部400は、カウント値が予め設定された値に到達するまでは常に``1''を、到達した後は入力された劣化音声信号が雑音であると判定されたときに``1''を、それ以外のときに``0''を出力し、カウンタ480、スイッチ430、及びシフトレジスタ440に伝達する。スイッチ430は、更新判定部から供給された信号が``1''のときに回路を閉じ、``0''のときに開く。カウンタ480は、更新判定部から供給された信号が``1''のときにカウント値を増加し、``0''のときには変更しない。シフトレジスタ440は、更新判定部から供給された信号が``1''のときにスイッチ430から供給される信号サンプルを1サンプル取り込むと同時に、内部レジスタの記憶値を隣接レジスタにシフトする。最小値選択部460には、カウンタ480の出力とレジスタ長記憶部410の出力が供給されている。

最小値選択部460は、供給されたカウント値とレジスタ長のうち、小さい方を選択して、除算部470に伝達する。除算部470は、加算器450から供給された劣化音声パワースペクトルの加算値をカウント値又はレジスタ長の小さい方の値で除算し、商を周波数別推定雑音パワースペクトルλ_n(k)として出力する。B_n(k)(n=0, 1, ..., N-1)をシフトレジスタ440に保存されている劣化音声パワースペクトルのサンプル値とすると、λ_n(k)は、

で与えられる。ただし、Nはカウント値とレジスタ長のうち、小さい方の値である。カウント値はゼロから始まって単調に増加するので、最初はカウント値で除算が行なわれ、後にはレジスタ長で除算が行なわれる。レジスタ長で除算が行なわれることは、シフトレジスタに格納された値の平均値を求めることになる。最初は、シフトレジスタ440に十分多くの値が記憶されていないために、実際に値が記憶されているレジスタの数で除算する。実際に値が記憶されているレジスタの数は、カウント値がレジスタ長より小さいときはカウント値に等しく、カウント値がレジスタ長より大きくなると、レジスタ長と等しくなる。

図９は、図８に含まれる更新判定部400の構成を示すブロック図である。更新判定部400は、論理和計算部4001、比較部4004、4002、閾値記憶部4005、4003、閾値計算部4006を有する。図７のカウンタ330から供給されるカウント値は、比較部4002に伝達される。閾値記憶部4003の出力である閾値も、比較部4002に伝達される。比較部4002は、供給されたカウント値と閾値を比較し、カウント値が閾値より小さいときに``1''を、カウント値が閾値より大きいときに``0''を、論理和計算部4001に伝達する。一方、閾値計算部4006は、図８の推定雑音記憶部420から供給される推定雑音パワースペクトルに応じた値を計算し、閾値として閾値記憶部4005に出力する。最も簡単な閾値の計算方法は、推定雑音パワースペクトルの定数倍である。その他に、高次多項式や非線形関数を用いて閾値を計算することも可能である。閾値記憶部4005は、閾値計算部4006から出力された閾値を記憶し、1フレーム前に記憶された閾値を比較部4004へ出力する。比較部4004は、閾値記憶部4005から供給される閾値と図２の混合部100から供給される劣化音声パワースペクトルを比較し、劣化音声パワースペクトルが閾値よりも小さければ``1''を、大きければ``0''を論理和計算部4001に出力する。すなわち、推定雑音パワースペクトルの大きさをもとに、劣化音声信号が雑音であるか否かを判別している。論理和計算部4001は、比較部4202の出力値と比較部4204の出力値との論理和を計算し、計算結果を図８のスイッチ430、シフトレジスタ440及びカウンタ480に出力する。このように、初期状態や無音区間だけでなく、有音区間でも劣化音声パワーが小さい場合には、更新判定部400は``1''を出力する。すなわち、推定雑音の更新が行われる。閾値の計算は各周波数で行われるため、各周波数で推定雑音の更新を行うことができる。

図１０は重みつき劣化音声計算部320の構成を示すブロック図である。重みつき劣化音声計算部320は、推定雑音記憶部3201、周波数別SNR計算部3202、非線形処理部3204、及び乗算器3203を有する。推定雑音記憶部3201は、図７の推定雑音計算部310から供給される推定雑音パワースペクトルを記憶し、1フレーム前に記憶された推定雑音パワースペクトルを周波数別SNR計算部3202へ出力する。周波数別SNR計算部3202は、推定雑音記憶部3201から供給される推定雑音パワースペクトルと図２の混合部100から供給される劣化音声パワースペクトルを用いてSNRを周波数帯域毎に求め、非線形処理部3204に出力する。具体的には、次式に従って、供給された劣化音声パワースペクトルを推定雑音パワースペクトルで除算して周波数別SNRγ_n(k)ハットを求める。

ここに、λ_n-1(k)は1フレーム前に記憶された推定雑音パワースペクトルである。

非線形処理部3204は、周波数別SNR計算部3202から供給されるSNRを用いて重み係数ベクトルを計算し、重み係数ベクトルを乗算器3203に出力する。乗算器3203は、図２の混合部100から供給される劣化音声パワースペクトルと、非線形処理部3204から供給される重み係数ベクトルの積を周波数帯域毎に計算し、重みつき劣化音声パワースペクトルを図７の推定雑音記憶部310に出力する。

非線形処理部3204は、多重化された入力値それぞれに応じた実数値を出力する、非線形関数を有する。図１１に、非線形関数の例を示す。f₁を入力値としたとき、図11に示される非線形関数の出力値f₂は、

で与えられる。但し、aとbは任意の実数である。

非線形処理部3204は、周波数別SNR計算部3202から供給される周波数帯域別SNRを、非線形関数によって処理して重み係数を求め、乗算器3203に伝達する。すなわち、非線形処理部3204はSNRに応じた1から0までの重み係数を出力する。SNRが小さい時は1を、大きい時は0を出力する。

図１０の乗算器3203で劣化音声パワースペクトルと乗算される重み係数は、SNRに応じた値になっており、SNRが大きい程、すなわち劣化音声に含まれる音声成分が大きい程、重み係数の値は小さくなる。推定雑音の更新には一般に劣化音声パワースペクトルが用いられるが、推定雑音の更新に用いる劣化音声パワースペクトルに対して、SNRに応じた重みづけを行うことで、劣化音声パワースペクトルに含まれる音声成分の影響を小さくすることができ、より精度の高い雑音推定を行うことができる。なお、重み係数の計算に非線形関数を用いた例を示したが、非線形関数以外にも線形関数や高次多項式など、他の形で表されるSNRの関数を用いる事も可能である。

図１２は、図４に含まれる抑圧係数生成部600の構成を示すブロック図である。抑圧係数生成部600は、後天的SNR計算部610、推定先天的SNR計算部620、雑音抑圧係数計算部630、音声非存在確率記憶部640、抑圧係数補正部650を有する。後天的SNR計算部610は、入力された劣化音声パワースペクトルと推定雑音パワースペクトルを用いて周波数別に後天的SNRを計算し、推定先天的SNR計算部620と雑音抑圧係数計算部630に供給する。推定先天的SNR計算部620は、入力された後天的SNR、及び抑圧係数補正部650から供給された補正抑圧係数を用いて先天的SNRを推定し、推定先天的SNRとして、雑音抑圧係数計算部630に伝達する。雑音抑圧係数計算部630は、入力として供給された後天的SNR、推定先天的SNR及び音声非存在確率記憶部640から供給される音声非存在確率を用いて雑音抑圧係数を生成し、抑圧係数補正部650に伝達する。抑圧係数補正部650は、入力された推定先天的SNRと雑音抑圧係数を用いて雑音抑圧係数を補正し、補正抑圧係数G_n(k)バーとして出力する。

図１３は、図１２に含まれる推定先天的SNR計算部620の構成を示すブロック図である。推定先天的SNR計算部620は、値域限定処理部6201、後天的SNR記憶部6202、抑圧係数記憶部6203、乗算器6204、6205、重み記憶部6206、重みつき加算部6207、加算器6208を有する。図12の後天的SNR計算部610から供給される後天的SNRγ_n(k) (k=0, 1, ..., M-1)は、後天的SNR記憶部6202と加算器6208に伝達される。後天的SNR記憶部6205は、第nフレームにおける後天的SNRγ_n(k)を記憶すると共に、第n-1フレームにおける後天的SNRγ_n-1(k)を乗算器6205に伝達する。図12の抑圧係数補正部650から供給される補正抑圧係数G_n(k)バー (k=0, 1, ..., M-1)は、抑圧係数記憶部6203に伝達される。抑圧係数記憶部6203は、第nフレームにおける補正抑圧係数G_n(k)バーを記憶すると共に、第n-1フレームにおける補正抑圧係数G_n-1(k)バーを乗算器6204に伝達する。乗算器6204は、供給されたG_n(k)バーを2乗してG² _n-1(k)バーを求め、乗算器6205に伝達する。乗算器6205は、G² _n-1(k)バーとγ_n-1(k)をk=0, 1, ..., M-1に対して乗算してG² _n-1(k)バーγ_n-1 (k)を求め、結果を重みつき加算部6207に過去の推定SNR 922として伝達する。

加算器6208の他方の端子には−１が供給されており、加算結果γ_n(k)-1が値域限定処理部6201に伝達される。値域限定処理部6201は、加算器6208から供給された加算結果γ_n(k)-1に値域限定演算子P[・]による演算を施し、結果であるP[γ_n(k)-1]を重みつき加算部6207に瞬時推定SNR 921として伝達する。ただし、P[x]は次式で定められる。

重みつき加算部6207には、また、重み記憶部6206から重み923が供給されている。重みつき加算部6207は、これらの供給された瞬時推定SNR 921、過去の推定SNR 922、重み923を用いて推定先天的SNR 924を求める。重み923をαとし、ξ_n(k)ハットを推定先天的SNRとすると、ξ_n(k)ハットは、次式によって計算される。

ここに、G² _-1(k)γ_-1(k)バー=1とする。

図１４は、図１３に含まれる重みつき加算部6207の構成を示すブロック図である。重みつき加算部6207は、乗算器6901、6903、定数乗算器6905、加算器6902、6904を有する。

図１３の値域限定処理部6201から周波数帯域別瞬時推定SNR 921が、図13の乗算器6205から過去の周波数帯域別SNR 922が、図13の重み記憶部6206から重み923が、それぞれ入力として供給される。値αを有する重み923は、定数乗算器6905と乗算器6903に伝達される。定数乗算器6905は入力信号を−１倍して得られた−αを、加算器6904に伝達する。加算器6904のもう一方の入力としては１が供給されており、加算器6904の出力は両者の和である１−αとなる。１−αは乗算器6901に供給されて、もう一方の入力である周波数帯域別瞬時推定SNR P[γ_n(k)−１]と乗算され、積である(１−α)P[γ_n(k)−１]が加算器6902に伝達される。一方、乗算器6903では、重み923として供給されたαと過去の推定SNR 922が乗算され、積であるαG² _n-1(k)バーγ_n-1(k)が加算器6902に伝達される。加算器6902は、(１−α)P[γ_n(k)−１]とαG² _n-1(k)バーγ_n-1(k)の和を、周波数帯域別推定先天的SNR 904として、出力する。

図１５は、図１２に含まれる雑音抑圧係数生成部630を示すブロック図である。雑音抑圧係数生成部630は、MMSE STSA ゲイン関数値計算部6301、一般化尤度比計算部6302、及び抑圧係数計算部6303を有する。以下、非特許文献２（1984 年12月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第32巻、第6号(IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING,VOL.32, NO.6,PP.1109-1121, DEC, 1984)、1109〜1121ページ）に記載されている計算式をもとに、抑圧係数の計算方法を説明する。

フレーム番号をn、周波数番号をkとし、γ_n(k)を図12の後天的SNR計算部610から供給される周波数別後天的SNR、ξ_n(k)ハットを図12の推定先天的SNR計算部620から供給される周波数別推定先天的SNR、qを図12の音声非存在確率記憶部640から供給される音声非存在確率とする。また、η_n(k) = ξ_n(k)ハット/ (1-q)、v_n(k) = (η_n(k)γ_n(k))/(1+η_n(k)) とする。MMSE STSA ゲイン関数値計算部6301は、図12の後天的SNR計算部610から供給される後天的SNR γ_n(k)、図12の推定先天的SNR計算部620から供給される推定先天的SNR ξ_n(k)ハット及び図12の音声非存在確率記憶部640から供給される音声非存在確率qをもとに、周波数帯域毎にMMSE STSAゲイン関数値を計算し、抑圧係数計算部6303に出力する。周波数帯域毎のMMSE STSAゲイン関数値G_n(k)は、

で与えられる。ここに、I₀(z)は0次変形ベッセル関数、I₁(z)は1次変形ベッセル関数である。変形ベッセル関数については、非特許文献３（1985年、数学辞典、岩波書店、374.Gページ）に記載されている。

一般化尤度比計算部6302は、図１２の後天的SNR計算部610から供給される後天的SNR γ_n(k)、図１２の推定先天的SNR計算部620から供給される推定先天的SNR ξ_n(k) ハット及び図１２の音声非存在確率記憶部640から供給される音声非存在確率qをもとに、周波数帯域毎に一般化尤度比を計算し、抑圧係数計算部6303に伝達する。周波数帯域毎の一般化尤度比Λ_n(k)は、

で与えられる。

抑圧係数計算部6303は、MMSE STSA ゲイン関数値計算部6301から供給されるMMSE STSA ゲイン関数値G_n(k)と一般化尤度比計算部6302から供給される一般化尤度比Λ_n(k)から周波数毎に抑圧係数を計算し、図１２の抑圧係数補正部650へ出力する。周波数帯域毎の抑圧係数G_n(k)バーは、

で与えられる。周波数帯域別にSNRを計算する代わりに、複数の周波数帯域から構成される広い帯域に共通なSNRを求めて、これを用いることも可能である。

図１６は、図１２に含まれる抑圧係数補正部650を示すブロック図である。抑圧係数補正部650は、最大値選択部6501、抑圧係数下限値記憶部6502、閾値記憶部6503、比較部6504、スイッチ6505、修正値記憶部6506及び乗算器6507を有する。比較部6504は、閾値記憶部6503から供給される閾値と、図12の推定先天的SNR系三部620から供給される推定先天的SNRを比較し、推定先天的SNRが閾値よりも大きければ``0''を、小さければ``1''をスイッチ6505に供給する。スイッチ6505は、図１２の雑音抑圧係数計算部630から供給される抑圧係数を、比較部6504の出力値が``1''のときに乗算器6507に出力し、``0''のときに最大値選択部6501に出力する。すなわち、推定先天的SNRが閾値よりも小さいときに、抑圧係数の補正が行われる。乗算器6507は、スイッチ6505の出力値と修正値記憶部6506の出力値との積を計算し、最大値選択部6501に伝達する。

一方、抑圧係数下限値記憶部6502は、記憶している抑圧係数の下限値を、最大値選択部6501に供給する。最大値選択部6501は、図１２の雑音抑圧係数計算部630から供給される抑圧係数、又は乗算器6507で計算された積と、抑圧係数下限値記憶部6502から供給される抑圧係数下限値とを比較し、大きい方の値を出力する。すなわち、抑圧係数は抑圧係数下限値記憶部6502が記憶する下限値よりも必ず大きい値になる。

なお、これまでの実施の形態では、特許文献１に従って、各周波数成分に対して独立に、抑圧係数を計算し、それを用いて雑音抑圧を行う例について説明してきた。しかし、演算量を削減するために、非特許文献１に開示されているように、複数の周波数成分に対して共通の抑圧係数を計算し、それを用いて雑音抑圧を行うこともできる。その場合は、図２の混合部100とスペクトル利得計算部200の間に帯域統合部を具備する構成となる。

さらに、非特許文献１にあるように、図２の変換部２の前にオフセット消去部を、変換部２の直後に振幅補正部と位相補正部を具備することにより、周波数領域で高域通過フィルタを形成することもでき、演算量を削減することができる。また、複数の周波数成分に対して共通の抑圧係数を計算する際に、特定の周波数帯域に対応した雑音推定値を補正することもできる。

図１７に、混合部100の第２の実施例を示す。混合部100は、重み計算部121、乗算器群122₀ 〜 122_M-1、加算部123から構成される。入力された複数の劣化音声のパワースペクトルに対して重み付き加算を実行して、その結果を出力する。入力された複数の劣化音声のパワースペクトルは、重み計算部121と乗算器群122₀ 〜 122_M-1に供給される。重み計算部は、それぞれのパワースペクトル値を全パワースペクトル値総和で正規化して重みとし、対応する乗算器群122₀ 〜 122_M-1に供給する。乗算器群122₀ 〜 122_M-1は、対応する重みと入力された劣化音声のパワースペクトルの積を計算し、その結果を加算部123に伝達する。加算部123は、乗算器群122₀ 〜 122_M-1から供給された積の総和を求め、これを出力する。以上説明した第２の実施例では、第１の実施例と比較して、スペクトル利得を計算する際に、高い信号レベルのチャネルの貢献が大きくなる。高い信号レベルは音声区間に相当し、SNRが高い。このため、スペクトル利得は大きくなり、全体的に歪の少ない強調音声を得ることができる。

また、混合部100の第２の実施例において、全パワースペクトル値総和をそれぞれのパワースペクトル値で正規化して重みとすることもできる。このように重みを求めると、スペクトル利得を計算する際に、低い信号レベルのチャネルの貢献が大きくなる。低い信号レベルは雑音区間に相当し、SNRが低い。このため、スペクトル利得は小さくなり、全体的に残留雑音の少ない強調音声を得ることができる。

さらに、混合部100の第２の実施例において、それぞれのパワースペクトル値を全パワースペクトル値総和で正規化した後、心理聴覚特性に基づいた補正を適用してから、重みとすることもできる。心理聴覚特性に基づいた補正の一例としては、高域成分に対する重みの強調がある。これは、高い周波数成分では主として振幅に基づいて音源の定位を行っていることが知られているからである。このように重みを求めると、スペクトル利得を計算する際に、高い周波数成分を多く含むチャネルの貢献が大きくなる。このため、これらのチャネルにおいてより正確な音像の定位が達成でき、主観的な音質向上の期待ができる。

図１８に、混合部100の第３の実施例を示す。混合部100は、選択部120から構成される。入力された複数の劣化音声のパワースペクトルに対して少なくとも一つ選択して、その結果を出力する。例えば、選択の基準として、最大値を設定することができる。このとき、選択部120の出力には、入力された複数の劣化音声のパワースペクトルの最大値が得られる。スペクトルの最大値は音声区間に相当し、SNRが高い。このため、スペクトル利得は大きくなり、全体的に歪の少ない強調音声を得ることができる。また、選択の基準として最小値を設定すれば、全く逆の動作が期待される。すなわち、スペクトルの最小値は雑音区間に相当し、SNRが低い。このため、スペクトル利得は小さくなり、全体的に残留雑音の少ない強調音声を得ることができる。

図１９は、本発明の第２の実施の形態を示すブロック図である。図19と最良の実施の形態を表す図２とは、共通抑圧係数計算部60に音声検出部500が含まれる点を除いて同一である。以下、これらの相違点を中心に詳細な動作を説明する。

図１９に示す第２の実施の形態では、スペクトル利得計算部200の出力を受けて音声を検出する音声検出部500を有する。スペクトル利得計算部200の出力であるスペクトル利得は、SNRが高いときに大きく、低いときに小さくなることは広く知られている。一般的に、高SNRは音声区間に、低SNRは雑音区間に相当するので、スペクトル利得を用いて音声区間を検出することができる。検出された音声区間の情報は、混合部100に伝達される。音声区間の情報としては、音声区間らしさを表現する連続的な、あるいは離散的な複数の代表値をあらかじめ定めて用いることもできる。

図２０に、混合部100の第４の実施例を示す。混合部100は、最大値選択部124、最小値選択部125、及びスイッチ126を有する。入力された複数の劣化音声のパワースペクトルに対して、音声区間と雑音区間で異なったものを少なくとも一つ選択して、その結果を出力する。入力された複数の劣化音声のパワースペクトルは、最大値選択部124と最小値選択部125に供給されている。最大値選択部124は、入力のうち最大値を有するものを選択して出力する。最小値選択部125は、入力のうち最小値を有するものを選択して出力する。従って、最大値選択部124の出力には複数の劣化音声のパワースペクトルの最大値が、最小値選択部125の出力には最小値が、得られる。最大値選択部124の出力と最小値選択部125の出力はスイッチ126に伝達される。スイッチ126は、最大値選択部124から伝達された信号または最小値選択部125から伝達された信号のいずれかを選択して、出力する。スイッチ126は、図19の音声検出部500からの信号で制御される。このため、音声区間か雑音区間かに応じて、入力された劣化音声のパワースペクトルの最大値または最小値を選択して、出力することができる。音声区間で最大値を、雑音区間で最小値を選択して出力するように構成すると、音声区間では歪を小さく、雑音区間では残留雑音を小さくすることができ、優れた雑音抑圧効果を得ることができる。なお、上記で説明したように、音声区間らしさを表現するために代表値を定めて用いる場合には、スイッチ126は単純な切り替え動作ではなく、二つの入力を音声区間らしさに対応して混合し、出力する機能を有するように構成することもできる。このような構成により、より精密で連続的な音声区間と雑音区間の遷移が可能となり、音質と音像定位が向上する。

図２１に、混合部100の第５の実施例を示す。混合部100は、最大値選択部124、平均部110、及びスイッチ126を有する。図20に示した混合部100の第４の実施例と比較すると、最小値選択部が平均部に置換されていることがわかる。すなわち、混合部100の第５の実施例では、音声区間か雑音区間かに応じて、入力された劣化音声のパワースペクトルの最大値または平均値を選択して、出力することができる。音声区間で最大値を、雑音区間で平均値を選択して出力するように構成すると、音声区間では歪を小さく、雑音区間では混合部100の第４の実施例と比較して残留雑音を大きくすることができる。この場合、残留雑音のレベルと強調音声のレベル差が小さくなり、連続性に優れた雑音抑圧効果を得ることができる。

図２２は、本発明の第３の実施の形態を示すブロック図である。図22と第２の実施の形態を表す図19とは、共通抑圧係数計算部60において、スペクトル利得計算部200がスペクトル利得計算部210に置換されている点を除いて同一である。以下、これらの相違点を中心に詳細な動作を説明する。

スペクトル利得計算部210は、音声の検出を行い、混合部100に音声区間と雑音区間を識別することのできる情報を伝達する。図２３は、スペクトル利得計算部210の構成を示すブロック図である。スペクトル利得計算部200の構成を示すブロック図である図４と比較すると、抑圧係数生成部600が抑圧係数生成部601に置換されている。抑圧係数生成部601は抑圧係数生成部600とは異なり、音声区間と雑音区間を識別することのできる情報も出力する。

図２４は、抑圧係数生成部601の構成を示すブロック図である。図12に示した抑圧係数生成部600との違いは、補正抑圧係数を入力として、音声区間と雑音区間を識別することのできる情報も出力する音声検出部500を有する点である。音声検出部500の動作については、既に図19を用いて説明したので省略する。

図２５は、本発明の第４の実施形態に基づく雑音抑圧装置のブロック図である。本発明の第４の実施形態は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）1000と、入力端子１、７、13、及び出力端子４、10、16とから構成されている。コンピュータ1000は、変換部２、８、14、逆変換部３、９、15、共通抑圧係数計算部60、乗算器５、11、17を含む。

入力端子１、７、13に供給された劣化音声は、コンピュータ1000内の変換部２、８、14にそれぞれ供給され、周波数領域信号に変換される。それぞれの入力信号を変換部２、８、14で変換することによって得られた劣化音声周波数パワースペクトラムは、乗算器５、11、17に供給されると同時に、全て共通抑圧係数計算部60に供給される。劣化音声周波数位相スペクトラムは、それぞれ逆変換部３、９、15に伝達される。共通抑圧係数計算部60は、全ての入力信号に共通な抑圧係数を求め、乗算器５、11、17に伝達する。乗算器５、11、17は、変換部２、８、14から供給された劣化音声周波数パワースペクトラムと共通抑圧係数計算部60との積を求め、逆変換部３、９、15に伝達する。逆変換部３、９、15は、乗算器５、11、17から伝達された信号と劣化音声周波数位相スペクトラムを用いて時間領域信号を生成し、出力端子４、10、16に供給する。

これまでの各実施の形態では、複数の入力信号を平均化し、または選択することによって一つの混合信号を求め、この混合信号を用いて共通の抑圧係数を求める例について説明してきた。それぞれの平均化、または選択の操作において、それぞれの入力信号を独自に平均化してから操作を行うこと、さらにはあらかじめ定められた閾値と入力信号または平均化された入力信号を比較し、閾値を超えたものだけをこれらの操作の対象にすることによって同様の効果が得られることは、自明である。また、付加的な効果としては、無音に近い入力信号を除外し、結果に望ましくないバイアスがかかることを防ぐこともあげられる。

これまで説明した全ての実施の形態では、雑音抑圧の方式として、最小平均2乗誤差短時間スペクトル振幅法を仮定してきたが、その他の方法にも適用することができる。このような方法の例として、非特許文献４（1979 年12 月、プロシーディングス・オブ・ザ・アイ・イー・イー・イー、第67 巻、第12 号 (PROCEEDINGS OF THE IEEE, VOL.67, NO.12, PP.1586-1604, DEC, 1979)、1586 〜1604 ページ）に開示されているウィーナーフィルタ法や、非特許文献５（1979 年4 月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第27巻、第2号(IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING,VOL.27, NO.2, PP.113-120, APR, 1979)、113〜120 ページ）に開示されているスペクトル減算法などがあるが、これらの詳細な構成例については説明を省略する。

Claims (20)

1. 入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求め、
   該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定め、
   該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧する
   ことを特徴とする雑音抑圧の方法。
2. 複数の入力信号をそれぞれ周波数領域信号に変換し、該周波数領域信号の各周波数成分をそれぞれ合成して前記合成信号を求めることを特徴とする請求項１に記載の雑音抑圧の方法。
3. 前記複数の入力信号の一部を平均して合成信号を求めることを特徴とする請求項１または２に記載の雑音抑圧の方法。
4. 前記複数の入力信号を信号パワーで重み付き加算して合成信号を求めることを特徴とする請求項１または２に記載の雑音抑圧の方法。
5. 前記複数の入力信号のうち、パワーが最大の入力信号を選択して合成信号とすることを特徴とする請求項１または２に記載の雑音抑圧の方法。
6. 前記複数の入力信号のうち、パワーが最小の入力信号を選択して合成信号とすることを特徴とする請求項１または２に記載の雑音抑圧の方法。
7. 前記複数の入力信号のうち、音声が支配的な区間ではパワーが最大の入力信号を、雑音が支配的な区間ではパワーが最小の入力信号を選択して合成信号とすることを特徴とする請求項１または２に記載の雑音抑圧の方法。
8. 前記入力信号を平均する、重み付き加算する、または選択する操作にあたって、あらかじめ定められた閾値を超える入力だけを操作の対象にすることを特徴とする請求項３から７のいずれかに記載の雑音抑圧の方法。
9. 前記共通の抑圧度をスペクトル利得で表し、該スペクトル利得を前記複数の入力信号に乗算することによって、前記複数の入力信号に含まれる雑音を抑圧することを特徴とする請求項１から８のいずれかに記載の雑音抑圧の方法。
10. 前記共通の抑圧度を抑圧すべき雑音で表し、該抑圧すべき雑音を前記複数の入力信号から差し引くことによって、前記複数の入力信号に含まれる雑音を抑圧することを特徴とする請求項１から８のいずれかに記載の雑音抑圧の方法。
11. 入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求める混合部と、
    該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定める利得計算部と、
    該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧するための乗算器と
    を具備することを特徴とする雑音抑圧の装置。
12. 複数の入力信号をそれぞれ周波数領域信号に変換するための変換部を具備することを特徴とする請求項１１に記載の雑音抑圧の装置。
13. 前記複数の入力信号の一部を平均して合成信号を求める平均部を具備することを特徴とする請求項１１または１２に記載の雑音抑圧の装置。
14. 前記複数の入力信号を信号パワーで重み付き加算して合成信号を求める重み付き加算部を具備することを特徴とする請求項１１または１２に記載の雑音抑圧の装置。
15. 前記複数の入力信号のうち、パワーが最大の入力信号を選択して合成信号とする選択部を具備することを特徴とする請求項１１または１２に記載の雑音抑圧の装置。
16. 前記複数の入力信号のうち、パワーが最小の入力信号を選択して合成信号とする選択部を具備することを特徴とする請求項１１または１２に記載の雑音抑圧の装置。
17. 前記複数の入力信号のうち、音声が支配的な区間ではパワーが最大の入力信号を選択し、雑音が支配的な区間ではパワーが最小の入力信号を選択して合成信号とする選択部を具備することを特徴とする請求項１１または１２に記載の雑音抑圧の装置。
18. 前記入力信号を平均する、重み付き加算する、または選択する操作にあたって、あらかじめ定められた閾値を超える入力だけを操作の対象にする平均部、重み付き加算部、または選択部を具備することを特徴とする請求項１３から１７のいずれかに記載の雑音抑圧の装置。
19. 前記利得計算部に代えて、
    前記共通の抑圧度を抑圧すべき雑音で表して出力する共通雑音推定部と、
    該抑圧すべき雑音を前記複数の入力信号から差し引くことによって、前記複数の入力信号に含まれる雑音を抑圧する複数の減算器と
    を具備することを特徴とする請求項１１から１８のいずれかに記載の雑音抑圧の装置。
20. コンピュータに、
    入力信号の全帯域を含み、信号帯域のほぼ等しい複数チャネルの入力信号を受けて、該複数チャネルの入力信号を代表する合成信号を求める処理と、
    該合成信号を用いて該合成信号に含まれる雑音を抑圧するための抑圧度を定める処理と、
    該抑圧度を前記複数チャネルの入力信号に共通に用いて、前記複数チャネルの入力信号に含まれる雑音を抑圧する処理と
    を実行させるための雑音抑圧プログラム。

Images