JP5875414B2 - 雑音抑制方法、プログラム及び装置 - Google Patents

Description

本発明は、音声認識技術に関し、より詳細には、雑音抑制技術に関する。

音声認識技術において、背景雑音の影響を排除することは、発話の認識精度を改善する上で重要な懸案事項である。従来のフィルタリング手法（スペクトルサブトラクション法やウィーナーフィルタリング法など）は、背景雑音が比較的小さい場合に一定の成果を示したが、大きい背景雑音の下では、目的の音声が雑音に埋没してしまうため、所望の効果を得ることができなかった。

この点につき、近年、クリーン音声（一切の雑音が重畳されていない発話音声）の確率モデルを使用したアプローチが注目されている。これらのモデルベースの雑音抑制方法は、大きい背景雑音の下でも高い性能を示すことが報告されている。この点につき、特開２００８−２９８８４４号公報（特許文献１）は、モデルベース雑音抑制を採用した音声認識システムを開示する。

特開２００８−２９８８４４号公報

本発明は、音声認識のフロントエンドに適用される雑音抑制の新規な手法を提供することを目的とする。

本発明者は、音声認識のフロントエンドに適用される雑音抑制方法につき鋭意検討した結果、観測音声の調波構造の顕著さを表す信頼性指標をバンドごとの出力に対する重みとして付与する構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、雑音抑制方法であって、観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、観測音声に基づいて生成されたクリーン音声の確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を推定するステップであって、該ＭＭＳＥ推定の事後確率に対して前記信頼性指標を重みとした重み付けを前記バンドごとに行う、ステップとを含む第１の方法が提供される。

また、本発明によれば、雑音抑制方法であって、観測音声のスペクトルに基づいて信頼性指標をバンドごとに作成するステップと、観測音声からクリーン音声推定値を推定するステップと、前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記信頼性指標を重みとした線形補間を実行して出力値を導出するステップとを含む第２の方法が提供される。

さらに、本発明によれば、上記第１の方法と第２の方法を組み合わせた第３の方法が提供され、上記各方法をコンピュータに実行させるためのコンピュータ・プログラムが提供され、上記各方法を実現するための機能を実装した雑音抑制装置が提供される。

上述したように、本発明によれば、観測音声の調波構造の顕著さを表す信頼性指標がバンドごとの出力に重みとして付与されることによって、フロントエンドの出力が最適化される。

従来の音声認識システムのフロントエンドの構成を示す概念図。 観測音声の周波数スペクトルからメルＬＰＷを生成するまでの工程を示す概念図。 メルＬＰＷから信頼性指標αを作成する工程を示す概念図。 第１の実施形態の音声認識システムのフロントエンドの構成を示す概念図。 第１の実施形態のフロントエンドにおいて実行される処理を示したフローチャート。 メルＬＰＷから信頼性指標βを作成する工程を示す概念図。 第２の実施形態の音声認識システムのフロントエンドの構成を示す概念図。 第２の実施形態のフロントエンドにおいて実行される処理を示したフローチャート。 第３の実施形態の音声認識システムのフロントエンドの構成を示す概念図。 第３の実施形態のフロントエンドにおいて実行される処理を示したフローチャート。

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

一般に、音声認識システムは、発話された音声の音波信号に所定の変換を施して特徴量を抽出するまでのフロントエンドと、フロントエンドで抽出された特徴量に基づいてデータベースを検索し、発話の内容を特定するバックエンドから構成される。本発明は、フロントエンドに適用されてきたこれまでの雑音抑制の改良であり、観測音声のバンドごとの信頼性を利用してフロントエンドの出力の最適化を図るものである。

以下、本発明を３つの実施形態に基づいて説明する。第１の実施形態は、モデルベース雑音補正において使用されるＭＭＳＥ（Minimum Mean Square error）推定を改善する手法を開示する。第２の実施形態は、クリーン音声の推定値と観測値との間で線形補間を実施することによって出力値を最適化する手法を開示する。さらに、第３の実施形態では、上述した２つの手法を組み合わせる手法を開示する。

＜モデルベース雑音補正＞
本発明の各実施形態の説明に入る前に、フロントエンドに適用されるモデルベースの雑音補正について、図１に基づいて説明する。なお、以下の説明において、「観測音声」とは、発話音声に背景雑音が重畳された実際の観測音を意味し、「クリーン音声」とは、一切の雑音が重畳されていない発話音声を意味し、「クリーン音声推定値」は、観測音声から推定されるクリーン音声の推定値を意味する。また、「周波数スペクトル」とは、パワースペクトルまたは振幅スペクトルを意味する。

モデルベース雑音補正とは、要するに、クリーン音声ｘを、観測値yが与えられたときのxの確率分布p(x | y)としてモデル化し、当該確率モデルp(x | y)からクリーン音声ｘの推定値を推定する技術であり、ＭＭＳＥ推定は、その後段の推定に使用される要素技術である。

図１は、モデルベース雑音補正を適用した従来の音声認識システム５００のフロントエンドの構成を概念的に示している。

マイクによって収録された観測音声は、Ａ／Ｄ変換器によってデジタル信号（音波信号）に変換された後、適切な窓関数によるフレーム化および離散フーリエ変換（ＤＦＴ）を経て、フレーム毎の周波数スペクトルに変換される。次に、周波数スペクトルは、メル・フィルタバンク（メルスケール上に等間隔に配置された帯域フィルタバンク）にかけられた後、その対数をとってメル対数スペクトルに変換され、雑音抑制部５０２に入力される。

雑音抑制部５０２は、モデルベース雑音補正部５１２と、ＭＭＳＥ推定部５１４と、クリーン音声のガウス混合モデル（以下、ＧＭＭという）を記憶するデータベース５１６を含んで構成されており、入力されたメル対数スペクトルに基づいて、フレーム毎のクリーン音声推定値を生成し、特徴量抽出部５０４に出力する。

モデルベース雑音補正部５１２は、観測音声に含まれるクリーン音声を確率分布として表現する機能部であり、ＶＴＳ、ＳＰＬＩＣＥ、ＤＮＡ、Ｓｅｇｕｒａといった既存のモデル化アルゴリズムにより実装される。モデルベース雑音補正部５１２は、雑音抑制部５０２に入力されるフレーム毎のメル対数スペクトルと、データベース５１６に記憶されるクリーン音声モデル（ＧＭＭ）を使用して所定の演算を実行し、観測音声に含まれるクリーン音声をバンドごとの次元を持つ混合多次元正規分布として出力する。

ＭＭＳＥ推定部５１４は、モデルベース雑音補正部５１２から出力された確率分布に基づいてＭＭＳＥ推定を実行し、クリーン音声推定値を生成する。なお、データベース５１６に記憶されるクリーン音声モデルは、事前の学習に基づいて音素ごとに生成されたメル対数スペクトル領域のＧＭＭであり、モデルベース雑音補正部５１２は、クリーン音声をメル対数スペクトル領域のＧＭＭとして出力し、ＭＭＳＥ推定部５１４は、クリーン音声推定値をメル対数スペクトル領域のベクトルとして生成する。

特徴量抽出部５０４は、ＭＭＳＥ推定部５１４が出力するクリーン音声推定値からメル周波数ケプストラム係数（ＭＦＣＣ）などの所定の特徴量を抽出し、バックエンドに渡す。バックエンドでは、フロントエンドから受領した特徴量に基づき、ＨＭＭ、音響モデル、Ｎグラム言語モデルなどの既知の構成を使用して、発話の内容が特定される。

以上、従来の音声認識システムのフロントエンドの構成について概説したが、続いて、既存のＭＭＳＥ推定の詳細について説明する。従来のモデルベース雑音補正のアルゴリズムには、先に説明した、観測音声からクリーン音声推定値を直接推定する第１の方式の他、観測音声から補正量を推定し、観測音声と補正量の推定値の差分からクリーン音声推定値を導出する第２の方式があり、第２の方式では、補正量の推定にＭＭＳＥ推定が使用される。以下では、説明の都合上、Ｓｅｇｕｒａが採用する第２の方式を基調にして説明する。

＜既存のＭＭＳＥ推定＞
観測音声yのフレームtにおけるバンドd（メルスケールの周波数帯）のメル対数スペクトル領域の観測値y_d(t)は、クリーン音声の値x_d(t)とノイズの値n_d(t)の関数として下記式（１）のように表すことができる。

上記式（１）において、tを省略し、ベクトルで表記すると下記式２になる。

バンドdごとのミスマッチベクトルgは、下記式（３）に示すミスマッチ関数Ｇより与えられる。

ここで、クリーン音声ｘは、下記式（４）に示すK混合のＧＭＭとしてモデル化される。

上記式（４）において、γ_k、μ_x,k、Σ_x,kは、それぞれ、k番目の正規分布の事前確率、平均ベクトル、共分散行列を示す。

上記式（１）〜（４）に基づき、一次のテイラー展開を用いると、ミスマッチベクトルgは下記式（５）に示すK混合のＧＭＭとしてモデル化される。

なお、上記式（５）において平均ベクトルμ_g,kは下記式（６）で表され、共分散行列Σ_g,kは下記式（７）で表される。

そして、上記式（７）における補助関数Ｆは下記式（８）のように定義される。

その結果、クリーン音声推定値ｘ^は、下記式（９-１）で与えられる。

一方、観測音声ｙからクリーン音声推定値ｘ^を直接推定する第１の方式の場合、クリーン音声推定値ｘ^は、上記式（９-１）に代えて、下記式（９-２）で与えられる。

ここで、上記式（９-１）および式（９-２）における事後確率ρ_kは、いずれも、下記式（１０）で与えられる。

そして、上記式（１０）における平均ベクトルμ_y,kは、下記式（１１）で表され、共分散行列Σ_y,kは、下記式（１２）で表される。

なお、上記式（１１）および式（１２）において、音声モデルのパラメータ[μ_x,k ,Σ_x,k]は、事前の学習データにより与えられ、雑音モデルのパラメータ[μ_n ,Σ_n]は、モデルベース雑音補正部５１２が無声音区間の観測値に基づいて設定し、ＭＭＳＥ推定部５１４に与える。

以上、説明したように、ＭＭＳＥ推定とは、要するに、クリーン音声推定値ｘ^を、事後確率ρ_k(y)で重み付けされたｋ個の確率分布の平均ベクトルμ_x,kの合計として近似する処理である。本発明の第１の実施形態は、この点に着目するものであり、ＭＭＳＥ推定における事後確率に適切な修正を加えることによって、フロントエンドの出力を最適化する。

＜第１実施形態：ＣＷ−ＭＭＳＥ＞
このセクションでは、ＭＭＳＥ推定における事後確率に対して信頼性指標を重みとした重み付けを行う手法について説明する。以下の説明においては、この手法をＣＷ−ＭＭＳＥ（Confidence Weighted MMSE）として参照する。

既存のＭＭＳＥにおいて、クリーン音声推定値ｘ^が下記式（９-１）または式（９-２）で与えられ、各式中の事後確率ρ_k(y)が下記式（１０）で与えられることは既に説明した通りである。

ここで、ＣＷ−ＭＭＳＥは、クリーン音声推定値ｘ^を与える上記式（９-１）または式（９-２）において、事後確率ρ_k(y)の代わりに、信頼性指標α_dが重み付けられた事後確率ρ′_k(y)を使用するものである。下記式（１３）は、ＣＷ−ＭＭＳＥが使用する事後確率ρ′_k(y)を示す。

ここで、上記式（１３）における正規分布は、対角共分散の仮定を用いた下記式（１４）により与えられる。なお、下記式（１４）において、Ｄは正規分布の次元数を示す。

上記式（１４）を参照すれば、事後確率ρ′_k(y)の算出式の項である正規分布Ｎ′に対して信頼性指標α_dを重みとした指数重みが掛けられていることが理解されるであろう。ここで、信頼性指標とは、バンドの信頼性を表す指標である。一般に、バンドの信頼性は、背景雑音による信号劣化の観点から評価される。本発明においては、信頼性指標を以下のように定義する。

＜信頼性指標＞
人の発音に含まれる母音の周波数スペクトルは調波構造を持つことが知られており、背景雑音のない環境下では、観測音声の周波数スペクトルの全帯域で母音の調波構造は維持される。一方、自動車の走行音や空調音などの広帯域雑音の下では、多くのバンドで母音の調波構造が失われ、フォルマントなど音声パワーが集中したバンドのみで調波構造が維持される。

このことから、本発明は、顕著な調波構造を持つバンドは、背景雑音による劣化があまり起こっていないという前提に立ち、調波構造の顕著さをそのバンドの信頼性指標として定義するものである。以下、本発明の信頼性指標の作成方法について説明する。

本発明の信頼性指標は、ＬＰＷ(Local Peak Weight)を使用して作成される。ここで、ＬＰＷとは、観測音声のスペクトル概形のうち、フォルマント情報を含むような大きな変動を取り除き、調波構造に対応する規則的な山と谷の部分のみを抽出し、その値を正規化したものであり、本発明においては、以下の手順で、フレーム毎に作成される。

まず、観測音声のフレームｔの周波数スペクトルの対数をとり、さらにその対数スペクトルを離散コサイン変換してケプストラムを求める。次に、求めたケプストラムの項の内、ＬＰＷ母音の調波構造に対応した領域の項のみを残し、それ以外の項をカットする。その後、加工後のケプストラムに逆離散コサイン変換をかけて対数スペクトル領域に戻し、これをさらに周波数スペクトル領域に戻す。最後に、周波数スペクトルの平均値が１になるように正規化してＬＰＷを得る。図２（ａ）は、観測音声のフレームｔの周波数スペクトルを示し、図２（ｂ）は、図２（ａ）に示す周波数スペクトルに基づいて生成されたＬＰＷを示す。

続いて、図２（ｂ）に示すＬＰＷをメルスケール上で平滑化することによって図２（ｃ）に示すメルＬＰＷを得る。具体的には、ＬＰＷをメル・フィルタバンク（メルスケール上に等間隔に配置された帯域フィルタバンク）に通すことによって値を平滑化し、メルバンド毎に１つの値を得る。図２（ｃ）が示すように、メルＬＰＷの値は、メルバンドごとに付与される。メルＬＰＷの値の大きさは、メルバンドに対応する高解像度の周波数スペクトルのバンドの調波構造の顕著さに対応している。

本発明では、メルＬＰＷの値を適切な方法で正規化したものを信頼性指標として用いる。ＣＷ−ＭＭＳＥの場合、上記式（１４）における信頼性指標α_dは、以下の手順で作成することができる。

まず、信頼性指標α_dが極端な値をとらないようにするために、図３（ａ）に示すメルＬＰＷのダイナミックレンジを適切なスケーリング関数を用いて圧縮する。その結果、各バンドのメルＬＰＷの値ｗ_ｄがα′_dに変換される。スケーリング関数の例として、シグモイド関数を挙げることができる。下記式（１５）は、シグモイド関数を使用してメルＬＰＷの値ｗ_ｄをα′_dに変換する式を示す。

なお、上記式（１５）において、ａは、チューニングパラメータであり、適切な定数値を設定する。

続いて、圧縮された値α′_dを平均が１になるように正規化する。平均が１になるように正規化するのは、上記式（１４）において信頼性指標α_dが指数重みとして使用されるからである。下記式（１６）は、α′_dを正規化して信頼性指標α_dを得る式を示す。

図３（ｂ）は、上述した手順で作成された信頼性指標α_dを示す。図３（ｂ）が示すように、信頼性指標α_dは、メルバンドごとに付与される。

無声音区間や非発声区間の場合、フレームtにおけるバンドdの信頼性指標α_dは一様に1に近づくであろう。この場合、上記式（１４）における正規分布Ｎ′は、通常の正規分布になるので、事後確率ρ′_k(y)に重み付けがなされない。

有声音区間のフレームtに母音の調波構造が顕著なスペクトル帯域があった場合、対応するバンドdの信頼性指標α_dは１よりも大きくなるであろう。その結果、当該バンドdについては、上記式（１４）における正規分布Ｎ′が大きくなり、当該バンドdの事後確率ρ′_k(y)は大きくなる。このことは、ＣＷ-ＭＭＳＥが実行するＭＭＳＥ推定において、母音の調波構造が顕著なスペクトル帯域に対応するメルバンドの寄与が大きくなることを意味する。

一方、有声音区間のフレームtに母音の調波構造が失われたスペクトル帯域があった場合、対応するバンドdの信頼性指標α_dは１よりも小さくなるであろう。その結果、当該バンドdについては、上記式（１４）における正規分布Ｎ′が小さくなり、当該バンドdの事後確率ρ′_k(y)は小さくなる。このことは、ＣＷ-ＭＭＳＥが実行するＭＭＳＥ推定において、母音の調波構造が失われたスペクトル帯域に対応するメルバンドの寄与が小さくなることを意味する。

図４は、第１の実施形態の音声認識システムのフロントエンド１０００の構成を概念的に示している。フロントエンド１０００の雑音抑制部１００は、既存のＭＭＳＥの代わりにＣＷ-ＭＭＳＥを実装したＣＷ-ＭＭＳＥ推定部１０２を搭載する。フロントエンド１０００は、さらに、信頼性指標作成部１０４を含み、信頼性指標作成部１０４は、ＬＰＷ生成部１０５、メルＬＰＷ生成部１０６、正規化部１０７を含んで構成されている。以下、図５に示すフローチャートに基づいて、フロントエンド１０００において実行される処理を説明する。なお、以下の説明においては、適宜、図４を参照するものとする。

まず、観測音声の１フレーム分の周波数スペクトルＹが取得されると（ステップ１０１）、ＬＰＷ生成部１０５は、周波数スペクトルＹの調波構造を抽出してＬＰＷを生成する（ステップ１０２）。続いて、メルＬＰＷ生成部１０６がＬＰＷからメルＬＰＷを生成し（ステップ１０３）、正規化部１０７がメルＬＰＷを適切な方法で正規化してバンド毎の信頼性指標α（値の平均が１）を作成する（ステップ１０４）。信頼性指標作成部１０４は、雑音抑制部１００のＣＷ-ＭＭＳＥ推定部１０２に作成した信頼性指標αを提供する。

その後、１フレーム分の周波数スペクトルＹは、メル対数スペクトルｙに変換され（ステップ１０５）、雑音抑制部１００に入力される。雑音抑制部１００は、入力されたメル対数スペクトルｙと信頼性指標作成部１０４から提供された信頼性指標αを使用してクリーン音声を推定する。このとき、ＣＷ-ＭＭＳＥ推定部１０２は、ＭＭＳＥ推定の事後確率に対して信頼性指標αの重み付けを行う（ステップ１０６）。

雑音抑制部１００は、ＣＷ-ＭＭＳＥ推定部１０２が推定したクリーン音声推定値ｘ^を特徴量抽出部５０４に対して出力する（ステップ１０７）。特徴量抽出部５０４は、クリーン音声推定値ｘ^から所定の特徴量を抽出し、バックエンドに渡す。上述した一連の手順が観測音声の各フレームについて繰り返し実行され（ステップ１０８、Ｎｏ）、最終フレームに至った時点で（ステップ１０８、Ｙｅｓ）、処理が終了する。

以上、説明したように、ＣＷ-ＭＭＳＥによれば、各バンドが、その信頼性の高さに応じた寄与度でＭＭＳＥ推定の結果に影響を与えるようになり、その結果として、フロントエンドの出力が最適化される。

以上、第１の実施形態について説明してきたが、次に、音声モデルと観測音声を線形補間することによって出力値を最適化する第２の実施形態について説明する。

＜第２の実施形態：ＣＷ−ＩＮＴ＞
もし仮に、観測音声がクリーン音声と等価であった場合、その観察音声に手を加えないで出力することが最善の策であろう。しかし、モデルベースのアプローチによれば、そのような場合であってもクリーン音声のモデルを推定するので、必然的に、その出力はクリーン音声より劣化する。第２の実施形態は、この問題を解決するための手法を開示する。

このセクションでは、音声モデルと観測音声の間で信頼性指標を重みとする線形補間を施す手法について説明する。以下の説明においては、この手法をＣＷ−ＩＮＴ（Confidence Weighted Interpolation）として参照する。

ＣＷ−ＩＮＴにおいては、バンドdの出力値ｘ~_dは、下記式（１７）に示す線形補間関数で与えられる。

上記式（１７）において、ｘ^_dは、バンドdのクリーン音声推定値を示し、β_dは、バンドdに付与された信頼性指標を示し、ｙ_dは、バンドdの観測値を示し、ｘ~_dは、バンドdの出力値を示す。上記式（１７）に示す線形補間関数は、０から１の間の値をとる信頼性指標β_dを重みとして重み付けされており、β_dが１に近づくにつれ、出力値ｘ~_dが観測値ｙ_dに近づき、β_dが０に近づくにつれ、出力値ｘ~_dがクリーン音声推定値ｘ^_dに近づくことを表している。

ここで、本発明の信頼性指標がメルＬＰＷの値を適切な方法で正規化することによって作成されることは既に述べた通りである。ＣＷ−ＩＮＴの場合、上記式（１７）における信頼性指標β_dは、以下の手順で作成することができる。

図６（ａ）は、フレームｔについて取得されたメルＬＰＷを示す。ＣＷ−ＩＮＴの場合、メルＬＰＷの値ｗ_ｄが、最大値を１として０から１の間の値をとるように適切なスケーリング関数を用いて正規化する。スケーリング関数の例として、シグモイド関数を挙げることができる。下記式（１８）は、シグモイド関数を使用してメルＬＰＷの値ｗ_ｄを正規化し信頼性指標β_dを得る式を示す。

なお、上記式（１８）において、ａおよびｂは、チューニングパラメータであり、適切な定数値を設定する。

図６（ｂ）は、上述した手順で作成された信頼性指標β_dを示す。図６（ｂ）が示すように、信頼性指標β_dは、メルバンドごとに付与される。

有声音区間のフレームtに母音の調波構造が顕著なスペクトル帯域があった場合、対応するバンドdの信頼性指標β_dは１に近づく。その結果、上記式（１７）に示した線形補間の結果であるバンドｄの出力値ｘ~_dはクリーン音声推定値ｘ^_dよりも観測値ｙ_dに近づくであろう。

一方、有声音区間のフレームtに母音の調波構造が失われたスペクトル帯域があった場合、対応するバンドdの信頼性指標β_dは０に近づく。その結果、上記式（１７）に示した線形補間の結果であるバンドｄの出力値ｘ~_dは観測値ｙ_dよりもクリーン音声推定値ｘ^_dに近づくであろう。

図７は、第２の実施形態の音声認識システムのフロントエンド２０００の構成を概念的に示している。フロントエンド２０００が搭載する雑音抑制部５０３は、観測音声のフレーム毎のメル対数スペクトルの入力に基づいてクリーン音声推定値（メル対数スペクトル領域のベクトル）を生成・出力する機能部であり、第２の実施形態の場合、雑音抑制部５０３は、図１に示した雑音抑制部５０２のように、モデルベース雑音補正を採用するものであっても良いし、スペクトルサブトラクション法などのフィルタリング手法を採用するものであっても良い。フロントエンド２０００は、さらに、信頼性指標作成部１０４と線形補間部２００を含み、信頼性指標作成部１０４は、ＬＰＷ生成部１０５、メルＬＰＷ生成部１０６、正規化部１０８を含んで構成されている。以下、図８に示すフローチャートに基づいて、フロントエンド２０００において実行される処理を説明する。なお、以下の説明においては、適宜、図７を参照するものとする。

まず、観測音声の１フレーム分の周波数スペクトルＹが取得されると（ステップ２０１）、ＬＰＷ生成部１０５は、周波数スペクトルＹの調波構造を抽出してＬＰＷを生成する（ステップ２０２）。続いて、メルＬＰＷ生成部１０６がＬＰＷからメルＬＰＷを生成し（ステップ２０３）、正規化部１０８がメルＬＰＷを適切な方法で正規化してバンド毎の信頼性指標β（値が０〜１）を作成する（ステップ２０４）。

その後、１フレーム分の周波数スペクトルＹは、メル対数スペクトルｙに変換される（ステップ２０５）。変換されたメル対数スペクトルｙは、線形補間部２００と雑音抑制部５０３の両方に入力される。雑音抑制部５０３は、メル対数スペクトルｙから適切な方法でクリーン音声を推定し、クリーン音声推定値ｘ^を線形補間部２００に出力する（ステップ２０６）。

線形補間部２００は、バンドごとに、メル対数スペクトルｙのベクトルと雑音抑制部５０３から入力されたクリーン音声推定値ｘ^（メル対数スペクトル領域のベクトル）の間で線形補間を実行する。この際、線形補間部２００（ＣＷ-ＩＮＴ）は、信頼性指標βを重みとした線形補間を施して出力値ｘ~を導出する（ステップ２０７）。

線形補間部２００は、導出した出力値ｘ~を特徴量抽出部５０４に対して出力する（ステップ２０８）。特徴量抽出部５０４は、出力値ｘ~から所定の特徴量を抽出し、バックエンドに渡す。上述した一連の手順が観測音声の各フレームについて繰り返し実行され（ステップ２０９、Ｎｏ）、最終フレームに至った時点で（ステップ２０９、Ｙｅｓ）、処理が終了する。

以上、説明したように、ＣＷ-ＩＮＴによれば、各バンドの観測値がその信頼性の高さに応じて出力値に反映されるようになり、その結果として、フロントエンドの出力が最適化される。

以上、第２の実施形態について説明してきたが、最後に、第１の実施形態の機能と第２の実施形態の機能を組み合わせた第３の実施形態について説明する。

＜第３実施形態：ＣＷ−ＭＭＳＥ＋ＣＷ−ＩＮＴ＞
このセクションでは、これまで説明してきたＣＷ−ＭＭＳＥとＣＷ−ＩＮＴを組み合わせる手法について説明する。以下の説明においては、この手法をＣＷ−ＭＭＳＥ＋ＣＷ−ＩＮＴとして参照する。

図９は、第３の実施形態の音声認識システムのフロントエンド３０００の構成を概念的に示している。フロントエンド３０００は、ＣＷ-ＭＭＳＥ推定部１０２を搭載した雑音抑制部１００と、線形補間部２００（ＣＷ-ＩＮＴ）と、ＬＰＷ生成部１０５と、信頼性指標作成部１０４，メルＬＰＷ生成部１０６を含んで構成されている。以下、図１０に示すフローチャートに基づいて、フロントエンド３０００において実行される処理を説明する。なお、以下の説明においては、適宜、図９を参照するものとする。

まず、観測音声の１フレーム分の周波数スペクトルＹが取得されると（ステップ３０１）、ＬＰＷ生成部１０５は、周波数スペクトルＹの調波構造を抽出してＬＰＷを生成する（ステップ３０２）。続いて、メルＬＰＷ生成部１０６がＬＰＷからメルＬＰＷを生成する（ステップ３０３）。正規化部１０７は、メルＬＰＷを適切な方法で正規化してバンド毎の信頼性指標α（値の平均が１）を作成する一方、正規化部１０８は、メルＬＰＷを正規化してバンド毎の信頼性指標β（値が０〜１）を作成する（ステップ３０４）。信頼性指標作成部１０４は、作成した信頼性指標αおよび信頼性指標βを、それぞれ、雑音抑制部１００のＣＷ-ＭＭＳＥ推定部１０２および線形補間部２００（ＣＷ-ＩＮＴ）に提供する。

その後、１フレーム分の周波数スペクトルＹは、メル対数スペクトルｙに変換される（ステップ３０５）。変換されたメル対数スペクトルｙは、線形補間部２００と雑音抑制部１００の両方に入力される。雑音抑制部１００は、入力されたメル対数スペクトルｙと信頼性指標生成部１０４から提供された信頼性指標αを使用してクリーン音声を推定する。この際、ＣＷ-ＭＭＳＥ推定部１０２は、ＭＭＳＥ推定の事後確率に信頼性指標αを重み付けしてクリーン音声を推定し（ステップ３０６）、クリーン音声推定値ｘ^を線形補間部２００に出力する。

線形補間部２００は、バンドごとに、メル対数スペクトルｙのベクトルと雑音抑制部１００から入力されたクリーン音声推定値ｘ^（メル対数スペクトル領域のベクトル）の間で線形補間を実行する（ステップ３０７）。この際、線形補間部２００（ＣＷ-ＩＮＴ）は、信頼性指標βを重みとした線形補間を施して出力値ｘ~を導出する。

線形補間部２００は、導出した出力値ｘ~を特徴量抽出部５０４に対して出力する（ステップ３０８）。特徴量抽出部５０４は、出力値ｘ~から所定の特徴量を抽出し、バックエンドに渡す。上述した一連の手順が観測音声の各フレームについて繰り返し実行され（ステップ３０９、Ｎｏ）、最終フレームに至った時点で（ステップ３０９、Ｙｅｓ）、処理が終了する。

以上、説明したように、ＣＷ−ＭＭＳＥ＋ＣＷ−ＩＮＴによれば、ＭＭＳＥの推定値が最適化された上に、さらに、その推定値と観測値の間で最適な補間が実施されるので、その結果として、フロントエンドの出力が最適化される。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以下、本発明について、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。

先に開示した本発明の方法をコンピュータに実行させるために３種類のコンピュータ・プログラム（ＣＷ-ＭＭＳＥ、ＣＷ-ＩＮＴ、ＣＷ-ＭＭＳＥ+ＣＷ-ＩＮＴ）を作成し、一般社団法人情報処理学会（ＩＰＳＪ）が提供する自動車内音声認識の評価用フレームワークを使用して、各コンピュータ・プログラムの性能を評価した。

＜実験条件＞
本実験は、自動車内音声認識の評価用データベースCENSREC-3を用いて行った。評価条件は、学習データとテストデータの双方に遠隔マイクロフォンを使用するCondition 3とした。実験に必要な様々な特徴量を出力するフロントエンドを用意し、学習データとテストデータの双方に適用した。特徴量は、MFCC 12次元 + ΔMFCC 12次元 + ΔΔMFCC 12次元 + C0 + ΔC0 + ΔΔC0 の39次元で、発話単位のCMNを適用した。音響モデルの作り方などバックエンドの構成は無変更とした(Category 0)。

クリーン音声のＧＭＭは、アイドリング時に接話マイクロフォンで収録したデータで学習した。24次元のメル対数スペクトルの特徴量を使用し、混合数は256とした。

＜実験結果＞
下記表１は、３つの実施例プログラム（ＣＷ-ＭＭＳＥ、ＣＷ-ＩＮＴ、ＣＷ-ＭＭＳＥ+ＣＷ-ＩＮＴ）、および比較例プログラム（標準ＭＭＳＥ：ＳｅｇｒａのＭＭＳＥ）の単語正解精度（％）をまとめて示す。なお、「CENSREC-3 Baseline」は、音声強調や雑音除去を何も行わないベースラインである。

上記表１に示す単語正解精度（％）の全環境平均に基づいて、比較例である標準ＭＭＳＥを基準とした誤り改善率（％）を下記式（１９）により算定した。

その結果、標準ＭＭＳＥを基準とした誤り改善率（％）は、ＣＷ-ＭＭＳＥ、ＣＷ-ＩＮＴ、およびＣＷ-ＭＭＳＥ+ＣＷ-ＩＮＴのそれぞれにおいて、14.4％、24.4％、および26.2％であった。この結果は、本発明の方法が音声認識精度を大きく改善することを示している。

１００…雑音抑制部
１０２…ＣＷ-ＭＭＳＥ推定部
１０５…ＬＰＷ生成部
１０４…信頼性指標作成部
１０６…メルＬＰＷ生成部
１０７，１０８…正規化部
２００…線形補間部
５００…音声認識システム
５０２,５０３…雑音抑制部
５０４…特徴量抽出部
５１２…モデルベース雑音補正部
５１４…ＭＭＳＥ推定部
５１６…データベース
１０００，２０００，３０００…フロントエンド

Claims (12)

1. 雑音抑制方法であって、
   観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
   観測音声に基づいて生成されるクリーン音声の確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を推定するステップであって、該ＭＭＳＥ推定の事後確率に対して前記信頼性指標を重みとした重み付けを前記バンドごとに行う、ステップと
   を含む方法。
2. 前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項１に記載の方法。
3. 前記信頼性指標を作成するステップは、
   前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
   正規化した値をメルスケール上で平滑化するステップと、
   平滑化した値の平均が１になるように正規化するステップと
   を含む請求項１または２に記載の方法。
4. 前記信頼性指標を作成するステップは、第１の信頼性指標および第２の信頼性指標を作成するステップであり、
   前記クリーン音声推定値を推定するステップは、観測音声に基づいて生成されるクリーン音声の確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を推定するステップであって、該ＭＭＳＥ推定の事後確率に対して前記第１の信頼性指標を重みとした重み付けを前記バンドごとに行う、ステップであり、
   前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記第２の信頼性指標を重みとした線形補間を実行して出力値を導出するステップをさらに含む
   請求項１または２に記載の方法。
5. 前記第１の信頼性指標および第２の信頼性指標を作成するステップは、
   前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
   正規化した値をメルスケール上で平滑化するステップと、
   平滑化した値の平均が１になるように正規化して前記第１の信頼性指標を作成するステップと、
   平滑化した値を０から１の間で正規化して前記第２の信頼性指標を作成するステップと
   を含む、
   請求項４に記載の方法。
6. 雑音抑制方法であって、
   観測音声のスペクトルに基づいて該観測音声における調波構造の顕著さを表す信頼性指標をバンドごとに作成するステップと、
   観測音声からクリーン音声推定値を推定するステップと、
   前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記信頼性指標を重みとした線形補間を実行して出力値を導出するステップと
   を含む方法。
7. 前記信頼性指標を作成するステップは、
   前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
   正規化した値をメルスケール上で平滑化するステップと、
   平滑化した値を０から１の間で正規化するステップと
   を含む、
   請求項６に記載の方法。
8. コンピュータに、請求項１〜７のいずれか一項に記載の方法の各ステップを実行させるためのコンピュータ実行可能なプログラム。
9. 雑音抑制装置であって、
   観測音声のスペクトルに基づいてバンドごとの信頼性指標に作成する信頼性指標作成部と、
   観測音声に基づいて生成されたクリーン音声の確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を推定する雑音抑制部であって、該ＭＭＳＥ推定の事後確率に対して前記信頼性指標を重みとした重み付けを前記バンドごとに行う雑音抑制部と
   を含む装置。
10. 前記信頼性指標作成部は、第１の信頼性指標および第２の信頼性指標を作成し、
    前記雑音抑制部は、前記ＭＭＳＥ推定の事後確率に対して前記第１の信頼性指標を重みとした重み付けを前記バンドごとに行い、
    前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記第２の信頼性指標を重みとした線形補間を実行して出力値を導出する線形補間部をさらに含む
    請求項９に記載の装置。
11. 雑音抑制装置であって、
    観測音声のスペクトルに基づいて信頼性指標をバンドごとに作成する信頼性指標作成部と、
    観測音声からクリーン音声推定値を推定する雑音抑制部と、
    前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記信頼性指標を重みとした線形補間を実行して出力値を導出する線形補間部と
    を含む装置。
12. 前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項９〜１１のいずれか一項に記載の装置。