JP2004226982A - 隠れ軌跡隠れマルコフモデルを使用した音声認識の方法 - Google Patents

Abstract

【課題】 再帰法を使って、前の２つのフレームに関連する生成関連値に基づき、個々のフレームにおける状態の生成関連値、具体的には声道共振周波数を求める音声認識の方法を提供する。
【解決手段】 生成関連値を使って、その状態の観測特徴ベクトルの確率分布を求める。次いで、その確率分布から、そのフレームについて受け取った観測値の確率を求める。一実施形態では、生成関連値を、その値に対する無雑音の再帰的定義を使って求める。再帰法を使用することで復号化速度が大幅に向上する。復号化アルゴリズムを既知の音声表記を含む学習データに適用した場合、従来技術から得られる音分節化を改善する強制整合が生成される。
【選択図】 図４

Description

本発明はパターン認識に関する。詳細には、本発明は音声認識に関する。

音声認識システムなどのパターン認識システムは、入力信号を取り込み、その信号を復号化してその信号で表されるパターンを見つけようとする。例えば、音声認識システムでは、音声信号（しばしばテスト信号と呼ばれる）を認識システムが受け取り、それを復号化してその音声信号で表される単語列を識別する。

多くの音声認識システムは隠れマルコフモデルを利用する。隠れマルコフモデル（ＨＭＭ）では、音響単位または音声単位とも呼ばれる発音単位を、接続された状態の単一層で表す。学習信号を使用して、その状態を占有する確率分布および状態間遷移の確率分布を、発音単位ごとに決定する。音声信号を復号化するためには、その信号をフレームに分割し、各フレームを特徴ベクトルに変形する。次いで、この特徴ベクトルを状態の分布と比較して、それらのフレームで表すことのできるＨＭＭ状態の最大尤度系列を識別する。次いで、その系列に対応する発音単位を選択する。

ＨＭＭに基づく認識システムは、多くの比較的単純な音声認識タスクでは適切に動作するが、一部の重要な音声の動的態様を直接にはモデル化しない（また、話し言葉音声などの難解なタスクでは性能が低下することが知られている）。その結果、それらのシステムは、学習に使用される音声信号と復号化される音声信号の間の動的調音差に対応することができない。例えば、日常的会話状況では、話者は、音声を不明瞭に、すなわちはっきりしない状態で発音しがちである。これは、そのユーザの音声調音の軌跡がその目的のターゲットに到達する前に次のターゲットに変更されることがあることを意味する。学習信号は、通常は、話者が不明瞭に発音される音声でのものよりも完全に明瞭に発音された音声資料を提供する、「朗読」スタイルの音声を使って形成されるため、不明瞭に発音された音声は学習されたＨＭＭ状態に合致しない。その結果、認識機構は、日常会話では、理想にほど遠い認識結果しか提供しない。

同様の問題は、意識的に明瞭に発音された音声でも生じる。意識的に明瞭に発音された音声では、話者は、様々な発声音を区別可能にしようと余分に努力を払う。この余分の努力には、ある特定の発音単位の音を、同様に聞こえる発音単位とより明確に聞き分けられるように変更すること、特定の発音単位の音をより長く保持すること、あるいは、各音がその隣接音とは明確に異なると知覚されるように音と音の間でより急激に移行することなどが含まれ得る。これらの機構のそれぞれは、ＨＭＭシステムを使って音声を認識することをより困難にする。というのは、各技法で結果として生じる１組の音声信号のベクトルは、学習データに存在する特徴ベクトルにあまり合致しないことが多いからである。意識的に明瞭に発音された、または不明瞭に発音された音声に対応する特徴ベクトルが、（取得費用が非常に高価であることもある）学習データ中の特徴ベクトルと一致する場合でも、意識的に明瞭に発音された、または不明瞭に発音された調音によって生じた特徴ベクトル軌跡中の変化の根本原因を考慮に入れないＨＭＭシステムでの音声上の紛らわしさが増大するため、従来のＨＭＭ技法ではなお、性能が劣ることになるであろう。

また、ＨＭＭシステムでは、人間が話す速度の変化を処理する際にも問題がある。したがって、学習信号よりゆっくりまたは速く話す人がいた場合は、ＨＭＭシステムは、音声信号を復号化する際によりエラーを生じやすくなる。

ＨＭＭシステムの代替方法も提案されている。具体的には、音声信号の生成関連パラメータの軌跡または挙動を直接モデル化すべきであると提案されている。しかし、これらのモデルは、その軌跡に基づく効率のよい復号化手段を提供していない。

このことから見て、より高速な復号化を可能にすると共に、様々な発話スタイルに起因する音声生成機構によって生じる音声特徴軌跡の変化を考慮に入れる音声認識の枠組みが求められている。

前のフレームについて求めた生成関連値に基づき、個々のフレームにおける状態の生成関連値、具体的には声道共振周波数を求める音声認識の方法が提供される。この生成関連値を使ってその状態の確率分布を求める。次いで、そのフレームについて受け取った観測値の確率を確率分布から求める。一実施形態では、生成関連値は、その値の無雑音再帰的定義を使って求められる。再帰法を使用すると、復号化速度は従来技術よりも大幅に改善される。

本発明のいくつかの態様によれば、隠れ軌跡と隠れマルコフモデルの組合せを使って、既知の音声表記またはＨＭＭ状態系列を含む学習音響データを復号化し、それによって、学習データと１組の状態との間の整合を生み出す。この強制整合によって音の分節化が改善され、次いでそれを使って対話方式で組合せモデルに学習させる。

本発明の別の態様によれば、複数のターゲットの１つに基づいて生成関連値が計算され、その複数のターゲットすべてが同時に学習される。

図１に、本発明を実施できる適当なコンピュータシステム環境の一例を示す。コンピュータシステム環境１００は、適当なコンピュータ環境の一例に過ぎず、本発明の使用または機能の範囲に関するいかなる限定も示唆するものではない。また、コンピュータ環境１００は、例示的動作環境１００に示す構成要素のいずれか１つまたはその組合せに関連するいかなる依存性も要件も有しないものであると解釈すべきである。

本発明は、他の多くの汎用または専用コンピュータシステム環境または構成を用いて動作可能である。本発明と共に使用するのに適した周知のコンピュータシステム、環境および／または構成の例には、それだけに限らないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置やラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話技術システム、前述のシステムまたは装置のいずれかを含む分散コンピュータ環境などが含まれる。

本発明は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的文脈において説明することができる。一般に、プログラムモジュールには、個々のタスクを実施し、あるいは個々の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。また、本発明は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実施される、分散コンピュータ環境で実施することもできる。分散コンピュータ環境では、プログラムモジュールは、記憶装置を含む、ローカルとリモート両方のコンピュータ記憶媒体に位置することができる。

図１を参照すると、本発明を実装する例示的一システムは、コンピュータ１１０の形態で汎用コンピュータ装置を含む。コンピュータ１１０の構成要素には、それだけに限らないが、処理装置１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステム構成要素を処理装置１２０に結合するシステムバス１２１が含まれ得る。システムバス１２１は、様々なバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリ制御装置、周辺装置バス、ローカルバスを含むいくつかのタイプのバス構造のいずれでもよい。例を挙げると、そうしたアーキテクチャには、それだけに限らないが、ＩＳＡ（業界標準アーキテクチャ）バス、ＭＣＡ（マイクロチャネルアーキテクチャ）バス、ＥＩＳＡ（拡張ＩＳＡ）バス、ＶＥＳＡ（ビデオ電子装置規格化協会）ローカルバス、およびメザニンバスとも呼ばれるＰＣＩ（周辺装置相互接続）バスが含まれる。

コンピュータ１１０は、通常は、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体はコンピュータ１１０からアクセスできる任意の使用可能な媒体とすることができ、それには揮発性媒体および不揮発性媒体、取り外し可能媒体および取り外し不能媒体が含まれる。例を挙げると、コンピュータ可読媒体には、それだけに限らないが、コンピュータ記憶媒体や通信媒体が含まれ得る。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュールやその他のデータなどの情報を記憶するための任意の方法または技術で実施される、揮発性および不揮発性、取り外し可能および取り外し不能媒体が含まれる。コンピュータ記憶媒体には、それだけに限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリその他のメモリ技術、ＣＤＲＯＭ、ＤＶＤ（ディジタル多用途ディスク）その他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶その他の磁気記憶装置、あるいは所望の情報を記憶するために使用でき、コンピュータ１１０からアクセスできる他の任意の媒体が含まれる。通信媒体は、通常は、コンピュータ可読命令、データ構造、プログラムモジュールその他のデータを、搬送波やその他の搬送機構などの変調データ信号として実施し、任意の情報送達媒体を含む。「変調データ信号」という用語は、その１組の特性のうちの１つまたは複数を備える信号、あるいは信号中に情報を符号化するように変更された信号を意味する。例を挙げると、通信媒体には、それだけに限らないが、有線ネットワークや直接配線接続などの有線媒体、および音響、無線周波数、赤外線その他の無線媒体などの無線媒体が含まれる。また、コンピュータ可読媒体の範囲には、上記のいずれかの組合せも含まれる。

システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２など揮発性および／または不揮発性メモリの形態でのコンピュータ記憶媒体を含む。基本入出力システム１３３（ＢＩＯＳ）は、起動時などにコンピュータ１１０内要素間の情報転送を助ける基本ルーチンを含み、通常はＲＯＭ１３１に記憶される。ＲＡＭ１３２は、通常は、処理装置１２０から直接アクセス可能であり、かつ／または処理装置１２０によって現在操作されているデータおよび／またはプログラムモジュールを含む。例として図１には、それだけに限らないが、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７が示されている。

コンピュータ１１０は、他の取り外し可能／取り外し不能、揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。一例に過ぎないが、図１には、取り外し不能な、不揮発性磁気媒体に対する読取りおよび書込みを行うハードディスクドライブ１４１、取り外し可能な、不揮発性磁気ディスク１５２に対する読取りおよび書込みを行う磁気ディスクドライブ１５１、およびＣＤ ＲＯＭその他の光媒体など、取り外し可能な、不揮発性光ディスク１５６に対する読取りおよび書込みを行う光ディスクドライブ１５５が示されている。例示の動作環境で使用できる他の取り外し可能／取り外し不能、揮発性／不揮発性コンピュータ記憶媒体には、それだけに限らないが、磁気テープカセット、フラッシュメモリカード、ディジタル多用途ディスク、ディジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれる。ハードディスクドライブ１４１は、通常は、インターフェイス１４０などの取り外し不能メモリインターフェイスを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常は、インターフェイス１５０などの取り外し可能メモリインターフェイスによってシステムバス１２１に接続される。

前述した図１に示す各ドライブおよびそれらに関連するコンピュータ記憶媒体は、コンピュータ１１０用のコンピュータ可読命令、データ構造、プログラムモジュールその他のデータの記憶を行う。図１では、例えば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じでも異なっていてもよいことに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７が、少なくとも異なるコピーであることを示すために、本明細書ではそれらに異なる番号を付ける。

ユーザは、キーボード１６２、マイクロホン１６３、およびマウス、トラックボール、タッチパッドなどのポインティング装置１６１を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、衛星通信用受信アンテナ、スキャナなどが含まれ得る。上記その他の入力装置は、しばしば、システムバスに結合されたユーザ入力インターフェイス１６０を介して処理装置１２０に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）など他のインターフェイスおよびバス構造によって接続することもできる。また、モニタ１９１や他のタイプの表示装置を、ビデオインターフェイス１９０などのインターフェイスを介してシステムバス１２１に接続することもできる。コンピュータは、モニタの他に、スピーカ１９７やプリンタ１９６など他の周辺出力装置を含むこともでき、それらは出力周辺装置インターフェイス１９５を介して接続することができる。

コンピュータ１１０は、リモートコンピュータ１８０など、１台または複数のリモートコンピュータへの論理接続を使用するネットワーク化環境で動作することもできる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置または他の一般のネットワークノードとすることができ、通常は、コンピュータ１１０に関連する前述の各要素の多くまたはすべてを含む。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１および広域ネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともできる。そうしたネットワーク環境は、事業所、全企業的コンピュータネットワーク、イントラネット、およびインターネットではよく見られる。

ＬＡＮネットワーク環境で使用される場合、コンピュータ１１０はネットワークインターフェイスまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーク環境で使用される場合、コンピュータ１１０は、通常は、モデム１７２、またはインターネットなどＷＡＮ１７３を介して通信を確立する他の手段を含む。モデム１７２は、内蔵でも外付けでもよく、ユーザ入力インターフェイス１６０または他の適当な機構を介して、システムバス１２１に接続することができる。ネットワーク化環境では、コンピュータ１１０に関連して示すプログラムモジュール、またはそれらの一部を、リモートの記憶装置に記憶させることができる。例として、それだけに限らないが、図１にリモートコンピュータ１８０上に常駐するリモートアプリケーションプログラム１８５を示す。図示のネットワーク接続は例示のためのものに過ぎず、コンピュータ間で通信リンクを確立する他の手段も使用できることが理解されるであろう。

図２は、コンピュータ環境の一例であるモバイル装置２００を示す構成図である。モバイル装置２００は、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）構成要素２０６、およびリモートコンピュータや他のモバイル装置とやりとりするための通信インターフェイス２０８を含む。一実施形態では前述の各構成要素は、適当なバス２１０を介して相互にやりとりするために結合される。

メモリ２０４は、モバイル装置２００への通常の電力がシャットダウンされた場合にメモリ２０４に記憶された情報が失われないように、バッテリバックアップモジュール（図示せず）を備えるランダムアクセスメモリ（ＲＡＭ）などの不揮発性電子メモリとして実装される。メモリ２０４の一部は、好ましくは、プログラム実行のためにアドレス指定可能なメモリとして割り振られ、メモリ２０４の別の一部は、好ましくは、ディスクドライブ上で記憶をシミュレートするなど、記憶のために使用される。

メモリ２０４は、オペレーティングシステム２１２、アプリケーションプログラム２１４と共にオブジェクト記憶２１６を含む。動作時に、オペレーティングシステム２１２は、好ましくは、メモリ２０４からプロセッサ２０２によって実行される。オペレーティングシステム２１２は、好ましい一実施形態では、マイクロソフト社から市販されているＷＩＮＤＯＷＳ（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム２１２は、好ましくは、モバイル装置用に設計されたものであり、１組の公開されたアプリケーションプログラミングインターフェイスおよびメソッドを介してアプリケーション２１４が利用できるデータベース機能を実装する。オブジェクト記憶２１６中のオブジェクトは、少なくとも一部は、公開されたアプリケーションプログラミングインターフェイスおよびメソッドの呼び出しに応答して、アプリケーション２１４およびオペレーティングシステム２１２によって維持される。

通信インターフェイス２０８は、モバイル装置２００が情報を送受信できるようにする多くの装置および技術を表す。これらの装置には、いくつか例を挙げると、有線モデムおよび無線モデム、衛星通信用受信機および放送チューナが含まれる。モバイル装置２００は、データを交換するためにコンピュータに直接接続することもできる。そうした場合には、通信インターフェイス２０８は、赤外線トランシーバやシリアルまたはパラレル通信接続とすることができ、それらのすべてがストリーミング情報を送信することができる。

入出力構成要素２０６には、タッチスクリーン、ボタン、ローラ、マイクロホンなど様々な入力装置、並びに音声生成装置、振動装置、およびディスプレイを含む様々な出力装置が含まれる。上記の装置は例として挙げたものであり、モバイル装置２００上にすべてが備わっている必要はない。さらに、本発明の範囲内で、他の入出力装置をモバイル装置２００に接続し、あるいはそれと共に使用することもできる。

本発明は音声の生成モデルを提供する。このモデルの下では、音声は、話者が、音韻的単位の系列の言語定義を音声的に実施しようとする試行の出力として表現される。この試行中に、話者は、現在の音韻的単位に関連するターゲットに向かう軌跡をたどる生成関連値を生成する。本発明の各実施形態では、この軌跡は、単位利得を有する、無雑音の、二次的な、離散時間臨界減衰型、低域通過フィルタとしてモデル化される。

本発明のモデルは、隠れ軌跡モデルの一特殊形態である。この隠れ軌跡モデルは、（声道共振周波数などの）隠れ生成関連パラメータを示す動的または軌跡モデル成分、およびその生成関連パラメータをメル周波数ケプストラム係数などの観測可能な音響特徴に変換するマッピングモデル成分の２つの層を含む。軌跡モデルは、１つの生成関連パラメータに対する軌跡値（ｚ（１），．．．，ｚ（ｔ），．．．，ｚ（Ｔ））の系列を予測する。マッピングモデルは、その軌跡値の系列が与えられたとき、音響観測ベクトルｏ（ｔ）の系列を予測する。

軌跡モデルおよびマッピングモデルは、以下の２式で簡潔に表すことができる。
ｚ（ｔ）＝ｇ^{ｕ（１．．．ｔ）}（ｔ）＋ｗ（ｔ） 式１
ｏ（ｔ）＝ｈ^ｕ（ｔ）（ｚ（ｔ））＋ｖ（ｔ） 式２
式中ｇ^{ｕ（１．．．ｔ）}（ｔ）は状態依存の期待される軌跡（以後簡単にするためにｇ（ｔ）と呼ぶ）であり、ｚ（ｔ）は隠れた真の軌跡であり、ｕ（ｔ）はフレームｔにおける離散的音声状態または音声単位であり、ｕ（１．．．ｔ）は時間１から時間ｔまでの離散的音声状態または音声単位の系列であり、ｈ^ｕ（ｔ）は生成関連パラメータを特徴空間にマッピングする状態依存のマッピング関数である。実際には、各音声単位ｕは、左から右に順次接続された（以下の式の一部ではｓで表す）いくつかのＨＭＭ様のより小さい単位に分割される。

被加数ｗ（ｔ）およびｖ（ｔ）は、それぞれ、ゼロ平均と共分散行列Ｑ＝Ｃ_ｗｗおよびＲ＝Ｃ_ｖｖを持つ、実際の観測の期待値からの逸脱をモデル化するｉ．ｉ．ｄ．ガウス雑音を表す。すなわち以下のとおりである。

本発明によれば、任意の時間ｔにおける軌跡は、次式で定義される再帰的無雑音関数を使って計算される。

式中、Ｔ_ｕ（ｔ）は、時間ｔにおける音声単位ｕの軌跡のターゲットであり、γ_ｕ（ｔ）は音声単位ｕに関連する時間定数であり、ｇ（ｔ−１）は前のフレームにおける軌跡の値であり、ｇ（ｔ−２）は２つ前のフレームにおける軌跡の値である。ｇ（ｔ−１）およびｇ（ｔ−２）は、異なる音声単位ｕに対して計算されている可能性があるので、γ_ｕ（ｔ）およびＴ_ｕ（ｔ）の異なる値を使って計算することもできることに留意されたい。

式５の再帰的計算は雑音項を含まないことに留意されたい。本発明では、雑音項を除くことによって、学習および復号化を単純化する。

式５は、以下のような標準形に書き換えることができる。
Ｇ（ｔ）＝Φ_ｕ（ｔ）Ｇ（ｔ−１）＋Ｖ_ｕ（ｔ） 式６
式中、

である。

本発明の一実施形態では、音響特徴上に生成関連軌跡をマッピングするのに使用される状態依存マッピング関数ｈ^ｓ（ｔ）は、以下のようにその標準形のテイラー級数である。

式中、ｍは混合指数であり、

は期待される軌跡値である。一実施形態では、

は、最初に、文脈独立隠れマルコフモデル（ＨＭＭ）状態の混合ｍでの平均に初期設定され、ｓはそのＨＭＭ状態である。したがって、この実施形態は隠れ軌跡と隠れマルコフモデルの組合せを提供する。

本発明の一態様によれば、無音および雑音での予測されるベクトルは、Ｈ_ｍ，ｓ＝０と想定することによって形成される。その結果、無音および雑音での予測特徴ベクトルは、生成関連値の軌跡に依存しない。これは、無音および雑音が音声生成の中断を表す生成モデルと合致する。

このマッピング関数を使用し、その残差および雑音項を組み合わせると、式２および式４は以下のようになる。

モデルパラメータ

が期待値最大化学習アルゴリズムを使って学習され、式中

は、ＨＭＭ平均推定値と一致するように任意に選択される。このアルゴリズムはＥステップを含み、そこでは１組の学習観測ベクトルをモデルパラメータの初期推定値と共に使って、混合重み、軌跡および軌跡の二乗を含む特定の隠れ変数の値を予測するのに十分な統計を作り出す。

Ｅステップの最初の反復を実施するには、モデルパラメータの初期推定値を提供する必要がある。一実施形態では、Ｔ_ｕ（ｔ）およびγ_ｕ（ｔ）の初期推定値は、クラット音声合成装置と若干のスペクトル分析結果の知識の組合せを用いて選択される。さらに、本発明の一実施形態では、モデルの学習に使用される学習データのセットは、隠れマルコフモデルの状態と学習データのフレームとの間の整合を識別するために、まず、既存の隠れマルコフモデルに適用される。

ＨＭＭモデルによって設定されたターゲットＴ_ｕ（ｔ）、時間定数γ_ｕ（ｔ）、および整合境界を使って、上記の式５により１組の軌跡ｇ（ｔ）が推定される。以前に学習されたＨＭＭでのＨＭＭ状態の平均は、

の初期推定値として使用される。

各軌跡の決定における雑音ｗ（ｔ）をゼロとし、観測ベクトルを混合にランダムに割り当てると、Ｈ_ｍ，ｓおよび

は、各状態の各混合ごとに、観測された特徴ベクトルｏ（ｔ）と計算された特徴ベクトルの間の誤差の二乗の和を最小化すると推定され、そこでの誤差は以下のように計算される。

各混合および各状態ごとにＨ_ｍ，ｓおよび

が決定されると、各状態での各混合ごとの共分散行列Ｒ_ｍ，ｓを以下のように推定することができる。

Ｑの推定値は、まず、軌跡ｇ（ｔ）を決定する際に、観測される雑音ｖ（ｔ）が最小になるように雑音ｗ（ｔ）を推定することによって求められる。この結果は以下のようになる。

次いでＱが以下のように初期設定される。

一実施形態では、Ｒ_ｍ，ｓおよびＱは、対角行列であると想定され、したがって、行列の対角線だけが計算される。
初期設定後、Ｅステップは以下の計算を伴う。

式中、

であり、ω_ｍ，ｓは状態および混合ｍでの混合重みであり、
ｏ（ｔ）は、時間ｔにおける観測学習ベクトルであり、
ｇ（ｔ）は、時間ｔにおける期待される軌跡であり、
ｚ_ｔは、時間ｔにおける実際の軌跡であり、
ｍは混合成分であり、
Ｍは状態ｓに関連する混合成分の数であり、
各混合成分の確率Ｐ（ｍ）は均一で１／Ｍに等しく、
「ｔｒａｎｓ」は行列の転置を表し、

はｘの期待値を表す。
以上の計算で、ＥＭアルゴリズムのＥステップが完了する。

次いで、初期モデルパラメータおよびＥステップからの結果を使って、Ｍステップでのモデルパラメータを再度推定する。具体的には、それらのモデルパラメータは以下のように計算される。

また、

は勾配降下法を使って求められ、その場合、

は、それが反復と反復の間に閾値に満たない量しか変更しなくなるまで、漸進的に更新される。具体的には、

は、

を使って更新される。

本発明の一態様は、可能な音声単位ｕのターゲットＴ_ｕ（ｔ）は、個々に学習されるのではなく、同時に学習されることである。これがなされるのは、１つの音声単位のターゲットを変更すると、次の音声単位のｇ（ｔ）の値も変更されるからである。この学習は、以下の行列式を使って実施される。

式中、

であり、

は、発音単位ｕ（ｔ）に関連する行列

の単一要素である。

ＥステップおよびＭステップは、最後のモデルパラメータのセットに達するまで複数回反復することができる。一実施形態では、ＥステップおよびＭステップの反復ごとに、隠れ軌跡隠れマルコフモデルの現在の形を使って学習ベクトルＯ（ｔ）の系列を復号化する。この復号化により、ＥＭアルゴリズムの次の反復で使用できる新規の状態境界のセットが提供される。最後のパラメータセットが決定された後、それを使って観測された音響ベクトルのセットを復号化することができる。

学習が完了した後の復号化タスクでは、音響観測の系列を生成した可能性の最も高い単語系列の検索を行う。学習時の復号化では、所与の単語系列での音響観測系列の最大尤度時間整合の検索を行う。本発明の一実施形態では、接続された状態のネットワークからなる有限状態変換器を使って復号化を実施する。ネットワーク中の各状態はＨＭＭ状態を表し、状態間の接続は、辞書中の単語ごとの状態系列を定義する辞書に基づくものである。したがって、状態ネットワークを通るあらゆる経路は、その辞書中の単語を表す。このネットワークは、各単語の終了状態がその辞書中の各単語の開始状態に接続されるように、それ自体で閉じている。

簡単な状態ネットワークの例を図３に示す。図３の状態ネットワークは、「ｓｌｏｗ」、「ｓｉｔ」、「ｃａｔ」、「ｃａｎ」という４つの単語を表している。図示はしないが、各終了状態３００、３０２、３０４は各開始状態３０６、３０８に接続されている。各状態は、遷移３１０などの自己遷移を含むことに留意されたい。

復号化では、入力特徴ベクトルが与えられた場合の、このネットワークを通る最大確率経路の検索を行う。入力特徴ベクトルごとに、その状態に至るその状態を含む完全な経路の確率に基づき、各使用可能状態への最大尤度遷移を選択する。すべての特徴ベクトルを処理した後で、一単語の末尾で終了する確率が最大の経路を復号化単語系列として選択する。

一実施形態では、一経路の確率は、その経路に沿った言語モデル状態ｈ間の遷移確率を提供する言語モデル確率、その経路に沿った状態ｓ間の遷移の尤度を示すＨＭＭ遷移確率、および時間フレームｔにおける状態ｓでの軌跡Ｇの現在値に依存する状態確率を含めて、複数の別個の確率に依存する。

図４に、本発明による復号化方法の流れ図を示す。ステップ４００で、復号化システムを初期設定する。ここでは、開始状態ｓ＝０、ｈ＝０、およびＧ（０，−１）＝ｔａｒｇｅｔ＿ｒｅｌａｘｅｄ（時間ｔ＝０におけるｔａｒｇｅｔ＿ｒｅｌａｘｅｄ）での単一のアクティブパスを作成する。ここで、「ｔａｒｇｅｔ＿ｒｅｌａｘｅｄ」は、リラックスした状態にある人間の調音体に関連する軌跡値を表す。

ステップ４０２で、入力信号からの入力値を選択する。以下で詳細に説明するように、ここでは、入力信号をフレームに分割し、各フレームをメル周波数ケプストラム係数などの特徴ベクトルに変換し、各時点ｔにおいて復号化のために特徴ベクトルの１つを選択する。

ステップ４０４で、選択された特徴ベクトルを使って１セットの状態確率を計算する。具体的には、ＨＭＭ状態ｓ、言語モデル状態ｈ、および時間ｔにおいてアクティブな軌跡ｃ（Ｇ）のクラスの組合せごとに、別々の状態確率を計算する。本発明の一実施形態では、連続軌跡値Ｇは、２^２４通りの可能なクラスの１つに割り当てられる。これは、その復号化を実現可能にするためになされる。このクラスを使用しなかった場合は、Ｇのすべての可能な値に対して別個の状態スコアを計算しなければならなくなるはずである。この軌跡のクラスは、サーチ空間を限定するために使用されるにすぎず、確率計算自体には使用されないことに留意されたい。確率計算には、Ｇの連続値を直接使用する。

アクティブな［ｓ，ｈ，ｃ（Ｇ）］セットの状態確率は以下のように計算される。

この式は、実際の軌跡ｚ（ｔ）の代わりに計算された軌跡ｇ（ｔ）を用いていることを除いては上記の式１３と同様であり、この確率はすべての可能な混合成分にわたって合計される。したがって、この確率は、混合成分ごとに観測特徴ベクトルｏ（ｔ）を正規分布に適用することによって求められ、その場合、各正規分布は、本質的に、状態ｓでの時間ｔにおける軌跡ｇ（ｔ）の現在値に基づいて動的に調整されたＨＭＭ平均値

である平均値を有する。確率の対数を使用して数値アンダーフローを回避することに留意されたい。

各状態確率を、その状態に至る経路の経路確率と組み合わせて、各セット［ｓ，ｈ，ｃ（Ｇ）］ごとの合計確率を形成する。ステップ４０６で、すべてのアクティブなセット中で最大の合計確率を求める。

ステップ４０８では、それ以外にも処理すべき入力信号のフレームがあるかどうか判定する。それ以外にも処理すべきフレームがある場合は、ステップ４１０に進み、そこで最大合計確率の閾値内にないセットを取り除く。

状態４１０で除去されなかった各セット［ｓ，ｈ，ｃ（Ｇ）］ごとに、ステップ４１２で後続セット［ｓ’，ｈ’，ｃ’（Ｇ）］を識別する。辞書を使って、現在の状態ｓおよび言語モデル状態ｈからそれぞれ可能な後続状態ｓ’および可能な言語モデル状態ｈ’を識別する。軌跡の後続クラスは、まず、後続状態ｓ’、および現在のセット［ｓ，ｈ，ｃ（Ｇ（ｔ））］に関連する軌跡Ｇ（ｔ）の連続値を利用して後続状態での軌跡Ｇ（ｔ＋１）の値を求めることによって求められる。具体的には、軌跡Ｇ（ｔ＋１）の値は以下のように求められる。
Ｇ（ｔ＋１）＝Φ_{ｕ（ｔ＋１）}Ｇ（ｔ）＋Ｖ_{ｕ（ｔ＋１）} 式３４
式中、行列Φ_{ｕ（ｔ＋１）}およびＶ_{ｕ（ｔ＋１）}中のパラメータは、後続状態ｓ’をその一部とする音声単位に基づいて選択され、Ｇ（ｔ）はセット［ｓ，ｈ，ｃ（Ｇ（ｔ））］の軌跡Ｇの現在の連続値である。

次いで、軌跡ｃ’（Ｇ）の後続クラスを求めるために連続値Ｇ（ｔ＋１）のクラスを求め、それによって後続セット［ｓ’，ｈ’，ｃ’（Ｇ）］を定義する。

次いで、現在のセットから後続セットへの遷移の対数確率を、セット［ｓ，ｈ，ｃ（Ｇ）］で終わる最適経路の対数確率に加えて、後続セット［ｓ’，ｈ’，ｃ’（Ｇ）］に入る経路の確率を生成する。単語内遷移では、セット遷移確率は、状態ｓから状態ｓ’への遷移のＨＭＭ遷移確率だけに基づくものである。しかし、単語間における遷移の場合、遷移の確率は、ＨＭＭによって提供される状態ｓと状態ｓ’の間の遷移の対数確率と、個々の単語系列の尤度を示す言語モデルによって提供される、状態ｈから状態ｈ’のへの遷移の対数確率の和である。

この後続状態が以前に作成されていた場合は、この後続セットに至る現在の経路の確率をそのセットに至る既存の経路の確率と比較する。現在の経路の確率が既存の経路の確率より大きい場合は、既存の経路を現在の経路で置き換える。ただし、後続セット［ｓ’，ｈ’，ｃ’（Ｇ）］に至る既存の経路の確率が現在の経路より大きい場合は、既存の経路を維持し、現在の経路を削除する。したがって、ステップ４１２では、可能な各後続セットに至る最大確率経路だけを維持する。

ステップ４１２の後には、次の入力フレームに対する一群の後続セットが識別されており、各後続セットはそれに入る唯一の経路を有する。さらに、各後続セットは、後続状態に入る経路によって表される単語系列または状態系列の回復を可能にするバックトレースデータ構造を含む。学習の完了後に復号化する場合は、このデータ構造は、経路に沿って識別された最後の単語、最後から２番目の単語に対して構築された前のデータ構造へのポインタ、および、任意選択で、最後の単語が終了した時点を含む。したがって、経路に沿った単語ごとに１つずつの、データ構造の連鎖があり、データ構造中のポインタを使ってその連鎖を遡ることにより、その経路の単語系列、および必要に応じて、入力フレームに関連する単語系列の分節化を回復することができる。学習中に復号化する場合は、このデータ構造は単語ではなく、状態の識別を含む。

ステップ４０８で、それ以上処理すべきフレームがない場合は、システムは、ステップ４１４で、一単語の末尾で終わる最大確率経路をその入力信号を表すものとして選択する。次いで、この経路のバックポインタデータ構造を遡って、その経路であらわされる単語系列または状態系列を見つけ出す。次いで、この単語または状態の系列を復号化出力として使用する。

図５に、本発明を使用できる音声認識システムの構成図を示す。図５では、訓練者またはユーザである話者５００は、マイクロホン５０４に向かって発声する。マイクロホン５０４は、１つまたは複数の雑音源５０２からの相加性雑音も感受する。マイクロホン５０４によって検出された音声信号は電気信号に変換され、アナログディジタル変換器５０６電子信号に提供される。

アナログディジタル変換器５０６は、マイクロホン５０４からのアナログ信号を一連のディジタル値に変換する。いくつかの実施形態では、アナログディジタル変換器５０６は、１６ｋＨｚ、１サンプル当たり１６ビットでアナログ信号をサンプリングし、それによって毎秒３２キロバイトの音声データを生成する。これらのディジタル値がフレーム構築部５０７に提供され、一実施形態ではそこでそれらの値が、１０ミリ秒間隔で開始する２５ミリ秒フレームにグループ化される。

フレーム構築部５０７によって生成されたデータのフレームは特徴抽出部５０８に提供され、そこで各フレームから特徴が抽出される。特徴抽出モジュールの例には、線形予測符号化（ＬＰＣ）を実施するモジュール、ＬＰＣから導出されたケプストラム、知覚線形予測（ＰＬＰ）、聴覚モデル特徴抽出、およびメル周波数ケプストラム係数（ＭＦＣＣ）特徴抽出が含まれる。本発明はこれらの特徴抽出モジュールだけに限られるものではなく、本発明の文脈内で他のモジュールを使用することもできることに留意されたい。

入力信号が学習信号である場合、この一連の特徴ベクトルは学習部５２４に提供され、そこでこれらの特徴ベクトルおよび学習テキスト５２６を使って、本発明の生成モデル５２８に学習させる。例えば、前述のＥＭ学習アルゴリズムを使ってこの生成モデルに学習させることができる。

前述したように、ＥＭ学習アルゴリズムは反復することができる。そうした場合には、ＥＭアルゴリズムを反復後その都度、復号化部５１２に学習特徴ベクトルを適用して、学習信号のフレームと生成モデル中の状態の間の整合境界を識別する。次いで、次の学習の反復のために、これらの整合境界を学習部５２４に提供する。そうした学習復号化中は、状態ネットワークは、学習テキスト５２６で定義された状態系列に制限される。したがって、学習復号化中には語彙５１４は使用されない。

復号化部５１２は、特徴ベクトルの流れ、語彙５１４または学習テキスト５２６、言語モデル５１６、および生成モデル５２８に基づいて最大尤度単語系列を識別する。一実施形態では、語彙５１４は、特徴ベクトルの系列から単語を識別するために復号化部５１２がトラバースする有限状態ネットワークを定義する。

最も確率の高い仮説単語系列が、信頼性測定モジュール５２０に提供される。信頼性測定モジュール５２０は、２次的音響モデル（図示せず）に一部は基づき、どの単語が音声認識システムによって不適切に識別された可能性が最も高いかを識別する。次いで、信頼性測定モジュール５２０は、その仮説単語系列を、どの単語が不適切に識別された可能性があるかを示す識別子と共に出力モジュール５２２に提供する。信頼性測定モジュール５２０は本発明の実施に必要であるとは限らないことを、当分野の技術者は理解するであろう。

以上、本発明を具体的な実施形態に関して説明してきたが、本発明の精神および範囲を逸脱することなく形態および詳細に変更を加えることができることを、当分野の技術者は理解するであろう。

本発明を実施できる一コンピュータ環境を示す構成図である。 本発明を実施できる別のコンピュータ環境を示す構成図である。 単純な有限状態図である。 本発明の一実施形態による復号化方法を示す流れ図である。 本発明の一実施形態による音声認識システムを示す構成図である。

符号の説明

１００ コンピュータシステム環境
１１０ コンピュータ
１２０ 処理装置
１２１ システムバス
１３０ システムメモリ
１３１ 読取り専用メモリ（ＲＯＭ）
１３２ ランダムアクセスメモリ（ＲＡＭ）
１３３ 基本入出力システム（ＢＩＯＳ）
１３４ オペレーティングシステム
１３５ アプリケーションプログラム
１３６ プログラムモジュール
１３７ プログラムデータ
１４０ インターフェイス
１４１ ハードディスクドライブ
１４４ オペレーティングシステム
１４５ アプリケーションプログラム
１４６ プログラムモジュール
１４７ プログラムデータ
１５０ インターフェイス
１５１ 磁気ディスクドライブ
１５２ 磁気ディスク
１５５ 光ディスクドライブ
１５６ 光ディスク
１６０ ユーザ入力インターフェイス
１６１ ポインティング装置
１６２ キーボード
１６３ マイクロホン
１７０ ネットワークインターフェイスまたはアダプタ
１７１ ローカルエリアネットワーク（ＬＡＮ）
１７２ モデム
１７３ 広域ネットワーク（ＷＡＮ）
１８０ リモートコンピュータ
１８５ リモートアプリケーションプログラム
１９０ ビデオインターフェイス
１９１ モニタ
１９６ プリンタ
１９７ スピーカ
２００ モバイル装置
２０２ マイクロプロセッサ
２０４ メモリ
２０６ 入出力構成要素
２０８ 通信インターフェイス
２１０ バス
２１２ オペレーティングシステム
２１４ アプリケーションプログラム
２１６ オブジェクト記憶
５００ 話者
５０２ 雑音源
５０４ マイクロホン
５０６ アナログディジタル変換器
５０７ フレーム構築部
５０８ 特徴抽出部
５１２ 復号化部
５１４ 語彙
５１６ 言語モデル
５２０ 信頼性測定モジュール
５２２ 出力モジュール
５２４ 学習部
５２６ 学習テキスト
５２８ 生成モデル

Claims (34)

1. 音声認識の方法であって、
   再帰的定義を使って、少なくとも１つの前のフレームについて求めた生成関連値に基づき、入力信号のフレームと復号化状態とについての生成関連値を求めること、
   前記状態についての前記生成関連値を使って前記状態の確率分布を求めること、および
   前記状態の前記確率分布に基づいて前記フレームに関連する観測値の確率を求めること
   を含むことを特徴とする方法。
2. 状態の確率分布を求めることは前記生成関連値を使って前記分布の平均値を求めることを含むことを特徴とする請求項１に記載の方法。
3. 前記分布の前記平均値を求めることは前記状態について学習された値を使って前記平均値を求めることをさらに含むことを特徴とする請求項２に記載の方法。
4. 前記状態について学習された前記値は隠れマルコフモデル状態に関連する平均値に初期設定されることを特徴とする請求項３に記載の方法。
5. 前記状態について学習された前記値は前記生成関連値の期待値を含み、前記平均値を求めることは前記期待値と前記生成関連値の間の差を求めることを含むことを特徴とする請求項３に記載の方法。
6. 前記平均値を求めることは、前記差に前記状態に関連する値を掛けて積を生成することをさらに含むことを特徴とする請求項５に記載の方法。
7. 前記平均値を求めることは、前記状態に関連する別の値に前記積を加えることをさらに含むことを特徴とする請求項６に記載の方法。
8. 生成関連値を求めることは、２つの以前に求めた生成関連値に基づいて前記生成関連値を求めることを含むことを特徴とする請求項１に記載の方法。
9. 前記生成関連値を求めることは、ターゲットに基づいて前記生成関連値を求めることをさらに含むことを特徴とする請求項８に記載の方法。
10. 前記ターゲットは、一部は前記状態によって形成される音声単位に関連するものであることを特徴とする請求項９に記載の方法。
11. 前記ターゲットは複数のターゲットの１つであり、各ターゲットは別個の音声単位に関連するものであることを特徴とする請求項１０に記載の方法。
12. 前記複数のターゲットは、前記ターゲットのすべてが同時に更新されるように学習されることを特徴とする請求項１１に記載の方法。
13. 前記確率を使って、観測値の系列で表される単語の系列を識別することをさらに含むことを特徴とする請求項１に記載の方法。
14. 前記確率を使って学習スクリプト中の音の系列の時間的境界を識別することをさらに含むことを特徴とする請求項１に記載の方法。
15. 生成関連値を求めることは、求める際に雑音項を含めないことを含むことを特徴とする請求項１に記載の方法。
16. 第１の時点での第１の生成関連値を求めること、
    前記第１の生成関連値を使って第２の時点での第２の生成関連値を求めること、
    前記第１のおよび第２の生成関連値を使って、雑音項を使用せずに第３の時点での第３の生成関連値を求めること
    を含むステップを実施するためのコンピュータ実行可能命令を含むことを特徴とするコンピュータ可読媒体。
17. 第３の生成関連値を求めることはターゲットを使用することをさらに含むことを特徴とする請求項１６に記載のコンピュータ可読媒体。
18. 前記ターゲットは複数のターゲットの１つであり、各ターゲットは異なる音韻単位に関連することを特徴とする請求項１７に記載のコンピュータ可読媒体。
19. 前記複数のターゲットは同時に学習されることを特徴とする請求項１８に記載のコンピュータ可読媒体。
20. 前記ステップは、前記第３の生成関連値を使って復号化状態の確率分布を求めることをさらに含むことを特徴とする請求項１６に記載のコンピュータ可読媒体。
21. 前記ステップは、前記状態の前記確率分布に観測値を適用して、前記状態が与えられた場合の前記観測値の確率を求めることをさらに含むことを特徴とする請求項２０に記載のコンピュータ可読媒体。
22. 前記状態は隠れマルコフモデル状態を含むことを特徴とする請求項２１に記載のコンピュータ可読媒体。
23. 前記ステップは、観測値の系列を復号化して前記観測値と状態の集まりの間の１組の整合境界を決定することをさらに含むことを特徴とする請求項２１に記載のコンピュータ可読媒体。
24. 前記ステップは、前記整合境界を使って１組のモデルパラメータを学習することをさらに含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
25. 前記モデルパラメータの少なくとも１つを使って状態の確率分布を定義することを特徴とする請求項２４に記載のコンピュータ可読媒体。
26. 復号化することは、セットのネットワークを通る経路を識別することを含み、各セットは状態と前記生成関連値のクラスとを含むことを特徴とする請求項２３に記載のコンピュータ可読媒体。
27. 各セットは言語モデル状態をさらに含むことを特徴とする請求項２６に記載のコンピュータ可読媒体。
28. 音声認識モデルに学習させる方法であって、
    １組の学習データフレームのそれぞれについて隠れ軌跡パラメータの値を求めること、
    前記隠れ軌跡パラメータ値を使って、前記隠れ軌跡パラメータの複数のターゲット中のすべてのターゲットを同時に設定すること
    を含むことを特徴とする方法。
29. 前記各ターゲットは異なる音声単位に関連することを特徴とする請求項２８に記載の方法。
30. 前記各隠れ軌跡パラメータは、前のフレームでの前記隠れ軌跡パラメータの値に依存することを特徴とする請求項２８に記載の方法。
31. 前記各隠れ軌跡パラメータ値はさらに、前記フレームに関連する以前に決定されたターゲットに依存することを特徴とする請求項３０に記載の方法。
32. 前記以前に決定されたターゲットは、前記フレームに整合させた音声単位に関連するものであることを特徴とする請求項３１に記載の方法。
33. 学習データのフレームを復号化することによって前記音声単位を前記フレームに整合させることを特徴とする請求項３２に記載の方法。
34. 前記ターゲットを利用して前記学習データのフレームを復号化することを特徴とする請求項３３に記載の方法。
    

Images