JP2006243213A - 言語モデル変換装置、音響モデル変換装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】 英語の強調発話に対し頑健な言語モデル及び音響モデルを作成できるようにする。
【解決手段】 言語モデル変換装置は、単語辞書の見出しの各々について音節境界を推定する音節境界推定部９２と、音節境界推定部により推定された音節境界の各々に対し、当該音節境界と隣接する音素の記述を、短時間ポーズの挿入を許容するように｛｜ｓｉｌ｝という記述を追加した形式に書換える音素記述書換部９４とを含む。音響モデルについては、同様に音素モデルの各々について末尾にポーズの存在を許容する形式に変換する。
【選択図】 図４

Description

この発明は自然言語処理に関し、特に、強調発声された発話に対する音声認識精度を高めるための技術に関する。

人間とコンピュータシステムに代表される機械系との間のインターフェイスとして、近年種々のものが提案されている。それらの中で最近特に使用される頻度が高くなっているものに、音声がある。音声を用いることによって、人間と機械系との間のコミュニケーションを、人間同士の間でのそれに近い形で実現できる。

こうしたコミュニケーションを構成する技術の一つに音声認識がある。利用者の音声を精度良く認識できることが人間と機械系との円滑なコミュニケーションを実現する上では必須である。しかし、実際上は現在の音声認識技術はまだ万全とは言えない。特に現在の音声認識の主流は、統計的な手法であるが、それゆえに発生する問題もある。その一つは、人間の強調発声である。

強調発声は、誤認識した音声認識システムに対し、利用者が言い直しをする場合等によく観測される。こうした場合、利用者は、音声認識システムによる音声認識を助けるために、誤認識された単語又はフレーズを強調して発声する傾向がある。こうした発話を「誤り訂正発話」と呼ぶ。しかし、誤り訂正発話は通常発話とは異なる音響的特徴を持つため、通常発話に基づく統計情報により音声認識を行なう音声認識システムでは、かえって音声認識の精度が悪化する可能性がある。

図２１に、従来の典型的な音声認識システムの構成を示す。図２１を参照して、この音声認識システム３８０は、対象言語において単語列が使用される確率を示す言語モデル７２と、対象言語の発話音声を使用した学習により、入力される音声がある音素を示すものである確率を出力するための音響モデル７８と、言語モデル７２及び音響モデル７８を用いて、入力音声８０をデコード（音声認識）し、音声認識結果３８２を出力するためのデコーダ８２とを含む。

言語モデル７２は、例えば大量のコーパスを用いた統計的学習により構築される。個々の単語の出現確率の集合はユニグラム言語モデルと呼ばれ、ある単語の出現確率を表す。単語列が二つの単語からなる場合にはバイグラム言語モデル、３つの場合にはトライグラム言語モデルと呼ばれる。言語モデルを用いることにより、デコーダ８２のデコードの際に得られた単語又は単語列の出現確率を知ることができる。

音響モデル７８は、通常は音素ごとに準備されたＨＭＭ（隠れマルコフモデル）を含む。図２２に隠れマルコフモデルにより表された音素モデル３９０を示す。ある音声の特徴量が与えられると、各音素に対応する音素モデル３９０により、その音声が当該音素である尤度が出力される。

デコーダ８２は、入力音声８０の特徴量に基づき、音響モデル７８から認識結果の候補である音素列を尤度付きで得ると同時に、それら音素列に対応する単語列の出現確率を言語モデル７２を参照して算出する。そして、最も尤度の高い単語列が音声認識結果３８２として出力される。
Ｓ．オヴィアッテ、「人−コンピュータエラー解決の間の強調音声適応のＣＨＡＭモデル」、ＩＣＳＬＰ予稿集、ｐｐ．２３１１−２３１４、１９９８年１１月−１２月（S. Oviatte, "The CHAM model of hyperarticulate adaptation during human-computer error resolution," Proc. ICSLP, pp.2311-2314, Nov.-Dec. 1998.） Ｈ．ソルタウ及びＡ．ワイベル、「強調音声発話の認識性能に与える影響について」、ＩＣＳＬＰ予稿集、ｐｐ．２２９−２３２、１９９８年１１月−１２月（H. Soltau and A. Waibel, "On the influence of hyperarticulated speech on the recognition performance," Proc. ICSLP, pp.229-232, Nov.-Dec. 1998.） Ｋ．オクダ、Ｔ．マツイ、Ｓ．ナカムラ、「強調日本語発話の音響モデル構築に向けて」、ＥＵＲＯＳＰＥＥＣＨ予稿集、ｐｐ．１６５３−１６５６、２００１年（K. Okuda, T. Matsui, S. Nakamura, "Towards the Creation of Acoustic Models for Stressed Japanese Speech," Proc. Eurospeech, pp.1653-1656, 2001.） Ｂ．フィッシャー、「ｔｓｙｌｂ２−１．１−音節境界推定ソフトウェア」、http://www.nist.gov/speech/tools、１９９６年８月（B. Fisher, tsylb2-1.1 - syllabification software. http://www.nist.gov/speech/tools, August 1996.） Ｔ．ジツヒロ、Ｔ．マツイ、Ｓ．ナカムラ、「データ駆動及び決定木クラスタリングに基づく連続状態分割」、ＳＳＰＲ予稿集、ｐｐ．４３−４６、２００３年（T. Jitsuhiro, T. Matsui, S. Nakamura, "A Successive State Splitting Algorithm Based on the MDL Criterion by Data-driven and Decision Tree Clustering," Proc. SSPR, pp.43-46, 2003.） Ｔ．タケザワ、Ｅ．スミタ、Ｆ．スガヤ、Ｈ．ヤマモト、Ｓ．ヤマモト、「実世界における旅行会話の音声翻訳のための大規模バイリンガルコーパスに向けて」、ＬＲＥＣ予稿集、ｐｐ．１４７−１５２、２００２年（T. Takezawa, E. Sumita, F. Sugaya, H. Yamamoto, S. Yamamoto, "Toward a broad-coverage bilingual corpus for speech translation of travel conversations in the real world," Proc. LREC, Vol. I, pp.147-152, 2002.） Ｔ．タケザワ、Ｔ．モリモト、Ｙ．サギサカ、「ＡＴＲにおける発話翻訳のための音声及び言語データベース」、オリエンタルＣＯＣＯＳＤＡワークショップ予稿集、ｐｐ．１４８−１５５、１９９８年（T. Takezawa, T. Morimoto, Y. Sagisaka, "Speech and language databases for speech translation research in ATR," Proc. Oriental COCOSDA Workshop, pp.148-155, 1998.）

非特許文献１及び非特許文献２においては、英語音声における誤り訂正発話は、通常発話と比較して以下の特徴を持つことが報告されている。

（１）母音の継続時間長の増加、
（２）発話速度の低下、
（３）ピッチの変化、及び
（４）音圧の増加。

一方、非特許文献３は、日本語の誤り訂正発話においては音節間に短時間ポーズが挿入されることを報告し、日本語音声強調発話に対し頑健な音響モデルを提案している。

このような音節間ポーズは英語音声においても同様に観測されると考えられる。例えば、「ｆｉｆｔｙ ｄｏｌｌａｒｓ」と「ｆｉｆｔｅｅｎ ｄｏｌｌａｒｓ」との意味は互いに大きく異なるにもかかわらず、同じ状況で使用される可能性が高く、かつ発音も互いに類似している。このような単語を相手に対して正確に伝えるために、音節「ｆｉｆ」と音節「−ｔｙ」、または音節「ｆｉｆ」と音節「−ｔｅｅｎ」との間に短時間ポーズが挿入されると考えられる。

音声は、話者の性別又は心理状態等、様々な要因により変動する。図２３（Ａ）に「ｏｐｅｎ ｔｏｄａｙ」という単語列を通常音声で発声した際のスペクトログラムを示し、図２３（Ｂ）に同じ単語列を「老人と会話するように」と指示された発話者が発声した際のスペクトログラムを示す。老人は耳が遠いことが多く、老人と会話するときの発声は音声強調発話となることが多い。

図２３から明らかなように、音声強調発話では上記した（１）の特徴である母音の継続時間長の増加に加え、音節「ｔｏ」と音節「−ｄａｙ」との間の短時間ポーズの継続時間長の増加が見られる。

日本語の場合にはこうした短時間ポーズが挿入されるのは必ず母音の後であることが明確である。そのため日本語音声強調発話に対して頑健な音響モデルを構築するのは比較的容易である。しかし英語のようにどの音素の後にも音節の区切りが来る可能性のある言語では、このような短時間ポーズの挿入が予想される強調発話に対して頑健な音響モデルを作ることは困難である。

それ故に本発明の目的は、英語のようにどの音素の後にも音節の区切りが来る可能性のある言語における強調発話に対し、頑健な音声認識を実現できる言語モデル及び音響モデルの作成を可能にする言語モデル変換装置及び音響モデル変換装置を提供することである。

本発明の第１の局面に係る言語モデル変換装置は、音節の区切りが存在する所定の言語における言語モデルを、強調発声を許容する形式に変換する言語モデル変換装置であって、所定の言語の、音節境界を有する言語モデルを準備するための準備手段と、準備手段により準備された言語モデルの音節境界の各々に対し、当該音節境界と隣接する音素の記述を、短時間ポーズの挿入を許容する所定の形式に書換えるための音素記述書換手段とを含む。

好ましくは、準備手段は、言語モデルについて音節境界を推定するための音節境界推定手段を含む。

本発明の第２の局面に係る音響モデル変換装置は、音節の区切りが存在する所定の言語における音響モデルを、強調発声を許容する形式に変換する音響モデル変換装置であって、音響モデルは、複数の音素モデルを含み、音響モデル変換装置は、音節間のポーズを表す音響モデルを準備するための手段と、ポーズを表す音響モデルを参照して、複数の音素モデルの各々に対し、状態系列の末尾に、ポーズに対応する新たな状態と、当該新たな状態を迂回して終端に到達する経路とを追加するように、音素モデルの記述を書換えるための音素モデル書換手段とを含む。

好ましくは、複数の音素モデルの各々は、複数の状態からなる状態系列を有する隠れマルコフモデルからなる。

本発明の第３の局面に係る言語モデル変換装置は、音節の区切りが存在する所定の言語における言語モデルを、強調発声を許容する形式に変換する言語モデル書換装置であって、所定の言語の、音節境界を有する言語モデルを準備するための準備手段と、準備手段により準備された言語モデルについて、当該言語モデルを構成する音素の記述の各々に対して、当該音素の前後に、音節境界推定手段により推定された音節境界が存在するか否かを判定し、前に存在する場合、後ろに存在する場合、又は前後の双方に存在する場合にそれぞれ、別個の音素記述形式で音素の記述を書換えるための手段とを含む。

本発明の第４の局面に係る音響モデル変換装置は、音節の区切りが存在する所定の言語における音響モデルを、強調発声を許容する形式に変換する音響モデル変換装置であって、音響モデルは、複数の音素モデルを含み、音響モデル変換装置は、音節間のポーズを表す音響モデルを準備するための手段と、ポーズを表す音響モデルを参照して、複数の音素モデルの各々に対し、状態系列の先頭の状態をポーズの直後の状態に置換した状態系列を追加して新たな音素モデルを作成するための第１の音素モデル作成手段と、ポーズを表す音響モデルを参照して、複数の音素モデルの各々に対し、状態系列の末尾に、ポーズを表す新たな状態と当該新たな状態を迂回して終端に接続する新たな経路とを追加して得られる新たな状態系列を追加して、新たな音素モデルを作成するための第２の音素モデル作成手段と、ポーズを表す音響モデルを参照して、複数の音素モデルの各々に対し、状態系列の先頭の状態をポーズの直後の状態に置換する操作と、状態系列の末尾にポーズを表す新たな状態と当該新たな状態を迂回して終端に接続する新たな経路とを追加する操作との組合わせにより得られる新たな状態系列を追加して、新たな音素モデルを作成するための第３の音素モデル作成手段と、複数の音素モデルの各々に対して第１、第２及び第３の音素モデル作成手段により作成された音素モデルを併合することにより、新たな音響モデルを作成するための音響モデル併合手段とを含む。

本発明の第５の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかの言語モデル変換装置として動作させるものである。

また、本発明の第６の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したしたいずれかの音響モデル変換装置として動作させるものである。

以下に述べる本発明の実施の形態では、いずれの音素の後にも音節の区切りが来る可能性のある言語の例として英語を採用する。そして、英語において音節間短時間ポーズを考慮した音声認識を精度良く実現する音声認識装置について述べる。いずれの場合も音声認識のデコーダ自体は従来のものを用いる。第１の実施の形態に係る音声認識装置では、言語モデルを書換えることにより音節間短時間ポーズの認識を可能にする。第２の実施の形態に係る音声認識装置では、音響モデルを書換えることにより音節間短時間ポーズの認識を可能にする。第３の実施の形態では、言語モデルと音響モデルとの双方を書換えることにより、音節間短時間ポーズの認識を可能にする。

なお、以下の実施の形態では言語モデル、音響モデルなどはいずれもコンピュータの記憶装置に記憶される。デコーダはコンピュータプログラムにより実現される。記憶装置としてはハードディスク等の不揮発性記憶媒体を用いるものが好ましい。実際の音声認識の際には、動作を高速化するために、これら各モデルをメモリにロードしてメモリ上で操作することが望ましい。

なお、以下の実施の形態では、同じ部品には同じ参照番号を付す。それらの名称及び機能も同一である。したがってそれらについての詳細な説明を繰返すことはしない。

＜第１の実施の形態＞
［構成］
第１の実施の形態に係る音声認識装置では、上記したように言語モデルを書換える。図１上段に、書換え前の言語モデル（図２１に示す言語モデル７２）の単語辞書（レキシコン）の見出し６０（「ａｅｒｏｂｉｃｓ」に対するもの）の記述形式を、図１下段には、書換え後の言語モデルの単語辞書の同じ見出し６２を、それぞれ示す。

図１下段の見出し６２が図１上段の見出し６０と異なるのは、音節「ＡＸＲ」と音節「ＯＷ」との間、及び音節「ＯＷ」と音節「Ｂ」との間に、それぞれポーズの存在を許す記述「｛｜ｓｉｌ｝」６４及び６６が挿入されていることである。この記述において、中カッコ｛ ｝は、このカッコ内に列挙されたいずれかがここに挿入されることを示す。記号「｜」は、列挙される対象を区分する記号である。記号「ｓｉｌ」はポーズを示す。「｜」の前には何もないが、これはこの部分に何も挿入されなくても良いことを示す。すなわち、記述「｛｜ｓｉｌ｝」は、この前後の音節の間に何も存在しない場合と、ポーズが挿入される場合との、双方を許容することを示す。

図２にこうした記述形式により表される音素の状態パス（状態系列）について示す。図２を参照して、この状態パス４０は、基本的には状態ＡＸＲ，ＯＷ，Ｂ，ＩＸ，Ｋ及びＳを含み、状態はこの順番で遷移する。しかし、状態ＡＸＲと状態ＯＷとの間、及び状態ＯＷと状態Ｂとの間にそれぞれ短時間ポーズを現す状態５０及び５２が挿入され、かつこれら状態５０及び５２を経由しないパス５４及び５６も存在する。

言語モデル７２の単語辞書の見出しは、本実施の形態では図１上段の形式で記述されていることが想定されている。本実施の形態ではこの形式の記述を図１下段の形式に書換える。

図３に、第１の実施の形態に係る音声認識システム７０のブロック図を示す。図３を参照して、音声認識システム７０は、言語モデル７２と、この言語モデル７２の単語辞書の各見出しを図１の上段に示される形式から下段に示される形式に書換えて強調発声用言語モデル７６を作成するための単語辞書書換部７４と、従来のものと同様の音響モデル７８と、強調発声用言語モデル７６及び音響モデル７８を用いて入力音声８０をデコードして音声認識結果８４を出力するための、図２１に示すものと同じデコーダ８２とを含む。

図４に、単語辞書書換部７４をコンピュータプログラムで実現する際のプログラムの制御構造をフローチャート形式で示す。図４を参照して、このプログラムでは、ステップ９０で言語モデル７２のファイルを開き、ステップ９１で出力ファイル（強調発声用言語モデル７６のためのファイル）を開く。

続いて、以下に説明するステップ９２〜ステップ９６までの処理を、言語モデル７２の単語辞書の全ての単語の見出しに対して実行する。

まずステップ９２では、単語の音節境界の推定を行なう。この推定のためには、非特許文献４において紹介され頒布されている音節境界推定ソフトウェア（ｔｓｙｌｂ２）を用いることができる。

続いて、こうしてある単語について推定された全ての音節境界に対し、その音節境界の部分に前記した記述「｛｜ｓｉｌ｝」を挿入する処理（ステップ９４）を行なう。

こうして短時間ポーズの存在を許す形式に書換えた単語を、付随する言語モデル情報とともに出力ファイルに追加出力する。

ステップ９２からステップ９６までの処理を単語辞書の全ての単語について行なった後、ステップ９８で言語モデルのファイル及び出力ファイルを閉じて処理を終了する。こうして得られた出力ファイルが図３に示す強調発声用言語モデル７６である。

［動作］
この第１の実施の形態に係る音声認識システム７０は以下のように動作する。予め言語モデル７２及び音響モデル７８が準備されているものとすると、音声認識システム７０の動作には二つの局面がある。第１は単語辞書書換部７４を用いて言語モデル７２から強調発声用言語モデル７６を作成する局面、第２は、得られた強調発声用言語モデル７６及び音響モデル７８を用いて入力音声８０をデコードする局面である。

最初に単語辞書書換部７４の動作について説明する。単語辞書書換部７４は、言語モデル７２と出力ファイルとを開くと、言語モデル７２の単語辞書の各単語の見出しについて、音節境界を推定する。ある見出しについて推定された全ての音節境界に、記述「｛｜ｓｉｌ｝」を挿入するように見出しを書換える。さらに単語辞書書換部７４は、こうして書換えられた見出しを、付随する言語モデルの情報とともに出力ファイルに追加出力する。この処理を言語モデル７２の単語辞書の全ての単語の見出しについて完了することにより、強調発声用言語モデル７６が得られる。

デコーダ８２の動作原理自体は図２１に示す従来のものと変わらない。ただしこの第１の実施の形態では、強調発声用言語モデル７６の見出しの記述が変わり、音響モデル７８から得られる音素列と強調発声用言語モデル７６の各見出しとを照合する場合に、音節境界に短時間ポーズを含むものも含まないものと同じ単語として尤度計算が行なわれる。したがって、強調発声に対しても、正しく音声認識が行なわれる可能性が高くなる。

＜第２の実施の形態＞
［構成］
上記した第１の実施の形態の音声認識システム７０では、言語モデル７２を書換えている。この書換えにより得られた強調発声用言語モデル７６の単語辞書に含まれる見出しの数そのものは言語モデル７２と同じであるが、見出しの単語中の音節境界に短時間ポーズの挿入が許されている。そのため、各見出しの音節境界ごとに、短時間ポーズの挿入がある場合とない場合との双方について尤度計算を行なわなければならない。その結果、第１の局面の処理は簡単であり、第２の局面におけるデコーダ８２による音声認識時の計算は正確であるが、計算量が大きくなる危険性がある。

そこで、この第２の実施の形態に係る音声認識システムでは、言語モデル７２ではなく音響モデル７８を書換え、音響モデル７８を構成する各音素モデルの末尾に短時間ポーズの存在が許されるようなものとする。その様子を図５に示す。

図５に示す音素モデル１００が図２２に示される通常の音素モデル３９０と異なるのは、音素モデル３９０の最後の状態の後に短時間ポーズに対応する状態１０２と、この状態１０２を迂回して終端に接続する経路とが挿入されることにより新たな状態系列となっていることである。音響モデル７８を構成する全ての音素モデルをこうした音素モデル１００の形態に書換えることにより、直後に音節境界を持つような音素で、音素境界に短時間ポーズが挿入されたものに対する尤度も正しく計算できる。なお、短時間ポーズに関しては、その前後の音素の種類によりその音響的特徴量が変わる。したがって音素モデル１００の形式に音素モデルを書換える際には、短時間ポーズに関する音響モデルが必要である。

図６に、この第２の実施の形態に係る音声認識システム１１０のブロック図を示す。図６を参照して、音声認識システム１１０は、図２１に示すものと同じ言語モデル７２と、図２１に示すものと同じ音響モデル７８と、短時間ポーズ用の音響モデル（以下「ｓｉｌ音響モデル」と呼ぶ。）１１２と、音響モデル７８を構成する各音素モデルを、ｓｉｌ音響モデル１１２を用いて図５に示す形式に書換えて音節強調発声専用音響モデル１１６を作成するための音節強調発声用音響モデル作成部１１４と、音響モデル７８に含まれる音素モデルと音節強調発声専用音響モデル１１６に含まれる音素モデルとの和集合からなる音節強調発声用音響モデル１２０を作成するための音響モデル併合部１１８とを含む。

音声認識システム１１０はさらに、言語モデル７２及び音節強調発声用音響モデル１２０を用い、入力音声８０をデコードして音声認識結果１２２を出力するための、図２１に示すものと同じデコーダ８２を含む。

図７に、音節強調発声用音響モデル作成部１１４を実現するコンピュータプログラムの制御構造をフローチャート形式で示す。図７を参照して、まずステップ１３０で音響モデルのファイル、ステップ１３２でｓｉｌ音響モデル１１２、及びステップ１３４で出力用の音響モデルファイルを、それぞれ開く。この後、ステップ１３６及び１３８の処理を、音響モデル７８を構成する全ての音素モデルに対して繰返す。

ステップ１３６では、ＨＭＭからなる音素モデルの状態遷移の末尾に短時間ポーズに対応する状態（以下「ｓｉｌ状態」と呼ぶ。）を追加する。このとき、関連する確率値などはｓｉｌ音響モデル１１２から取出す。そしてこうして得られた新たな音素モデルをステップ１３８で出力ファイルに追加出力する。

ステップ１３６及び１３８の処理を全ての音素モデルについて完了すると、ステップ１４０でファイルを閉じて処理を終了する。こうして得られた出力ファイルが図６に示す音節強調発声専用音響モデル１１６となる。

この後、音節強調発声専用音響モデル１１６を構成する音素モデルと元の音響モデル７８を構成する音素モデルとの和集合を採ることにより、音節強調発声用音響モデル１２０が得られる。

［動作］
音響モデル７８と言語モデル７２とが予め準備されているものとすると、この第２の実施の形態に係る音声認識システム１１０の動作も、第１の実施の形態と同様、二つの局面を持つ。第１は音響モデル７８及びｓｉｌ音響モデル１１２から音節強調発声用音響モデル１２０を作成する局面、第２は言語モデル７２と音節強調発声用音響モデル１２０とを用い、入力音声８０に対するデコードを行なう局面である。

第１の局面では音声認識システム１１０は以下のように動作する。音響モデル７８とｓｉｌ音響モデル１１２とが準備されているものとする。音節強調発声用音響モデル作成部１１４は音響モデル７８、ｓｉｌ音響モデル１１２及び音節強調発声専用音響モデル１１６となる出力ファイルとを開く。さらに音節強調発声用音響モデル作成部１１４は、音響モデル７８を構成する各音素モデルについて、ｓｉｌ音響モデル１１２のデータを用いて、図５に示す音素モデル１００の形式に書換え、音節強調発声専用音響モデル１１６に追加出力する。音響モデル併合部１１８は、こうして作成された音節強調発声専用音響モデル１１６を構成する音素モデルと、元の音響モデル７８を構成する音素モデルとの和集合を採ることにより、音節強調発声用音響モデル１２０を作成する。以上で第１の局面は終了である。

第２の局面におけるデコーダ８２の動作原理自体は図２１に示す従来のものと変わらない。ただしこの場合には、音節強調発声用音響モデル１２０を用いている。音節強調発声用音響モデル１２０を構成する各音素モデルは、図５に示すような状態遷移を持っているため、音素の末尾に短時間ポーズが挿入された強調発声に対しても、従来と比較して精度良く認識することができる。

＜第３の実施の形態＞
［構成］
第１の実施の形態では言語モデルを、第２の実施の形態では音響モデルを、それぞれ書換えている。この第３の実施の形態に係る音声認識システムでは、言語モデルと音響モデルとの双方を書換えることにより、強調発声に対する認識精度を高めるようにしている。

図８を参照して、この実施の形態で使用される言語モデルの単語辞書の見出しの形式について説明する。図８上段には、単語「ａｅｒｏｂｉｃｓ」に対する言語モデル７８の単語辞書における見出し６０を示す。図８中段には、音節境界推定語の見出し１７０を、推定された音節境界１７２，１７４，１７６及び１７８とともに示す。音節境界の推定には、前述したソフトウェアｔｓｙｌｂ２を用いることができる。

本実施の形態では、見出し１７０に含まれる各音素を、その前後に音節境界が存在するか否かにしたがって３種の音素表現のいずれかに書換える。本実施の形態では、音素の前のみに音節境界が存在する場合には音素記述の末尾に「＿Ｈ」を、音素の後ろのみに音節境界が存在する場合には音素記述の末尾に「＿Ｔ」を、音素の前後に音節境界が存在する場合には音素記述の末尾に「＿Ｂ」を、それぞれ付加する。その結果、図８に示す例では、図８の下段に示す見出し１９０が得られる。

図８の中段に示す見出し１７０において、先頭の音素「ＡＸＲ」の前後には音節境界１７２及び１７４が存在する。したがってこの音素記述は「ＡＸＲ＿Ｂ」と書換えられる。音素「ＯＷ」も同様で、「ＯＷ＿Ｂ」と書換えられる。その直後の音素「Ｂ」は音節境界１７６の直後に存在する。したがって音素「Ｂ」は「Ｂ＿Ｈ」と書換えられる。一方、末尾の音素「Ｓ」についてはその後ろのみに音節境界１７８が存在する。したがってこの音素記述は「Ｓ＿Ｔ」と書換えられる。

本実施の形態では、これら音素記述の書換えに対応して、音響モデルとしては、通常発声用音素モデルに、強調発声用音素モデルを追加した構造を持つものを採用する。図９に、強調発声用音素モデルの構造を示す。

図９を参照して、本実施の形態では、環境依存音素Ｓ−ＩＹ＋ＥＹ（先行音素が／Ｓ／、後続音素が／ＥＹ／の音素／ＩＹ／）の各々に対して、３種類の強調発声用音素モデルＳ−ＩＹ＋Ｅ＿Ｈ（図９（Ａ））、Ｓ−ＩＹ＋ＥＹ＿Ｔ（図９（Ｂ））、及びＳ−ＩＹ＋ＥＹ＿Ｂ（図９（Ｃ））が定義されている。「＊＿Ｈ」は個々の音節の最初の音素（「＊」は任意の音素を表す。）、「＊＿Ｔ」は音節の最後の音素として用いられ、「＊＿Ｂ」は、単一の音素から構成された音節に対して用いられる。これらはそれぞれ、前述した「ＡＸＲ＿Ｂ」及び「ＯＷ＿Ｂ」、「Ｂ＿Ｈ」、並びに「Ｓ＿Ｔ」に対応する。これら各音素は、いずれもマルチパスＨＭＭとして図９に示すようにモデル化される。

図８に示す「ａｅｒｏｂｉｃｓ」について考えると、通常音声と強調発声との双方を表す状態遷移は、図１０のようになる。すなわち、音素「Ｂ」は音節の最初の音素なので、音素「Ｂ＿Ｈ」２０６に書換えられる。その結果、図９（Ａ）の音素モデル１５０に示すように先頭がポーズ直後である場合も許されるようになる。末尾の音素「Ｓ」は音節の最後の音素なので音素「Ｓ＿Ｔ」２０８に書換えられる。その結果、図９（Ｂ）の音素モデル１５２に示すように末尾に短時間ポーズの挿入が許されるようになる。

一方、音素「ＡＸＲ」は１音素で音節を構成するので、音素「ＡＸＲ＿Ｂ」２０２に書換えられる。この場合のように一つの音素で音節を構成するときは、音素モデルは図９（Ａ）の音素モデルと図９（Ｂ）の音素モデルとの組合せにより得られるものとなる。したがって、その結果、図９（Ｃ）の音素モデル１５４に示すように、先頭がポーズ直後になる場合と、音素「ＡＸＲ」の後に短時間ポーズが挿入される場合とが許されるようになる。音素「ＯＷ」も同様に音素「ＯＷ＿Ｂ」２０４に書換えられ、図９（Ｃ）の音素モデル１５４により表される状態遷移が許容されるようになる。

本実施の形態では、音響モデルをこのように音節に対する位置関係に対応して３種類に分け、さらに言語モデルの単語辞書の見出しのうち、音節境界と隣接するものを音節境界との位置関係にしたがって３種類のいずれかに書換える。こうして音響モデルと言語モデルとをともに音節（の境界）と対応付けて書換えることにより、強調発声に対する認識精度を高めることを試みる。

図１１に、この第３の実施の形態に係る音声認識システム２２０のブロック図を示す。図１１を参照して、音声認識システム２２０は、いずれも第１及び第２の実施の形態で用いられたものと同じ言語モデル７２及び音響モデル７８と、第２の実施の形態で使用されたものと同じｓｉｌ音響モデル１１２と、言語モデル７２中の単語辞書の各見出しに含まれる各音素について、音節境界との関係が上記した３つの条件のいずれかを充足する音素を新しい音素表記（＊＿Ｈ、＊＿Ｔ、＊＿Ｂ）のいずれかに書換える処理を実行し、強調発声用言語モデル２２４を作成するための単語辞書書換部２２２と、音響モデル７８に含まれる各音素モデルについて、図９（Ａ）（Ｂ）（Ｃ）に示される３つの音素モデルをｓｉｌ音響モデル１１２を用いて作成することにより、音節強調発声専用音響モデル２２８を作成するための音声強調発声用音響モデル作成部２２６と、音節強調発声専用音響モデル２２８に含まれる音素モデルと音響モデル７８に含まれる音素モデルとの和集合を採ることにより、音響モデル７８と音節強調発声専用音響モデル２２８とを併合し、新たな音節強調発声用音響モデル２３２を作成するための音響モデル併合部２３０とを含む。

音声認識システム２２０はさらに、強調発声用言語モデル２２４と音節強調発声用音響モデル２３２とを用い、入力音声８０に対する音声認識を行って音声認識結果２３４を出力するための、図２１に示す従来のものと同じデコーダ８２を含む。

図１２に、単語辞書書換部２２２が行なう単語辞書書換処理を実現するプログラムの制御構造をフローチャート形式で示す。図１２を参照して、ステップ２４０で言語モデル７２のファイルを開く。ステップ２４２で出力ファイル（強調発声用言語モデル２２４となる）を開く。

続いて、ステップ２４４からステップ２５４の処理を単語辞書の全ての見出しについて実行する。

繰返し処理の最初では、ステップ２４４で見出しの音素列について、音節境界を推定する。この推定には、前述したとおり、音節境界推定ソフトウェア（ｔｓｙｌｂ２）を用いることができる。続いて、推定された音節境界に基づき、見出し中の全ての音素について以下の処理を繰返す。

まず、ステップ２４６で処理対象の音素の前又は後ろ、若しくはその双方に音節境界が存在するか否かについて判定する。音素の前後に音節境界が存在している場合、その音素は１音素で１音節を構成している。したがってステップ２４８で当該音素記号を、その音素記号の末尾に「＿Ｂ」を付した音素記号で置換する。音素の前のみに音素境界が存在している場合、その音素は音節の先頭に位置している。したがってステップ２５０でその音素記号を、その音素記号の末尾に「＿Ｈ」を付した音素記号で置換する。音素の後ろのみに音節境界が存在している場合、その音素は音節の末尾に位置している。したがってステップ２５２でその音素記号を、その音素記号の末尾に「＿Ｔ」を付したもので置換する。前後に音素境界が存在しない場合、元の音素記号は特に編集しない。

こうして、ある見出しの全ての音素記号に対してステップ２４６〜２５２の処理が完了すると、ステップ２５４でこのようにして編集された音素記号を持つ新たな単語辞書を出力ファイルに追加する。

言語モデル７２の単語辞書の全ての見出しについてステップ２４４〜２５４の処理が終了したら、ステップ２５６で全てのファイルを閉じて処理を終了する。この結果、出力ファイルとして図１１に示す強調発声用言語モデル２２４が得られる。

一方、図１１に示す音声強調発声用音響モデル作成部２２６を実現するコンピュータプログラムの制御構造を図１３にフローチャート形式で示す。図１３を参照して、ステップ２６０で音響モデル７８のファイルを開く。ステップ２６２でｓｉｌ音響モデル１１２のファイルを開く。ステップ２６４で出力ファイル（音節強調発声専用音響モデル２２８のためのファイル）を開く。

続いて、ステップ２６６〜２６８の処理を、音響モデル７８を構成する全ての音素モデルについて繰返す。すなわち、ステップ２６６で＊＿Ｈ、＊＿Ｂ、及び＊＿Ｔの３種類の強調発声用音素モデル（ＨＭＭモデル）を作成する。ステップ２６８では、作成された３つの音素モデルを出力ファイルに追加する。

全ての音素モデルについてステップ２６６〜２６８の処理が完了すると、ステップ２７０で全てのファイルを閉じて処理を終了する。この結果、図１０に示す音節強調発声専用音響モデル２２８が得られる。後は、この音節強調発声専用音響モデル２２８を構成する全ての音素モデルと、元の音響モデル７８に含まれる全ての音素モデルとの和集合を採ることにより、音節強調発声用音響モデル２３２が得られる。

［動作］
この第３の実施の形態に係る音声認識システム２２０の動作には、言語モデル７２及び音響モデル７８がいずれも予め準備されているものとして、３つの局面がある。第１の局面は強調発声用言語モデル２２４を作成する局面、第２は音節強調発声用音響モデル２３２を作成する局面、第３はこれら強調発声用言語モデル２２４及び音節強調発声用音響モデル２３２を用いて入力音声８０をデコードする局面である。

まず、第１の局面について説明する。単語辞書書換部２２２は言語モデル７２と強調発声用言語モデル２２４とのファイルを開く。単語辞書書換部２２２はさらに、言語モデル７２中の単語辞書の全ての見出しについて、音節境界を推定する。推定された音声境界が、各音素の前にあるか、後ろにあるか、その双方にあるか、または前後のいずれにも存在しないかを調べ、その結果に応じて各音素の記述を「＊＿Ｈ」、「＊＿Ｔ」、又は「＊＿Ｂ」のいずれかに書換えるか、又は書換えせずそのままにして、出力ファイルに追加出力する。この処理を、単語辞書中の全ての見出しについて行なうことにより強調発声用言語モデル２２４が得られる。以上で第１の局面は終了である。

一方、第２の局面では、音声強調発声用音響モデル作成部２２６は以下のように動作する。音声強調発声用音響モデル作成部２２６は、音響モデル７８のファイルとｓｉｌ音響モデル１１２のファイルとを開くと、音響モデル７８に含まれる各音素モデルについて、ｓｉｌ音響モデル１１２を利用して図９に示す３つの音素モデルを作成し、音節強調発声専用音響モデル２２８に出力する。音響モデル７８に含まれる全ての音素モデルに対しこの処理が終了すると、音節強調発声専用音響モデル２２８が得られる。この音節強調発声専用音響モデル２２８は、音響モデル７８に含まれる全ての音素モデルに対して図９の３種類の音素モデルを備えたものとなる。

音響モデル併合部２３０は、音節強調発声専用音響モデル２２８に含まれる音素モデルと、音響モデル７８に含まれる音素モデルとの和集合を採ることで音節強調発声用音響モデル２３２を作成する。以上で第２の局面は終了である。

第３の局面では、デコーダ８２が強調発声用言語モデル２２４と音節強調発声用音響モデル２３２とを用い、入力音声８０をデコードする。その結果音声認識結果２３４が得られる。デコーダ８２の動作原理自体は、従来のものと同様である。ただしこの場合、各音素について３種の音素モデルを作成した音節強調発声用音響モデル２３２と、これら３種の音素モデルに対応した音素記述により見出しを書換えた強調発声用言語モデル２２４とを用いることにより、音節間に短時間ポーズが存在する強調発声に対しても頑健な音声認識を行なうことができる。

＜変形例＞
上記した強調発声用の音響モデルの内、例えば第３の実施の形態において中間的に作成した音節強調発声専用音響モデル２２８（図１１）は、通常発声用の音響モデル、例えば図１１に示す音響モデル７８と相補的な関係にあると思われる。そこで、これらを一つの音響モデルにまとめるのではなく、これらをそれぞれ別々に用いるデコーダを使用して別々に入力音声をデコードすることが考えられる。この場合さらに、得られた認識結果のうち、尤度の高いものを最終的な音声認識結果とする。図１４に、そのような音声認識システム３００の概略構成を示す。

図１４を参照して、音声認識システム３００は、マイクロフォン３１０と、通常音響モデル３１２と、通常言語モデル３１６と、通常音響モデル３１２及び通常言語モデル３１６とを用いてマイクロフォン３１０からの入力音声をデコードし音声認識結果を尤度とともに出力するためのデコーダ３２０と、強調発声専用音響モデル３１４と、通常言語モデル３１６の単語辞書の各見出しを第３の実施の形態のように強調発声用に書換えたものを含む強調発声用言語モデル３１８と、強調発声専用音響モデル３１４及び強調発声用言語モデル３１８を用い、マイクロフォン３１０からの入力音声をデコードして音声認識結果を尤度とともに出力するためのデコーダ３２２と、デコーダ３２０及びデコーダ３２２の音声認識結果の候補を得てそれらの尤度を比較し、最尤の音声認識結果を音声認識結果（テキスト）３２６として出力するための選択部３２４とを含む。強調発声専用音響モデル３１４は、図１１に示す音節強調発声専用音響モデル２２８と同様、強調発声専用の音響モデルである。

この音声認識システム３００によれば、一般的に、入力音声が通常音声であればデコーダ３２０からの音声認識結果の尤度が高くなるためデコーダ３２０の出力が採用され、強調発声であればデコーダ３２２からの音声認識結果の尤度が高くなるためデコーダ３２２の出力が採用される。したがって、通常音声のみならず、第１〜第３の実施の形態と同様に強調発声に対しても良好な結果が得られる。

＜コンピュータによる実現＞
上記した実施の形態の音声認識システム、デコーダ８２（図３、図６、図１１）、単語辞書書換部７４（図３）、音節強調発声用音響モデル作成部１１４（図６）、音響モデル併合部１１８（図６）、音声強調発声用音響モデル作成部２２６（図１１）、音響モデル併合部２３０（図１１）、デコーダ３２０及び３２２（図１４）及び選択部３２４（図１４）はいずれも、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムと、コンピュータハードウェアに格納されるデータとにより実現される。図１５はこのコンピュータシステム３３０の外観を示し、図１６はコンピュータシステム３３０の内部構成を示す。

図１５を参照して、このコンピュータシステム３３０は、ＦＤ（フレキシブルディスク）ドライブ３５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、ポインティングデバイスであるマウス３４８と、モニタ３４２と、マイクロフォン３７０と、スピーカ３７２とを含む。マイク３７０及びスピーカ３７２は、音声の入出力を行なう際に使用されるもので、本発明の一部を構成するものではない。

図１６を参照して、コンピュータ３４０は、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、ＦＤドライブ３５２およびＣＤ−ＲＯＭドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、および作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、マイクロフォン３７０及びスピーカ３７２が接続されるサウンドボード３６８とを含む。コンピュータシステム３３０はさらに、図示しないプリンタを含んでいる。

ここでは示さないが、コンピュータ３４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。

コンピュータシステム３３０に音声認識システムとしての動作を行なわせるためのコンピュータプログラムは、ＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２に挿入されるＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。または、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＣＤ−ＲＯＭ３６２から、ＦＤ３６４から、またはネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ３４０にこの実施の形態の音声認識システムとしての動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、若しくはコンピュータ３４０にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出すことにより、上記した音声認識システムとしての動作を実行する命令のみを含んでいればよい。コンピュータシステム３３０の動作原理自体は周知であるので、ここでは繰返さない。

＜実験結果＞
［条件］
上記した第３の実施の形態に係る音声認識システム２２０（図１１参照）の認識性能を評価するため、以下のような大語彙連続音声認識実験を行なった。通常の音響モデルとしては、ＷＳＪ（Ｗａｌｌ Ｓｔｒｅｅｔ Ｊｏｕｒｎａｌ）ＳＩ−２８４データベースを用いて学習した音響モデルを用いた。このデータベースは全部で２８４人の話者による３７，５１６発話を含んだものである。

ＭＤＬ−ＳＳＳ（非特許文献５）手法を用いて状態共有構造を生成した。各々５つのガウス分布の混合分布からなる、全部で２００９の共有状態の学習を行なった。ポーズ（無音）状態は１０個のガウス分布からなる混合分布であった。

音声から抽出され音声認識に供されるＭＦＣＣ（メル周波数ケプストラム係数）特徴量は、１０ｍｓ間隔で移動する２０ｍｓの幅を持つウィンドウから抽出された１２個のＭＦＣＣと、ΔＭＦＣＣと、Δ対数パワーとを含む。

言語モデルはいずれも出願人において作成したＢＴＥＣ（Ｂａｓｉｃ Ｔｒａｖｅｌ Ｅｘｐｒｅｓｓｉｏｎ Ｃｏｒｐｕｓ）１，２，３，４（非特許文献６）と、ＳＬＤＢ（Ｓｐｏｋｅｎ Ｌａｎｇｕａｇｅ ＤａｔａＢａｓｅ）（非特許文献７）と、ＬＤＢ（Ｌａｎｇｕａｇｅ ＤａｔａＢａｓｅ）（非特許文献７）とを用いた。これらは合計で３４０万語を含んでいる。レキシコンサイズは１８ｋである。音声境界は、前述した通り、音節境界推定ソフトウェア（ｔｓｙｌｂ２）を用いた。

［評価］
最初に、通常発声に対し、実施の形態３で使用した音節強調発声用音響モデル２３２を用いた場合の音声認識性能を評価した。ＢＴＥＣテキストから評価のためにランダムに全部で２００文を選択した。通常の音響モデルと比較すると、音節強調発声用音響モデル２３２の場合、音素モデルにはパラレルなパスが多数存在する。このパスの数に起因して音節位置の誤認が生ずる可能性がある。

図１７は、音節強調発声用音響モデル２３２を使用して通常発声をデコードした際の単語正解率を示す。この性能は、通常音声用の音響モデルを用いて通常発声をデコードした際の単語正解率に非常に近い。しかし、音節強調発声用音響モデル２３２が多数のパスを含むため、リアルタイム係数ＲＴは通常発声用の音響モデルを用いた場合と比較すると大きくなっている。

上記した新たな音節強調発声用音響モデル２３２の音節間短時間ポーズの有効性を評価するため、キーワードを強調した発話データを用いた音声認識実験を行なった。通常発声で発話したテキストと同じテキストを４人のネイティブ英語話者により発話させた。話者のうち２人は女性、他の２人は男性である。各話者は４０文を発話した。合計１６０発話である。どの文でも、あるキーワードを指定し、強調した発話をするように指示した。無音室でこの音声波形データを同じ録音機器を用いて録音した。

図１８は、テキスト「Are there any chea-per hotels.」（"chea-per"が強調キーワード）に関する発話のスペクトログラムである。図１８を参照して明らかなように、"chea"と"per"との間に１５０ｍｓ程度の短時間ポーズが挿入されている。音節強調発声用音響モデル２３２を用いた音声認識システムはこの文を正しく認識したが、通常発声用の音響モデルを用いた音声認識システムではこの文は"Are there any tea or hotels"と誤認識された。

図１９は通常発声用音響モデルと、音節強調発声用音響モデル２３２とを用いた場合の単語正解率を示す。実施の形態３に係る音節強調発声用音響モデル２３２を用いると、通常発声用の音響モデルを用いた場合の結果からなるベースラインと比較して、単語誤り率が２５％減少している。

さらに、強調発声データを用いて、図１４に示す強調発声専用音響モデル３１４を用いた音声認識の性能を評価した。前述したものと同じ２００文について、５人の話者による発話を録音した。話者のうち３人は男性、２人は女性である。各話者は２０文を読み、合計１００文の発話データを録音した。話者に対しては、老人又は聴覚に障害を持つ人に対して話すような感じで文を読むように指示を与えておいた。

図２０はこのときの単語正解率を示す。図２０において、最も左側には通常の音響モデルを用いた際の単語正解率を示し、中央には音節強調発声専用音響モデル３１４を用いた際の単語正解率を示す。図２０から明らかなように、音節強調発声専用音響モデル３１４を用いることにより、認識誤り率は通常の音響モデルを用いた場合と比較して５％低下した。

さらに、図２０の最も右側には、図１４に示す音声認識システム３００において、選択部３２４により選択された結果についての単語正解率を示す。この図から明らかなように、図１４の音声認識システム３００による音声認識結果３２６における単語誤り率は、通常の音響モデルのみを用いた場合と比較して１０％低下している。

以上のように本発明の実施の形態によれば、英語において、音節間の短時間ポーズを許容するような強調発声用音響モデル、又は言語モデル、又はそれらの組合せを用いることにより、通常発声に対する認識精度の低下を避けながら、強調発声に対する認識精度を高めることができる。このように強調発声に対する認識精度を高めることができるため、例えば一旦認識誤りが生じて利用者が強調発声をしたりする場合にも、それを正しく認識できる可能性が高くなる。その結果、音声認識を用いた人間と機械系との対話を従来よりも円滑に行なうことができる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

本発明の第１の実施の形態に係る音声認識システムで用いられる言語モデルにより表される状態遷移を示す図である。 第１の実施の形態における言語モデルの単語辞書に関する見出しの書換を説明するための図である。 第１の実施の形態に係る音声認識システム７０のブロック図である。 第１の実施の形態における単語辞書書換部７４の処理を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の第２の実施の形態に係る音声認識システムで用いられる音素モデルの模式図である。 第２の実施の形態に係る音声認識システム１１０のブロック図である。 音声認識システム１１０の音節強調発声用音響モデル作成部１１４における処理を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の第３の実施の形態に係る音声認識システムで用いられる言語モデルの単語辞書に関する見出しの書換を説明するための図である。 第３の実施の形態に係る音声認識システムで用いられる強調発声用の３種の音素モデルを模式的に示す図である。 第３の実施の形態に係る音声認識システムにおける言語モデルと音素モデルとの関係を示す状態遷移図である。 本発明の第３の実施の形態に係る音声認識システム２２０のブロック図である。 音声認識システム２２０の単語辞書書換部２２２における処理を実現するコンピュータプログラムの制御構造を示すフローチャートである。 音声認識システム２２０の音声強調発声用音響モデル作成部２２６における処理を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の実施の形態の変形例に係る音声認識システム３００のブロック図である。 本発明の各実施の形態に係る音声認識システムを実現するコンピュータシステムの外観図である。 図１５に示すコンピュータのブロック図である。 本発明に係る音響モデルを用いた音声認識システムの単語正解精度の向上を示すグラフである。 あるキーワードに関する強調発声を行なった際のスペクトログラムである。 本発明に係る音響モデルを用いた音声認識システムの単語正解精度の向上を示すグラフである。 本発明に係る音響モデルを用いた音声認識システムの単語正解精度の向上を示すグラフである。 従来の音声認識システム３８０のブロック図である。 従来の音声認識システム３８０で用いられる音響モデル（音素モデル）の状態遷移を示す図である。 英語における通常発話と強調発話とのスペクトログラムである。

符号の説明

７０，１１０，２２０，３８０ 音声認識システム
７２ 言語モデル
７４，２２２ 単語辞書書換部
７６，２２４ 強調発声用言語モデル
７８ 音響モデル
８０ 入力音声
８２，３２０,３２２ デコーダ
８４，１２２，２３４，３２６，３８２ 音声認識結果
１１２ ｓｉｌ音響モデル
１１４，２２６ 音節強調発声用音響モデル作成部
１１６，２２８ 音節強調発声専用音響モデル
１１８，２３０ 音響モデル併合部
１２０，２３２ 音節強調発声用音響モデル
１５０，１５２，１５４ 音素モデル
３１２ 通常音響モデル
３１４ 強調発声専用音響モデル
３１６ 通常言語モデル
３１８ 強調発声用言語モデル
３２４ 選択部

Claims (8)

1. 音節の区切りが存在する所定の言語における言語モデルを、強調発声を許容する形式に変換する言語モデル変換装置であって、
   前記所定の言語の、音節境界を有する言語モデルを準備するための準備手段と、
   前記準備手段により準備された前記言語モデルの音節境界の各々に対し、当該音節境界と隣接する音素の記述を、短時間ポーズの挿入を許容する所定の形式に書換えるための音素記述書換手段とを含む、言語モデル変換装置。
2. 前記準備手段は、前記言語モデルについて音節境界を推定するための音節境界推定手段を含む、請求項１に記載の言語モデル変換装置。
3. 音節の区切りが存在する所定の言語における音響モデルを、強調発声を許容する形式に変換する音響モデル変換装置であって、前記音響モデルは、複数の音素モデルを含み、
   前記音響モデル変換装置は、
   音節間のポーズを表す音響モデルを準備するための手段と、
   前記ポーズを表す音響モデルを参照して、前記複数の音素モデルの各々に対し、前記状態系列の末尾に、ポーズに対応する新たな状態と、当該新たな状態を迂回して終端に到達する経路とを追加するように、音素モデルの記述を書換えるための音素モデル書換手段とを含む、音響モデル変換装置。
4. 前記複数の音素モデルの各々は、複数の状態からなる状態系列を有する隠れマルコフモデルからなる、請求項３に記載の音響モデル変換装置。
5. 音節の区切りが存在する所定の言語における言語モデルを、強調発声を許容する形式に変換する言語モデル変換装置であって、
   前記所定の言語の、音節境界を有する言語モデルを準備するための準備手段と、
   前記準備手段により準備された前記言語モデルについて、当該言語モデルを構成する音素の記述の各々に対して、当該音素の前後に、前記音節境界推定手段により推定された音節境界が存在するか否かを判定し、前に存在する場合、後ろに存在する場合、又は前後の双方に存在する場合にそれぞれ、別個の音素記述形式で前記音素の記述を書換えるための手段とを含む、言語モデル変換装置。
6. 音節の区切りが存在する所定の言語における音響モデルを、強調発声を許容する形式に変換する音響モデル変換装置であって、前記音響モデルは、複数の音素モデルを含み、
   前記音響モデル変換装置は、
   音節間のポーズを表す音響モデルを準備するための手段と、
   前記ポーズを表す音響モデルを参照して、前記複数の音素モデルの各々に対し、前記状態系列の先頭の状態をポーズの直後の状態に置換した状態系列を追加して新たな音素モデルを作成するための第１の音素モデル作成手段と、
   前記ポーズを表す音響モデルを参照して、前記複数の音素モデルの各々に対し、前記状態系列の末尾に、ポーズを表す新たな状態と当該新たな状態を迂回して終端に接続する新たな経路とを追加して得られる新たな状態系列を追加して、新たな音素モデルを作成するための第２の音素モデル作成手段と、
   前記ポーズを表す音響モデルを参照して、前記複数の音素モデルの各々に対し、前記状態系列の先頭の状態をポーズの直後の状態に置換する操作と、前記状態系列の末尾にポーズを表す新たな状態と当該新たな状態を迂回して終端に接続する新たな経路とを追加する操作との組合せにより得られる新たな状態系列を追加して、新たな音素モデルを作成するための第３の音素モデル作成手段と、
   前記複数の音素モデルの各々に対して前記第１、第２及び第３の音素モデル作成手段により作成された音素モデルを併合することにより、新たな音響モデルを作成するための音響モデル併合手段とを含む、音響モデル変換装置。
7. コンピュータにより実行されると、当該コンピュータを、請求項１、請求項２又は請求項５のいずれかに記載の言語モデル変換装置として動作させる、コンピュータプログラム。
8. コンピュータにより実行されると、当該コンピュータを、請求項３、請求項４又は請求項６のいずれかに記載の音響モデル変換装置として動作させる、コンピュータプログラム。

Images