JP3628245B2

JP3628245B2 - 言語モデル生成方法、音声認識方法及びそのプログラム記録媒体

Info

Publication number: JP3628245B2
Application number: JP2000268900A
Authority: JP
Inventors: 克年大附; 貴明堀; 昭一松永; 豪川端
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-09-05
Filing date: 2000-09-05
Publication date: 2005-03-09
Anticipated expiration: 2020-09-05
Also published as: JP2002082690A

Description

【０００１】
【発明の属する技術分野】
この発明は、人が発声した文章などの音声を入力信号とし、その音声を音響モデルおよび記号連鎖確率（言語モデル）を用いて認識し、その結果を記号列として出力する音声認識方法、この方法に用いられる言語モデルの生成方法及びこれらのプログラム記録媒体に関するものである。
【０００２】
【従来の技術】
音声入力を音声認識により記号列（単語列）に変換する場合、大規模なテキストデータベースから記号（単語）の出現連鎖に関する記号連鎖確率（言語モデル）を生成し、それを利用することで音声認識性能を向上させる手法が従来から知られている。しかし、認識タスク（発声内容）が、記号連鎖確率の生成に用いた大規模なテキストデータベースのタスクと異なったりする場合には有効性が低かった。
【０００３】
そこで、このような問題点を解決するため、特開平４−２９１３９９号公報に示すように、認識タスクに類似したテキストデータベースから作成した学習用記号連鎖確率を用いて、大規模なテキストデータベースから生成した記号連鎖確率を適応化し、この適応化された記号連鎖確率を利用して音声認識を行うようにした技術も従来から提案されている。
【０００４】
【発明が解決しようとする課題】
上述した適応された記号連鎖確率を用いる従来の技術は、大規模なテキストデータベースから生成した記号連鎖確率のみを用いる技術に比較して、高い認識性能を実現できるが、大規模なテキストデータベースから生成した記号連鎖確率には、認識タスクとはかけ離れたデータの情報も含まれているため、記号連鎖によっては適応化した確率値の推定が不安定になるという問題があった。また、適応化した記号連鎖確率は、大規模なテキストデータベースと認識タスクに類似したテキストデータベースのすべての情報を保持するため記憶容量が大きいという問題があった。
【０００５】
そこで、この発明の一つの目的は、大規模テキストデータベースの中で認識タスクにより類似しているテキストにより大きな重みを付けることにより、高精度な記号連鎖確率を生成し、それを認識に用いることにより認識性能を向上することができる言語モデルの生成方法を提供することにある。また、認識タスクと類似度の低いデータを排除する（重みを０とする）ことにより、保持する情報を削減して、記憶容量の小さな記号連鎖確率を提供することにある。
【０００６】
【課題を解決するための手段】
この発明の言語モデル生成方法によれば、認識対象のタスク（発声内容）に関するテキストデータを格納した認識タスク用テキストデータベースと、認識対象タスクとは直接関係しない一般的な複数のテキストデータベースとを用い、認識タスク用テキストデータベースに対する各一般用テキストデータベースの関連（類似性）を示す重みを求め、これら認識タスク用、また一般用テキストデータベースを用い、注目する記号（単語）についてそれが属するデータベースの重みを与えて記号連鎖確率を生成する。
【０００７】
各一般用テキストデータベースの重みを求めるには、認識タスク用テキストデータベースのテキストデータから得られる情報に基づいて、各一般用テキストデータベースのテキストデータのそれぞれ類似性を検証し、認識タスク用テキストデータベースとの類似度の大きい一般用テキストデータベースに大きな重みを与える。認識タスク用テキストデータベースと一般用テキストデータベースの類似度の検証には、認識タスク用テキストデータベース中のテキストデータより生成した記号連鎖確率を、各一般用テキストデータベースのテキストデータに対して与えた際のパープレキシティ（エントロピー）、または各一般用テキストデータベースについてその中にそれぞれ認識タスク用テキストデータベース中の単語が含まれない率（未知語率）をそれぞれ求め、あるいはこれらパープレキシティおよび未知語率の組み合わせを用いる。また認識タスク用テキストデータベースの重みＷ_Ｔを決定する場合は、認識タスク用テキストデータベースのデータ量と複数の一般用テキストデータベースのデータ量との比に基づく値を用いる。この重みＷ_Ｔは上記パープレキシティおよび未知語率に基づく値と組み合わせて用いてもよい。
【０００８】
【発明の実施の形態】
この発明の実施の形態について図面を参照して詳細に説明する。図１にこの発明による音声認識方法の一実施例が適用される音声認識装置の構成例を示す。
音声認識部１１０と、記号連鎖確率（言語モデル）データベース１２０と、音声標準パタンデータベース１３０と、認識タスク用記号連鎖確率生成部１４０と、認識タスク用テキストデータベース１５０と、複数の一般用テキストデータベース１６０−１〜１６０−Ｎとを備えている。
【０００９】
音声標準パタンデータベース１３０は、予め分析された音声の標準パタンを複数保持している。認識タスク用データベース１５０には認識対象タスク（発声内容）と関連したテキストデータが格納される。入力音声が例えばニュース番組の発語音声の場合、認識タスクのテキストデータとして、多数のニュースの書き起こしに用いた各単語が認識タスク用テキストデータベース１５０に格納される。一般用データベース１６０−１〜１６０−Ｎは認識対象タスクと直接関係のない新聞記事データベース、小説データベースなどが用いられ、例えば新聞記事、ホームページ、ネットニューズなどから多数の単語を収集し、その収集した際にその単語を含んで構成されていた一文ごとにそれぞれ１つの一般用テキストデータベース１６０−ｎ（ｎ＝１，２，…，Ｎ）を構成してもよい。
【００１０】
認識タスク用記号連鎖確率生成部１４０は、この発明による言語モデル生成方法を実行するものであって、認識処理に先立って、認識タスク用テキストデータベース１５０と、一般用テキストデータベース１６０−１〜１６０−Ｎとから、認識タスクに対する類似度の大きいテキストデータを含む一般用テキストデータベースにより大きな重みを付けて、これら認識タスク用テキストデータベースと複数の一般用テキストデータベースを用いて、認識タスクに対して高精度な絞り込みをすることが可能な記号連鎖確率（言語モデル）を生成してそれを記号連鎖確率データベース１２０に格納する。音声認識部１１０は、入力音声に対して、記号連鎖確率データベース１２０の記号連鎖確率および音声標準パタンデータベース１３０の音声標準パタンなどから得られる情報に基づいて記号列候補の絞り込みを行い、認識結果である記号列を出力する。
【００１１】
図２に、認識タスク用記号連鎖確率生成部１４０の構成例を示しこの図２を参照してこの発明による言語モデル、つまり記号連鎖確率の生成方法の実施例を説明する。重み決定部２１０では、認識タスク用データベース１５０中の各認識タスクのテキストデータと各一般用テキストデータベース１６０−ｎの各テキストデータとを入力し、認識タスクのテキストデータと各一般用テキストデータベース１６０−ｎのテキストデータとの類似度からその一般用テキストデータベース１６０−ｎに対する重みＷ_ｎを決定する。また、各一般用テキストデータベースの重みＷ_ｉに基づいて認識タスク用テキストデータベース１５０の重みＷ_Ｔを決定する。これら重みＷ_ｎ，Ｗ_Ｔを決定する具体的手法は後で説明する。認識タスク用テキストデータベース１５０に重みＷ_Ｔを複数の一般用テキストデータベース１６０−１〜１６０−Ｎに重みＷ_１〜Ｗ_Ｎをそれぞれ与える。
【００１２】
記号連鎖確率生成部２２０では、重み決定部２１０が出力した重み付きの認識タスク用テキストデータベース１５０および重み付きの複数の一般用テキストデータベース１６０−１〜１６０−Ｎの各テキストデータを入力し、記号連鎖確率（言語モデル）を生成して記号連鎖確率データベース１２０に格納する。この記号連鎖確率、つまり、ユニグラム、バイグラム、トライグラム、一般的にはＭグラム（Ｍは１以上の整数）の生成の基本的な手法は従来の方法と同様であるが、認識タスク用テキストデータベース１５０と複数の一般的テキストデータベース１６０−１〜１６０−Ｎを１つのテキストデータベースとして、このテキストデータベースから記号連鎖確率を生成するが、その際に、各記号（単語）について、それが属するテキストデータベースの重みを考慮する。例えば単語Ａについて認識タスク用テキストデータベース１５０における出現回数をＣ_Ｔ（Ａ）、一般用テキストデータベース１６０−１〜１６０−Ｎにおける各出現回数をＣ_１（Ａ）〜Ｃ_Ｎ（Ａ）とすると、これらに対し、そのデータベースの重みを掛算して加算し、
Ｃ（Ａ）＝Ｗ_Ｔ・Ｃ_Ｔ（Ａ）＋Ｗ_１・Ｃ_１（Ａ）＋Ｗ_２・Ｃ_２（Ａ）＋…＋Ｗ_Ｎ・Ｃ_Ｎ（Ａ）
を単語Ａの出現回数とし、同様にして他の単語の出現回数を求める。単語Ａの単語単体の出現確率（ユニグラム）は、単語Ａの出現回数Ｃ（Ａ）をすべての単語の出現回数ΣＣ（ｋ）で割った
Ｐ（Ａ）＝Ｃ（Ａ）／ΣＣ（ｋ）
となり、同様にして他の単語の出現確率を求めて記号連鎖確率データベース１２０に格納する。
【００１３】
あるいは、例えば単語Ａの次に単語Ｂが生じる確率であるバイグラムの場合、単語Ａに続いて単語Ｂが出現する回数について認識タスク用テキストデータベース１５０における出現回数をＣ_Ｔ（Ａ，Ｂ）、一般用テキストデータベース１６０−１〜１６０−Ｎにおける各出現回数をＣ_１（Ａ，Ｂ）〜Ｃ_Ｎ（Ａ，Ｂ）とすると、これらについてそれぞれのデータベースの重みを掛算したものの和
Ｃ（Ａ，Ｂ）＝Ｗ_Ｔ・Ｃ_Ｔ（Ａ，Ｂ）＋Ｗ_１・Ｃ_１（Ａ，Ｂ）＋Ｗ_２・Ｃ_２（Ａ，Ｂ）＋…＋Ｗ_Ｎ・Ｃ_Ｎ（Ａ，Ｂ）
を単語連鎖Ａ，Ｂの出現回数とし、それを単語Ａの出現回数Ｃ（Ａ）で割った
Ｐ（Ｂ｜Ａ）＝Ｃ（Ａ，Ｂ）／Ｃ（Ａ）
を単語Ａの次に単語Ｂが生じるバイグラム確率として同様にして他の単語連鎖の確率を求めて記号確率データベース１２０に格納してもよい。
【００１４】
次に、図２に示した認識タスク用記号連鎖確率生成部１４０中の重み決定部２１０における処理手順例を図３に示し、以下に動作を説明するｎ＝１に初期化し（Ｓ１）、認識タスク用テキストデータベース１５０のテキストデータと一般用テキストデータベース１６０−ｎのテキストデータとから一般用テキストデータベース１６０−ｎに対する重みｗ_ｎを決定する（Ｓ２）、ｎ＝Ｎかを調べ（Ｓ３）、ｎ＝Ｎでなければｎを＋１してステップＳ２に戻る（Ｓ４）。ｎ＝Ｎであれば、つまりすべての一般用テキストデータベース１６０−１〜１６０−Ｎについて重みＷ_１〜Ｗ_Ｎを決定したら、認識タスク用テキストデータベース１５０に対する重みＷ_Ｔを決定する（Ｓ５）。
【００１５】
重みｗ_ｎの決定の具体例を図４を参照して説明する。例えば、パープレキシティに基づいて重み付けをする場合には、認識タスク用テキストデータベース１５０のテキストデータを用いて記号連鎖確率Ｐ_Ｔを記号連鎖確率生成部４１０で生成しテキストデータベース重み計算部４２０でその記号連鎖確率Ｐ_Ｔの一般用テキストデータベース１６０−ｎに対するテストセットパープレキシティを計算し、そのパープレキシティの値に基づいて重みの値Ｗ_ｎを決める。テストセットパープレキシティＰＰは、言語Ｌの情報理論的な意味での単語の平均分岐数を表し、評価用テキスト集合（単語列、記号列）に対して適用され、次式で与えられる。
【００１６】
ＰＰ＝２^Ｈ（Ｌ）
ここでＨ（Ｌ）＝−Σ_ｗ１（１／ｎ）Ｐ（ｗ_１ ^ｎ）ｌｏｇＰ（ｗ_１ ^ｎ）
であり、Ｈ（Ｌ）は一単語あたりのエントロピーであり、Ｐ（ｗ_１ ^ｎ）は単語列ｗ_１ ^ｎ＝ｗ_１…ｗ_ｎの生成確率である。つまり、認識タスク用テキストデータベース１５０を用いて生成した記号連鎖確率Ｐ_Ｔを用いて、一般用テキストデータベース１６０−ｎ内のテキストデータについてテストセットパープレキシティＰＰを求める。言語パープレキシティが大きいほど、つまり単語の平均分岐数が多いほど、単語を特定するのが難しく、ある記号連鎖確率と評価テキストからテストセットパープレキシティＰＰを求めた場合、そのＰＰの値が小さいほど、記号連鎖確率は評価テキストをよく表現できていることになる。従って、前記実施例で一般用テキストデータベース１６０−ｎについて求めたテストセットパープレキシティの値が小さければ、この一般用テキストデータベース１６０−ｎは認識タスク用テキストデータベース１５０と似ていることになる。よって一般用テキストデータベース１６０−ｎに対する重みＷ_ｎを大きくする。
【００１７】
また、未知語率に基づいて一般用テキストデータベースを重み付けをすることもできる。この場合は図４中に示すように認識タスク用テキストデータベース１５０に存在する（出現する）記号（単語）のリスト、即ち記号リストＬ_Ｔを記号リスト生成部４３０で生成し、テキストデータベース重み計算部４２０では、一般用テキストデータベース１６０−ｎに出現する単語（記号）ののべ数のうち、記号リストＬ_Ｔに含まれない記号（単語）が何個あるかという割合（未知語率）を計算し、その未知語率の値に基づいて一般用テキストデータベース１６０−ｎの重みの値Ｗ_ｎを決める。例えば一般用テキストデータベース１６０−ｎの全単語数が２０００で、その中１００単語が記号リストＬ_Ｔに含まれていない未知語であった場合は、その未知語率は（１００／２０００）×１００＝５００になる。未知語率が小さいほど、記号リストＬ_Ｔと一般用テキストデータベース１６０−ｎには重複する単語が多く一般用テキストデータベース１６０−ｎは認識タスク用データベース１５０と類似していることになり、重みＷ_ｎを大きくする。
【００１８】
テキストデータベース計算部４２０では、記号リストＬ_Ｔおよび記号連鎖確率Ｐ_Ｔのいずれかを用いる場合に限らず、これら両者を組み合わせて用いることもできる。例えば一般用テキストデータベース１６０−ｎの記号連鎖確率Ｐ_Ｔを用いたテストセットパープレキシティがしきい値より小さく、かつ記号リストＬ_Ｔに対する未知語率がしきい値より小さい場合は一般用テキストデータベース１６０−ｎの重みＷ_ｎを１とし、その他の場合は重みＷ_ｎを０とする。なお記号リストＬ_Ｔの生成は、後述する実施例では３万文、のべ１００万単語の認識タスク用テキストデータベース１５０の場合、異なる単語数は約１０万単語であるが、この１０万単語中には、認識タスク用データベース１５０中に１回しか出現しない単語も多く含まれており、それらの単語は統計的に信頼性が低いことから、出現しなかったこととして記号リストＬ_Ｔに含めない場合もあり、前記後述の実験では記号リストＬ_Ｔを出現頻度の多い単語から２万単語までとした。この頻度上位２万語の単語はこのデータベース１５０ののべ１００万単語のうち約９９％を占める。
【００１９】
次に認識タスク用テキストデータベース１５０の重みｗ_Ｔを決定する処理例を図５を参照して説明する。
例えば、認識タスク用テキストデータベース１５０のデータ量Ｌ_Ｔをテキストデータ量算出部５１０で求め、一般用テキストデータベース１６０−１〜１６０−Ｎの全テキストデータ量Ｃ_Ｄをテキストデータ量算出部５２０で求め、これらの比Ｃ_Ｄ／Ｃ_Ｔを重み計算部５３０で計算し、その計算結果に基づいて認識タスク用テキストデータベース１５０の重みＷ_Ｔを与える。一般用テキストデータベース１６０−１〜１６０−Ｎの全テキストデータ量Ｃ_Ｄとしてその重みＷ_ｎを考慮する場合はＣ_Ｄ＝Σ_ｎ＝１ ^ＮＷ_ｎＣ_ｎを計算して求める。Ｃ_ｎは一般用テキストデータベース１６０−ｎののべ単語数である。
【００２０】
上述において、認識タスク用テキストデータベース１５０には重みＷ_Ｔを与えなくてもよい。つまり一般用テキストデータベース１６０−１〜１６０−Ｎの重みＷ_１〜Ｗ_Ｎを求めて、これを用いて図２中の記号連鎖確率生成部２２０で記号連鎖確率を前述したように求めてもよい。この場合はＷ_Ｔ＝１とし、Ｗ_１〜Ｗ_Ｎを１以下の正数としたとも云える。また逆に、一般用テキストデータベース１６０−１〜１６０−Ｎには重みを与えず、つまりＷ_１〜Ｗ_Ｎを全て１とし、認識タスク用テキストデータベース１５０に１以上の重みＷ_Ｔを与えて、記号連鎖確率生成部２２０で記号連鎖確率を求めてもよい。
【００２１】
上述した言語モデルの生成及び音声認識はコンピュータによりプログラムを実行させて行うこともできる。例えば図６に示すように各部がバス６７０に接続され、メモリ６４０に言語モデル生成プログラムがＣＤ−ＲＯＭ、ハードディスクなどからあるいは通信回線を介してしてインストールされてあり、ＣＰＵ６６０がこの言語モデル生成プログラムを実行することにより、認識タスク用テキストデータベース１５０、一般用テキストデータベース１６０−１〜１６０−Ｎを用いて、図７に示すように認識タスク用テキストデータベース１５０の単語から記号連鎖確率Ｐ_Ｔ又は記号リストＬ_Ｔを生成し（Ｓ１）、その後、各一般用テキストデータベース１６０−１〜１６０−Ｎのそれぞれについて、重みＷ_ｎを順次計算し（Ｓ２）、次に認識タスク用テキストデータベース１５０の重みＷ_Ｔを計算し（Ｓ４）、その後、これらの重みＷ_１〜Ｗ_Ｎ，Ｗ_Ｔを用いてテキストデータベース１５０と１６０−１〜１６０−Ｎとの単語について記号連鎖確率（言語モデル）を生成して記号連鎖確率データベース１２０に格納する（Ｓ４）。
【００２２】
その後、音声認識を行うが、メモリ６５０に音声認識プログラムを前述と同様にインストールしておき、入力部６１０に音声が入力されると、ＣＰＵ６６０が音声認識プログラムを実行し、記号連鎖確率データベース１２０、音声標準パタンデータベース１３０を参照して音声認識を行い、その結果の記号列を出力部６３０から出力する。なお入力部６１０で入力される音声は例えば線形予測分析されたＬＰＣケプストラム、ＬＰＣデルタケプストラム、対数パワーなどの特徴パラメータのベクトルデータ時系列とされたものである。記憶部６２０は言語モデル生成や、音声認識時に一時にデータを記憶するためなどに用いられる。
実施例
この発明の効果を確認するために評価実験を行った。評価用の入力音声データは、ニュース番組の男性アナウンサーの発話１２９文を用いた。認識タスク用テキストデータベース１５０としては、約１００万単語のニュースの書き起こしテキストを用いた。一般用テキストデータベース１６０−１〜１６０−Ｎとしては、新聞記事、ホームページ、ネットニューズなどから収集した約１億５０００万単語のデータベースを用意し、この評価実験では、このテキストデータベース中の一文をそれぞれ一つの一般用テキストデータベース１６０−１〜１６０−Ｎとした。一般用テキストデータベースの重みＷ_ｎの決定にはパープレキシティＰＰ_ｎを用い、一般用テキストデータベース１６０−１〜１６０−Ｎ中でパープレキシティＰＰ_ｎがしきい値より低い文が全体の４０％となるようにパープレキシティＰＰ_ｎのしきい値を設定し、パープレキシティＰＰ_ｎがしきい値より小さい文の一般用テキストデータベース１６０−ｎの重みＷ_ｎを１、しきい値以上の文の一般用テキストデータベース１６０−ｎの重みＷ_ｎを０とした。また、認識タスク用テキストデータベース１５０に対する重みＷ_Ｔは、認識タスク用テキストデータベース１５０のデータ量（単語数）Ｃ_Ｔと重み付けした一般用テキストデータベース１６０−１〜１６０−Ｎのデータ量（単語数）Ｃ_Ｄとに基づいて、Ｃ_Ｄ／Ｃ_Ｔとした。
【００２３】
評価用音声データの書き起こしテキストに対する記号連鎖確率のパープレキシティ（単語の平均分岐数、小さいほど評価テキストに対して高精度な連鎖確率であるといえる）で評価したところ、認識タスク用テキストデータベース１５０のみから生成した記号連鎖確率の場合はテキストデータ数が少ないため７５と大きな値になり、認識タスク用テキストデータベース１５０と大規模テキストデータベース群、つまり一般用テキストデータベース１６０−１〜１６０−Ｎとから生成した記号連鎖確率の場合は４２と小さくなったが、この発明の重み付けを用いて生成した記号連鎖確率の場合は、３６と更に小さくなった。
【００２４】
また、音声認識実験により評価したところ、単語誤り率は、認識タスク用テキストデータベース１５０のみから生成した記号連鎖確率の場合、１４．７％、認識タスク用テキストデータと一般用テキストデータベース１６０−１〜１６０−Ｎとから生成した記号連鎖確率の場合、１１．６％、この発明の重み付けを用いて生成した記号連鎖確率の場合は、９．９％となり、認識率の向上が明確に得られた。
【００２５】
また、記号連鎖確率のパラメータ数は、認識タスク用テキストデータベース１５０と一般用テキストデータベース１６０−１〜１６０−Ｎとから生成した記号連鎖確率の場合、約１０００万であり、この発明の重み付けを用いて生成した記号連鎖確率の場合は、約４６０万であり、可成り少なくなった。
【００２６】
【発明の効果】
以上述べたようにこの発明によれば下記の第１および第２の効果を得ることができる。
第１の効果は、一般の大規模データベース群から、認識タスク用テキストデータに類似したデータに重み付けをすることにより、認識タスクに対して高精度な記号連鎖確率を生成することができる。
【００２７】
第２の効果は、重み付けの際に、認識タスクに対して類似度の低いデータに対する重みを０にすることにより、高精度かつ記憶容量の小さい記号連鎖確率を生成することができる。
【図面の簡単な説明】
【図１】この発明の音声認識方法が適用される装置の構成を示すブロック図。
【図２】この発明の言語モデル（記号連鎖確率）生成方法が適用される生成部の構成を示すブロック図。
【図３】この発明の言語モデル生成方法の処理の流れを示すフローチャート。
【図４】一般用テキストデータベースの重み決定部の構成例を示すブロック図。
【図５】認識タスク用テキストデータベースの重み決定部の構成例を示すブロック図。
【図６】この発明による言語モデル生成方法及び音声認識方法をコンピュータにより実行される場合の構成例を示す図。
【図７】この発明による言語モデル生成方法の処理手順の例を示すフローチャート。

Claims

認識対象のタスクに関するテキストデータを格納した認識タスク用テキストデータベースと、上記認識対象タスクと直接関係しない一般的なテキストデータを格納した複数の一般用テキストデータベースとを用い、
上記認識タスク用テキストデータベースに対する上記各一般用テキストデータベースの関連を示す重みを、そのデータベース中の記号（単語）のうち上記認識タスク用テキストデータ中に含まれないものの比率（未知語率）に基づいて求め、
上記認識タスク用テキストデータベースと上記複数の一般的なテキストデータベースを用いて、注目する記号（単語）についてそれが属するデータベースの重みを与えて、記号連鎖確率（言語モデル）を生成することを特徴とする言語モデル生成方法。
認識対象のタスクに関するテキストデータを格納した認識タスク用テキストデータベースと、上記認識対象タスクと直接関係しない一般的なテキストデータを格納した複数の一般用テキストデータベースとを用いて記号連鎖確率を求め、
その記号連鎖確率を用いて、各一般用テキストデータベースについてパープレキシティ（エントロピー）を求め、
上記各一般用テキストデータベースについて、そのデータベース中の記号（単語）のうち、上記認識タスク用テキストデータ中に含まれないものの比率（未知語率）を求め、
上記認識タスク用テキストデータベースに対する上記各一般用テキストデータベースの関連を示す重みを、上記パープレキシティと未知語率とから求め、
上記認識タスク用テキストデータベースと上記複数の一般的なテキストデータベースを用いて、注目する記号（単語）についてそれが属するデータベースの重みを与えて、記号連鎖確率（言語モデル）を生成することを特徴とする言語モデル生成方法。
上記認識タスク用テキストデータベースのテキストデータ量と、上記複数の一般用テキストデータベースのテキストデータ量の比に基づいて上記認識タスク用テキストデータベースの重みを求めることを特徴とする請求項１又は２に記載の言語モデル生成方法。
上記重みを与えての記号連鎖確率の生成は、注目記号について、各データベース中の出現回数にそのデータベースの重みを与え、その合計値を全体のデータベース中の出現回数として記号連鎖確率を生成することを特徴とする請求項１乃至３の何れかに記載の言語モデル生成方法。
上記重みを与えての記号連鎖確率の生成は、注目記号について、各データベース中の出現頻度又は記号連鎖確率にそのデータベースの重みを与え、その全積算値を全体のデータベース中の出現頻度又は記号連鎖確率として、記号連鎖確率を求めることを特徴とする請求項１乃至４の何れかに記載の言語モデル生成方法。
入力音声を音響モデルと記号連鎖確率（言語モデル）とを用いて認識し、記号（単語）列として出力する音声認識方法において、
上記記号連鎖確率として請求項１乃至５の何れかに記載の方法により生成した言語モデルを用いることを特徴とする音声認識方法。
請求項１乃至６の何れかに記載の方法をコンピュータに実行させるプログラムを記録した記録媒体。