JP5218052B2 - 言語モデル生成システム、言語モデル生成方法および言語モデル生成用プログラム - Google Patents

Description

本発明は言語モデル生成システム、言語モデル生成方法および言語モデル生成用プログラムに関し、特に認識対象の話題が変化する場合にその変化傾向を考慮して適切に動作する言語モデル生成システム、言語モデル生成方法および言語モデル生成用プログラムに関する。

従来の言語モデル生成システムの一例が、音声認識システムに組み込まれた形で特許文献１に記載されている。図４に示すように、この従来の音声認識システムは、音声入力手段９０１と、音響分析手段９０２と、音節認識手段（第一段階認識）９０４と、話題遷移候補点設定手段９０５と、言語モデル設定手段９０６と、単語列探索手段（第二段階認識）９０７と、音響モデル記憶手段９０３と、差分モデル９０８と、言語モデル１記憶手段９０９−１と、言語モデル２記憶手段９０９−２、…、言語モデルｎ記憶手段９０９−ｎとから構成されている。

このような構成を有する従来の音声認識システムは特に複数の話題を含む発話に対してつぎのように動作する。

すなわち、一発話中に所定の数の話題が存在すると仮定し、可能なあらゆる境界（例えば全ての音節間）を話題境界の候補として発話を分割し、それぞれの区間に対して、言語モデルｋ記憶手段（ｋ＝１〜ｎ）に記憶されたｎ個の話題別言語モデルをそれぞれ全て適用し、最もスコアの高かった話題境界・言語モデルの組み合わせを選択し、その時得られた認識結果を最終的な認識結果とする。選択された言語モデルの組み合わせは発話に応じて新たな言語モデルを生成したと考えることができる。これにより、一発話に複数の話題が含まれる場合にも最適な認識結果を出力することができる。
特開２００２−２２９５８９号公報 （第８頁、図１）

第１の問題点は、従来の言語モデル生成システムでは認識対象となる発話に対し当該発話を話題毎に分割し、それぞれ分割された区間毎に最適な言語モデルを用いるのみで、複数区間の話題同士の関連を考慮した言語モデルを生成できておらず、必ずしも最適な認識結果が得られないということである。例えば、ある話題Ａに引き続き話題Ｂの発話がなされたときに、それに続く発話は話題Ａ及びＢ及びその順序に影響される可能性が高いが、従来の言語モデル生成システムではそのような話題の変化を反映した言語モデルの生成を行えない。

その理由は、従来の言語モデル生成システムでは所定の発話に対し決められた話題毎に決められた区間数に分割し、それぞれに対して最適な言語モデルを選択するのみであり、話題そのものの履歴を有効に用いて次の発話を予測する言語モデルを生成していないためである。

本発明の目的は、これまで認識対象においてなされた話題の履歴に応じた適切な言語モデルを生成できる言語モデル生成システム、言語モデル生成方法および言語モデル生成用プログラムを提供することにある。

本発明によれば、話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムであって、前記話題履歴蓄積手段に蓄積された発話における話題の履歴と、前記話題履歴依存言語モデル記憶手段に記憶された言語モデルを用い、前記言語スコア計算手段によって話題の履歴に応じた言語スコアを計算することを特徴とする言語モデル生成システムが提供される。

上記の言語モデル生成システムにおいて、前記話題履歴依存言語モデル記憶手段は、直近ｎ話題のみに依存する話題履歴依存言語モデルを記憶するようにしてもよい。

上記の言語モデル生成システムにおいて、前記話題履歴蓄積手段は、直近ｎ話題のみを蓄積するようにしてもよい。

上記の言語モデル生成システムにおいて、前記話題履歴依存言語モデル記憶手段は話題別の言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題履歴によって前記話題別言語モデルから言語モデルを選択し、前記選択された言語モデルを混合することによって生成された新たな言語モデルを用いて言語スコアを計算するようにしてもよい。

上記の言語モデル生成システムにおいて、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択するようにしてもよい。

上記の言語モデル生成システムにおいて、前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合するようにしてもよい。

上記の言語モデル生成システムにおいて、さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いるようにしてもよい。

上記の言語モデル生成システムにおいて、前記話題履歴依存言語モデル記憶手段は言語モデル間に距離が定義できる話題別言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデル及び、前記話題に対応する話題別言語モデルと距離の小さい別の話題別言語モデルを選択するようにしてもよい。

上記の言語モデル生成システムにおいて、前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合するようにしてもよい。

上記の言語モデル生成システムにおいて、さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いるようにしてもよい。

上記の言語モデル生成システムにおいて、さらに前記言語スコア計算手段は線形結合の際に話題履歴に出現した話題の話題別言語モデルからの距離が遠い話題別言語モデルに対して小さくなるような係数を用いるようにしてもよい。

また、本発明によれば、話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムにおける言語モデル生成方法であって、話題履歴蓄積手段に蓄積された発話における話題の履歴と、話題履歴依存言語モデル記憶手段に記憶された言語モデルを用い、言語スコア計算手段によって話題の履歴に応じた言語スコアを計算することを特徴とする言語モデル生成方法が提供される。

また、本発明によれば、コンピュータを上記に記載の言語モデル生成システムとして機能させるためのプログラムが提供される。

また、本発明によれば、上記に記載の言語モデル生成システムにおいて生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識システムが提供される。

また、本発明によれば、上記に記載の言語モデル生成方法において生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識方法が提供される。

また、本発明によれば、コンピュータを上記に記載の音声認識システムとして機能させるためのプログラムが提供される。

本発明の効果は、話題が変化する認識対象に対して適切に動作する言語モデルの生成を行えることにある。

その理由は、これまで認識対象において生じた話題の履歴を蓄積し、蓄積された話題の履歴を情報として用いることで、話題の変化を次に用いる言語モデルに適切に反映できるためである。

本発明によれば、音声を認識する音声認識装置や、音声認識をコンピュータで実現するためのプログラムといった用途に適用できる。また、音声だけでなく、文字を認識する用途にも適用できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１の実施の形態の構成を示すブロック図である。 第１の実施の形態の動作を示す流れ図である。 第２の実施の形態の構成を示すブロック図である。 従来技術の構成を示すブロック図である。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

本発明の言語モデル生成システムは、話題履歴蓄積手段１０９と、話題履歴依存言語モデル記憶手段１０５と、言語スコア計算手段１１０とを備え、時間順序を伴う認識対象における話題の履歴が話題履歴蓄積手段１０９に蓄積される。言語スコア計算手段１１０において、話題履歴依存言語モデル記憶手段１０５に記憶された話題履歴依存言語モデルと、話題履歴蓄積手段１０９に蓄積された話題履歴とを同時に用いて認識で用いる言語スコアを計算する。

このような構成を採用し、次に入力される認識対象に対し、これまでの話題の履歴に応じた言語モデルを生成することができ本発明の目的を達成することができる。

図１を参照すると、本発明の第１の実施の形態は、音声入力手段１０１と、音響分析手段１０２と、探索手段１０３と、音響モデル記憶手段１０４と、話題履歴依存言語モデル記憶手段１０５と、認識結果出力手段１０６と、認識結果蓄積手段１０７と、テキスト分割手段１０８と、話題履歴蓄積手段１０９と、言語スコア計算手段１１０とから構成されている。

これらの手段はそれぞれ概略つぎのように動作する。

音声入力手段１０１は、音声信号を入力する。具体的には例えばマイクから入力された電気信号をサンプリングしてデジタル化して入力する。音響分析手段１０２は入力された音声信号を音声認識に適した特徴量に変換するために音響分析を行う。特徴量としては具体的には例えばＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）やＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）等がよく用いられる。探索手段１０３は音響モデル記憶手段１０４で記憶されている音響モデルと言語スコア計算手段１１０から与えられる言語スコアに従い、音響分析手段１０２から得られる音声特徴量の中から認識結果を探索する。音響モデル記憶手段１０４は特徴量で表現された音声の標準パターンを記憶している。具体的には例えばＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）やニューラルネットといったモデルがよく用いられる。言語スコア計算手段１１０は話題履歴蓄積手段１０９に蓄積された話題の履歴と話題履歴依存言語モデル記憶手段１０５に記憶された話題履歴依存言語モデルを用いて言語スコアを計算する。話題履歴依存言語モデル記憶手段１０５は話題の履歴に応じてスコアが変化するような言語モデルを記憶する。話題とは例えば発話における主題の属する分野であり、政治・経済・スポーツのように人間が分類するものや、クラスタリング等でテキストから自動的に得られるものを含む。例えば単語単位に定義される言語モデルにおいて、過去ｎ話題に依存する話題履歴依存言語モデルは以下のように表現される。

ここでｔは話題を示し、サフィックスは時間順序を示す。ｈは話題以外のコンテキストを示す。例えばＮ−ｇｒａｍ言語モデルであれば過去Ｎ単語である。このような言語モデルは学習コーパスが話題毎に分割され、各区間に話題の種類が付与されていれば例えば最尤推定等を用いて推定できる。
また、次のように表現される話題履歴依存言語モデルも考えられる。

これはすなわち次の発話が属すると考えられる話題ｔ_ｋ＋１を直接的に予測するモデルとなっている。コンテキストに用いる話題履歴の単位は話題の切り替わり点毎としてもよいし、一定時間毎、一定単語数毎、一定発話数毎、例えば無音により音響的に区切られる音声区間毎としてもよい。話題履歴依存言語モデルを得る手法として先に述べた以外に例えば、話題の継続時間の分布をモデルに組み込むことや、先験的な知識を組み込んでもよい。先験的な知識としては例えば、話題の変化が少ない時には同じ話題が続く可能性が高いということや、話題の変化が大きい時には異なる話題に変わる可能性が高いということ等である。コンテキストとして必ずしも過去ｎ話題全てを用いる必要はなく、必要なコンテキストのみ用いることもできる。例えば予め定めた話題の重要度が小さい話題は用いないことや、継続時間が一定以下の話題は用いないこと、当該話題がコンテキストに出現した延べ回数が一定以下の話題は用いないこと等が考えられる。認識結果出力手段１０６は探索手段１０３により得られた認識結果を出力する。例えば認識結果テキストを画面に表示したりすることが考えられる。認識結果蓄積手段１０７は探索手段１０３により得られた認識結果を時系列に従い蓄積する。認識結果蓄積手段１０７は全ての認識結果を蓄積してもよいし、最近の一定量の結果を蓄積してもよい。

テキスト分割手段１０８は、認識結果蓄積手段１０７に蓄積された認識結果テキストを話題に応じて分割する。この場合、これまで認識が行われた発話を話題に従って分割することとなる。テキストを話題に応じて分割する手段は具体的には例えば「Ｔ．Ｋｏｓｈｉｎａｋａ ｅｔ ａｌ．，"ＡＮ ＨＭＭ−ＢＡＳＥＤ ＴＥＸＴ ＳＥＧＭＥＮＴＡＴＩＯＮ ＭＥＴＨＯＤ ＵＳＩＮＧ ＶＡＲＩＡＴＩＯＮＡＬ ＢＡＹＥＳ ＡＰＰＲＯＡＣＨ ＡＮＤ ＩＴＳ ＡＰＰＬＩＣＡＴＩＯＮ ＴＯ ＬＶＣＳＲ ＦＯＲ ＢＲＯＡＤＣＡＳＴ ＮＥＷＳ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＡＳＳＰ ２００５，ｐｐ．Ｉ−４８５−４８８，２００５．」等を用いて実現される。話題履歴蓄積手段１０９はテキスト分割手段１０８から得られる話題の時系列を発話と対応して蓄積する。話題履歴蓄積手段１０９は全ての話題の履歴を蓄積してもよいし、最近の一定量の履歴を蓄積してもよい。特に前述の過去ｎ話題に依存する話題履歴依存言語モデルの場合には最近ｎ話題を蓄積しておけば十分である。話題履歴蓄積手段１０９に蓄積された話題履歴は言語スコア計算手段１１０において話題履歴依存言語モデル記憶手段１０５に記憶された言語モデルを用いて言語スコアを計算する際に使用される。

次に、図１及び図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、音声入力手段１０１において音声データが入力される（図２のステップＡ１）。次に、入力された音声データを音響分析手段１０２によって音声認識に適した特徴量に変換する（ステップＡ２）。探索手段１０３で音声認識を行うため、言語スコア計算手段１１０は話題履歴蓄積手段１０９に蓄積された話題履歴を取得する（ステップＡ３）。話題履歴蓄積手段１０９において、何も蓄積されていない状態を初期状態としてもよいし、事前に話題が予想できる場合にはその話題を蓄積した状態を初期状態としてもよい。次に、探索手段１０３において音響モデル記憶手段１０４に記憶された音響モデルと、言語スコア計算手段１１０によって計算された言語スコアとを用いて、取得された音声特徴量に対して探索を行う（ステップＡ４）。これにより得られた認識結果は認識結果出力手段１０６によって適切に出力され、認識結果蓄積手段１０７に時間順に従って蓄積される（ステップＡ５）。

認識結果蓄積手段１０７において、何も蓄積されていない状態を初期状態としてもよいし、事前に発話に関する話題のテキストが得られる場合にはそのテキストを蓄積した状態を初期状態としてもよい。次に、テキスト分割手段１０８によって認識結果蓄積手段１０７に蓄積された認識結果を話題毎に分割する（ステップＡ６）。この時、蓄積された認識結果を全て対象として処理を行ってもよいし、新規に追加された認識結果のみ対象として処理を行ってもよい。最後に、テキスト分割手段１０８によって得られた分割に従い話題の履歴を時間順に従って話題履歴蓄積手段１０９に蓄積する（ステップＡ７）。以後、音声が入力される度に上記の処理が繰り返される。分かり易さのため、入力される音声を動作の単位として全体の動作を説明したが、実際には各処理が並列にパイプライン処理で動作していてもよいし、複数の音声に対して一度処理を行うように動作してもよい。本システムでは話題履歴を用いて認識するが、話題の履歴に、これまで認識した発話だけでなく、現在認識対象となっている発声の話題を加えてもよい。その場合、現在の発声の話題を推定する必要があり、例えば話題非依存の言語モデル等を用いて一度認識を行い話題を推定し、再度同じ発声に対して話題履歴依存言語モデルを用いて認識を行う。

次に、本実施の形態の効果について説明する。

本実施の形態では、話題履歴蓄積手段を持ち、それに蓄積された話題履歴をコンテキストとして話題依存言語モデルを用いて言語スコアを行うよう構成されているため、話題の変化を伴う発話に対して精度良く認識できる言語モデルを生成することができる。

次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図３を参照すると、第１の実施の形態と比べ話題履歴依存言語モデル記憶手段１０５の代わりに話題別言語モデル記憶手段２１０、言語スコア計算手段１１０の代わりに話題別言語モデル選択手段２１１、話題別言語モデル混合手段２１２が追加されている。

これらの手段はそれぞれ概略つぎのように動作する。

話題別言語モデル記憶手段２１０は話題毎に作成された複数の言語モデルを記憶する。このような言語モデルは例えば前述のテキスト分割方法を用いて学習コーパスを分割し、それぞれ話題毎に言語モデルを作成することで得られる。話題別言語モデル選択手段２１１は話題履歴蓄積手段１０９に蓄積された話題履歴に従い話題別言語モデル記憶手段２１０に記憶された話題別言語モデルから適切な言語モデルを選択する。例えば、話題履歴から得られる最近ｎ話題に関する言語モデルを選択することができる。話題別言語モデル混合手段２１２は話題別言語モデル選択手段２１１によって選択された言語モデルを混合して一つの話題履歴依存言語モデルを生成する。例えば最近ｎ話題に依存する言語モデルとして、最近ｎ話題のそれぞれの言語モデルを用いて以下のような過去ｎ話題に依存する話題履歴依存言語モデルを生成することができる。

ここで、ｔは話題、ｈは話題以外のコンテキストである。λは話題履歴に出現する話題毎に与えられる混合係数である。λは例えば１／ｎ（一様）であったり、最近の話題であれば大きく、より過去の話題であれば小さくなるよう設定できる。右辺において、コンテキストｔが一つの例を挙げているが、ｔが複数である場合も同様に考えられる。話題別言語モデル記憶手段２１０に記憶される言語モデル同士に距離が定義できる場合には話題別言語モデル選択手段２１１において話題履歴に出現した話題に関する言語モデルだけでなく、その言語モデルと近い言語モデルを合わせて選択することができる。このような距離には言語モデル間の語彙の重なり度合いや、言語モデルが確率分布で表現される場合には分布間の距離、言語モデルの元となった学習コーパスの類似度等を用いることができる。このような場合に話題別言語モデル混合手段２１２において、例えば最近ｎ話題に依存する言語モデルとして、最近ｎ話題の言語モデル及びその近傍の言語モデルを用いて以下のような過去ｎ話題に依存する話題履歴依存言語モデルを生成できる。

ここで、ｔは話題、ｈは話題以外のコンテキストである。λは話題履歴に出現する話題毎に与えられる混合係数である。ωはある話題の近傍の言語モデル毎に与えられる混合係数、ｄ（ｔ１，ｔ２）は話題ｔ１の言語モデルと話題ｔ２の言語モデルの距離、θは定数である。ωは例えばｄに反比例するような値を設定できる。

次に、本発明を実施するための最良の形態の効果について説明する。

本発明を実施するための最良の形態では、複数の話題毎に作成された話題別言語モデル記憶手段を持ち、話題履歴に従いそれらを適切に組み合わせて話題履歴依存言語モデルを生成するよう構成されているため、事前に話題履歴依存言語モデルを準備することなく、話題の変化を伴う音声に対して精度良く認識できる言語モデルの生成を行うことができる。

なお、図１、図３に示す装置はハードウェア、ソフトウェア又はこれらの組合せにより実現できる。ソフトウェアにより実現するとは、コンピュータが、コンピュータを当該装置として機能させるためのプログラムを実行することによって実現することをいう。
（付記１）
話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムであって、
前記話題履歴蓄積手段に蓄積された発話における話題の履歴と、前記話題履歴依存言語モデル記憶手段に記憶された言語モデルを用い、前記言語スコア計算手段によって話題の履歴に応じた言語スコアを計算することを特徴とする言語モデル生成システム。
（付記２）
前記話題履歴依存言語モデル記憶手段は、直近ｎ話題のみに依存する話題履歴依存言語モデルを記憶することを特徴とする付記１記載の言語モデル生成システム。
（付記３）
前記話題履歴蓄積手段は、直近ｎ話題のみを蓄積することを特徴とする付記１または２記載の言語モデル生成システム。
（付記４）
前記話題履歴依存言語モデル記憶手段は話題別の言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題履歴によって前記話題別言語モデルから言語モデルを選択し、前記選択された言語モデルを混合することによって生成された新たな言語モデルを用いて言語スコアを計算することを特徴とする付記１ないし３のいずれか１つ記載の言語モデル生成システム。
（付記５）
前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択することを特徴とする付記４記載の言語モデル生成システム。
（付記６）
前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合することを特徴とする付記４または５記載の言語モデル生成システム。
（付記７）
さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いることを特徴とする付記６記載の言語モデル生成システム。
（付記８）
前記話題履歴依存言語モデル記憶手段は言語モデル間に距離が定義できる話題別言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデル及び、前記話題に対応する話題別言語モデルと距離の小さい別の話題別言語モデルを選択することを特徴とする付記４記載の言語モデル生成システム。
（付記９）
前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合することを特徴とする付記８記載の言語モデル生成システム。
（付記１０）
さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いることを特徴とする付記９記載の言語モデル生成システム。
（付記１１）
さらに前記言語スコア計算手段は線形結合の際に話題履歴に出現した話題の話題別言語モデルからの距離が遠い話題別言語モデルに対して小さくなるような係数を用いることを特徴とする付記９または１０記載の言語モデル生成システム。
（付記１２）
付記１ないし１１のいずれか１つに記載の言語モデル生成システムにおいて生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識システム。
（付記１３）
話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムにおける言語モデル生成方法であって、
前記話題履歴蓄積手段に蓄積された発話における話題の履歴と、前記話題履歴依存言語モデル記憶手段に記憶された言語モデルを用い、前記言語スコア計算手段によって話題の履歴に応じた言語スコアを計算することを特徴とする言語モデル生成方法。
（付記１４）
前記話題履歴依存言語モデル記憶手段は、直近ｎ話題のみに依存する話題履歴依存言語モデルを記憶することを特徴とする付記１３記載の言語モデル生成方法。
（付記１５）
前記話題履歴蓄積手段は、直近ｎ話題のみを蓄積することを特徴とする付記１３または１４記載の言語モデル生成方法。
（付記１６）
前記話題履歴依存言語モデル記憶手段は話題別の言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題履歴によって前記話題別言語モデルから言語モデルを選択し、前記選択された言語モデルを混合することによって生成された新たな言語モデルを用いて言語スコアを計算することを特徴とする付記１３ないし１５のいずれか１つ記載の言語モデル生成方法。
（付記１７）
前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択することを特徴とする付記１６記載の言語モデル生成方法。
（付記１８）
前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合することを特徴とする付記１６または１７記載の言語モデル生成方法。
（付記１９）
さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いることを特徴とする付記１８記載の言語モデル生成方法。
（付記２０）
前記話題履歴依存言語モデル記憶手段は言語モデル間に距離が定義できる話題別言語モデルを記憶し、前記言語スコア計算手段は前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデル及び、前記話題に対応する話題別言語モデルと距離の小さい別の話題別言語モデルを選択することを特徴とする付記１６記載の言語モデル生成方法。
（付記２１）
前記言語スコア計算手段は選択された話題別言語モデルの確率パラメータを線形結合することを特徴とする付記２０記載の言語モデル生成方法。
（付記２２）
さらに前記言語スコア計算手段は線形結合の際に話題履歴において古い話題に対して小さくなるような係数を用いることを特徴とする付記２１記載の言語モデル生成方法。
（付記２３）
さらに前記言語スコア計算手段は線形結合の際に話題履歴に出現した話題の話題別言語モデルからの距離が遠い話題別言語モデルに対して小さくなるような係数を用いることを特徴とする付記２１または２２記載の言語モデル生成方法。
（付記２４）
付記１３ないし２３のいずれか１つに記載の言語モデル生成方法において生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識方法。
（付記２５）
コンピュータを付記１乃至１１の何れか１つに記載の言語モデル生成システムとして機能させるためのプログラム。
（付記２６）
コンピュータを付記１２に記載の音声認識システムとして機能させるためのプログラム。

Claims (18)

1. 話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムであって、
   前記話題履歴依存言語モデル記憶手段は、話題別言語モデルを記憶し、
   前記話題履歴蓄積手段は、発話における話題の履歴を蓄積し、
   前記言語スコア計算手段は、前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択し、選択した話題別言語モデルによって算出される確率と混合係数とを掛け合わせた値を線形結合することで、前記選択された話題別言語モデルを混合した新たな言語モデルを生成し、前記新たな言語モデルを用いることで、話題の履歴に応じた言語スコアを計算し、
   前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルが、話題履歴における古い話題に対応する話題別言語モデルであるほど、小さい値であることを特徴とする言語モデル生成システム。
2. 話題履歴依存言語モデル記憶手段と、話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムであって、
   前記話題履歴依存言語モデル記憶手段は、言語モデル間に距離が定義できる話題別言語モデルを記憶し、
   前記話題履歴蓄積手段は、発話における話題の履歴を蓄積し、
   前記言語スコア計算手段は、前記話題履歴蓄積手段に蓄積された話題に対応する前記話題別言語モデル、及び前記話題に対応する話題別言語モデルとの距離が小さい別の話題別言語モデルを選択し、選択した話題別言語モデルを混合することによって生成された新たな言語モデルを用いて、話題に応じた言語スコアを計算することを特徴とする言語モデル生成システム。
3. 前記言語スコア計算手段は、選択した話題別言語モデルによって算出される確率と混合係数とを掛け合わせた値を線形結合することで、前記新たな言語モデルを生成することを特徴とする請求項２記載の言語モデル生成システム。
4. 前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルが、話題履歴における古い話題に対応する話題別言語モデルであるほど、小さい値であることを特徴とする請求項３記載の言語モデル生成システム。
5. 前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルと、話題履歴に出現した話題の話題別言語モデルとの距離が遠いほど、小さい値であることを特徴とする請求項３または４記載の言語モデル生成システム。
6. 前記話題履歴依存言語モデル記憶手段は、直近ｎ話題のみに依存する話題履歴依存言語モデルを記憶することを特徴とする請求項１ないし５いずれか１項に記載の言語モデル生成システム。
7. 前記話題履歴蓄積手段は、直近ｎ話題のみを蓄積することを特徴とする請求項１ないし６いずれか１項に記載の言語モデル生成システム。
8. 請求項１ないし７のいずれか１項に記載の言語モデル生成システムにおいて生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識システム。
9. 話題別言語モデルを記憶する話題履歴依存言語モデル記憶手段と、発話における話題の履歴を蓄積する話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムにおける言語モデル生成方法であって、
   前記言語スコア計算手段が、前記話題履歴蓄積手段に蓄積された話題に対応する話題別言語モデルを選択し、前記選択した話題別言語モデルによって算出される確率と混合係数とを掛け合わせた値を線形結合することで、前記選択された話題別言語モデルを混合した新たな言語モデルを生成し、前記新たな言語モデルを用いることで、話題の履歴に応じた言語スコアを計算する言語モデル生成方法であり、
   前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルが、話題履歴における古い話題に対応する話題別言語モデルであるほど、小さい値であることを特徴とする言語モデル生成方法。
10. 言語モデル間に距離が定義できる話題別言語モデルを記憶する話題履歴依存言語モデル記憶手段と、発話における話題の履歴を蓄積する話題履歴蓄積手段と、言語スコア計算手段とを備えた言語モデル生成システムにおける言語モデル生成方法であって、
    前記言語スコア計算手段が、前記話題履歴蓄積手段に蓄積された話題に対応する前記話題別言語モデル、及び前記話題に対応する話題別言語モデルとの距離が小さい別の話題別言語モデルを選択し、選択した話題別言語モデルを混合することによって生成された新たな言語モデルを用いて、話題に応じた言語スコアを計算することを特徴とする言語モデル生成方法。
11. 前記言語スコア計算手段は、前記選択した話題別言語モデルによって算出される確率と混合係数とを掛け合わせた値を線形結合することで、前記新たな言語モデルを生成することを特徴とする請求項１０記載の言語モデル生成方法。
12. 前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルが、話題履歴における古い話題に対応する話題別言語モデルであるほど、小さい値であることを特徴とする請求項１１記載の言語モデル生成方法。
13. 前記混合係数は、該混合係数と掛け合わせる前記確率の算出に用いる話題別言語モデルと、話題履歴に出現した話題の話題別言語モデルとの距離が遠いほど、小さい値であることを特徴とする請求項１１または１２記載の言語モデル生成方法。
14. 前記話題履歴依存言語モデル記憶手段は、直近ｎ話題のみに依存する話題履歴依存言語モデルを記憶することを特徴とする請求項９ないし１３いずれか１項に記載の言語モデル生成方法。
15. 前記話題履歴蓄積手段は、直近ｎ話題のみを蓄積することを特徴とする請求項９ないし１４いずれか１項に記載の言語モデル生成方法。
16. 請求項９ないし１５のいずれか１項に記載の言語モデル生成方法において生成された言語モデルを参照して音声認識を行う音声認識手段を備えることを特徴とする音声認識方法。
17. コンピュータを請求項１ないし７の何れか１項に記載の言語モデル生成システムとして機能させるためのプログラム。
18. コンピュータを請求項８に記載の音声認識システムとして機能させるためのプログラム。

Images