JP2008058341A - 単語分類装置及び音声認識装置及び単語分類プログラム - Google Patents

Abstract

【課題】本発明は、同じ表記で異なる意味を持つ単語の取り扱いができ、言語モデルにおける確率値の計算時間を短縮することができる単語分類装置及び音声認識装置及び単語分類プログラムを提供することを目的とする。
【解決手段】単語リストとして与えられた複数の単語について、学習テキストにおいて前記単語の文脈の異なりに応じて複数の文脈クラスを設定する文脈クラス設定手段と、任意の単語が所属する文脈クラスと他の文脈クラスとを併合したときの尤度を計算して最適の組み合わせの文脈クラスを併合する文脈クラス併合手段と、前記文脈クラスに基づいて割り当てた単語クラスを用いて統計的手順により言語モデルを生成する言語モデル生成手段を有する。
【選択図】図５

Description

本発明は、単語分類装置及び音声認識装置及び単語分類プログラムに関し、単語が所属するクラスを統計的に分類する単語分類装置及び音声認識装置及び単語分類プログラムに関する。

音声認識においては、入力音声を音響モデルとマッチングすることで文字列を得て、この文字列を統計的言語モデルとマッチングすることで文字列の構成する文章を認識する。この統計的言語モデルは、予め用意された学習テキストの単語を分類することで作成される。

統計的言語モデルなどでは、学習データが少ない場合、ある単語履歴（文脈）から単語を予測する際の精度が劣化する。この際、単語をあるクラスで代表させることにより、学習テキストにおけるデータスパースネスを回避し、単語の予測精度が改善されることが分かっている。

単語を統計的に適切なクラスにクラスタリング（分類）する単語分類手法は、これまでに多く提案されているが、代表的な手法として非特許文献１や非特許文献１に記載の方法がある。

非特許文献１に記載の方法は、単語は１つのクラスに所属するものとし、学習テキストに現れる単語の頻度のみに基づいて単語の分類を行う。非特許文献２に記載の方法は、クラスの総数を予め定めておき、単語が複数のクラスすべてに所属するものとして単語の分類を行う。
Ｒ．Ｋｎｅｓｅｒ ａｎｄ Ｈ．Ｎｅｙ，"Ｉｍｐｒｏｖｅｄ Ｃｌｕｓｔｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｃｌａｓｓ−ｂａｓｅｄ Ｓｔａｔｉｓｔｉｃａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｉｎｇ，"Ｅｕｒｏｓｐｅｅｃｈ９３，ＰＰ．９９３−９９６，１９９３． Ｌ．Ｓａｕｌ ａｎｄ Ｆ．Ｐｅｒｅｉｒａ，"Ａｇｇｒｅｇａｔｅ ａｎｄ Ｍｉｘｅｄ−ｏｒｄｅｒ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ ｆｏｒ Ｓｔａｔｉｓｔｉｃａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．８１−８９，１９９７ 北研二，"確率的言語モデル"東京大学出版，ｐｐ．５７−６２，１９９９ 伊藤秀一ほか，"モデル選択"岩波書店，ｐｐ．１０８−１１３，２００５ 下平英寿ほか，"モデル選択"岩波書店，ｐｐ．２４−２５，２００５

非特許文献１に記載の方法は、学習テキストに現れる単語の頻度のみに基づいて単語の分類を行っている。このため、単語の所属するクラスは単一であり、同じ表記でありながら異なる意味を持つ単語の取り扱いが困難であるという問題があった。

非特許文献２に記載の方法は、単語が複数のクラスに所属することを許しているが、単語は規定されたクラスのすべてに所属することを前提としているため、リアルタイム性を要求されるアプリケーションでは、クラスの総数が増加すると、言語モデルにおける確率値の計算が煩雑となり膨大な時間がかかる。また、非特許文献２における分類アルゴリズムは、所属クラスの総数が予め定められているため、学習テキストと語彙に最適なクラス数を設計することは困難であるという問題があった。

本発明は、上記の点に鑑みなされたもので、同じ表記で異なる意味を持つ単語の取り扱いができ、言語モデルにおける確率値の計算時間を短縮することができる単語分類装置及び音声認識装置及び単語分類プログラムを提供することを目的とする。

本発明の単語分類装置は、
単語リストとして与えられた複数の単語について、学習テキストにおいて前記単語の文脈の異なりに応じて複数の文脈クラスを設定する文脈クラス設定手段と、
任意の単語が所属する文脈クラスと他の文脈クラスとを併合したときの尤度を計算して最適の組み合わせの文脈クラスを併合する文脈クラス併合手段と、
前記文脈クラスに基づいて割り当てた単語クラスを用いて統計的手順により言語モデルを生成する言語モデル生成手段を有することにより、同じ表記で異なる意味を持つ単語の取り扱いができ、言語モデルにおける確率値の計算時間を短縮することができる。

前記単語分類装置において、
前記文脈クラスに基づいて割り当てた単語クラスのうち、任意の単語クラスと他の単語クラスとを併合したときの尤度を計算して最適の組み合わせの単語クラスを併合して前記言語モデル生成手段に供給する単語クラス併合手段を有することができる。

前記単語分類装置において、
前記文脈は、単語リストとして与えられた単語の前後の単語列であることができる。

本発明の音声認識装置は、前記単語分類装置で生成した言語モデルを用いて音声認識を行う音声認識手段を有することができる。

本発明の単語分類プログラムは、コンピュータを、
単語リストとして与えられた複数の単語について、学習テキストにおいて前記単語の文脈の異なりに応じて複数の文脈クラスを設定する文脈クラス設定手段、
任意の単語が所属する文脈クラスと他の文脈クラスとを併合したときの尤度を計算して最適の組み合わせの文脈クラスを併合する文脈クラス併合手段、
前記文脈クラスに基づいて割り当てた単語クラスを用いて統計的手順により言語モデルを生成する言語モデル生成手段、として機能させることができる。

本発明によれば、同じ表記で異なる意味を持つ単語の取り扱いができ、言語モデルにおける確率値の計算時間を短縮することができる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

＜本発明の原理＞
本発明では、学習テキストと予め定められた語彙を用いて、
（１）単語を文脈にしたがって分類し、文脈クラスを統計的に推定する。
（２）上記にしたがって文脈分類されたクラスをマージし、単語クラスを統計的に推定する。

上記２つの推定を行い、音声認識で用いられる統計的言語モデルの予測精度を向上させる。

例えば、「森」という単語について考える。図１（Ａ）に示す「森前総理大臣」の「森」と、図１（Ｂ）に示す「森に住む動物」の「森」では表記は同じであるが、単語の指し示す品詞、あるいは意味が異なっている。前者の「森」は人名を指す固有名詞であるのに対し、後者の「森」は「木々が集まった場所を指す普通名詞である。

固有名詞「森」の場合は文脈から後続する単語は「総理」「首相」などが期待される一方、普通名詞「森」の場合は文脈から助詞が後続すると考えられる。

一方、図１（Ｃ）に示す固有名詞「小泉」は固有名詞「森」と同様の文脈、すなわち、後続する単語として「首相」「総理」を取るものとする。

このとき、単語の分類として尤もらしいと考えられるのは、固有名詞「小泉」と固有名詞「森」を同一クラスに分類することである。また、普通名詞「森」は、固有名詞「森」と同じクラスではなく、他のふさわしい単語、例えば普通名詞「林」と同一のクラスに分類されるべきである。

上記の単語「森」のように、同一表記を持つ単語を文脈に応じて分類するために、文脈クラスを導入する。文脈クラスの導入により、単語を分類する際の同一表記の取り扱いの問題を解決することができる。さらに、文脈クラスによる分類と、単語クラスによる分類の２段階のクラスタリングを導入し、学習テキストに最適化された単語分類を可能とする。

＜単語分類装置のハードウェア構成＞
図２は、本発明の単語分類装置を含む音声認識装置のハードウェア構成を示す一実施形態のブロック図を示す。音声認識装置は、専用の装置構成とすることもできるが、例えば、汎用のパーソナルコンピュータ、ワークステーション等を適用することができる。

図２において、音声認識装置は、入力装置１１と、出力装置１２と、ドライブ装置１３と、補助記憶装置１４と、メモリ装置１５と、演算処理装置１６と、データベース１７から構成されており、これらはシステムバス１８で相互に接続されている。

入力装置１１は、使用者が操作するキーボード及びマウス、音声入力用のマイクロホンを有しており、各種信号を入力する。出力装置１２は、単語分類及び音声認識処理のプログラムを操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、実行プログラムに基づいて表示される。

ここで、本発明において、音声認識装置にインストールされる単語分類及び音声認識処理の実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体１９等により提供される。プログラムを記録した記録媒体１９はドライブ装置１３に装着され、記憶媒体１９に格納された実行プログラムが、記録媒体１９からドライブ装置１３を介して補助記憶装置１４にインストールされる。

演算処理装置１６は、補助記憶装置１４から少しずつ読み出されてメモリ装置１５に格納されている実行プログラムに基づいて、各種演算や後述する各処理を含む音声認識装置全体の処理を制御する。また、プログラムの実行中に必要な各種情報は、データベース１７から取得することができ、また格納することもできる。

＜音声認識装置の機能構成＞
図３は、本発明の音声認識装置の一実施形態の機能構成図を示す。同図中、学習テキスト２１は予め補助記憶装置１４に格納されており、補助記憶装置１４からメモリ装置１５内の所定領域に転送される。また、入力装置１１から音声認識させたい語彙及び文脈クラスを求めたい単語リストが入力されメモリ装置１５内の所定領域に格納される。演算処理装置１６で実行されるプログラムである分類部２２すなわち本発明の単語分類装置によって所定領域の学習テキスト２１が演算処理装置１６内で処理されて適切な単語クラスに分類され、分類された単語クラスが当該単語に属性として付与され、言語モデル２３としてデータベース１７に格納される。

音響モデル２４は予めデータベース１７に格納されている。演算処理装置１６で実行されるプログラムである音声認識部２５が実行されるとき、言語モデル２３及び音響モデル２４はデータベース１７からメモリ装置１５内の所定領域に転送される。

入力装置１１からの入力音声は、メモリ装置１５内のバッファ領域に一時格納され、音声認識部２５によって言語モデル２３及び音響モデル２４とマッチングされ、最も尤度の高い単語が認識された単語列２７として出力され、単語列２７は補助記憶装置１４に格納されると共に、出力装置１２のディスプレイに表示される。

図４は、音声認識部２５の一実施形態の機能構成図を示す。同図中、学習テキスト２１は、例えばニュース原稿あるいはニュース書き起こしなどのテキストデータである。また、学習テキスト２１は、事前に形態素解析により形態素（単語）単位に分割されているものとする。学習テキスト２１に対し、文脈分類部３０において所望の単語（単語リスト）に対し、文脈クラス３１を求める。

単語分類部３２は、学習テキスト２１及び文脈クラス３１から単語クラス３３を求める。言語モデル学習部３４は、単語クラス３３に基づく統計的な処理により言語モデル２３を作成する。統計的な言語モデルについては、例えば非特許文献３に記載されているＮグラムモデルがある。

図５は、文脈分類部３０が実行する処理の一実施形態のフローチャートを示す。同図中、ステップＳ１１で学習テキスト２１と単語リストが与えられ、メモリ装置１５内の所定領域に格納される。

単語リストとは、音声認識させたい単語である語彙νのうち、文脈クラスを求めたい単語をリストにしたものであり、これをＬとする。例えば、語彙νに含まれる名詞のみの文脈クラスを求めたい場合、語彙νに含まれる単語のうち名詞のみを単語リストとして与える。なお、語彙の総数を｜ν｜、リスト中の単語の総数を｜Ｌ｜とする。

ステップＳ１２では、単語リストに存在するすべての単語について学習テキスト２１から文脈クラスを求めたか否かを判定し、すべての文脈クラスを求めていなければステップＳ１３に進み、すべての文脈クラスを求めていれば、この処理を終了する。

ステップＳ１３（初期化）では、単語リストから単語ω（ω∈Ｌ）を１つ取り出す。いま、学習テキスト２１中で単語ωが文脈ｘを伴って観測されたとする。ここで、文脈ｘは単語ωの前後の単語列、または、形態素解析等の適当な手段により付与された品詞列、分類語彙表等のシソーラスから得られた意味分類番号、係り受け解析により得られた単語ωに係る文節の主辞等とする。

単語ωとして図１（Ａ），（Ｂ）に示す「森」を例に取って説明する。簡便のため、単語「森」の文脈を後続する１単語とする。このとき「森」は「前」「総理」「首相」「の」「から」「に」の６種類の後続単語を文脈ｘとして持っていることになる。

ステップＳ１３では、単語ωについて、文脈ｘの異なりに応じて文脈クラスを定める。図１（Ａ）に示す後続単語「前」を持つ「森」を文脈クラス０に割り当て、後続単語「総理」を持つ「森」を文脈クラス１に割り当て、図１（Ｂ）に示す後続単語「の」を持つ「森」を文脈クラス２に割り当て、後続単語「に」を持つ「森」を文脈クラス３に割り当て、図７に示すような合計６つの文脈クラスをメモリ装置１５内の文脈クラス領域に格納する。さらに、図１（Ｃ）に示す単語「小泉」についても３つの文脈クラスをメモリ装置１５内の文脈クラス領域に格納する。

ステップＳ１４（仮分類）では、単語ωの所属する文脈クラスｙ_ｋ（ｋ＝０，１，２，…）としたとき、すべての文脈クラスｙ_ｋの組み合わせについて、文脈クラスｙ_ｋと文脈クラスｙ_ｋ’（ｋ’＝０，１，２，…）を併合したときにおける尤度を演算処理装置１６で計算する。

ここで、尤度は、ＭＤＬ原理（Ｍｉｎｉｍｕｍ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌｅｎｇｔｈ）やＡＩＣ（赤池情報量基準）などの統計的な基準に基づいて計算される値である。ＭＤＬ原理であれば、尤度Ｌ’_ＭＤＬは（１）式で表される。ＡＩＣであれば、尤度Ｌ’_ＡＩＣは（２）式で表される。

ただし、ｄ’は併合による分類後の文脈クラス数、Ｎは学習テキスト２１の総単語数である。Ｐ（ｙ_ｋ｜ｘ）は文脈ｘが与えられたときの文脈クラスｙ_ｋの条件付き確率を表し、（１），（２）式の右辺第１項は対数尤度であり、右辺第２項は併合したことによるペナルティである。また、尤度Ｌ’_ＭＤＬ，Ｌ’_ＡＩＣは値が小さいほど尤もらしいことを表す。

なお、ＭＤＬ原理については、例えば非特許文献４に記載されており、ＡＩＣについては、例えば非特許文献５に記載されている。

以下ではＭＤＬ原理にしたがって説明する。ステップＳ１５では、ある文脈クラス同士を併合したときの尤度Ｌ’_ＭＤＬと併合前の尤度Ｌ_ＭＤＬを比較し、（３）式にて差分を求める。

Δ_ＭＤＬ＝Ｌ_ＭＤＬ−Ｌ’_ＭＤＬ …（３）
この差分△_ＭＤＬが最大となる併合を最適とする。

例えば、「総理」を文脈とする文脈クラス１の単語「森」、「の」を文脈とする文脈クラス２の単語「森」、「に」を文脈とする文脈クラス３の単語「森」に対し、Δ_ＭＤＬ１を「総理」を文脈とする「森」と、「の」を文脈とする「森」を併合したときの差分とし、Δ_ＭＤＬ２を「の」を文脈とする「森」と、「に」を文脈とする「森」を併合したときの差分として、（１）式と（３）式からΔ_ＭＤＬ１とΔ_ＭＤＬ２をそれぞれ計算する。

このとき、「の」「に」が共に助詞であるという情報が条件付き確率Ｐ（ｙ_ｋ｜ｘ）に反映されていれば、Δ_ＭＤＬ２の方がΔ_ＭＤＬ１より大きくなると期待され、「の」を文脈とする「森」と、「に」を文脈とする「森」を併合することが妥当であると見なされる。

したがって、「の」を文脈とする「森」と、「に」を文脈とする「森」を併合した「の」を文脈とする「森」の文脈クラス２と、「に」を文脈とする「森」の文脈クラス３が併合されることとなり、「総理」を文脈とする「森」（文脈クラス１）は併合されないままとなる。

もし、△_ＭＤＬが予め定められた閾値を下回ったときは、ステップＳ１５からステップＳ１７に進んで、単語ωに対する文脈クラス３１を出力し、ステップＳ１２に戻る。

一方、△_ＭＤＬが予め定められた閾値以上の場合はステップＳ１５からステップＳ１６（分類）に進んで、ステップＳ１５で最適とされた、併合した文脈クラスを採用（更新）しステップＳ１４に進んで処理を繰り返す。

上記手順により、最適な文脈クラスとして、「前」「総理」「首相」を文脈とする文脈クラス１と、「の」「に」「から」を文脈とする文脈クラス２が得られる。すなわち表記が同一の単語「森」であっても異なる２つの文脈クラスが得られる。このようにして、類似する文脈クラスどうしが同一の文脈クラスに併合される。図８に併合された文脈クラス３１を示す。この文脈クラス３１はメモリ装置１５内の文脈クラス領域に格納される。

図６は、単語分類部３２が実行する処理の一実施形態のフローチャートを示す。同図中、ステップＳ２１で学習テキスト２１と文脈クラス３１が与えられ、メモリ装置１５内の所定領域に格納される。ここでは、学習テキスト２１における単語ω_ｉについて、文脈クラス３１としてｙ_ｉ（ｉ＝０，１，２，…）が求められているものとする。

ステップＳ２２（初期化）では、文脈クラスｙ_ｉにしたがって、単語を独立した単語クラスに割り当てる。例えば、「森」は２つの文脈クラスを持つので、「森（文脈クラス１）」を単語クラスｃ_１に割り当てて単語ω_１とし、「森（文脈クラス２）」は単語クラスｃ_２に割り当てて単語クラスω_２とする。

一方、図１（Ｃ）では、「小泉」は１つの文脈クラスを持ち、例えば単語クラスｃ_３に割り当てて単語ω_３とする。この様子を図９に示す。

ステップＳ２３（仮分類）では、任意の単語クラスのペアについて、これらを併合したときのＭＤＬ原理の尤度Ｌ’_ＭＤＬを演算処理装置１６で（４）式により計算する。

ここで、Ｇ（ω_ｉ）は文脈クラスｙ_ｉを持つ単語ω_ｉを単語クラスｃ_ｊ（ｊ＝０，１，２，…）に変換する関数である。なお、右辺第１項は単語クラスバイグラムの対数尤度を示している。右辺第２項は併合したことによるペナルティである。

ステップＳ２４では、併合したときの尤度Ｌ’_ＭＤＬと併合前の尤度Ｌ_ＭＤＬを比較し、（５）式にて差分を求める。

Δ_ＭＤＬ＝Ｌ_ＭＤＬ−Ｌ’_ＭＤＬ …（５）
（５）式をすべての単語クラスの併合に対して計算し、Δ_ＭＤＬが最大となる併合を最適とする。もし、Δ_ＭＤＬが予め定められた閾値を下回ったときは、ステップＳ２４からステップＳ２６に進んで、単語クラス３３を結果として出力する。

一方、△_ＭＤＬが予め定められた閾値以上の場合はステップＳ２４からステップＳ２５（分類）に進んで、ステップＳ２４で最適とされた、併合した単語クラスを採用（更新）しステップＳ２３に進んで処理を繰り返す。

上記の手順を図１に基づいて説明すると、「総理」などを文脈とする「森」（単語ω_１）が単語クラスｃ_１に所属し、「の」などを文脈とする「森」（単語ω_２）が単語クラスｃ_２に所属し、「総理」などを文脈とする「小泉」（単語ω_３）が単語クラスｃ_３に所属しているとする。

ここでも、Δ_ＭＤＬ１を単語クラスｃ_１と単語クラスｃ_２を併合したときの差分とし、Δ_ＭＤＬ２を単語クラスｃ_１と単語クラスｃ_３を併合したときの差分とする。単語クラスｃ_１と単語クラスｃ_３を比べると、「総理」「首相」が共通の文脈であるため、Δ_ＭＤＬ２の方がΔ_ＭＤＬ１よりも大きくなることが期待される。したがって、単語クラスｃ_３が単語クラスｃ_１に併合され、固有名詞の「森」と「小泉」が同じ単語クラスｃ_１に所属することになる。これに対して、単語クラスｃ_２は併合されないままとなる。

このようにして、類似する文脈を持つ単語どうしが同一の単語クラスに併合されることで単語クラスの数は減少し、最適な単語クラスが得られる。図１０に併合された単語クラス３３を示す。この単語クラス３３はメモリ装置１５内の単語クラス領域に格納される。

学習テキスト２１では単語「森」は、「前」「総理」「首相」を文脈とし、「大臣」を文脈としていないため、従来の非特許文献１に記載の方法では、単語「森」に続いて単語「大臣」が生成される確率は非常に小さかったのに対し、本実施形態では、固有名詞の「森」と「小泉」が同じ単語クラスｃ_１に所属するため、単語「森」に続いて単語「大臣」が生成される確率は大きくなる。

上記処理の終了後、得られた図１０に示すような単語クラス３３を用いて、図４に示す言語モデル学習部３４は統計的手順により言語モデル２３を作成する。言語モデル学習部３４は演算処理装置１６で実行されるプログラムである。

ここで、ある単語列ωの生起確率を表わす際、単語の出現確率に、ある単語の出現は直前の数単語に依存するというマルコフ性を仮定すると、（６ａ）式のようになる。この式は単語ω_ｉの出現が直前の単語ω_ｉ−２，ω_ｉ−１に依存するという単語トライグラムの積で単語列ωの生起確率を表わしたことになる。

メモリ装置１５内に格納された学習テキスト２１に含まれる単語列ωの第ｉ番目の単語ω_ｉについて、単語ω_ｉの出現確率をクラストライグラムの確率Ｐ（ω_ｉ）により（６ｂ）式で表す。ここで、ｃ_ｉは単語ω_ｉに対する単語クラスであり、Ｐ（ｃ_ｉ｜ｃ_ｉ−２，ｃ_ｉ−１）がマルコフ性を表わし、Ｐ（ω_ｉ｜ｃ_ｉ）がクラスからの単語の出現確率を表わす。なお、クラストライグラムの代りにクラスバイグラムの確率を用いても良い。

Ｐ（ω_ｉ）＝Ｐ（ω_ｉ｜ｃ_ｉ）Ｐ（ｃ_ｉ｜ｃ_ｉ−２，ｃ_ｉ−１） …（６ｂ）
ここで、クラストライグラムは（６ａ）式の単語トライグラムに対して、マルコフ性を単語ではなく単語クラスで表現し、単語は所属する単語クラスの出現確率に依存するとしたもので、（６ｃ）式のようになる。本実施形態では、単語ω_ｉに対応する単語クラスは複数存在する。このため、単語列ωの確率Ｐ（ω）を（６ｃ）式が最大となるような単語クラス列ｃ＾を演算処理装置１６で求める。

すなわち、（７）式を満たすｃを単語クラス列ｃ＾として求める。そして、単語クラス列ｃ＾から得られる確率値Ｐｓ（ω）を（８）式により演算処理装置１６で求め、この確率値Ｐｓ（ω）を言語モデルのスコアとする言語モデル２３を作成し、データベース１７に格納する。

ここでは、単語「森」に対応する単語クラスは図１０に示すクラスｃ_１，ｃ_２が存在するが、単語列ωの確率値Ｐ（ω）が最大となるクラスｃ_１，ｃ_２のいずれかが選択され、単語クラス列ｃ＾に入れられる。

これは、音声認識する際には単語の表記のみが与えられる。すなわち、「森」という表記のみが既知であり、これがクラスｃ_１，ｃ_２のいずれのクラスであるかが分かっていないために、確率値Ｐ（ω）が最大となるクラスを選択しているのである。

図３に示す音声認識部６０では、データベース１７からメモリ装置１５内の所定領域に転送された言語モデル２３のスコアＰｓ（ω）、及び音響モデル２４から求められる入力音声ｚに対するスコアＰ（ｚ｜ω）を用いて、両者のスコアの積が最も高くなるような単語列ω＾を（９）式で求め、正解の単語列２７として補助記憶装置１４に格納すると共に、出力装置１２から出力する。

上記のスコアＰｓ（ω）は（８）式により求めた単語クラス列の確率値を表しており、スコアＰ（Ｚ／ω）は単語列の音響的な尤度を与えている。そして、（９）式は両スコアの積を最大化する単語列ω＾を求めることを表している。

本実施形態では、単語の単語クラスが文脈によって分類され、同じ表記でありながら異なる意味を持つ単語を取り扱うことが可能となる。また、単語はすべての単語クラスに所属する必要はないので言語モデルにおける確率値の計算量は従来の非特許文献２に記載の方法ほど多くはならず、確率値の計算にかかる時間を短縮できる。つまり、文脈に応じた詳細な単語の分類結果を得ることができる。また、統計的言語モデルとして利用した場合、音声認識装置の単語認識率が向上する。

なお、ステップＳ１３が請求項記載の文脈クラス設定手段に相当し、ステップＳ１４，Ｓ１６が文脈クラス併合手段に相当し、言語モデル学習部３４が言語モデル生成手段に相当し、ステップＳ２３，Ｓ２５が単語クラス併合手段に相当し、音声認識部２５が音声認識手段に相当する。

単語の分類を説明するための図である。 本発明の単語分類装置を含む音声認識装置のハードウェア構成を示す一実施形態のブロック図である。 本発明の音声認識装置の一実施形態の機能構成図である。 音声認識部の一実施形態の機能構成図である。 文脈分類部が実行する処理の一実施形態のフローチャートである。 単語分類部が実行する処理の一実施形態のフローチャートである。 文脈クラスを示す図である。 併合された文脈クラスを示す図である。 単語の単語クラスへの割り当てを示す図である。 併合された単語クラスを示す図である。

符号の説明

１１ 入力装置
１２ 出力装置
１３ ドライブ装置
１４ 補助記憶装置
１５ メモリ装置
１６ 演算処理装置
１７ データベース
１８ システムバス
１９ 記憶媒体
２１ 学習テキスト
２２ 分類部
２３ 言語モデル
２４ 音響モデル
２５ 音声認識部
２６ 入力音声
２７ 単語列
３０ 文脈分類部
３１ 文脈クラス
３２ 単語分類部
３３ 単語クラス
３４ 言語モデル学習部

Claims (5)

1. 単語リストとして与えられた複数の単語について、学習テキストにおいて前記単語の文脈の異なりに応じて複数の文脈クラスを設定する文脈クラス設定手段と、
   任意の単語が所属する文脈クラスと他の文脈クラスとを併合したときの尤度を計算して最適の組み合わせの文脈クラスを併合する文脈クラス併合手段と、
   前記文脈クラスに基づいて割り当てた単語クラスを用いて統計的手順により言語モデルを生成する言語モデル生成手段を
   有することを特徴とする単語分類装置。
2. 請求項１記載の単語分類装置において、
   前記文脈クラスに基づいて割り当てた単語クラスのうち、任意の単語クラスと他の単語クラスとを併合したときの尤度を計算して最適の組み合わせの単語クラスを併合して前記言語モデル生成手段に供給する単語クラス併合手段を
   有することを特徴とする単語分類装置。
3. 請求項１または２記載の単語分類装置において、
   前記文脈は、単語リストとして与えられた単語の前後の単語列であることを特徴とする単語分類装置。
4. 請求項１乃至３のいずれか１項記載の単語分類装置で生成した言語モデルを用いて音声認識を行う音声認識手段を
   有することを特徴とする音声認識装置。
5. コンピュータを、
   単語リストとして与えられた複数の単語について、学習テキストにおいて前記単語の文脈の異なりに応じて複数の文脈クラスを設定する文脈クラス設定手段、
   任意の単語が所属する文脈クラスと他の文脈クラスとを併合したときの尤度を計算して最適の組み合わせの文脈クラスを併合する文脈クラス併合手段、
   前記文脈クラスに基づいて割り当てた単語クラスを用いて統計的手順により言語モデルを生成する言語モデル生成手段、
   として機能させるための単語分類プログラム。

Images