JP2009301433A - カテゴリ関連度算出装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 テキストを所定のカテゴリ集合の内のいずれかのカテゴリに分類するタスクの精度を向上させる。
【解決手段】 カテゴリ毎に該カテゴリに該当するテキストの集合が対応付けられているカテゴリの集合が入力されると、任意の単語Ａに対し、任意のカテゴリにおける任意のテキストと該単語Ａとのテキスト・単語間関連度を、該テキスト中の単語と該単語Ａとの間の単語間関連度データベース中の単語間関連度をもとに算出し、該カテゴリと該単語Ａとのカテゴリ・単語間関連度を該テキスト・単語間関連度をもとに算出し、任意のカテゴリに対し、前記カテゴリ・単語間関連度記憶手段から取得した該カテゴリについてのカテゴリ・単語間関連度から、他のカテゴリについてのカテゴリ・単語間関連度を引いた差が大きい単語を、該カテゴリの代表単語と認定する。
【選択図】 図１

Description

本発明は、カテゴリ関連度算出装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、テキストを所定のカテゴリ集合の内のいずれかのカテゴリに分類するためのカテゴリ関連度算出装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

テキストを所定のカテゴリ集合の内のいずれかのカテゴリに分類するテキスト分類の技術として、以下のような方法がある。

まず、単語間の関連度を算出する。当該単語間関連度算出は以下のようにして行う。

単語に意味属性が付随した辞書を用いて、コーパス中の単語・意味属性間の共起頻度を算出し、単語・意味属性間共起行列を作成する。該行列の各行ベクトルは、対応する単語の、意味属性と共起するパターンを表している。意味の似た単語は、共通の意味属性と共起する傾向があるので、対応するパターンも似る傾向がある。

単語間関連度を、対応するベクトル間のコサインに基づき算出する。単語・意味属性間共起行列を、特異値分解により列数の縮退した行列に変換し、単語間関連度を、変換後の対応するベクトルの間のコサインに基づき算出してもよい。

単語間関連度算出の別の方法として、単語・意味属性間共起行列の各行ベクトルに対し、各成分値を、全成分値の和に対する相対値に変換する。単語Ｂに対し、任意の単語Ｃとのカルバック・ライブラ距離を算出し、該距離の昇順に単語Ｃをランキングし、該ランキングにおける順位により、単語Ｂと単語Ｃとの関連度を算出する。

単語間関連度を、上述のコサインに基づく関連度と、カルバック・ライブラ距離に基づく関連度との線形結合として算出してもよい。

算出した単語間関連度をもとに、以下のようにテキスト分類を行う。

各カテゴリに対し、「テレビ番組 OR ラジオ番組」のような、そのカテゴリを表す文字列のOR結合を対応付けておく。次に、任意の単語と、OR結合された一文字列との関連度を、該単語と、該文字列中の単語との関連度をもとに算出しておく。

被分類テキストが入力されると、当該テキストと一カテゴリとの関連度を以下のようにして算出する。該テキストと、該カテゴリのOR結合された一文字列との関連度を、該テキスト中の単語と、該文字列との関連度をもとに算出する。該テキストと、該カテゴリのOR結合された一文字列との関連度の最大値を、該テキストと該カテゴリとの関連度として算出する。関連度の高い順にカテゴリをランキングし、上位にランクされたカテゴリを分類結果とする（例えば、非特許文献1参照）。
別所克人、内山俊郎、片岡良治：単語間の階層関係に基づくテキスト分類方式、信学技報、Vol. PRMU2007-15, pp. 79-84, May. 2007.

上記従来技術においては、各カテゴリに対し、該カテゴリを表す文字列のOR結合を人手で作成している。

このため、この文字列のOR結合が、該カテゴリの内容の全てをカバーしていない場合がある。この場合、この文字列のOR結合がカバーしていない該カテゴリの内容のテキストに対し、該カテゴリとの関連度が別のカテゴリとの関連度より低くなり、別カテゴリが分類結果となる問題がある。

また、この文字列のOR結合が、別カテゴリの内容も表している場合がある。この場合、該別カテゴリの内容のテキストに対し、該カテゴリとの関連度が、該別カテゴリとの関連度より高くなり、該カテゴリが分類結果となる問題がある。

このように、人手で作成した文字列のOR結合が、対応するカテゴリの内容を適確に表し、かつ、他のカテゴリと差異化できるようなものになっていないため、分類精度に問題がある。

本発明は、上記の点に鑑みなされたもので、テキストを所定のカテゴリ集合の内のいずれかのカテゴリに分類するタスクの精度を向上させるためのカテゴリ関連度算出装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、テキストを、所定のカテゴリ集合の内のいずれかのカテゴリに分類するためのカテゴリ関連度算出装置であって、
単語間関連度を格納した単語間関連度データベース４０と、
カテゴリ毎に該カテゴリに該当するテキストの集合が対応付けられているカテゴリの集合が入力されると、任意の単語Ａに対し、任意のカテゴリにおける任意のテキストと該単語Ａとのテキスト・単語間関連度を、該テキスト中の単語と該単語Ａとの間の単語間関連度データベース４０中の単語間関連度をもとに算出し、該カテゴリと該単語Ａとのカテゴリ・単語間関連度を該テキスト・単語間関連度をもとに算出し、カテゴリ・単語間関連度記憶手段５０に格納するカテゴリ・単語間関連度算出手段１０と、
任意のカテゴリに対し、カテゴリ・単語間関連度記憶手段５０から取得した該カテゴリについてのカテゴリ・単語間関連度から、他のカテゴリについてのカテゴリ・単語間関連度を引いた差が大きい単語を、該カテゴリの代表単語と認定し、代表単語記憶手段６０に格納する代表単語認定手段２０と、を有する。

また、本発明（請求項２）は、任意のテキストを入力とし、各カテゴリに対し、該テキスト中の単語と、代表単語記憶手段６０から取得した該カテゴリの代表単語との間の単語間関連度データベース４０中の単語間関連度をもとに、該テキストと該カテゴリとのテキスト・カテゴリ間関連度を算出し、テキスト・カテゴリ間関連度記憶手段７０に格納するテキスト・カテゴリ間関連度算出手段３０を更に有する。

図２は、本発明の原理を説明するための図である。

本発明（請求項３）は、テキストを、所定のカテゴリ集合の内のいずれかのカテゴリに分類するためのカテゴリ関連度算出方法であって、
カテゴリ・単語間関連度算出手段が、カテゴリ毎に該カテゴリに該当するテキストの集合が対応付けられているカテゴリの集合が入力される（ステップ１）と、任意の単語Ａに対し、任意のカテゴリにおける任意のテキストと該単語Ａとのテキスト・単語間関連度を、該テキスト中の単語と該単語Ａとの間の単語間関連度データベース中の単語間関連度をもとに算出し（ステップ２）、該カテゴリと該単語Ａとのカテゴリ・単語間関連度を該テキスト・単語間関連度をもとに算出し、カテゴリ・単語間関連度記憶手段に格納する（ステップ３）カテゴリ・単語間関連度算出ステップと、
代表単語認定手段が、任意のカテゴリに対し、カテゴリ・単語間関連度記憶手段から取得した該カテゴリについてのカテゴリ・単語間関連度から、他のカテゴリについてのカテゴリ・単語間関連度を引いた差が大きい単語を、該カテゴリの代表単語と認定し、代表単語記憶手段に格納する代表単語認定ステップ（ステップ４）と、を行う。

また、本発明（請求項４）は、テキスト・カテゴリ間関連度算出手段が、任意のテキストを入力とし、各カテゴリに対し、該テキスト中の単語と、代表単語記憶手段から取得した該カテゴリの代表単語との間の単語間関連度データベース中の単語間関連度をもとに、該テキストと該カテゴリとのテキスト・カテゴリ間関連度を算出するテキスト・カテゴリ間関連度算出ステップを更に行う。

本発明（請求項５）は、請求項１または２のいずれか１項に記載のカテゴリ関連度算出装置を構成する各手段としてコンピュータを機能させるためのカテゴリ関連度算出プログラムである。

本発明（請求項６）は、請求項５記載のカテゴリ関連度算出プログラムを格納したコンピュータ読み取り可能な記録媒体である。

請求項１記載の装置の入力となるカテゴリ集合の各カテゴリに対応付けられたテキスト集合の各テキストを、該カテゴリの正例テキストと呼ぶ。

各カテゴリに対し、カテゴリ・単語間関連度算出手段と代表単語認定手段とで認定された代表単語は、該カテゴリの正例テキストに対し関連度が高く、別カテゴリの正例テキストに対し関連度が低い。

そこで、任意のカテゴリに対し、該カテゴリに該当するテキストが、テキスト・カテゴリ間関連度算出手段に入力されたとき、該カテゴリの代表単語との関連度は高くなり、別カテゴリの代表単語との関連度は低くなるため、該カテゴリが分類結果となる。

このように、各カテゴリに対し、該カテゴリの内容を的確に表し、かつ、他のカテゴリと差異化できる最適な代表単語が選択されているため、分類精度が向上する。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態におけるカテゴリ関連度算出装置の構成を示す。

同図に示すカテゴリ関連度算出装置は、カテゴリ・単語間関連度算出部１０、代表単語認定部２０、テキスト・カテゴリ間関連度算出部３０、単語間関連度データベース４０、カテゴリ・単語間関連度記憶部５０、代表単語記憶部６０、テキスト・カテゴリ間関連度記憶部７０から構成される。

図４は、本発明の第１の実施の形態における単語間関連度データベース４０の例を示す。同図に示す単語間関連度データベース４０内の｛Ｖ_１，…，Ｖ_ｍ｝，｛Ｙ_１，…，Ｙ_ｎ｝は、それぞれ、名詞、動詞、形容詞等の、本発明の処理に必要な必要語の異なりの集合である。用言は終止形とする。｛Ｙ_１，…，Ｙ_ｎ｝は、高頻度語の集合に限定してあってもよい。任意の単語Ｖ_ｄ，Ｙ_ｉ間の成分に、Ｖ_ｄ，Ｙ_ｉ間の関連度Ｅ（Ｖ_ｄ，Ｙ_ｉ）が格納されている。この単語間関連度は、例えば、背景技術で述べたような手順により生成される。

次に、上記の構成における動作を説明する。

＜カテゴリ・単語間関連度算出部１０＞
まず、カテゴリ・単語間関連度算出部１０の処理について説明する。

図５は、本発明の第１の実施の形態におけるカテゴリ・単語間関連度算出部１０の処理のフローチャートである。

Ｃ_ｐ（１≦ｐ≦ｈ）を、入力となるカテゴリの集合とする。各Ｃ_ｐに対応付けられたテキスト集合をＫ_ｐｕ（１≦ｕ≦ｓ_ｐ）とし、各Ｋ_ｐｕを、Ｃ_ｐの正例テキストと呼ぶ。

ステップ５０１） カテゴリ・単語間関連度算出部１０は、各Ｃ_ｐの正例テキストＫ_ｐｕを形態素解析し、Ｋ_ｐｕを以下のような必要語の終止形の異なりＸ_pugと、Ｘ_pugのＫ_ｐｕ内での出現頻度ＴＦ_pugの組の集合で表す。

K_pu；Ｘ_pug：ＴＦ_pug（1≦ｇ≦ｔ_pu）
上記で、ＴＦ_pugの代わりに、以下の式で表されるＸ_pugのＴＦＩＤＦ_pugを用いて、以降の処理を行ってもよい。

ここで、ＤＮは、あるコーパスにおける文書数であり、ON_pugは、Ｘ_pugの該コーパスにおける出現文書数である。TFIDF_pugが存在しない場合は、ＴＦＩＤＦ_pug＝０とする。

ステップ５０２） 次に、単語間関連度データベース４０中の各列に対応する単語の集合の中から、処理対象の単語Ｙ_ｉを決定する。処理対象の単語Ｙ_iがあれば、ステップ５０３に移行し、なければ、図５のフローチャートの処理を終了する。

ステップ５０３） 処理対象のカテゴリＣ_ｐを決定する。処理対象のカテゴリＣ_ｐがあれば、ステップ５０４に移行し、なければ、ステップ５０２に移行する。

ステップ５０４） Ｃ_ｐの正例テキストの中から、処理対象のテキストＫ_puを決定する。処理対象のテキストＫ_puがあれば、ステップ５０５に移行し、なければステップ５０６に移行する。

ステップ５０５） K_puとＹ_ｉの関連度Ｅ（Ｋ_pu，Ｙ_ｉ）を以下の式により算出する。以下の式で、Ｅ（Ｘ_pug，Ｙ_ｉ）は、単語間関連度データベース４０から取得したものである。

また、Ｅ（Ｋ_pu，Ｙ_ｉ）を以下の式により算出してもよい。

ステップ５０６） C_ｐとＹ_ｉの関連度Ｅ（Ｃ_ｐ，Ｙ_ｉ）を、以下の式により算出する。ここで、ｓ_ｐは、Ｃ_ｐの正例テキストの個数である。このように、Ｅ（Ｃ_ｐ，Ｙ_ｉ）は、Ｅ（Ｋ_pu，Ｙ_ｉ）の平均として算出する。

ステップ５０６の処理が終了した後、ステップ５０３に移行する。

図５のフローチャートの処理が終了した後、任意のＹ_ｉに対し、各Ｃ_ｐとＥ（Ｃ_ｐ，Ｙ_ｉ）の組の集合を出力結果として、カテゴリ・単語間関連度記憶部５０に出力する。

＜代表単語認定部２０＞
次に、代表単語認定部２０の処理について説明する。

図６は、本発明の第１の実施の形態における代表単語認定部２０の処理のフローチャートである。

ステップ６０１） 単語間関連度データベース４０中の各列に対応する単語の集合の中から、処理対象の単語Ｙ_ｉを決定する。処理対象の単語Ｙ_ｉがあれば、ステップ６０２に移行し、なければ、当該図６のフローチャートの処理を終了する。

ステップ６０２） カテゴリ・単語間関連度記憶部５０から各Ｃ_ｐとＥ（Ｃ_ｐ，Ｙ_ｉ）の組の集合を読み込み、Ｅ（Ｃ_ｐ，Ｙ_ｉ）の降順にソートし、その結果、

となったとする。

ステップ６０２に初めて入った場合は、任意のカテゴリＣ_ｑに対し、Ｃ_ｑの代表単語候補

としてＹ_ｉをとり、他のカテゴリとの関連度の差の最小値Ｈ_ｑとして、Ｅ（Ｃ_ｑ，Ｙ_ｉ）から、Ｃ_ｑ以外のカテゴリとＹ_ｉとの関連度の最大値Ｅ（Ｃ_ｒ，Ｙ_ｉ）を引いた値Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）をとる。

当該ステップ６０２に２番目以降に入った場合は、任意のカテゴリＣ_ｑに対し、

があり、Ｅ（Ｃ_ｑ，Ｙ_ｉ）から、Ｃ_ｑ以外のカテゴリとＹ_ｉとの関連度の最大値Ｅ（Ｃ_ｒ，Ｙ_ｉ）を引いた値Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）について、Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）＞Ｈ_ｑならば、

を（Ｙ_ｉ，Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ））で置き換える。

ここで、ｑ＝ｆ_１ならばｒ＝ｆ_２であり、Ｅ（Ｅ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）≧０となる。ｑ≠ｆ_１ならばｒ＝ｆ_１であり、Ｅ（Ｅ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）≦０となる。

当該ステップ６０２の処理が終了した後、ステップ６０１に移行する。

上記の図６のフローチャートの処理が終了した時点で、各カテゴリＣ_ｑに対し、Ｈ_ｑが最も大きくなる

が定まる。

は、Ｃ_ｑ以外のカテゴリと最も差異化できる単語である。

をＣ_ｑの代表単語とし、代表単語記憶部６０に格納する。

また、本実施の形態の別の方法として、上記のカテゴリ・単語間関連度算出部１０と代表単語認定部２０の処理を図７のフローチャートに示す処理で実現してもよい。

図７のステップ７０１〜７０６は、それぞれ、図５に示すステップ５０１〜ステップ５０６と同一の処理である。また、ステップ７０７は、図６に示すステップ６０２と同一の処理である。ステップ７０１〜７０６は、カテゴリ・単語間関連度算出部１０の処理に該当し、また、ステップ７０２，７０７は、代表単語認定部２０の処理に該当する。

＜テキスト・カテゴリ間関連度算出部３０＞
次に、テキスト・カテゴリ間関連度算出部３０の処理について説明する。

図８は、本発明の第１の実施の形態におけるテキスト・カテゴリ間関連度算出部３０の処理のフローチャートである。

ステップ８０１） テキストＬが入力されると、当該テキストＬを形態素解析し、Ｌを以下のような必要語の終止形の異なり

と、

のＬ内での出現頻度

の組の集合で表す。

上記で、

の代わりに、以下の式で表される

の

を用いて、以降の処理を行ってもよい。

ここで、ＤＮは、あるコーパスにおける文書数であり、

は、

の該コーパスにおける出現文書数である。

が存在しない場合は、

とする。

ステップ８０２） 代表単語記憶部６０から代表単語を読み込む。Ｌと各カテゴリＣ_ｑとの関連度Ｅ（Ｌ，Ｃ_ｑ）を、以下の式のように、ＬとＣ_ｑの代表単語

との関連度

として算出する。以下の式で、

は、単語間関連度データベース４０から取得したものである。

また、Ｅ（Ｌ，Ｃ_q）を以下の式により算出してもよい。

カテゴリＣ_ｐの代表単語を

としたとき、

は大きく、従って、Ｃ_ｐの正例テキストＫ_puに対する

も大きい。一方、別カテゴリＣ_ｐ'（ｐ'≠ｐ）の代表単語を

としたとき、

は小さく、従って、Ｃ_ｐの正例テキストＫ_puに対する

も小さい。

そこで、入力テキストＬがカテゴリＣ_ｐに該当するならば、Ｃ_ｐとの関連度

は大きくなり、別カテゴリＣ_ｐ'（ｐ'≠ｐ）との関連度

は小さくなる。

カテゴリＣ_ｑを（Ｌ，Ｃ_ｑ）の大きい順にランキングし、上位にランクされたカテゴリを分類結果とし、テキスト・カテゴリ間関連度記憶部７０に格納する。このようにして、入力テキストＬがカテゴリＣ_ｐに該当するならば、Ｃ_ｐが分類結果となる。

［第２の実施の形態］
上記の第１の実施の形態以外に、以下のように構成することも可能である。

図９は、本発明の第２の実施の形態におけるカテゴリ関連度算出装置の構成を示す。

本実施の形態では、大カテゴリの集合Ｄ_ｂ（１≦ｂ≦ｅ）が入力される。一つの大カテゴリＤ_ｂはいくつかのカテゴリＣ_ｐの集合とする。カテゴリＣ_ｐには、正例テキスト集合Ｋ_pu（１≦ｕ≦ｓ_ｐ）が対応付けられているものとする。

このような大カテゴリ及びカテゴリの構成を、全て人手で作成する場合もある。また、各大カテゴリにその正例テキスト集合が対応付けられており、各大カテゴリ毎に、その正例テキスト集合をクラスタリングし、得られた各クラスタを、該大カテゴリに属するカテゴリとする場合もある。このクラスタリングの方法の一つとして、背景技術で述べた単語ベクトル（共起行列またはその特異値分解後の行列における、行ベクトルのこと）を用い、各正例テキストのベクトルを、該テキスト中の単語のベクトルの重心として算出し、正例テキストのベクトルの集合をクラスタリングするという方法があげられる。

入力テキストをこのような大カテゴリ集合の内のいずれかの大カテゴリに分類するためのカテゴリ関連度算出装置を以下のように構成する。

各大カテゴリに属するカテゴリの集合の和集合を｛Ｃ_ｐ；≦ｐ≦ｈ｝として、前述の第１の実施の形態における図５及び図６、または、図７の処理を行う。但し、ステップ６０２、ステップ７０７の処理を以下のようにすることもできる。

ステップ６０２（または、ステップ７０７）において、各Ｃ_ｐとＥ（Ｃ_ｐ，Ｙ_ｉ）の組の集合を、Ｅ（Ｃ_ｐ，Ｙ_ｉ）の降順にソートし、その結果、

となったとする。

ステップ６０２（またはステップ７０７）の処理に初めて入った場合は、任意のカテゴリＣ_ｑに対し、Ｃ_ｑの代表単語候補

としてＹ_ｉをとり、他のカテゴリとの関連度の差の最小値Ｈ_ｑとして、Ｅ（Ｃ_ｑ，Ｙ_ｉ）から、Ｃ_ｑの属する大カテゴリ以外の大カテゴリに属するカテゴリとＹ_ｉとの関連度の最大値Ｅ（Ｃ_ｒ，Ｙ_ｉ）を引いた値Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）をとる。

ステップ６０２（またはステップ７０７）の処理に２番目以降に入った場合は、任意のカテゴリＣ_ｑに対し、

があり、Ｅ（Ｃ_ｑ，Ｙ_ｉ）から、Ｃ_ｑの属する大カテゴリ以外の大カテゴリに属するカテゴリとＹ_ｉとの関連度の最大値Ｅ（Ｃ_ｒ，Ｙ_ｉ）を引いた値Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）について、Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ）＞Ｈ_ｑならば、

を、（Ｙ_ｉ，Ｅ（Ｃ_ｑ，Ｙ_ｉ）−Ｅ（Ｃ_ｒ，Ｙ_ｉ））で置き換える。

これは、同じ大カテゴリに属しているカテゴリとの差異を考慮しないやり方である。考慮するやり方では、同じ大カテゴリに属している二つのカテゴリの内容が近くても、互いに差異化を図ることにより、内容に即した共通の単語が代表単語から排除され、内容から遠い単語が代表単語とされてしまう状況が生じる。考慮しないやり方により、こうした状況が回避され、内容に則した単語が代表単語として認定される。

図６または図７のフローチャートの処理が終了した時点で、各カテゴリＣ_ｑに対し、Ｈ_ｑが最も大きくなる

が定まる。

をＣ_ｑの代表単語とする。大カテゴリＤ_ｂに対し、Ｄ_ｂに属するＣ_ｑの代表単語

の異なりの集合

をとり、Ｄ_ｂの代表単語集合とする。Ｄ_ｂをその代表単語のOR結合

として表す。

テキスト・カテゴリ間関連度算出部３０における処理は、以下のように行う。

図１０は、本発明の第２の実施の形態におけるテキスト・カテゴリ間関連度算出部３０の処理のフローチャートである。

ステップ１００１） 図８におけるステップ８０１と同一の処理である。

ステップ１００２） 入力テキストＬと各大カテゴリＤ_ｂとの関連度Ｅ（Ｌ，Ｄ_ｂ）を、以下の式のように、ＬとＤ_ｂの各代表単語

との関連度

の最大値として算出する。以下の式で、

は、単語間関連度データベース４０から取得したものである。

また、Ｅ（Ｌ，Ｄ_ｂ）を、以下の式により算出してもよい。

大カテゴリＤ_ｏに属するカテゴリＣ_ｐの代表単語を

としたとき、

は大きく、従って、Ｃ_ｐの正例テキストＫ_ｐｕに対する

も大きい。一方、別大カテゴリに属するカテゴリＣ_ｐ'（ｐ'≠ｐ）の代表単語を

としたとき、

は小さく、従って、Ｃ_ｐの正例テキストK_ｐｕに対する

も小さい。

そこで、入力テキストLがカテゴリＣ_ｐに該当するならば、

は大きくなり、D_ｏとの関連度E（Ｌ，Ｄ_ｏ）も大きくなる。別大カテゴリに属する任意のカテゴリＣ_ｐ'（ｐ'≠ｐ）に対し、

は小さくなり、該別大カテゴリとの関連度も小さくなる。

大カテゴリＤ_ｂをＥ（Ｌ，Ｄ_ｂ）の大きい順にランキングし、上位にランクされた大カテゴリを分類結果とし、テキスト・カテゴリ間関連度記憶部７０に格納する。

このようにして入力テキストＬがカテゴリＣ_ｐに該当するならば、Ｄ_ｏが分類結果となる。

なお、上記の図３、図９に示すカテゴリ関連度算出装置の構成要素の動作をプログラムとして構築し、カテゴリ関連度算出装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、言語処理技術に適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第１の実施の形態におけるカテゴリ関連度算出装置の構成図である。 本発明の第１の実施の形態における単語間関連度データベースの例である。 本発明の第１の実施の形態におけるカテゴリ・単語間関連度算出部の処理のフローチャートである。 本発明の第１の実施の形態における代表単語認定部の処理のフローチャートである。 本発明の第１の実施の形態におけるカテゴリ・単語間関連度算出部と代表単語認定部の処理のフローチャートである。 本発明の第１の実施の形態におけるテキスト・カテゴリ間関連度算出部の処理のフローチャートである。 本発明の第２の実施の形態におけるカテゴリ関連度算出装置の構成図である。 本発明の第２の実施の形態におけるテキスト・カテゴリ間関連度算出部の処理のフローチャートである。

符号の説明

１０ カテゴリ・単語間関連度算出手段、カテゴリ・単語間関連度算出部
２０ 代表単語認定手段、代表単語認定部
３０ テキスト・カテゴリ間関連度算出手段、テキスト・カテゴリ間関連度算出部
４０ 単語間関連度データベース
５０ カテゴリ・単語間関連度記憶手段、カテゴリ・単語間関連度記憶部
６０ 代表単語記憶手段、代表単語記憶部
７０ テキスト・カテゴリ間関連度記憶手段、テキスト・カテゴリ間関連度記憶部

Claims (6)

1. テキストを、所定のカテゴリ集合の内のいずれかのカテゴリに分類するためのカテゴリ関連度算出装置であって、
   単語間関連度を格納した単語間関連度データベースと、
   カテゴリ毎に該カテゴリに該当するテキストの集合が対応付けられているカテゴリの集合が入力されると、任意の単語Ａに対し、任意のカテゴリにおける任意のテキストと該単語Ａとのテキスト・単語間関連度を、該テキスト中の単語と該単語Ａとの間の前記単語間関連度データベース中の前記単語間関連度をもとに算出し、該カテゴリと該単語Ａとのカテゴリ・単語間関連度を該テキスト・単語間関連度をもとに算出し、カテゴリ・単語間関連度記憶手段に格納するカテゴリ・単語間関連度算出手段と、
   任意のカテゴリに対し、前記カテゴリ・単語間関連度記憶手段から取得した該カテゴリについてのカテゴリ・単語間関連度から、他のカテゴリについてのカテゴリ・単語間関連度を引いた差が大きい単語を、該カテゴリの代表単語と認定し、代表単語記憶手段に格納する代表単語認定手段と、
   を有することを特徴とするカテゴリ関連度算出装置。
2. 任意のテキストを入力とし、各カテゴリに対し、該テキスト中の単語と、前記代表単語記憶手段から取得した該カテゴリの代表単語との間の前記単語間関連度データベース中の前記単語間関連度をもとに、該テキストと該カテゴリとのテキスト・カテゴリ間関連度を算出し、テキスト・カテゴリ間関連度記憶手段に格納するテキスト・カテゴリ間関連度算出手段を更に有する請求項１記載のカテゴリ関連度算出装置。
3. テキストを、所定のカテゴリ集合の内のいずれかのカテゴリに分類するためのカテゴリ関連度算出方法であって、
   カテゴリ・単語間関連度算出手段が、カテゴリ毎に該カテゴリに該当するテキストの集合が対応付けられているカテゴリの集合が入力されると、任意の単語Ａに対し、任意のカテゴリにおける任意のテキストと該単語Ａとのテキスト・単語間関連度を、該テキスト中の単語と該単語Ａとの間の単語間関連度データベース中の単語間関連度をもとに算出し、該カテゴリと該単語Ａとのカテゴリ・単語間関連度を該テキスト・単語間関連度をもとに算出し、カテゴリ・単語間関連度記憶手段に格納するカテゴリ・単語間関連度算出ステップと、
   代表単語認定手段が、任意のカテゴリに対し、前記カテゴリ・単語間関連度記憶手段から取得した該カテゴリについてのカテゴリ・単語間関連度から、他のカテゴリについてのカテゴリ・単語間関連度を引いた差が大きい単語を、該カテゴリの代表単語と認定し、代表単語記憶手段に格納する代表単語認定ステップと、
   を行うことを特徴とするカテゴリ関連度算出方法。
4. テキスト・カテゴリ間関連度算出手段が、任意のテキストを入力とし、各カテゴリに対し、該テキスト中の単語と、前記代表単語記憶手段から取得した該カテゴリの代表単語との間の前記単語間関連度データベース中の前記単語間関連度をもとに、該テキストと該カテゴリとのテキスト・カテゴリ間関連度を算出し、テキスト・カテゴリ間関連度記憶手段に格納するテキスト・カテゴリ間関連度算出ステップを更に行う請求項３記載のカテゴリ関連度算出方法。
5. 請求項１または２のいずれか１項に記載のカテゴリ関連度算出装置を構成する各手段としてコンピュータを機能させるためのカテゴリ関連度算出プログラム。
6. 請求項５記載のカテゴリ関連度算出プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images