JP2012079309A - 単語の文書関連度スコアおよびグラフ構造に基づく文書のキーワード抽出方法および装置 - Google Patents

Abstract

【課題】単語の文書関連度スコアおよび関連する単語間の伝達スコアに基づいて文書のキーワードを抽出する方法および装置が提供される。
【解決手段】本発明の文書のキーワード抽出方法によれば、文書は形態素解析され、解析された結果を用いて単語グラフが生成される。単語の文書関連度スコアは、生成された単語グラフと併合されて単語の重要度を示すキーワードスコアが算出される。算出されたキーワードスコアに応じて単語のうち文書のキーワードが選択される。
【選択図】図５

Description

本発明は文書の集合が与えられたとき、当該文書の集合に含まれる各文書のキーワードを抽出する方法および装置に関する。

ウェブ（Ｗｅｂ）で収集された文書、ニュース記事、または学術誌に発表された論文のような文書の集合が与えられた場合、各文書のキーワードを抽出する必要がある。

文書のキーワードを抽出する方法は、大きく学習法と非学習法とに分類することができる。

学習法とは、語彙および単語の意味に基づいてキーワードを認識するように予め学習したキーワード抽出システムが、学習した結果に基づいて文書のキーワードを抽出する方法である。

非学習法とは、キーワード抽出システムによる学習過程を経ないで、単語が用いられた順序や回数などを利用してキーワードを抽出する方法である。

非学習法は、キーワード抽出システムによる学習が要求されないため簡単に用いることができる。また、非学習法のキーワード抽出精度は学習法のキーワード抽出精度に類似するものと認識されている。

情報検索分野において、クエリに類似する文書を検索するために各単語の文書関連度スコアが算出される。各単語の文書関連度スコアを算出するために、文書に含まれる各単語の文書中での使用頻度（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ；ＴＦ）および各単語が用いられた文書の数などの情報が用いられる。

各文書を構成している単語のうち、当該文書で多く用いられる単語と、他の文書では用いられないが当該文書のみで用いられる単語は、当該文書において重要な単語であると、みなしてもよい。文書の観点から見ると、関連度スコアの高い単語が文書を適切に表現する単語であるとみなしてもよい。

特開２００２−２６９１１５号公報

本発明の目的は、単語の文書関連度スコアおよび関連する単語間の伝達スコアに基づいて文書のキーワードを抽出する方法および装置を提供することにある。

本発明の他の目的は、文書を形態素解析することによって生成された単語グラフおよび単語の文書関連度スコアを併合する非学習法に基づくキーワードスコア生成方法および装置を提供することにある。

本発明の一実施形態によると、文書のキーワードを抽出する方法であって、１つ以上の単語の各々について文書に対する関連度スコアを算出し、１つ以上の単語の各々に伝達される１つ以上の伝達スコアを算出し、１つ以上の伝達スコアおよび関連度スコアに基づいて１つ以上の単語の各々のキーワードスコアを算出することを含み、１つ以上の伝達スコアは関連度スコアに基づいて生成され、１つ以上の単語のうち相互の距離が特定の値以下である２つの単語によって伝達される文書のキーワード抽出方法が提供される。

文書のキーワード抽出方法は、文書を形態素解析して単語単位に分割することによって、１つ以上の単語を生成することをさらに含んでもよい。

１つ以上の単語は、文書中の単語のうち特定の品詞に属する単語であってもよく、距離は特定の品詞に属する単語に基づいて算出されてもよい。

関連度スコアは、文書の集合のうち単語が用いられた文書の数および単語の文書中での使用頻度のうち１つ以上の情報に基づいて算出されてもよい。

文書のキーワード抽出方法は、１つ以上のノードおよび１つ以上のリンクを含む単語グラフを生成することをさらに含み、１つ以上のノードの各々は、１つ以上の単語の１つの単語に対応し、１つ以上のリンクの各々は、相互の距離が特定の値以下である２つの単語に各々対応する２つのノードを接続してもよい。

伝達スコアは、単語グラフ中の経路の開始ノードに対応する第１単語から経路の最後のノードに対応する第２単語に伝達されてもよく、経路は１つ以上のリンクのうち１つ以上の接続されたリンクであってもよい。

第１単語から第２単語への伝達スコアは、第１単語の関連度スコアおよび第１単語から第２単語への伝達スコア比率に基づいて算出されてもよい。

第１単語から第１単語と特定の距離内にある１つ以上の第３単語の各々への伝達スコア比率は、１つ以上の第３単語の各々の関連度スコアおよび第１単語に対応するノードから第３単語の各々に対応するノードへのリンク数の積に比例してもよい。

第１単語から第２単語への伝達スコア比率は、１つ以上の接続されたリンクの各々に対応する伝達スコア比率に基づいて算出され、リンクに対応する伝達スコア比率は、リンクが接続する２つのノードに各々対応する２つの単語間の伝達スコア比率であってもよい。

上述の文書のキーワード抽出方法は、１つ以上の単語の一部をキーワードスコアの降順にキーワードとして選択することをさらに含んでもよい。

本発明の他の一実施形態によると、文書のキーワードを抽出する装置において、１つ以上の単語の各々の文書に対する関連度スコアを算出する関連度スコア算出部と、１つ以上の単語の各々に伝達される１つ以上の伝達スコアを算出する伝達スコア算出部と、１つ以上の伝達スコアおよび関連度スコアに基づいて１つ以上の単語の各々のキーワードスコアを算出するキーワードスコア算出部とを備え、伝達スコア算出部は、関連度スコアに基づいて１つ以上の伝達スコアを生成し、１つ以上の単語のうち相互の距離が特定の値以下である２つの単語によって１つ以上の伝達スコアの各々を伝達する文書のキーワード抽出装置が提供される。

本発明は、単語の文書関連度スコアおよび関連する単語間の伝達スコアに基づいて文書のキーワードを抽出する方法および装置を提供する。

また、本発明は、文書を形態素解析することによって生成された単語グラフおよび単語の文書関連度スコアを併合する非学習法に基づくキーワードスコア生成方法および装置を提供する。

本発明の一実施形態に係る文書のキーワード抽出方法及び装置における単語で構成されたグラフを示す図である。 本発明の一実施形態に係る文書のキーワード抽出方法及び装置における単語のキーワードスコア算出方法を説明する図である。 本発明の一実施形態に係る文書のキーワード抽出方法及び装置における長さが１段階である経路の伝達スコア比率の算出方法を示す図である。 本発明の一実施形態に係る文書のキーワード抽出方法及び装置における伝達スコア算出方法を示す図である。 本発明の一実施形態に係る文書のキーワード抽出方法を示すフローチャートである。 本発明の一実施形態に係る文書のキーワード抽出装置の構造図である。

以下、本発明の一実施形態を添付の図面を参照しながら詳しく説明する。しかし、本発明が実施形態によって制限されたり限定されたりすることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、本発明の一実施形態に係る文書のキーワード抽出方法及び装置における単語で構成されたグラフを示す。

与えられた文書１１０は形態素解析されて単語単位に分割される。形態素解析によって生成された単語および単語の品詞は下記の表１の通りである。

生成された単語のうち特定の品詞（例えば、名詞、形容詞または動詞）に属する単語のみで単語グラフを構成してもよい。

表１の単語のうち名詞は下記の表２の通りである。

表２の２５個の名詞のうち重複する単語を除外すると１４個の単語が残る。したがって、１４個の単語に各々対応する１４個のノードを有する単語グラフ１２０が生成されてもよい。

単語グラフ１２０は１つ以上のノードを含み、１つ以上のリンクを含んでもよい。

１つ以上のノードの各々は文書中の１つ以上の単語の１つの単語に対応する。

文書中で、隣接する２つの単語に各々対応する２つのノード間にリンクが生成される。

隣接する２つの単語とは、相互の距離が特定の値以下である２つの単語を意味する。すなわち、１つ以上のリンクの各々は、相互の距離が特定の値以下である２つの単語に各々対応する２つのノード間を接続する。

単語間の距離は特定の品詞に属する単語に基づいて算出されてもよい。例えば、表２において羅列された名詞のうち、直接連続する場合のみを隣接する場合とみなす場合、「文書」−「形態素」、「形態素」−「解析」、「解析」−「後」などが隣接する単語の対である。単語間の距離が２段階離れている場合も隣接する場合とみなす場合、「文書」−「形態素」、「文書」−「解析」、「形態素」−「解析」、「形態素」−「後」などが隣接する単語に該当する。

図１に示すグラフ１２０は、直接連続する２つの単語を隣接する単語とみなし、表２に羅列された名詞を用いて生成されたものである。

文書中で特定の単語対が１回以上隣接する場合、単語対に相当するノード対は１つ以上のリンクで接続される。例えば、表２において「単語」および「該当」は３回隣接する（相互の距離が１段階離れている２つの単語を隣接するものとみなす場合。）。したがって、「単語」に対応するノード１２２および「該当」に対応するノード１２４は、３つのリンクで互いに接続される。

図２は、本発明の一実施形態に係る文書のキーワード抽出方法及び装置における単語のキーワードスコア算出方法を説明するものである。

図２において、４個のノード（２１０、２３０、２５０および２７０）が図示され、各ノード（２１０、２３０、２５０および２７０）は各々単語

（２１２、２３２、２５２および２７２）に対応する。

図２において、開始ノード２１０と最後のノード２７０とはｄ個のリンクを介して接続されている。ｄ個の接続されたリンクはｄ＋１個のノードを接続しているが、図２では、そのうち最初のノード２１０、２番目のノード２３０、ｄ番目のノード２５０、およびｄ＋１番目のノード２７０を図示し、残りのノードは省略する。

ノード２１０とノード２７０との間の経路２９０はｄ個の接続されたリンクを含む。そのうち最初のリンク２９２、２番目のリンク２９４、ｄ−１番目のリンク２９６、およびｄ番目のリンク２９８が図示されている。

単語「ｔ_ｅ」２７２のキーワードスコア「ＫＳ（ｔ_ｅ）」２８０は、単語「ｔ_ｅ」２７２の文書に対する関連度スコア（以下、単に「関連度スコア」と省略する。）「Ｒ（ｔ_ｅ）」２８２および単語「ｔ_ｅ」２７２（または単語「ｔ_ｅ」２７２に対応するノード２７０）に伝達された１つ以上の伝達スコア２８４に基づいて算出される。

例えば、キーワードスコア「ＫＳ（ｔ_ｅ）」２８０は、関連度スコア「Ｒ（ｔ_ｅ）」２８２および伝達スコア２８４の加重値が付与された和であってもよい。

関連度スコアは単語の文書に対する関連度を意味する。関連度スコアは、文書の集合のうち単語が用いられた文書の数を示す逆文書頻度（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ；ＩＤＦ）および単語の文書中の使用頻度（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ；ＴＦ）に基づいて算出されてもよい。関連度スコアはＢＭ２５モデルおよび言語モデルなどの方法を用いて算出されてもよい。

伝達スコアは特定の単語に伝達されるスコアを意味し、文書中の他の単語から特定の単語に伝達される。

伝達スコアは相互に隣接する２つの単語によって伝達される。これは、単語グラフの観点からは、伝達スコアがリンクに接続された２つのノードによって伝達されることを意味する。

すなわち、伝達スコアは、単語グラフ中の経路の開始ノード（または、開始ノードに対応する最初の単語）から経路の最後のノード（または、最後のノードに対応する最後の単語）に伝達される。

図示された経路２９０を介して最初のノード２１０（単語「ｔ_ｓ」２１２）からｄ＋１番目のノード２７０（単語「ｔ_ｅ」２７２）に伝達スコアが伝達される。

経路の最後の単語（例えば、「ｔ_ｅ」２７２）が経路の最初の単語（例えば、「ｔ_ｓ」２１２）から伝達されたスコアを第１スコアとし、経路の最初の単語の関連度スコアを第２スコアとするとき、第１スコアと第２スコアとの間の比率を「伝達スコア比率」と称する。「伝達スコア係数」および「伝達係数」も同じ意味をもつ。

長さがｄである経路２９０において、経路２９０の最後の単語「ｔ_ｅ」２７２が経路の最初の単語「ｔ_ｓ」２１２から伝達された伝達スコアを単語「ｔ_ｓ」２１２の関連度スコア「Ｒ（ｔ_ｓ）」２２２と比較したとき、その伝達スコア比率を「α_ｄ（ｔ_ｅ、ｔ_ｓ）」に表す。

伝達スコア比率が与えられた場合に経路の最後の単語が経路の最初の単語から伝達される伝達スコアは、最初の単語の関連度スコアおよび最初の単語から最後の単語への伝達スコア比率に基づいて算出されてもよい。すなわち、伝達スコアは、最初の単語の関連度スコアおよび最初の単語から最後の単語への伝達スコア比率の積であってもよい。

２つのノード間の伝達スコア比率は、２つのノードを接続する経路の伝達スコア比率であるとみなしてもよい。

長さがｄである経路の伝達スコア比率は、経路を構成する長さが１段階である経路（すなわち、リンク）の伝達スコア比率の積であるとみなしてもよい。

すなわち、伝達スコア比率α_ｄ（ｔ_ｅ、ｔ_ｓ）に対して下記の数１が成立する。

ここで、

は最初のノード２１０から２番目のノード２３０への伝達スコア比率である。これは最初のリンク２９２の伝達スコア比率とみなしてもよい。

は２番目のノード２３０からＤ番目のノード２５０への伝達スコア比率である。これは２番目のリンク２９４からＤ−１番目のリンク２９６の伝達スコア比率を乗算した値である。

はＤ番目のノード２５０からＤ＋１番目のノード２７０への伝達スコア比率である。

前述したように、伝達スコア比率は、経路を構成する１つ以上の接続されたリンクの各々に対応する伝達スコア比率に基づいて算出されてもよく、リンクに対応する伝達スコア比率は、リンクが接続する２つのノードに各々対応する２つの単語間のスコア伝達比率であってもよい。

一般に、２つの単語は相互に関連するものであり、１つの単語が一方的に他の単語を参照することはない。したがって、単語グラフのリンクは双方向リンクであるとみなしてもよい。したがって、長さが１段階であるリンクに対応する伝達スコア比率は各方向ごとに２つである。例えば、単語「ｔ_１」と単語「ｔ_２」が相互関連する場合、「ｔ_１」から「ｔ_２」への伝達スコア比率

および「ｔ_２」から「ｔ_１」への伝達スコア比率

が各々算出され、両値

および

は互いに異なってもよい。

最初のノード２１０からｄ＋１番目のノード２７０に伝達される伝達スコアは、最初のノード２１０の関連度スコア「Ｒ（ｔ_ｓ）」２２２がｄ個のリンク２９２、２９４、２９６および２９８を経てｄ＋１番目のノード２７０に伝達されながら、関連度スコア「Ｒ（ｔ_ｓ）」２２２にｄ個のリンク各々のスコア伝達比率が順に乗算した値であるとみなしてもよい。

したがって、伝達スコアは特定の単語ｔの関連度スコアに基づいて生成され、生成された伝達スコアはリンクによって伝達されるものとみなしてもよい。リンクは、相互の距離が特定の値以下である２つの単語に各々対応する２つのノードを接続するものである。したがって、伝達スコアは、相互の距離が特定の値以下である２つの単語によって伝達されるものとみなしてもよい。伝達スコアが１つ以上のリンクによって伝達されながら、リンクに対応する伝達スコア比率が１つ以上のリンクによって伝達されている伝達スコアに乗算される。

また、第１単語に対応する第１ノードおよび第２単語に対応する第２ノードが１つ以上のリンクに接続されたとき、第１単語から第２単語への伝達スコア比率は、１つ以上のリンク各々に対応する伝達スコア比率に基づいて算出されてもよい。各々のリンクに対応する伝達スコア比率は、リンクが接続する２つのノードに各々対応する２つの単語間の伝達スコア比率であってもよい。

リンクによって伝達スコアが伝達されつつ伝達スコアにリンクの伝達スコア比率が乗算されることによって、伝達スコアの値は次第に小さくなる。伝達中である伝達スコアが特定の閾値以下になると、伝達スコアはこれを伝達しなくてもよい。これにより、キーワードスコアを算出するには意味のないほど小さな値が継続的に伝達されることを防止し、伝達スコアまたはキーワードスコアを算出するシステムに過度の負荷を与えることを防止する。

特定の単語「ｔ」に対応するノードは１つ以上の経路の最後のノードであってもよい。したがって、特定のノードに対応する単語「ｔ」に伝達される伝達スコアは１つ以上であってもよい。このような１つ以上の経路は経路の長さに応じて分類されてもよい。

一般に、１つ以上の経路はサイクル（ｃｙｃｌｅ）を含んでもよい。但し、実施形態に係る１つ以上の経路はサイクルを含んでいないものだけで限定されてもよい。

したがって、単語「ｔ」に伝達される伝達スコアの総和「Ｔ（_ｔ）」は下記の数２によって算出されてもよい。

ここで、「ｐａｔｈ（ｔ、ｄ）」の長さがｄであり、単語「ｔ」が最後の単語（すなわち、単語「ｔ」に対応するノードが最後のノード）である１つ以上の経路を示す。「ｓｔａｒｔ（ｌ）」は経路ｌの最初の単語（すなわち、最初の単語に対応する開始ノード）を示す。

ｄは最大径路の長さであってもよい。すなわち、伝達スコアは長さがｄ以下である経路を介してのみ伝達されるものと制限されてもよい。ｄは単語「ｔ」に対応するノードが最後のノードの１つ以上の経路の各々の長さの最大値であってもよい。実施形態に係る１つ以上の経路はサイクルを含まないものと限定してもよく、サイクルを含むものも許容されてもよい。

前述したように、単語「ｔ」のキーワードスコア「ＫＳ（ｔ）」は単語「ｔ」の関連度スコア「Ｒ（ｔ）」および単語「ｔ」への伝達スコアの総和「Ｔ（ｔ）」の加重値が付与された和であってもよい。関連度スコア「Ｒ（ｔ）」に対する加重値を「λ」（０≦λ≦１）とし、伝達スコアに対する加重値を（１−λ）とするとき、キーワードスコア「ＫＳ（ｔ）」は下記の数３によって算出されてもよい。

図３は、本発明の一実施形態に係る文書のキーワード抽出方法及び装置における長さが１段階である経路の伝達スコア比率の算出方法を示す。

図３において、ノード３１０からこのノード３１０に隣接する１つ以上の他のノード３３０、３５０および３７０各々への伝達スコア比率３２２、３４２および３６２を算出する方法を示す。すなわち、単語「ｔ_ｓ」３１２に対応するノード３１０が開始ノードであり、ノード３１０にリンク３２０、３４０または３６０に接続された他のノード３３０、３５０および３７０が最後のノードである場合、開始ノードおよび最後のノードを各々接続するリンク３２０、３４０および３６０の伝達スコア比率３２２、３４２および３６２が算出される。

開始ノード３１０は、ｎ個のノード（３３０、３５０および３７０）の各々とリンク（３２０、３４０および３６０）で接続される。すなわち、単語「ｔ_ｓ」３１２は、単語「ｔ_１」から「ｔ_ｎ」（３３２、３５２および３７２）と一定の距離内にある。接続されたｎ個のノードのうち最初のノード３３０、２番目のノード３５０およびｎ番目のノード３７０を図示し、３番目のノードからｎ−１番目のノードは省略する。

一般に、単語グラフ中のリンクは双方向リンクであるが、図３では開始ノード３１０から他のノード（３３０、３５０および３７０）の各々への単方向リンク（３２０、３４０および３６０）のみが図示されている。

単語「ｔ_ｓ」３１２の関連度スコアは「Ｒ（ｔ_ｓ）」３１４であり、単語「ｔ_１」から「ｔ_ｎ」（３３２、３５２および３７２）の関連度スコアは各々「Ｒ（ｔ_１）」から「Ｒ（ｔ_ｎ）」（３３４、３５４および３７４）である。

リンクの伝達スコア比率は、リンクの開始ノードの関連度スコア（例えば、「Ｒ（ｔ_ｓ）」３１４）および開始ノードのアウトリンクが表すノードの関連度スコア（例えば、

）の和（例えば、

）に反比例してもよい。ここで、特定のノードが２つ以上のリンクに接続された場合、上記のノードに対応する単語の関連度スコアは、リンク数のみが繰り返し加えられてもよい。

リンクの伝達スコア比率はリンクの最後のノードの関連度スコア（例えば、「Ｒ（ｔ_１）」３３４、「Ｒ（ｔ_２）」３５４または「Ｒ（ｔ_ｎ）」３７４に比例してもよい。

前述した開始ノードの関連度スコアおよび開始ノードとリンクで接続されたノードの関連度スコアの和は、すべての最後のノードと共通する値である。したがって、リンク３２０，３４０，３６０の伝達スコア比率３２２、３４２および３６２は、リンク３２０，３４０，および３６０が示すノード３３０、３５０および３７０の関連度スコア３３４、３５４および３７４に比例してもよい。

したがって、特定の２つの単語間のリンクが１個以下であると仮定すると、特定の第１単語から第１単語と特定の距離内にある１つ以上の第２単語の各々への伝達スコア比率は、１つ以上の第２単語の各々の関連度スコアに比例してもよい。

特定の第１単語と特定の第３単語とが１つ以上のリンクで接続された場合、各々のリンクは別の伝達スコア比率を有する（但し、この場合の１つ以上のリンクの伝達スコア比率は同じである。）。したがって、特定の第１単語から第１単語と特定の距離内にある１つ以上の第２単語の各々への伝達スコア比率は、１つ以上の第２単語の各々の関連度スコアおよび第１単語に対応するノードから第２単語の各々に対応するノードへのリンク数の積に比例してもよい。

前述したように、単語「ｔ_ｓ」から単語「ｔ_ｅ」へのリンクの伝達スコア比率「α_１（ｔ_ｅ、ｔ_ｓ）」は下記の数４によって算出されてもよい。

ここで、「アウトリンク（ｔ_ｓ）」は単語「ｔ_ｓ」に対応するノードのアウトリンク（すなわち、単語「ｔ_ｓ」に対応するノードから始まって長さが１段階である経路をいう。）の集合であり、「ｅｎｄ（ｌ）」は、アウトリンクｌに接続されたノードに対応する単語（すなわち、長さが１段階である経路ｌの最後のノードに対応する単語をいう。）である。

図４に、本発明の一実施形態に係る文書のキーワード抽出方法及び装置における伝達スコア算出方法を示す。

図４において、文書４００は、４個の単語「Ａ」４１２、「Ｂ」４２２、「Ｃ」４３２および「Ｄ」４４２から構成される。文書４００に基づいて単語グラフ４０２が生成される。本発明の一実施形態において、相互の距離が１である２つの単語を、互いに隣接する単語であるとみなす。

単語グラフ４０２は、４個のノード４１０、４２０、４３０および４４０（以下、各々を「ノードＡ」、「ノードＢ」、「ノードＣ」および「ノードＤ」という。）およびノード４１０、４２０、４３０および４４０間のリンク４５０、４５２、４５４、４５６、４５８および４６０を含む。リンクは双方向リンクである。

ノードＡからノードＤ（４１０、４２０、４３０および４４０）は、各々単語Ａから単語Ｄ（４１２、４２２、４３２および４４２）に対応する。単語Ａから単語Ｄ（４１２、４２２、４３２および４４２）は、各々関連度スコア（４１４、４２４、４３４または４４４）を有する。

伝達スコアはステップごとに伝達されてもよい。

一つのステップにおいて、伝達スコアは一つのアウトリンクを経て伝達される。第１単語と第２単語とが、長さ３段階の経路を介して接続される場合、第１単語から第２単語への伝達スコアが伝達されるためには３つのステップが要求される。

本発明の一実施形態において、伝達スコアが伝達される経路はサイクルを含んでもよい。

特定のステップにおいて、第１単語に伝達された伝達スコアは、その次のステップで第１単語が示すノードのアウトリンクについて第１単語に隣接する第２単語に再伝達される。前述したように、アウトリンクによって再伝達される値は、前のステップで第１単語に伝達された伝達スコアの和およびリンクの伝達スコア比率の積であってもよい。

単語のキーワードスコアは、単語の関連度スコアおよび特定のステップで単語に伝達されたスコアに基づいて算出されてもよい。

以下ではアウトリンクに接続された単語に伝達スコアを伝達する過程について説明する。

まず、単語（４１２、４２２、４３２および４４２）の関連度スコア（４１４、４２４、４３４および４４４）と、前述した数４を用いて、リンク（４５０、４５２、４５４、４５６、４５８および４６０）の各々の伝達スコア比率が算出される。

単語「Ａ」４１２に対応する「ノードＡ」４１０のアウトリンクは、各々「ノードＢ」４２０、「ノードＣ」４３０および「ノードＤ」４４０を示す。

したがって、「ノードＡ」４１０から「ノードＢ」４２０への伝達スコア比率は、０．６／（０．４＋０．６＋０．８＋１．０＝３／１４である。「ノードＡ」４１０から「ノードＣ」４３０への伝達スコア比率は、０．８／（０．４＋０．６＋０．８＋１．０＝２／７である。「ノードＡ」４１０から「ノードＤ」４４０への伝達スコア比率は１．０／（０．４＋０．６＋０．８＋１．０＝５／１４である。

同じ方法に基づいて「ノードＢ」４２０から他のノード４１０、４３０および４４０への伝達スコア比率が算出される。但し、「ノードＢ」４２０および「ノードＣ」４３０は、２つのリンク４５６および４５８に接続されているため、伝達スコア比率の算出において単語「Ｃ」４３２の関連度スコア４３４は２回含まれることになる。したがって、「ノードＢ」４２０から「ノードＣ」４３０へのリンク４５６および４５８各々の伝達スコア比率は０．８／（０．６＋０．４＋０．８＋０．８＋１．０＝２／９である。

下記の表３は、開始ノード（行）と最後のノード（列）との間のリンクの伝達スコア比率を示す。２つのノードの間に２つ以上のリンクがある場合、２つ以上のリンク各々の伝達スコア比率を示す。

以下、「ノードＡから」を「Ａ→」のように省略し、「ノードＡに」を「→Ａ」のように省略する。すなわち、「Ａ→Ｂ」は「ノードＡからノードＢに」を意味する。

次に、最初のステップにおいて、アウトリンクに接続されたノード（すなわち、ノードに対応する単語）に伝達スコアが伝達される過程を説明する。

最初のステップにおいて、各ノードがアウトリンクに接続された単語に伝達するスコアは、ノードが示す単語の関連度スコアおよびアウトリンクの伝達スコア比率の積であってもよい。

例えば、Ａ４１０→Ｂ４２０で伝達されるスコアは、単語「Ａ」４１２の関連度スコア０．４（４１４）およびＡ４１０→Ｂ４２０の伝達スコア比率３／１４を乗算した値である０．４×３／１４＝３／３５である。Ｂ４２０→Ｃ４３０で伝達されるスコアは両ノード４２０および４３０間のアウトリンクが２つであるため、Ｂ４２２の関連度スコア０．６（４２４）、Ｂ４２０→Ｃ４３０の伝達スコア比率２／９およびリンク数２を乗算した値である０．６×２／９×２＝４／１５である。

下記の表４は、最初のスコア伝達ステップにおいて各単語が他の単語に伝達したスコアを示す。

流入総和は、単語の各々と流入した伝達スコアの総和を表す。

キーワードスコアは、スコア伝達ステップが行われた後に算出された単語各々のキーワードスコアである。単語のキーワードスコアは、数２に示すように単語の関連度スコアおよび単語に伝達された伝達スコアの加重値が付与された和であってもよい。

λ＝０．８である場合、単語Ａ４１２のキーワードスコアは、１）０．８（λ）に０．４（関連度スコア４１４）を乗算した値、および、２）０．２（１−λ）に２／５（単語Ａへの流入総和）を乗算した値の和である。すなわち、表４で表示したように、単語「Ａ」４１２のキーワードスコアは０．８×０．４＋０．２×２／５＝２／５である。

次に、第２のステップにおいてアウトリンクに接続されたノード（すなわち、ノードに対応する単語）に伝達スコアが伝達される過程を説明する。第２のステップからは、単語の関連度スコアではない単語の各々が前のステップに伝達したスコア（すなわち、以前ステップの流入総和）を用いて伝達スコアが算出される。

例えば、単語「Ａ」４１２から単語「Ｂ」４２２に伝達されるスコアは、単語「Ａ」４１２が直前のステップで伝達された伝達スコアの流入総和およびＡ４１０→Ｂ４２０のアウトリンク４５０の伝達スコア比率を乗算した値（すなわち、２／５×３／１４＝３／３５）である。

また、単語「Ｂ」４２２において、単語「Ｃ」４３２に伝達されるスコアは、単語「Ｂ」４２２が直前のステップで伝達された伝達スコアの流入総和、Ｂ４２０→Ｃ４３０のアウトリンク４５６および４５８の伝達スコア比率、およびＢ４２０→Ｃ４３０のアウトリンク４５６および４５８の数を乗算した値（すなわち、１１／１４×２／９×２＝２２／６３）である。

下記の表５は、スコア伝達の第２のステップで各単語が他の単語に伝達したスコアを表示する。

第２ステップの後は同じ過程を繰り返す。

下記の表６は、同じスコアの伝達ステップがもう１回繰り返された場合のスコアの流れおよび単語各々のキーワードスコアを表示する。

上記のようなスコア伝達ステップが繰り返されて、伝達されるスコアが閾値以下になる場合、スコア伝達が中断されてもよい。

上記のようなスコア伝達ステップが一定の回数だけ実行されると、スコア伝達が中断されてもよい。例えば、スコア伝達ステップが３回繰り返されて中断されると、単語４１２、４２２、４３２および４４２の各々の最終キーワードスコアは表６に示すキーワードスコアとなる。

表６に示す結果によると、単語の各々のキーワードスコアは「Ｂ」４２２＞「Ａ」４１２＞「Ｃ」４３２＞「Ｄ」４４２の順である。したがって、１つのキーワードが抽出される場合には単語「Ｂ」４２２がキーワードとして指定され、２つのキーワードが抽出される場合には単語「Ｂ」４２２および単語「Ｃ」４３２がキーワードとして指定される。

図５は、本発明の一実施形態に係る文書のキーワード抽出方法のフローチャートである。

文書のキーワード抽出方法は、単語グラフ生成ステップ（Ｓ５１０からＳ５３２）、伝達スコア算出ステップ（Ｓ５４０からＳ５７０）、およびキーワード指定ステップ（Ｓ５８０からＳ５９０）に区分されてもよい。

単語グラフ生成ステップ（Ｓ５１０からＳ５３２）では文書の単語グラフが生成される。

伝達スコア算出ステップ（Ｓ５４０からＳ５７０）では１つ以上の単語の各々が伝達したスコアが算出される。

キーワード指定ステップ（Ｓ５８０からＳ５９０）では文書のキーワードが指定される。

まず、単語グラフ生成ステップＳ５１０からＳ５３２について説明する。本ステップＳ５１０からＳ５３２において、１つ以上のノードおよび１つ以上のリンクを含む単語グラフが生成される。

ステップＳ５１０において、形態素解析によって文書が単語単位に分割される。

ステップＳ５２０において、分割された単語のうち使用したい特定の品詞の単語が選択され、１つ以上の単語から構成された単語リストが生成される。

ステップＳ５３０において、１つ以上の単語のうち重複する単語が削除されて残った１つ以上の単語の各々が単語グラフのノードとして割り当てられる。

ステップＳ５３２において、単語リスト中の互いに隣接する２つの単語が検索される。検索された２つの単語に各々対応する２つのノードがリンクで接続される。互いに隣接する２つの単語は、単語リストのうち相互の距離が特定の値以下である２つの単語であってもよい。単語リストは特定品詞の単語のみを含んでもよいため、文書に基づいて距離を算定する場合、距離は特定品詞の単語に基づいて算出されてもよい。

次に、伝達スコア算出ステップＳ５４０からＳ５７０について説明する。

ステップＳ５４０において、１つ以上の単語の各々の関連度スコアが算出される。

関連度スコアは、文書の集合のうち単語が用いられた文書の数および単語の文書中の使用頻度のうち１つ以上の情報に基づいて算出されてもよく、ＢＭ２５等の方法を用いて算出されてもよい。

ステップＳ５４２において、１つ以上の単語の関連度スコアに基づいて１つ以上のリンクの各々の伝達スコア比率が算出される。ここで、第１単語および第２単語を接続するリンクの伝達スコア比率は、第１単語から第２単語への伝達スコア比率および第２単語から第１単語への伝達スコア比率が各々算出される。

第１単語から第１単語と特定の距離内にある１つ以上の第３単語の各々への伝達スコア比率は、１つ以上の第３単語の各々の関連度スコアおよび第１単語に対応するノードから第３単語の各々に対応するノードへのリンク数の積に比例してもよい。

ステップＳ５４４において、１つ以上の単語の各々に対して、伝達された伝達スコアの累積値が０に初期化される。

ステップＳ５５０において、関連度スコアに基づいて１つ以上の単語の各々に伝達される１つ以上の伝達スコアが算出される。１つ以上の伝達スコアの各々はリンクによって伝達される。

伝達スコアは、伝達スコアを伝達するノードに対応する単語の関連度スコアおよび伝達スコアを伝達するリンクの伝達スコア比率の積であってもよい。

すなわち、第１単語から第２単語への伝達スコアは、第１単語の関連度スコアおよび第１単語から第２単語へのリンクの伝達スコア比率に基づいて算出されてもよい。

ステップＳ５６０において、算出された伝達スコアがリンクによって１つ以上の単語の各々に伝達される。

ステップＳ５６２において、１つ以上の単語の各々は伝達された伝達スコアを自身の累積値に加える。

ステップＳ５６４において、単語に伝達された伝達スコアに基づいて１つ以上の単語の各々に伝達される１つ以上の伝達スコアが算出される。１つ以上の伝達スコアの各々はリンクによって伝達される。

伝達スコアは、伝達スコアを伝達するノードに対応する単語が伝達した伝達スコアと、伝達スコアを伝達するリンクの伝達スコアとの比率の積であってもよい。

特定リンクに伝達される伝達スコアが与えられた閾値よりも小さい場合、伝達スコアは０とみなしてもよい。

ステップＳ５７０において、隣接する単語に伝達する伝達スコアがあるか否かが検査される。

１つ以上のリンクの各々によって伝達される伝達スコアが全て０であれば、これ以上隣接する単語に伝達する伝達スコアがないものとみなしてもよい。

または、１つ以上の単語の各々に伝達スコアが伝達された回数（すなわち、ステップＳ５６０が繰り返された回数）が与えられた閾値を超過した場合、これ以上隣接する単語に伝達する伝達スコアがないものとみなしてもよい。

隣接する単語に伝達する伝達スコアがさらにある場合はステップＳ５６０が再び実行され、そうではない場合はキーワード指定ステップＳ５８０からＳ５９０が実行される。

次に、キーワード指定ステップＳ５８０からＳ５９０について説明する。

ステップＳ５８０において、１つ以上の単語の各々のキーワードスコアが算出される。

単語のキーワードスコアは、単語に伝達された１つ以上の伝達スコアおよび単語の関連度スコアに基づいて算出されてもよい。

単語のキーワードスコアは、単語に伝達された１つ以上の伝達スコアおよび単語の関連度スコアの加重値が付与された和であってもよい。

ステップＳ５９０において、１つ以上の単語の中からキーワードが指定される。

キーワードは、１つ以上の単語の中の一部がキーワードスコアの降順に選択されたものであってもよい。

前述した図１から図４を参照して説明された本発明の一実施形態に係る技術内容が本実施形態にもそのまま適用されてもよい。したがって、さらに詳細な説明は以下省略する。

図６は、本発明の一実施形態に係る文書のキーワード抽出装置の構造図である。

文書のキーワード抽出装置６００は、格納部６１０、単語生成部６２０、単語グラフ生成部６３０、関連度スコア算出部６４０、伝達スコア算出部６５０、キーワードスコア算出部６６０、およびキーワード抽出部６７０を備えてもよい。

格納部６１０は、本発明の装置で用いられるデータ構造（例えば、文書、単語、ノード、リンク、単語リスト、関連度スコア、伝達スコア、伝達スコア比率、キーワードスコア、および抽出されたキーワードを示すためのデータ構造またはオブジェクト）を格納し、他の構成要素６２０から６７０に提供する。

上記のデータ構造は、格納部６１０を経由することなく他の構成要素６２０から６７０間に直接的に提供されてもよい。

単語生成部６２０は、文書を形態素解析して単語単位に分割することによって１つ以上の単語を生成する。

単語グラフ生成部６３０は、１つ以上のノードおよび１つ以上のリンクを含む単語グラフを生成する。

単語グラフ生成部６３０は、１つ以上の単語の各々に対応する１つ以上のノードを生成してもよく、相互の距離が特定の値以下である２つの単語に各々対応する２つのノードを接続する１つ以上のリンクを生成してもよい。

関連度スコア算出部６４０は、１つ以上の単語の各々の文書に対する関連度スコアを算出する。

関連度スコア算出部６４０は、文書の集合のうち単語が用いられた文書の数および単語の文書中の使用頻度のうち１つ以上の情報に基づいて関連度スコアを算出してもよい。

伝達スコア算出部６５０は、１つ以上の単語の各々に伝達される１つ以上の伝達スコアを算出する。

伝達スコア算出部６５０は、関連度スコアに基づいて１つ以上の伝達スコアを生成してもよく、１つ以上の単語のうち相互の距離が特定の値以下である２つの単語によって１つ以上の伝達スコアの各々を伝達してもよい。

伝達スコア算出部６５０は、単語グラフ中の経路の開始ノードに対応する第１単語から経路の最後のノードに対応する第２単語に伝達スコアを伝達してもよく、経路は１つ以上のリンクのうち１つ以上の接続されたリンクであってもよい。

伝達スコア算出部６５０は、第１単語の関連度スコアおよび第１単語から第２単語への伝達スコア比率に基づいて第１単語から第２単語への伝達スコアを算出してもよい。

伝達スコア算出部６５０は、第１単語と特定の距離内にある１つ以上の第３単語の各々の関連度スコアおよび第１単語に対応するノードから第３単語の各々に対応するノードへのリンク数の積に比例するように、第１単語から１つ以上の第３単語の各々への伝達スコア比率を算出してもよい。

伝達スコア算出部６５０は、１つ以上の接続されたリンクの各々に対応する伝達スコア比率に基づいて第１単語から第２単語への伝達スコア比率を算出してもよい。この場合、リンクに対応する伝達スコア比率は、リンクが接続する２つのノードに各々対応する２つの単語間の伝達スコア比率であってもよい。

単語生成部６２０は、文書中の単語のうち特定の品詞に属する単語を１つ以上の単語として生成してもよく、伝達スコア算出部６５０は特定の品詞に属する単語に基づいて単語間の距離を算出してもよい。

キーワードスコア算出部６６０は、１つ以上の伝達スコアおよび関連度スコアに基づいて１つ以上の単語の各々のキーワードスコアを算出する。

キーワード抽出部６７０は、１つ以上の単語の一部をキーワードスコアの降順にキーワードとして選択する。

上記の図１から図５を参照して説明した本発明の一実施形態に係る技術内容が、本実施形態にそのまま適用されてもよい。したがって、この点に関する詳細な説明は以下省略する。

構成要素６２０から６７０の機能は、単一の制御部（図示せず）によって行われてもよい。ここで、制御部は、単一または複数のプロセッサであってもよい。構成要素６２０から６７０は、制御部で行われるサービス、プロセス、スレッド、またはモジュールであってもよい。

本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組み合わせを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

上述のように本発明を限定された実施形態と図面に基づいて説明したが、本発明は、上述の実施形態に限定されることなく、本発明の属する分野における通常の知識を有する者であれば、上述のような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

６００ 文書のキーワード抽出装置
６２０ 単語生成部
６３０ 単語グラフ生成部
６４０ 関連度スコア算出部
６５０ 伝達スコア算出部
６６０ キーワードスコア算出部
６７０ キーワード抽出部

Claims (23)

1. 文書のキーワードを抽出する方法であって、
   １つ以上の単語の各々の前記文書に対する関連度スコアを算出し、
   前記１つ以上の単語の各々に伝達される１つ以上の伝達スコアを算出し、
   前記１つ以上の伝達スコアおよび前記関連度スコアに基づいて前記１つ以上の単語の各々のキーワードスコアを算出すること、を含み、
   前記１つ以上の伝達スコアは、前記関連度スコアに基づいて生成され、前記１つ以上の単語のうち相互の距離が特定の値以下である２つの単語によって伝達されることを特徴とする文書のキーワード抽出方法。
2. 前記文書を形態素解析して単語単位に分割することによって、前記１つ以上の単語を生成することをさらに含むことを特徴とする請求項１に記載の文書のキーワード抽出方法。
3. 前記１つ以上の単語は、前記文書中の単語のうち特定の品詞に属する単語であり、前記距離は、前記特定の品詞に属する単語に基づいて算出されることを特徴とする請求項１または請求項２に記載の文書のキーワード抽出方法。
4. 前記関連度スコアは、文書の集合のうち単語が用いられた文書の数および前記単語の前記文書中での使用頻度のうち１つ以上の情報に基づいて算出されることを特徴とする請求項１から請求項３のいずれか１項に記載の文書のキーワード抽出方法。
5. １つ以上のノードおよび１つ以上のリンクを含む単語グラフを生成することをさらに含み、
   前記１つ以上のノードの各々は、前記１つ以上の単語の１つの単語に対応し、前記１つ以上のリンクの各々は、相互の距離が特定の値以下である２つの単語に各々対応する２つのノードを接続することを特徴とする請求項１から請求項４のいずれか１項に記載の文書のキーワード抽出方法。
6. 前記伝達スコアは、前記単語グラフ中の経路の開始ノードに対応する第１単語から前記経路の最後のノードに対応する第２単語に伝達され、前記経路は、前記１つ以上のリンクのうちの１つ以上の接続されたリンクであることを特徴とする請求項５に記載の文書のキーワード抽出方法。
7. 前記経路はサイクルを含まないことを特徴とする請求項６に記載の文書のキーワード抽出方法。
8. 前記第１単語から前記第２単語への前記伝達スコアは、前記第１単語の前記関連度スコアおよび前記第１単語から前記第２単語への伝達スコア比率に基づいて算出されることを特徴とする請求項６または請求項７に記載の文書のキーワード抽出方法。
9. 前記第１単語から前記第１単語と特定の距離内にある１つ以上の第３単語の各々への前記伝達スコア比率は、前記１つ以上の第３単語の各々の前記関連度スコアおよび前記第１単語に対応するノードから前記第３単語の各々に対応するノードへのリンク数の積に比例することを特徴とする請求項８に記載の文書のキーワード抽出方法。
10. 前記第１単語から前記第２単語への伝達スコア比率は、前記１つ以上の接続されたリンクの各々に対応する伝達スコア比率に基づいて算出され、前記リンクに対応する伝達スコア比率は、前記リンクが接続する２つのノードに各々対応する２つの単語間の伝達スコア比率であることを特徴とする請求項８または請求項９に記載の文書のキーワード抽出方法。
11. 前記１つ以上の単語の一部をキーワードスコアの降順にキーワードとして選択することをさらに含むことを特徴とする請求項１から請求項１０のいずれか１項に記載の文書のキーワード抽出方法。
12. 請求項１から請求項１１のうちいずれか１項に記載の文書のキーワード抽出方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
13. 文書のキーワードを抽出する装置において、
    １つ以上の単語の各々の前記文書に対する関連度スコアを算出する関連度スコア算出部と、
    前記１つ以上の単語各々に伝達される１つ以上の伝達スコアを算出する伝達スコア算出部と、
    前記１つ以上の伝達スコアおよび前記関連度スコアに基づいて前記１つ以上の単語各々のキーワードスコアを算出するキーワードスコア算出部と、
    を備え、
    前記伝達スコア算出部は、前記関連度スコアに基づいて前記１つ以上の伝達スコアを生成し、前記１つ以上の単語のうち相互の距離が特定の値以下である２つの単語によって前記１つ以上の伝達スコアの各々を伝達することを特徴とする文書のキーワード抽出装置。
14. 前記文書を形態素解析して単語単位に分割することによって前記１つ以上の単語を生成する単語生成部をさらに備えることを特徴とする請求項１３に記載の文書のキーワード抽出装置。
15. 前記単語生成部は、前記文書中の単語のうち特定の品詞に属する単語を前記１つ以上の単語として生成し、
    前記伝達スコア算出部は、前記特定の品詞に属する単語に基づいて前記距離を算出することを特徴とする請求項１３に記載の文書のキーワード抽出装置。
16. 前記関連度スコア算出部は、文書の集合のうち単語が用いられた文書の数および前記単語の前記文書中の使用頻度のうち１つ以上の情報に基づいて前記関連度スコアを算出することを特徴とする請求項１３から請求項１５のいずれか１項に記載の文書のキーワード抽出装置。
17. １つ以上のノードおよび１つ以上のリンクを含む単語グラフを生成する単語グラフ生成部をさらに備え、
    前記単語グラフ生成部は、前記１つ以上の単語の各々に対応する前記１つ以上のノードを生成し、相互の距離が特定の値以下である２つの単語に各々対応する２つのノードを接続する１つ以上のリンクを生成することを特徴とする請求項１３から請求項１６のいずれか１項に記載の文書のキーワード抽出装置。
18. 前記伝達スコア算出部は、前記単語グラフ中の経路の開始ノードに対応する第１単語から前記経路の最後のノードに対応する第２単語に伝達スコアを伝達し、前記経路は前記１つ以上のリンクのうち１つ以上の接続されたリンクであることを特徴とする請求項１７に記載の文書のキーワード抽出装置。
19. 前記経路はサイクルを含まないことを特徴とする請求項１８に記載の文書のキーワード抽出装置。
20. 前記伝達スコア算出部は、前記第１単語の前記関連度スコアおよび前記第１単語から前記第２単語への伝達スコア比率に基づいて前記第１単語から前記第２単語への前記伝達スコアを算出することを特徴とする請求項１８または請求項１９に記載の文書のキーワード抽出装置。
21. 前記伝達スコア算出部は、前記第１単語と特定の距離内にある１つ以上の第３単語の各々の前記関連度スコアおよび前記第１単語に対応するノードから前記第３単語各々に対応するノードへのリンク数の積に比例するように、前記第１単語から前記１つ以上の第３単語の各々への前記伝達スコア比率を算出することを特徴とする請求項２０に記載の文書のキーワード抽出装置。
22. 前記伝達スコア算出部は、前記１つ以上の接続されたリンクの各々に対応する伝達スコア比率に基づいて、前記第１単語から前記第２単語への伝達スコア比率を算出し、前記リンクに対応する伝達スコア比率は前記リンクが接続する２つのノードに各々対応する２つの単語間の伝達スコア比率であることを特徴とする請求項２０または請求項２１に記載の文書のキーワード抽出装置。
23. 前記１つ以上の単語の中の一部をキーワードスコアの降順にキーワードとして選択するキーワード抽出部をさらに備えることを特徴とする請求項１３から請求項２２のいずれか１項に記載の文書のキーワード抽出装置。

Images