JP2002269115A - キーワード抽出装置およびキーワード抽出方法 - Google Patents

Abstract

(57)【要約】 【課題】 単語の出現頻度、単語に対する修飾度、単語
の文書中における生存期間などを点数化してキーワード
性を判定することができるキーワード抽出装置およびキ
ーワード抽出方法を提供すること。 【解決手段】 入力文書から切り出した１文内を単語ご
とに分割し、品詞を付与して品詞の並びに形態素解析
し、この分割された単語を句レベルまでにまとめあげて
合成し、構文解析１３によって句間の構文解析を行う
（Ｓ２００〜２０３）。構文解析後に構文解析に誤りが
ないかどうかの確認として、名詞句の抽出を行い（Ｓ２
０４）、修飾度の計算、名詞句出現頻度の計算、名詞句
の登録を行う（Ｓ２０５〜２０７）。全ての文の処理を
終えた場合（Ｓ２０８；Ｙ）、単語の生存期間計算を行
う（Ｓ２０９）。単語の出現頻度、修飾度、生存期間を
評価式で計算して評価し、名詞句の集合からキーワード
を抽出する（Ｓ２１１）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自然言語文に含ま
れているキーワードを抽出するキーワード抽出装置およ
びキーワード抽出方法に関する。

【０００２】

【従来の技術】従来のキーワード抽出システムは、名詞
句を構成する文字列の出現頻度を点数化し、その点数の
大小によりキーワード性を評価したり、シソーラス辞
書、異表記辞書などを使用して抽出精度を高めることに
よる評価を行っている。

【０００３】

【発明が解決しようとする課題】しかしながら、出現頻
度の高い単語が必ずしもキーワード性が高いわけではな
く、文書中にたった一度しか出現しない単語でもキーワ
ードになる場合がある。また、単語の出現頻度だけに着
目したキーワード抽出方法では、一度した出現しない単
語をキーワードとして抽出することができない。最近で
は、これらキーワード抽出に関して、名詞句に対する修
飾度、生存期間を点数化してキーワード評価式に組み入
れた方式などの技術が求められるようになってきてい
る。そこで、本発明の目的は、所定の評価式を用いるこ
とにより、単語の出現頻度に加えて、単語に対する修飾
度、単語の文書中における生存期間などを点数化してキ
ーワード性を判定することができるキーワード抽出装置
およびキーワード抽出方法を提供することである。

【０００４】

【課題を解決するための手段】請求項１記載の発明で
は、受領した文章を一文ずつに分割し、この分割した各
文に含まれている単語を抽出する単語抽出手段と、前記
単語抽出手段によって抽出された各単語の出現頻度を計
数する出現頻度計数手段と、前記単語抽出手段によって
抽出された各単語による他の単語への修飾関係を示す修
飾度を算出する修飾度算出手段と、前記単語抽出手段に
よって抽出された各単語が受領した文章中にどのくらい
長く存在しているかを表す単語の生存期間を算出する生
存期間算出手段と、前記出現頻度計数手段によって計数
された出現頻度、前記修飾度算出手段によって算出され
た修飾度および前記生存期間算出手段によって算出され
た生存期間を所定の評価式に従って評価する評価手段
と、前記評価手段による評価結果に基づいて、前記単語
抽出手段により抽出された所定の単語をキーワードとし
て抽出するキーワード抽出手段と、を備えたことによ
り、前記の目的を達成する。

【０００５】請求項２記載の発明では、請求項１記載の
発明において、前記単語抽出手段によって抽出された単
語を名詞句、動詞句、接続詞句などの句ごとに合成する
句合成手段をさらに備え、前記出現頻度計数手段は、前
記句合成手段によって合成された名詞句のうち核となる
単語の出現頻度を計数することにより、前記の目的を達
成する。請求項３記載の発明では、請求項１または請求
項２記載の発明において、前記修飾度算出手段は、前記
句合成手段によって合成された各句同士の係り受けを算
出することで名詞句に対する修飾度を算出することによ
り、前記の目的を達成する。

【０００６】請求項４記載の発明では、受領した文章を
一文ずつに分割し、この分割した各文に含まれている単
語を抽出する第１のステップと、前記第１のステップに
よって抽出された各単語の出現頻度を計数する第２のス
テップと、前記第１のステップによって抽出された各単
語による他の単語への修飾関係を示す修飾度を算出する
第３のステップと、前記第１のステップによって抽出さ
れた各単語が受領した文章中にどのくらい長く存在して
いるかを表す単語の生存期間を算出する第４のステップ
と、前記第２のステップで計数された出現頻度、前記第
３のステップで算出された修飾度および前記第４のステ
ップで算出された生存期間を所定の評価式に従って評価
する第５のステップと、前記第５のステップによる評価
結果に基づいて、前記第１のステップにより抽出された
所定の単語をキーワードとして抽出する第６ステップ
と、からなることにより、前記の目的を達成する。

【０００７】

【発明の実施の形態】以下、本発明の好適な実施の形態
について図１ないし図１２を参照して詳細に説明する。
図１は、本実施の形態に係るキーワード抽出装置の概略
構成を示した図である。キーワード抽出装置１００は、
言語処理部１０およびキーワード抽出部２０を備えてい
る。言語処理部１０は、形態素解析１１、単語合成（ｃ
ｈｕｎｋｉｎｇ）１２および構文解析１３を備えてい
る。また、キーワード抽出部２０は、名詞句出現頻度計
算２１、単語修飾度計算２２、単語生存期間計算２３、
評価式による単語の重み計算２４および単語の順位づけ
２５を備えている。本実施の形態のキーワード抽出装置
１００では、自然言語で記述された文書が言語処理部１
０に入力された場合、キーワード抽出部２０によってキ
ーワードリストを出力されるようになっている。

【０００８】図２は、キーワード抽出装置によるキーワ
ード抽出処理の処理手順を示したフローチャートであ
る。以下、図２を参照しながら本実施の形態に係るキー
ワード抽出処理の流れについて説明する。また、図３
は、キーワード抽出装置によってキーワード抽出する自
然言語文の一例を示した図である。図３（ａ）は自然言
語文を、図３（ｂ）は、図３（ａ）を形態素解析した結
果を、図３（ｃ）は品詞を付与されて分割された単語を
句レベルまでに合成した結果を示した図である。

【０００９】言語処理部１０の形態素解析１１は、入力
された文書（図３（ａ）参照）から１文づつ切り出し
（ステップ２００）、さらに切り出した１文内を単語ご
とに分割して、品詞を付与して品詞の並びに分解（形態
素解析）する（ステップ２０１；図３（ｂ）参照）。単
語合成１２では、品詞を付与されて分割された単語を品
詞の接続規則をもとに、句（フレーズ）レベルまでにま
とめあげて（ｃｈｕｎｋｉｎｇ）合成する（ステップ２
０２；図３（ｃ）参照）。句は、名詞句、形容詞句、動
詞句、副詞句、前置詞句、接続詞、助詞、関係詞句など
に分類される。構文解析１３では、まとめあげた句を入
力として句間の係り受け解析（構文解析）を行う（ステ
ップ２０３）。この際、名詞句の核となる名詞（ｈｅａ
ｄ ｎｏｕｎ）をマーキングする。

【００１０】次に、構文解析を行う（ステップ２０３）
が、その前に図２の処理手順では省略されているが、構
文解析を行う準備としての名詞句の抽出を行う。図３に
示したように、ｃｈｕｎｋｉｇの後では、１文から名詞
句を抽出できるようになる。図４は、データ領域ＮＰの
データ構造の一例を示した図である。抽出された名詞句
ｎｐは、所定のデータ構造をもつ領域ＮＰに格納する。
名詞句は、名詞句を構成する単語をリストとして表現
し、データ領域ＮＰへ登録する（図４および図５参
照）。図５は、登録される単語リストのデータの一例と
単語ツリー構造を示した図である。単語は、単語ツリー
に登録され、単語リストのデータは、単語ツリーのノー
ドへのポインタになる。また、図６は、Ｃ言語における
データ構造の一例を示した図である。

【００１１】次に、句レベルでの構文解析（ステップ２
０３）について説明する。図７は、構文解析結果を理解
しやすくするために単語にラベルをつけた自然言語文と
構文木を示した図である。図３（ａ）に示した例文の構
文解析では、名詞句を修飾する句はないが、ｃｈｕｎｋ
ｉｎｇにより複数の品詞が合成されてできたＮＰは、ｈ
ｅａｄ ｎｏｕｎを中心として図８に示したような修飾
構造になっている。この修飾構造は、ｈｅａｄ ｎｏｕ
ｎが各単語の被修飾子になるので、ｈｅａｄ ｎｏｕｎ
が判明した時点で明らかになる。ｃｈｕｎｋｉｎｇフェ
ーズで名詞句内の修飾関係が分かり、構文解析フェーズ
で句間の修飾関係が分かるようになっている。修飾度の
計算は、名詞および名詞句に対する修飾関係の深さを点
数化して行う。名詞句の修飾関係の重みづけは、図９の
ようになっている。

【００１２】そして、構文解析後（ステップ２０３）に
構文解析に誤りがないかどうかの確認として、上述した
名詞句の抽出を再度行う（ステップ２０４）。名詞句ｎ
ｐを抽出し、データ領域ＮＰ．ｎｐに格納する。次に、
修飾度の計算を行う（ステップ２０５）。図８では、ｃ
ｏｍｍｉｓｓｉｏｎに対する修飾度は、ａ＊１＋ｂ＊５
となる。ａは定冠詞に対する係数、ｂは形容詞／名詞に
対する係数となる。例えば、「Ｔｅｎ ｙｅａｒｓ ｏ
ｌｄ ｂｏｙ ｗｈｏ ａｒｅ ｈｙｐｅｒａｃｔｉｖ
ｅ ａｒｅ ｄｉｆｆｉｃｕｌｔ」という例文の場合、
名詞句は「Ｔｅｎ ｙｅａｒ ｏｌｄ ｂｏｙ」であ
り、関係詞句は「ｗｈｏ ａｒｅ ｈｙｐｅｒａｃｔｉ
ｖｅ」により修飾されていることが構文解析によりわか
る。関係詞句による修飾度係数をｃとすると、ａ＊３＋
ｃ＊（ａ＊１）となる。関係詞句内の品詞の評価は、図
９に示した関係式を用いて評価する。

【００１３】次に、名詞句出現頻度の計算（ステップ２
０６）、すなわち単語の生存期間の記録について説明す
る。名詞句の出現頻度計算は、ｈｅａｄ ｎｏｕｎを中
心に行う。その際、ｈｅａｄ ｎｏｕｎに関して、単複
同一視化、包含関係の考慮、冠詞は無視などの操作を施
しながら出現頻度を計算する。名詞句ＮＰは、２分木構
造により管理される。２分木のノードは、図１０で示さ
れる構造になる。２分木に名詞句を登録する際に、単語
リスト中のデータアドレスの大小関係を比較することに
より、名詞句の包含関係と、出現頻度を計算できる。す
なわち、名詞句を構成する単語リストのデータアドレス
が比較対象と同じであったら、同一の名詞句であるので
出現回数をインクリメントすればよいことになる。

【００１４】また、名詞句包含関係は、ｈｅａｄ ｎｏ
ｕｎを含む部分文字列が比較対象と包含関係にあるかど
うか検査すればよい。このとき、ｈｅａｄ ｎｏｕｎは
一致する必要がある。例えば、「ｉｎｆｏｒｍａｔｉｏ
ｎ ｔｅｃｈｎｏｌｏｇｙ」と「ｉｎｆｏｒｍａｔｉｏ
ｎ ｔｅｃｈｎｏｌｏｇｙ ｌｅａｄｅｒ」は、別々の
名詞句になる。また、例えばＢｕｓｉｎｅｓｓ Ｌｅａ
ｄｅｒｓを名詞句、Ａｓｉａｎ Ｂｕｓｉｎｅｓｓ
Ｌｅａｄｅｒｓを名詞句とすると、名詞句、のｈ
ｅａｄｎｏｕｎはＬｅａｄｅｒｓであるので、Ｌｅａｄ
ｅｒｓを中心とした部分文字列の比較を行えばよい。こ
の例では、Ｂｕｓｉｎｅｓｓ Ｌｅａｄｅｒｓが名詞句
に含まれるので、名詞句は名詞句に含まれること
になる。キーワードとしては、名詞句ではなく名詞句
が選択されることになる。

【００１５】包含関係にある場合の名詞句の出現頻度
は、ＮＰｉがｎ個の単語から構成され、ＮＰｊがｍ個の
単語から構成されるとすると、ＮＰｉがＮＰｊを包含す
る場合のＮＰｉの出現回数は、１＋（ｍ／ｎ）となる。
単複同一視化は、ｈｅａｄ ｎｏｕｎの評価を常に原形
（ｒｏｏｔ）で行うようにする。これは、名詞句を構成
する単語を単語ツリーに登録するときに、登録する単語
がｈｅａｄ ｎｏｕｎである場合は、ｈｅａｄ ｎｏｕ
ｎの原形を登録すればよい。このように、一文から名詞
句のみを取り出し、所定のデータ後続をもつ領域に格納
する名詞句の登録を行う（ステップ２０７）。

【００１６】そして、入力された文章中のすべての文の
処理を終えた場合（ステップ２０８；Ｙ）、単語の生存
期間計算を行う（ステップ２０９）。単語（名詞句）の
生存期間は次のようにして求める。ある名詞句の生存期
間を求めるには、名詞句のｈｅａｄ ｎｏｕｎが初めて
出現した文をマーキングし、これをＳｉとする。文書を
構成するＳｉ以降のすべての文に対して、このｈｅａｄ
ｎｏｕｎが生存するかどうか検査をする。Ｓｊ以降、
このｈｅａｄ ｎｏｕｎが生存しないとしたら、この名
詞句の生存期間は、（ｉ−ｊ）／ｎということになる。
なお、ｎはこの文書を構成する文の数を表している。生
存期間を先に示したデータ構造ＮＰで示すならば、文書
中の名詞句の数をｎとすると、ある名詞句の生存期間
は、（ＮＰ．ｅ−ＮＰ．ｓ）／ｎということになる。こ
こで、単語の生存期間とは、ある単語が文書中にどの程
度長く生存しているかを数値で示したものである。

【００１７】上述した形態素解析、ｃｈｕｎｋｉｎｇ、
構文解析により、キーワード抽出に必要な情報となる名
詞句と名詞句への修飾度が分かることにより、単語の出
現頻度、修飾度、生存期間の計算が名詞句内のｈｅａｄ
ｎｏｕｎに対して構文解析の後のフェーズで行われ
る。次に、単語の出現頻度、修飾度、生存期間を図１１
に示したような評価式で計算してキーワード性を評価す
る（ステップ２１０）。図１１は、キーワード性を評価
する評価式を示した図である。図１１の式において、Ｗ
ｆは出現頻度から計算した重みを、Ｗｍは修飾関係から
計算した重みを、Ｗｌは単語の生存期間を、α、β、γ
は適当な係数（文書が属するカテゴリ、例えば技術系の
文書、文学的な文書などにより変化する値）を表してい
る。そして、単語の重みの計算を行う。評価式を使用し
て、すべてのｉ（ｉ＝１〜ｎ）に対してα＊（ＮＰｉ．
ｆ）２＋β＊（ＮＰｉ．ｑ）２＋γ＊（（ＮＰｉ．ｓ−
ＮＰｉ．ｅ）／ｎ）２を計算する。

【００１８】例えば、Ｎ文から構成される文書に単語が
第ｉ文から第ｊ文までにわたり生存したとすると、この
単語の生存期間は、（ｊ−ｉ）／Ｎという式で定義する
ことができる。この数値が１に近くなるほど、単語の生
存期間は長く、キーワード性が高いということになる。
すなわち、どのような単語が相対的に多いか、どのよう
な単語の説明に多くの言葉が使用されているか、単語の
使われ方は文章の中でどのように変化していくかなどを
評価するのである。図１１に示した評価式は、このよう
な評価行為を単純化したものである。この評価式は対象
言語を選ばない汎用性があり、シソーラス辞書、異表記
辞書などの言語特有の辞書を必要としない可搬性を兼ね
備えている。なお、評価式は、図１２のように３次元空
間における原点からのある種の距離に図示することがで
きる。原点からの距離が大きいほど、キーワード性が高
くなる。図１２のような３次元空間で各名詞句の原点か
らの距離を比較し、順位をつけることにより、名詞句の
集合からキーワードを抽出することができる（ステップ
２１１）。

【００１９】以上のように、本実施の形態のキーワード
抽出装置では、キーワード抽出の対象となる文書カテゴ
リが、出現頻度ベースのキーワード抽出法よりも広く、
単語の出現頻度ベースのキーワード抽出を用いるので、
同じ単語が数多く出現する場合にも有効であり、新聞記
事や技術文書などの客観的な説明文に対して、また、文
学的な文書に対しても利用することができる。

【００２０】

【発明の効果】請求項１記載の発明では、出現頻度計数
手段によって計数された出現頻度、修飾度算出手段によ
って算出された修飾度および生存期間算出手段によって
算出された生存期間を所定の評価式に従って評価する評
価手段と、評価手段による評価結果に基づいて、単語抽
出手段により抽出された所定の単語をキーワードとして
抽出するキーワード抽出手段と、を具備したので、文書
の内容を重視したキーワード抽出、シソーラス辞書、異
表記辞書などの言語特有の辞書を使用しないでのキーワ
ード抽出をすることができる。

【００２１】請求項２記載の発明では、単語抽出手段に
よって抽出された単語を名詞句、動詞句、接続詞句など
の句ごとに合成する句合成手段をさらに備え、出現頻度
計数手段は、句合成手段によって合成された名詞句のう
ち核となる単語の出現頻度を計数するので、キーワード
抽出の対象となる文書カテゴリが、出現頻度ベースのキ
ーワード抽出法よりも広く、新聞記事や技術文書などの
客観的な説明文に対して、また、文学的な文書に対して
も利用することができる。請求項３記載の発明では、修
飾度算出手段は、句合成手段によって合成された各句同
士の係り受けを算出することで名詞句に対する修飾度を
算出するので、キーワード抽出の対象となる文書カテゴ
リが、出現頻度ベースのキーワード抽出法よりも広く、
新聞記事や技術文書などの客観的な説明文に対して、ま
た、文学的な文書に対しても利用することができる。

【００２２】請求項４記載の発明では、第２のステップ
で計数された出現頻度、第３のステップで算出された修
飾度および第４のステップで算出された生存期間を所定
の評価式に従って評価する第５のステップと、第５のス
テップによる評価結果に基づいて、第１のステップによ
り抽出された所定の単語をキーワードとして抽出する第
６ステップと、からなるので、文書の内容を重視したキ
ーワード抽出、シソーラス辞書、異表記辞書などの言語
特有の辞書を使用しないでのキーワード抽出をすること
ができる。

【図面の簡単な説明】

【図１】本実施の形態に係るキーワード抽出装置の概略
構成を示した図である。

【図２】キーワード抽出装置によるキーワード抽出処理
の処理手順を示したフローチャートである。

【図３】キーワード抽出装置によってキーワード抽出す
る自然言語文の一例を示した図である。

【図４】データ領域ＮＰのデータ構造の一例を示した図
である。

【図５】登録される単語リストのデータの一例と単語ツ
リー構造を示した図である。

【図６】Ｃ言語におけるデータ構造の一例を示した図で
ある。

【図７】構文解析結果を理解しやすくするために単語に
ラベルをつけた自然言語文と構文木を示した図である。

【図８】修飾構造の一例を示した図である。

【図９】名詞句の修飾関係の重みづけの関係式を示した
図である。

【図１０】名詞句ｎｐの２分木構造を示した図である。

【図１１】キーワード性を評価する評価式を示した図で
ある。

【図１２】評価式を３次元空間における原点からの距離
として示した図である。

【符号の説明】

１０ 言語処理部 １１ 形態素解析 １２ 単語合成（ｃｈｕｎｋｉｎｇ） １３ 構文解析 ２０ キーワード抽出部 ２１ 名詞句出現頻度計算 ２２ 単語修飾度計算 ２３ 単語生存期間計算 ２４ 評価式による単語の重み計算 ２５ 単語の順位づけ １００ キーワード抽出装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 受領した文章を一文ずつに分割し、この
   分割した各文に含まれている単語を抽出する単語抽出手
   段と、 前記単語抽出手段によって抽出された各単語の出現頻度
   を計数する出現頻度計数手段と、 前記単語抽出手段によって抽出された各単語による他の
   単語への修飾関係を示す修飾度を算出する修飾度算出手
   段と、 前記単語抽出手段によって抽出された各単語が受領した
   文章中にどのくらい長く存在しているかを表す単語の生
   存期間を算出する生存期間算出手段と、 前記出現頻度計数手段によって計数された出現頻度、前
   記修飾度算出手段によって算出された修飾度および前記
   生存期間算出手段によって算出された生存期間を所定の
   評価式に従って評価する評価手段と、 前記評価手段による評価結果に基づいて、前記単語抽出
   手段により抽出された所定の単語をキーワードとして抽
   出するキーワード抽出手段と、を備えたことを特徴とす
   るキーワード抽出装置。
2. 【請求項２】 前記単語抽出手段によって抽出された単
   語を名詞句、動詞句、接続詞句などの句ごとに合成する
   句合成手段をさらに備え、 前記出現頻度計数手段は、前記句合成手段によって合成
   された名詞句のうち核となる単語の出現頻度を計数する
   ことを特徴とする請求項１記載のキーワード抽出装置。
3. 【請求項３】 前記修飾度算出手段は、前記句合成手段
   によって合成された各句同士の係り受けを算出すること
   で名詞句に対する修飾度を算出することを特徴とする請
   求項１または請求項２記載のキーワード抽出装置。
4. 【請求項４】 受領した文章を一文ずつに分割し、この
   分割した各文に含まれている単語を抽出する第１のステ
   ップと、 前記第１のステップによって抽出された各単語の出現頻
   度を計数する第２のステップと、 前記第１のステップによって抽出された各単語による他
   の単語への修飾関係を示す修飾度を算出する第３のステ
   ップと、 前記第１のステップによって抽出された各単語が受領し
   た文章中にどのくらい長く存在しているかを表す単語の
   生存期間を算出する第４のステップと、 前記第２のステップで計数された出現頻度、前記第３の
   ステップで算出された修飾度および前記第４のステップ
   で算出された生存期間を所定の評価式に従って評価する
   第５のステップと、 前記第５のステップによる評価結果に基づいて、前記第
   １のステップにより抽出された所定の単語をキーワード
   として抽出する第６ステップと、からなることを特徴と
   するキーワード抽出方法。