JP2005190384A - イベント周期性の抽出方法及び装置 - Google Patents

Abstract

【課題】 テキスト中に含まれるイベントの周期性を自動的に抽出する技術を提供すること。
【解決手段】 テキストデータ２を入力手段１０で入力した後、形態素解析手段２１で形態素解析し、テキストデータ２に含まれる時間的情報から所定の期間毎の得られた単語の出現回数を単語計数部２２で計数する。さらに、自己相関関数値算出部２３で求めた値のピークから、周期性抽出手段２４においてイベント単語とその周期性を抽出し、該イベント単語、周期性、共起する共起単語とを出力手段１１から出力する。
【選択図】 図１

Description

本発明は、テキスト中に含まれるイベントの周期性を自動的に抽出する技術に関し、より詳しくはテキストから時間的情報とイベント情報を抽出した上で両者の関係を抽出する技術に関わる。

インターネットの普及に伴い、電子化されたテキストが入手しやすくなっている。ＷＷＷ（World Wide Web）では電子化されたテキストを効率良く利用するため、様々な技術が研究開発されている。特に、非特許文献１のような、目的を限定し利用できる情報を必要十分な量、組織化して掲載している目的指向型ＷＷＷサイトは注目されている。

古関義幸、福島俊一、"新世代検索ポータル技術"、情報学シンポジウム、（２００１）

例えば、論文情報を収集し提示しているＣｉｔｅＳｅｅｒ（非特許文献２）や、いろいろな商品の比較情報を掲載しているＭｙＳｉｍｏｎ２（非特許文献３）などが有名である。しかし、実際の検索状況を考慮すれば、目的指向型サイトは使いやすいものとは言いがたい。

http://citeseer.nj.nec.com/cs http://www.mysimon.com/

すなわち従来から、ＷＷＷ情報をより使いやすく、効果的に利用するため、検索結果をタスクに合わせて統合できるタスク型ＷＷＷ検索システムが必要とされている。このような解決法として、本件出願人らによって、特許文献１に記載されるような情報検索方法を用い、観光コースを作成する観光コース作成支援システムが提案されている。

特開２００３−２７１６６３

上記発明は、インターネット等のネットワーク上に単数又は複数の情報記憶サーバーを有するときに、ネットワークに接続された情報端末から情報検索を行う方法であり、情報端末において検索キーワードを入力すると、ネットワーク上のサーバーについて情報検索を行うと共に、検索結果から、各結果毎に該情報の時間情報を抽出する。そして、時間情報に基づいて検索結果に重み付けを行い、その重み順位を付けて結果を出力することを提案している。

そして、上記の支援システムは、ＷＷＷやＭＬから観光に関係する情報を収集し、時間情報や地理情報により情報を組織化する。ユーザの要求（旅行期間や趣向）に合わせた観光地候補を提示し、観光コースの作成を支援する事を目指している。
観光コースを作成するタスクにおいて、観光情報を推薦するための知識とそのコースが実現可能か評価することが重要である。推薦のための知識と評価には、観光地で行われるイベント情報とそのイベントが行われる時間情報を利用することが効果的である。

一般に時間情報とは、年月時分を数字で示したものであると考えられる。しかし、実生活の中では、具体的な数字で表される情報よりも、曖昧な言葉で示される情報が数多く存在する。時間情報と曖昧な言葉や単語の関係知識は一般常識として取り扱われることが多い。上記システムにおいて、ユーザの要求に合わせた観光地候補を提示する際には、コンピュータ上に常識知識を構築することは、重要な課題の１つである。

そのため、非特許文献４、５に開示されているような、時間情報を切口に、常識知識を組織化するための研究がなされている。どちらの研究も概念的な時間情報の獲得に有益な考察を行っているが、時間に関連する単語を手動で辞書に登録する必要があるなど、時間情報の自動抽出や利用は困難であった。

小畑陽一、渡部広一、河岡司、"単文の名詞と動詞から時間／季節を判断するメカニズム"、信学技報 ＡＩ２０００−５６、（２００１） 溝渕昭二、住友徹、泓田正夫、青江順一、"日本語時間表現の一解釈法"、情報処理学会論文誌、ｖｏｌ．４０、Ｎｏ．９、ｐｐ．３４０８−３４１９、（１９９９）

本発明は、上記従来技術の有する問題点に鑑みて創出されたものであり、その目的は、テキスト中に含まれるイベントの周期性を自動的に抽出する技術を提供することである。

本件出願人らは、一般にイベントが周期的に行われること、またある特定の季節に行われる事が多いため、そのイベントに関連する単語は周期的に出現するあるいは、特定の時期に出現する点に着目し、次のようなイベント周期性の抽出方法及び装置を創出するに至った。

すなわち、請求項１に記載の発明は、時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出方法であって、次の各ステップからなる。
（１）入力手段から、テキストデータを入力する入力ステップ
（２）形態素解析手段により、該テキストデータを形態素解析する形態素解析ステップ
（３）単語計数手段により、形態素又は形態素の組み合わせである形態素群について、時間的情報から所定の期間毎の出現回数を計数する計数ステップ
（４）自己相関関数算出手段により、自己相関関数値を求める自己相関関数値算出ステップ
ここで、自己相関関数値は、次式で求められる。

（ｋ=0,1,2,...,N-1、x(n)は形態素又は形態素群の所定の期間ｎ番目における出現回数、Nは該テキストデータに含まれる所定の期間のサンプル数）
（５）周期性抽出手段により、該自己相関関数のKに係るピークを求め、各ピークにおけるKの周期性から当該形態素又は形態素群の周期性を抽出する周期性抽出ステップ
（６）該形態素又は形態素群をイベント単語とし、該イベント単語とその周期性とを記録手段に格納するイベント単語抽出ステップ
（７）共起単語抽出手段により、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出ステップ
（８）該イベント単語及びその周期性と、共起単語とを出力するイベント単語群出力ステップ。

また、請求項２に記載の発明では、上記の（５）周期性抽出ステップにおける処理が、
（５−１）周期性仮設定手段により、Kが１以上の時に最初に自己相関関数値がピークとなるときのKの値を求めて仮の周期とする周期性仮設定ステップ
（５−２）周期性判定手段により、該仮の周期を定数倍し、そのときに自己相関関数が近傍におけるピークとなっているか否かを判定し、ピークとなっている場合には該仮の周期を当該形態素又は形態素群の周期性として抽出する周期性判定ステップ
から構成されることを特徴とするものである。

さらに、請求項３に記載の発明では、上記の（２）形態素解析ステップにおける処理が、抽出された形態素のうち、名詞のみを抽出すると共に、連続する名詞は１組の形態素群として抽出することを特徴とするものである。

本発明は上記自己相関関数を用いた周期性の抽出の他に、単語（形態素又は形態素の組み合わせである形態素群と時間表現）の共起性に着目したイベント周期性の抽出方法を提供することができる。
すなわち、請求項４に記載の発明は、時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出方法であって、次の各ステップからなる。
（Ａ）入力手段から、テキストデータを入力する入力ステップ
（Ｂ）形態素解析手段により、該テキストデータを形態素解析する形態素解析ステップ
（Ｃ）出現文書計数手段により、形態素又は形態素の組み合わせである形態素群、及び所定の時間表現の各々について、テキストデータベース中の出現したテキスト数を計数する出現文書計数ステップ
（Ｄ）共起頻度算出手段により、上記形態素又は形態素群と、時間表現との共起頻度を対数尤度比から算出する共起頻度算出ステップ
ここで、対数尤度比は、次式で求められる。

（f(v,w)は単語vと単語wとが同時に出現したテキスト数、f(x)は単語xが出現したテキスト数、Fは全テキスト数）
（Ｅ）共起頻度が所定値よりも高い形態素又は形態素群と、時間表現について、該形態素又は形態素群をイベント単語とし、それと共起する時間表現を周期性として記録手段に記録するイベント単語抽出ステップ
（Ｆ）共起単語抽出手段により、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出ステップ
（Ｇ）該イベント単語及びその周期性と、共起単語とを出力するイベント単語群出力ステップ

また、請求項５の発明は、上記請求項１ないし４の発明の共起単語抽出ステップにおいて、共起単語抽出手段が、前記イベント単語と、前記テキストデータにおける形態素又は形態素群との補完類似度Ｓcを次式に従って算出し、該補完類似度が所定の閾値以上の時に共起単語として抽出することを特徴とする。

本発明は次のようなイベント周期性の抽出装置としても提供することができる。請求項６の発明によれば、時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出装置であって、テキストデータを入力する入力手段と、該テキストデータを形態素解析する形態素解析手段と、形態素又は形態素の組み合わせである形態素群について、時間的情報から所定の期間毎の出現回数を計数する計数手段と、自己相関関数値を求める自己相関関数値算出手段と、該自己相関関数のKに係るピークを求め、各ピークにおけるKの周期性から当該形態素又は形態素群の周期性を抽出する周期性抽出手段と、該形態素又は形態素群をイベント単語とし、該イベント単語とその周期性とを格納する記録手段と、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出手段と、該イベント単語及びその周期性と、共起単語とを出力する出力手段とを少なくとも有することを特徴とするイベント周期性の抽出装置を提供する。

また、請求項７に記載の発明では、周期性抽出手段がKが１以上の時に最初に自己相関関数値がピークとなるときのKの値を求めて仮の周期とする周期性仮設定手段と、該仮の周期を定数倍し、そのときに自己相関関数が近傍におけるピークとなっているか否かを判定し、ピークとなっている場合には該仮の周期を当該形態素又は形態素群の周期性として抽出する周期性判定手段と、からなるものである。

さらに、請求項８に記載の発明は、前記形態素解析手段において、抽出された形態素のうち、名詞のみを抽出すると共に、連続する名詞は１組の形態素群として抽出するイベント周期性の抽出装置を提供する。

請求項９に記載の発明は、同様の目的を有するイベント周期性の抽出装置であって、テキストデータを入力する入力手段と、該テキストデータを形態素解析する形態素解析手段と、形態素又は形態素の組み合わせである形態素群、及び所定の時間表現の各々について、テキストデータベース中の出現したテキスト数を計数する出現文書計数手段と、上記形態素又は形態素群と、時間表現との共起頻度を対数尤度比から算出する共起頻度算出手段と、共起頻度が所定値よりも高い形態素又は形態素群と、時間表現について、該形態素又は形態素群をイベント単語とし、それと共起する時間表現を周期性として記録する記録手段と、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出手段と、該イベント単語及びその周期性と、共起単語とを出力する出力手段とを少なくとも有することを特徴とするイベント周期性の抽出装置を提供するものである。

請求項１０に係る発明によると、上記請求項６ないし９の発明における共起単語抽出手段が、前記イベント単語と、前記テキストデータにおける形態素又は形態素群との補完類似度Ｓcを算出し、該補完類似度が所定の閾値以上の時に共起単語として抽出する請求項６ないし９に記載のイベント周期性の抽出装置を提供することができる。

以上の手段により次の効果を奏する。すなわち、本発明の請求項１ないし３に記載の発明よると、イベントと時間的情報において自己相関関数値を利用することにより、簡便な方法で、具体的な周期を得ることができる。従来は時間に関連する単語を手動で辞書に登録する必要があり、時間情報の自動抽出や利用は困難であったが、本発明によりこれを自動化し、コンピュータ上に常識知識を構築することにも寄与する。さらに、共起単語を抽出することにより、イベント単語と共起する単語を抽出することで、イベントと関係した開催日時や開催場所を抽出することや、当該単語だけでは周期性のあるイベント単語として抽出できない単語を抽出することができる。

また、請求項４に記載の発明では、単語の共起性に着目することにより、時間表現とイベントとの関係を抽出することができるため、これによってもイベントの周期性を抽出することができる。

請求項５に記載の発明では、補完類似度を用いることにより、簡便で効果的に共起性のある共起単語を抽出する手法を提供することができる。

同様に、本発明の請求項６ないし８に記載の発明によると、イベントと時間的情報において自己相関関数値を利用することにより、具体的な周期を簡便に出力可能なイベントの周期性抽出装置を提供することができる。
また、請求項９に記載の発明では、単語の共起性に着目することにより、時間表現とイベントとの関係を抽出することができるため、この方法を用いたイベントの周期性抽出装置を提供することができる。請求項１０に記載の発明では、補完類似度を用いることにより、簡便で効果的に共起性のある共起単語を抽出する手法を提供することができる。

以下、本発明の最良と考えられる実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
本発明は、一般にイベントが周期的に行われること、またある特定の季節に行われる事が多いため、そのイベントに関連する単語は周期的に出現するあるいは、特定の時期に出現する点に着目し、前者においては時間的情報とイベント情報とを少なくとも含むテキストデータベースから自己相関関数を用いて該イベントの周期性を抽出する方法を、後者においては時間表現とイベント情報の単語の共起性から出現する時期を特定し、その周期性を得る方法を、それぞれ開発している。
本発明の実施形態としては、それぞれの技術を備えた別個の装置として提供することもできるし、両者を１つの装置として実装することも望ましいが、説明の便宜のために別個の装置を実施例として説述する。

本発明は、時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出方法であって、最良の実施例１として図１に示すイベント周期性の抽出装置（１）を提供する。本装置は、公知のパーソナルコンピュータなどによって構成することが可能であり、入力手段（１０）、出力手段（１１）、ＲＯＭ・ＲＡＭのメモリ（１２）、ハードディスクなどの外部記憶装置（１３）が、ＣＰＵ部（２０）と協働しながら作用している。

本発明ではイベントの周期性を抽出するために、時間的情報とイベント情報を含むテキストデータベース（２）が必要である。ここで該テキストデータベース（２）には、周期性を抽出する対象のイベントに関わる情報を含んだ複数のテキストと共に、それぞれのテキストについての時間的情報を含む必要がある。
時間的情報とは、当該テキストの発行日や更新日などそのテキスト内容と密接な関わりを有する情報である。特に長期の周期性を抽出するためには少なくとも該周期を複数含むだけの期間分についてテキストデータベースが必要である。

該テキストデータベース（２）としては、例えば新聞１１年分の記事を利用することが考えられるが、今後のインターネットにおける情報の拡充によってインターネットで流通するテキストデータを該データベース（２）として利用することは十分に考えられる。新聞記事の場合にはすべての発行日を時間的情報としてそのまま利用することができ、Ｗｅｂ上のテキストデータの場合には、該テキスト上に記載された発行日や更新日の情報だけでなく、該テキストのファイルの記録情報を参照することもできる。

入力手段（１０）としては、本装置（１）に該テキストデータベース（２）を取り込むことができればいかなる装置でもよく、例えば新聞記事データがＣＤ−ＲＯＭに記録されている場合には、ＣＤ−ＲＯＭドライブを用いて読み出すことができる。インターネットから収集する場合には、該入力手段（１０）はネットワークアダプタで構成し、ネット上からの情報をＣＰＵ部（２０）に伝達する。

以下、新聞記事データを用いた場合で説述する。入力された新聞記事データは、ＣＰＵ部（２０）の形態素解析部（２１）において形態素解析処理される。形態素解析については公知の技術を用いることができ、例えば非特許文献６に示される「茶筌」を利用する。
形態素解析の際、連続する名詞は１単語として登録すること、数詞のみの名詞は削除するなど、「茶筌」の結果を一部変更して解析結果とした。

松本裕治、北内啓、山下達雄、平野善隆、松田寛、高岡一馬、浅原正幸"日本語形態素解析システム 茶筌 Ｖｅｒｓｉｏｎ２．２．９ 使用説明書"、（２００２）

形態素解析により、新聞記事データから発行日情報と名詞（及び連続した名詞で成る１単語、以下名詞も含めて単語と呼ぶ。）を抽出する。抽出された発行日情報及び名詞の組は外部記憶装置上に一時的に記録する。発行日情報に関しては、予め所定のフォーマットで新聞記事データ中にある場合にはフォーマットに従って抽出することができる。また、「発行」などの形態素の前後にある日時などを手がかりに抽出してもよい。

そして、単語計数部（２２）において、各名詞について、所定の期間毎に出現回数を計数する。所定の期間としては、１年、１月、１週間、１日など任意に定めることができる。
例えば、名詞の出現頻度を大まかな周期性を見るために月毎に算出した。その例を表１に示す。

京都−山鉾巡行の出現頻度

表１において、「山鉾巡行」は、京都で行われる祇園祭の中心的イベントであり、抽出すべき観光イベント単語である。一方、「京都」は観光地ではあるが、イベント単語ではない。
このような出現頻度データを利用し、時間軸（発行日）に対して特徴的な単語を次の自己相関関数算出部（２３）の処理を経て抽出する。
なお、１１年分の記事から抽出した名詞のうち、１１年間の出現数が１１回以下（１年に１回以下）の単語は単語計数部（２２）から自己相関関数部（２３）に引き継がずに削除する。

本発明において最初に注目したように、「山鉾巡行」などのように毎年決まった時期に行われるイベントは、新聞記事でも周期的に現れる可能性がある。単語の出現頻度の周期性を抽出する実験を行った。周期性の検出には、各単語について、１１年分１３２ヵ月分の出現頻度（表１）を入力とし、自己相関関数を利用した。自己相関関数Ｒ（ｋ）は、従来から信号の周期の検出に用いられてきた関数であり、例えば非特許文献７に開示されている。

江原義郎、"ユーザズデジタル信号処理"、東京電機大学出版局

自己相関関数算出部（２３）では次の数１に従って、自己相関関数値を算出する。

図２は、「京都」及び「山鉾巡行」の自己相関関数値を算出した結果である。なお、グラフは、Ｒ（ｋ）の値をＲ（０）＝５００となるようにして表示している。図２からわかるように「山鉾巡行」のようなイベント単語は１２ヵ月ごとの周期性が見て取れる。それに対して、それぞれのイベントが行われる「京都」の単語は、周期性が全くない。すなわち、本発明が着目しているように、本方法によりイベント単語が有効に抽出できることが分かる。

実際の周期性抽出は、図２のグラフから公知の手法によってピーク値を得てその周期を決定することができるが、例えば本実施例１ではＣＰＵ部（２０）の周期性抽出部（２４）において図３のようにして行う。
すなわち、周期性抽出部（２０）内の周期性仮設定部（２４ａ）で、ある単語の自己相関関数の結果において、ｋが１以上の時のＲ（ｋ）の最大値を取り、その時のｋの値をその単語の仮の周期とする。

さらに、周期性判定部（２４ｂ）で、その仮の周期を定数倍した時の自己相関関数の値がピーク値であるか否かを判定する。この際、例えば前後のＲ（ｋ）の値を走査して変化を調べ、所定の期間の直前直後（例えば一月前、一月後
）だけでなく、ある程度期間をおいた時（例えば三月前、三月後）に大きくＲ（ｋ）が減少していることでピークか否かを判定してもよい。
ピークであれば、上記の仮の周期を採用して、単語とその周期を抽出する。

以上の処理により、図４に示すようにイベント単語及びその周期性が得られる。該結果において、例えば「ＡＳＥＡＮ外相会議」は１２ヶ月周期で現れるイベント単語であることが示されている。

さらに、本発明ではＣＰＵ部（２０）における共起単語抽出部（２５）において、テキストデータベース（２）中の抽出されたイベント単語と共起する単語を抽出する。該共起単語抽出部により、周期性のあるイベント単語を軸として、複数の共起する単語との一対多の関係を推定し、その開催日時や開催場所の単語、さらにはその単語単体では周期性を抽出できなかったイベント単語を抽出することを可能にした。

共起単語の抽出方法は、公知の言語処理技術により任意の方法を用いることができるが、本発明では、特に好適な方法として補完類似度を算出し、該補完類似度が所定の閾値以上のものを共起単語として抽出する。
補完類似度は、従来から文字認識の分野で用いられており、劣化印刷文字を高い精度で認識できるように考案された類似度である。補完類似度を用いた文字認識方法は、補完類似度法と呼ばれ、文字を２値化画像特徴として扱い、補完類似度を用いて、そのパターンとテンプレートとする文字のパターンとの類似度を計算し、文字を認識する方法であり、認識精度の高さが知られている。

補完類似度は、２つの事物ベクトルＦ＝ｆ₁，ｆ₂，・・・ｆ_n（ｆ_i＝０又は１）、Ｔ＝ｔ₁，ｔ₂，・・・ｔ_n（ｔ_i＝０又は１）としたときの両者の類似度を測るものであり数２で表される。本発明において、事物ベクトルは、テキストデータベースにおける、同一文章、同一段落、同一記事といった共起性を判断するテキスト単位内において、上記で抽出されたイベント単語が１〜ｎのテキスト単位に出現するか否かを事物ベクトルＦに表すことで適用する。そして、共起性を判断する対象となる形態素又は形態素群についても同様に、１〜ｎのテキスト単位に出現するか否かを事物ベクトルＴに表す。

ここで、パラメータａはイベント単語と、判断対象の単語とが同時に現れるテキスト単位数、ｂは前者が現れ後者が現れないテキスト単位数、ｃは後者が現れ、前者は現れないテキスト単位数、ｄは両者とも現れないテキスト単位数となる。本発明ではテキスト単位を記事としたので、上記テキスト単位数は記事数に相当する。また、明らかなように、ａ＋ｂ＋ｃ＋ｄの合計は全テキスト単位数ｎとなる。

共起単語抽出部（２５）において、周期性抽出部（２４）で抽出されたイベント単語と、上記形態素解析部（２１）で得られた単語の補完類似度を算出する。ここで、テキスト単位やテキストデータベースに含まれる単語の多様性などに応じて予め所定の閾値を設定し、該閾値よりも補完類似度が高い単語を共起単語として抽出する。

最後に、上記で得られたイベント単語と、その周期性、さらに共起単語抽出部（２５）で抽出された単語を出力手段（１１）より出力する。出力手段（１１）としてはモニタなどでの画面表示や、外部記憶装置で構成して保存するようにしてもよい。また本発明は、上述したような観光ルートの検索を支援するために、得られた周期性情報を他の検索サーバー等に送出するようにしてもよく、この場合出力手段（１１）としてネットワークアダプタを用いることもできる。

なお、本実施例１の実験結果によると、出現数が１１回以上あり、各年に必ず出現しているとして抽出された名詞群１０万３千語のうち、周期性のある単語として抽出されたものは約１万５千語あった。その中には、１２ヵ月ごとに「お盆休み」「びわ湖毎日マラソン」「日本シリーズ」や４８ヵ月ごとに「Ｗ杯出場」などがある。さらに、所定の期間を１ヶ月として抽出するだけでなく、同時に１週間の場合、１日の場合などで上記処理を繰り返すことにより、週間単位の周期性を有するイベント、例えば２週間毎に開催されるイベントや、日単位の周期性を有するイベント、例えば３日毎や、毎週月・水曜日などといったイベントを抽出することもできる。

また、共起単語抽出部の作用は、例えばイベント単語として「山鉾巡行」が抽出されたとき、これとの補完類似度の高い共起単語として、「長刀鉾」「先頭」「囃子」「コンチキチン」などが抽出された。これらはイベント単語の説明となる単語であり、上記のように他の検索サーバーに送出する構成では、該イベント単語をより正確に特定することに寄与する。さらに、交通規制に関する単語、開催日を示す語などを抽出することもできる。

本発明の最良と考えられる実施形態の１つとして、実施例２を説述する。実施例２では上記自己相関関数を用いた周期性の抽出の他に、単語（形態素又は形態素の組み合わせである形態素群と時間表現）の共起性に着目したイベント周期性の抽出方法を提供する。該方法を用いたイベント周期性の抽出装置（３）を図５に示す。

イベント情報には、開催地、開催日が含まれるため、１月、２月などの単語と共起して現れる可能性がある点に本発明は着目している。また、イベントの名称には、「春期大会」などと、季節単語を利用したものが多く見られるため、季節単語とも共起して現れる可能性がある。
そこで本発明は、各月（１月、２月、３月などの単語）や、春夏秋冬の４つの季節単語等の時間表現単語の共起頻度の高いイベント単語を抽出し、その周期性と共に出力するものである。

本装置（３）は、上述した装置（１）と構成を共通にしている部分が多く、同一の構成である箇所は同一の符号を用いて指示し、説明は省略する。
テキストデータベース（２）として、新聞１１年分の記事を利用し、入力手段（１０）から入力した後、形態素解析部（２１）において形態素解析を行う。ここで形態素解析を行う際に、本実施例だけの場合には発行日情報を抽出する必要はなく、名詞及び連続した名詞で成る１単語（以下名詞も含めて単語と呼ぶ。）を抽出すれば良い。

抽出された単語を外部記憶装置（１３）上に一時的に記録する。そして、出現文書計数部（３１）の処理に移る。出現文書計数部（３１）では、上記で解析された単語と、所定の時間表現の各々について、テキストデータベース中の出現したテキスト数を計数する。所定の時間表現は、「１月」「２月」「３月」・・などの単語や、「春」「夏」「秋」「冬」など時間、日付、季節などを表す表現を外部記憶装置（１３）上に予め蓄積したデータベース（１３ａ）である。
時間表現としては、その他、「月曜日」「火曜日」・・などの曜日や、「大安」「先勝」などの六曜、「文化の日」などの祝日名称など、時間と関連した表現であればどのような表現でも良い。

出現文書計数部（３１）では、各単語が出現したテキストの数、各単語と各時間表現単語が同時に出現したテキストの数を、全ての組合せについて計数する。この結果は外部記憶装置（１３）に一時記録する。
さらに、本発明の要部である共起頻度算出部（３２）において、共起頻度を算出する。

共起頻度は、非特許文献８に開示される公知の対数尤度比の大きいものとした。単語υと単語ｗの対数尤度比λとは，υとｗの２単語が従属とした場合と独立とした場合との最尤推定量による尤度比であり、数３で表される。

ただし、ｆ（υ、ｗ）を単語υとｗが同時に出現した文書数ｆ（ｘ）を単語ｘが出演した文書数、Ｆを全文書数とする。

Ｔ．Ｅ．Ｄｕｎｎｉｎｇ，"Ａｃｃｕｒａｔｅ ｍｅｔｈｏｄｓ ｆｏｒ ｔｈｅ ｓｔａｔｉｓｔｉｃｓ ｏｆ ｓｕｒｐｒｉｓｅ ａｎｄ ｃｏｉｎｃｉｄｅｎｃｅ"，Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，１９（１），ｐｐ．６１−７４（１９９３）

非特許文献９に開示されているように、２単語が従属している度合が強いほど対数尤度比は大きい値を取る。ここで所定の閾値を設定しておき、共起頻度がそれよりも高い単語をイベント単語とし、上述した共起単語抽出部（２５）において共起単語を抽出する。
最後に、イベント単語と時間表現単語の組合せ、及び共起単語を出力手段（１１）から出力する。このように時間表現単語と共起頻度が高い単語はイベントとして出力することができる。
本実施例２における実験結果の一部を表２に示す。

なお実施例２において、例えば時間表現単語「１月」とイベント単語「大相撲初場所」が共起し、出力されるが、これは「大相撲初場所」が毎年１月に１年の周期性を有していることを意味するので、上記実施例１における方法と統合して結果を利用することができる。このために、共起頻度算出部（３２）において、「１月」「大相撲初場所」が算出された際に、１年（１２ヶ月）の周期であること付加して出力手段（１１）から出力してもよい。

以上、本発明では、観光イベントが周期的に行われること、またある特定の季節に行われる事が多いため、そのイベントに関連する単語は周期的に出現するあるいは、特定の時期に出現すると考えた。つまり、日々更新されるテキストデータから周期的に現れる単語を抽出すれば、イベントに関係する単語を抽出できる可能性がある。さらに、その単語の具体的に出現する日時（テキストの持つ発行日など）を抽出できれば、上記非特許文献５の研究における、時間情報のうち、時点と周期時間を自動抽出するための規則化が可能である。

周期性のあるイベント情報とイベントの行われる時期が抽出できれば、ユーザがシステムを利用している時を基準時点とし、その基準時点と比較を行うことで、将来行われるイベントを推測することも可能となる。この推測により観光コースの推薦が可能となると考える。もちろん、観光イベントには、周期性のないものも存在するが、ここでは、周期性のあるイベント単語を抽出することを目標とした。
さらに、イベント情報には、そのイベントが行われる日付や季節（「冬期オリンピック」や「春季大会」）が共起して現れる場合があると考え、各月（１月，２月といった単語）や季節単語（春、夏、秋、冬）との共起性についても調査し、より正確にイベント単語を抽出することを目指したものである。

本発明の結果として、周期性のある単語の抽出実験においては、興味深い単語が抽出できた。特に、有名な観光イベント単語（だんじり祭、山鉾巡行など）だけでなく、観光日的として曖昧に利用されやすい単語（山開き、桜開花、キンモクセイなどの花の名前など）も抽出できており、イベント単語抽出の一条件として利用できると考える。また、出現頻度の大小にかかわらず、周期性のある単語が抽出できることが分かった。

イベント単語の周期については、自己相関関数を利用する事で、現在は月単位ではあるが、１２ヵ月ごとなど、具体的な数値を得る事ができた。しかし、周期性のある単語すべてが、イベント単語ではないので、上述したように他の期間を設定してより詳細な周期性を算出することが好ましい。
共起性のある単語については、季節単語（春、夏、秋、冬）よりも、月単語との共起性がより好ましい周期性の出力結果が得られたが、本発明を用いる際の要求されるイベント等に応じてこれらは適宜設定すべきである。

本実施例では、名詞だけに着目してイベント情報の抽出を試みたが、例えば、「鹿の角切り」や「桜の通り抜け」のような「〜の」による修飾を受けて、ある固有のイベントとして表記されるものや、「食べる会」「歩く会」のように動詞＋名詞の組み合わせを利用した言葉を利用したものも含めて形態素解析により抽出してもよい。

本発明の第１の実施例におけるイベント周期性の抽出装置のブロック図である。 自己相関関数値を算出した結果のグラフである。 自己相関関数値から周期性を判定する処理のフローチャートである。 第１の実施例に係る出力結果の例である。 本発明の第２の実施例におけるイベント周期性の抽出装置のブロック図である。

符号の説明

１ イベント周期性の抽出装置
２ テキストデータベース
１０ 入力手段
１１ 出力手段
１２ メモリ
１３ 外部記憶装置
２０ ＣＰＵ部
２１ 形態素解析部
２２ 単語計数部
２３ 自己相関関数算出部
２４ 周期性抽出部

Claims (10)

1. 時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出方法であって、
   入力手段から、テキストデータを入力する入力ステップ、
   形態素解析手段により、該テキストデータを形態素解析する形態素解析ステップ、
   単語計数手段により、形態素又は形態素の組み合わせである形態素群について、時間的情報から所定の期間毎の出現回数を計数する計数ステップ、
   自己相関関数算出手段により、次式に基づく自己相関関数値を求める自己相関関数値算出ステップ、
   

   

   （ｋ=0,1,2,...,N-1、x(n)は形態素又は形態素群の所定の期間ｎ番目における出現回数、Nは該テキストデータに含まれる所定の期間のサンプル数）
   周期性抽出手段により、該自己相関関数のKに係るピークを求め、各ピークにおけるKの周期性から当該形態素又は形態素群の周期性を抽出する周期性抽出ステップ、
   該形態素又は形態素群をイベント単語とし、該イベント単語とその周期性とを記録手段に格納するイベント単語抽出ステップ、
   共起単語抽出手段により、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出ステップ、
   該イベント単語及びその周期性と、共起単語とを出力するイベント単語群出力ステップ
   からなることを特徴とするイベント周期性の抽出方法。
2. 前記周期性抽出ステップにおいて、
   周期性仮設定手段により、Kが１以上の時に最初に自己相関関数値がピークとなるときのKの値を求めて仮の周期とする周期性仮設定ステップ、
   周期性判定手段により、該仮の周期を定数倍し、そのときに自己相関関数が近傍におけるピークとなっているか否かを判定し、ピークとなっている場合には該仮の周期を当該形態素又は形態素群の周期性として抽出する周期性判定ステップ
   を有する請求項１に記載のイベント周期性の抽出方法。
3. 前記形態素解析ステップにおいて、
   抽出された形態素のうち、名詞のみを抽出すると共に、連続する名詞は１組の形態素群として抽出する
   請求項１又は２に記載のイベントの周期性の抽出方法。
4. 時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出方法であって、
   入力手段から、テキストデータを入力する入力ステップ、
   形態素解析手段により、該テキストデータを形態素解析する形態素解析ステップ、
   出現文書計数手段により、形態素又は形態素の組み合わせである形態素群、及び所定の時間表現の各々について、テキストデータベース中の出現したテキスト数を計数する出現文書計数ステップ、
   共起頻度算出手段により、上記形態素又は形態素群と、時間表現との共起頻度を次式に基づく対数尤度比から算出する共起頻度算出ステップ
   

   

   （f(v,w)は単語vと単語wとが同時に出現したテキスト数、f(x)は単語xが出現したテキスト数、Fは全テキスト数）
   共起頻度が所定値よりも高い形態素又は形態素群と、時間表現について、該形態素又は形態素群をイベント単語とし、それと共起する時間表現を周期性として記録手段に記録するイベント単語抽出ステップ、
   共起単語抽出手段により、該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出ステップ、
   該イベント単語及びその周期性と、共起単語とを出力するイベント単語群出力ステップ
   からなることを特徴とするイベント周期性の抽出方法。
5. 前記共起単語抽出ステップにおいて、
   共起単語抽出手段が、前記イベント単語と、前記テキストデータにおける形態素又は形態素群との補完類似度Ｓcを次式に従って算出し、該補完類似度が所定の閾値以上の時に共起単語として抽出する請求項１ないし４に記載のイベント周期性の抽出方法。
   

   
6. 時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出装置であって、
   テキストデータを入力する入力手段と、
   該テキストデータを形態素解析する形態素解析手段と、
   形態素又は形態素の組み合わせである形態素群について、時間的情報から所定の期間毎の出現回数を計数する計数手段と、
   次式に基づく自己相関関数値を求める自己相関関数値算出手段と、
   

   

   （ｋ=0,1,2,...,N-1、x(n)は形態素又は形態素群の所定の期間ｎ番目における出現回数、Nは該テキストデータに含まれる所定の期間のサンプル数）
   該自己相関関数のKに係るピークを求め、各ピークにおけるKの周期性から当該形態素又は形態素群の周期性を抽出する周期性抽出手段と、
   該形態素又は形態素群をイベント単語とし、該イベント単語とその周期性とを格納する記録手段と、
   該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出手段と、
   該イベント単語及びその周期性と、共起単語とを出力する出力手段と、
   を少なくとも有することを特徴とするイベント周期性の抽出装置。
7. 前記周期性抽出手段が、
   Kが１以上の時に最初に自己相関関数値がピークとなるときのKの値を求めて仮の周期とする周期性仮設定手段と、
   該仮の周期を定数倍し、そのときに自己相関関数が近傍におけるピークとなっているか否かを判定し、ピークとなっている場合には該仮の周期を当該形態素又は形態素群の周期性として抽出する周期性判定手段と、
   からなる請求項４に記載のイベント周期性の抽出装置。
8. 前記形態素解析手段において、
   抽出された形態素のうち、名詞のみを抽出すると共に、連続する名詞は１組の形態素群として抽出する
   請求項４又は５に記載のイベントの周期性の抽出装置。
9. 時間的情報とイベント情報とを少なくとも含むテキストデータベースから該イベントの周期性を抽出するイベント周期性の抽出装置であって、
   テキストデータを入力する入力手段と、
   該テキストデータを形態素解析する形態素解析手段と、
   形態素又は形態素の組み合わせである形態素群、及び所定の時間表現の各々について、テキストデータベース中の出現したテキスト数を計数する出現文書計数手段と、
   上記形態素又は形態素群と、時間表現との共起頻度を次式に基づく対数尤度比から算出する共起頻度算出手段と、
   

   

   （f(v,w)は単語vと単語wとが同時に出現したテキスト数、f(x)は単語xが出現したテキスト数、Fは全テキスト数）
   共起頻度が所定値よりも高い形態素又は形態素群と、時間表現について、該形態素又は形態素群をイベント単語とし、それと共起する時間表現を周期性として記録する記録手段と、
   該テキストデータにおいて該イベント単語と共起する形態素又は形態素群を抽出する共起単語抽出手段と、
   該イベント単語及びその周期性と、共起単語とを出力する出力手段と
   を少なくとも有することを特徴とするイベント周期性の抽出装置。
10. 共起単語抽出手段が、前記イベント単語と、前記テキストデータにおける形態素又は形態素群との補完類似度Ｓcを次式に従って算出し、該補完類似度が所定の閾値以上の時に共起単語として抽出する請求項６ないし９に記載のイベント周期性の抽出装置。
    

    

Images