JP2001034624A - 文書要約装置およびその方法 - Google Patents
文書要約装置およびその方法Info
- Publication number
- JP2001034624A JP2001034624A JP11205061A JP20506199A JP2001034624A JP 2001034624 A JP2001034624 A JP 2001034624A JP 11205061 A JP11205061 A JP 11205061A JP 20506199 A JP20506199 A JP 20506199A JP 2001034624 A JP2001034624 A JP 2001034624A
- Authority
- JP
- Japan
- Prior art keywords
- topic
- sentence
- document
- sentences
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Abstract
ることが課題である。 【解決手段】 文書要約装置は、文書中の話題の階層的
構成を認定し、話題境界の候補区間から、文と話題のま
とまりとの関連度を用いて、話題の転換点に対応する境
界文を抽出する。次に、この境界文から始まる話題の導
入部から、話題を導入する役割を持つ話題導入文を抽出
し、境界文と話題導入文を用いて要約を作成する。
Description
かれた機械可読文書の要約を行う装置およびその方法に
関する。特に、本発明をコンピュータディスプレイ上で
の文書閲覧の支援へ応用し、マニュアルや報告書、ある
いは1冊の本などの長い文書を1画面に納まる程度に要
約して、文書内容の骨子の理解を助けることを意図して
いる。
文書要約技術として、文書において重要な文を認定し、
それを抜粋することで要約を作成する技術がある。この
技術は、さらに、何を手掛かりに文の重要性を評価する
かによっていくつかの方法に分類される。代表的な方法
としては、次の2つが挙げられる。 (1)文書中に出現する単語の頻度と分布を手掛かりと
する方法 (2)文と文とのつながり方や文の出現位置を手掛かり
とする方法 これらのうち、(1)の方法は、まず、文書中に含まれ
る単語(語句)の重要度を決定し、次に、重要な単語を
どれ位含んでいるかによって文の重要度を評価する。そ
して、評価結果に基づいて重要な文を選択して要約を作
成する。
書中の単語の出現頻度(出現度数)そのものを用いる方
法、単語の出現度数と一般的な文書集合におけるその単
語の出現度数とのずれなどを加味して重みを付ける方
法、単語の出現位置に応じて重みを付ける方法などが知
られている。単語の出現位置に応じて重みを付ける場合
は、例えば、見出しに出現する語を重要とみなすなどの
処理が付加される。
のようなものがある。特開平6−259424「文書表
示装置及び文書要約装置並びにディジタル複写装置」と
その発明者による文献(亀田雅之、擬似キーワード相関
法による重要キーワードと重要文の抽出、言語処理学会
第2回年次大会発表論文集、pp.97−100、19
96年3月.)では、見出しに含まれる単語を多く含む
部分を、見出しに関連の深い重要な部分として抜粋する
ことで要約を作成している。
法および装置」では、文書中に現れる表現(単語など)
の複雑さ(語の長さなど)から重要な表現の候補(シー
ド)を選び、重要性の高いシードをより多く含む文を抜
粋することで要約を作成している。
成する自動的な方法」では、文書内の単語の出現頻度が
大きい順に「主題の用語」を認定し、重要な「主題の用
語」を多く含む文を抽出することで要約を作成してい
る。
などの文の接続関係や、文が出現している文書中の位置
などをもとに、文の(相対的)重要性を判定し、重要な
文を選択する。
えば、特開平6−12447「要約文章作成装置」、特
開平7−182373「文書情報検索装置及び文書検索
結果表示方法」、およびこれらの出願の発明者らによる
文献(住田一男(Kazuo Sumita)、知野哲朗(Tetsuro
Chino )、小野顕司(Kenji Ono)、三池誠司(SeijiMi
ike )、文書構造解析に基づく自動抄録生成と検索提示
機能としての評価、電気情報通信学会論文誌、Vol.
J78−D−II、No.3、pp.511−519、
1995年3月.)、あるいは別の著者による文献(山
本和英(Kazuhide Yamamoto )、増山繁(Shigeru Masu
yama)、内藤昭三(Shozo Naito )、文章内構造を複合
的に利用した論説文要約システムGREEN、情報研報
NL−99−3、情報処理学会、1994年1月.)
がある。
説、論文などの内容的に1つにまとまっている文書に対
しては有効であるが、いくつかの話題に関する文章が混
在した長い文書の要約は難しい。
章が混在している場合、話題毎に重要な単語が異なる可
能性が高いので、文書中で出現頻度の大きい単語を単純
に重要語とみなすことができない。単純に重要語を決定
してしまうと、ある話題に関する重要性を手掛かりに、
別の話題の部分から重要でない文が抜粋されてしまうこ
とがあるからである。
される文間のつながりは局所的なものであるため、ある
論旨に沿って記述された複数の文章が緩やかな関連性の
下に並べ置かれている場合には、それぞれの文章の重要
性を判定することが困難である。
の話題のまとまりを認定する技術と組み合わせて要約を
作成する技術が開発されている。例えば、本発明の発明
者による文献(仲尾由雄(Yoshio Nakao)、文書の意味
的階層構造の自動認定に基づく要約作成、第4回年次大
会併設ワークショップ「テキスト要約の現状と将来」論
文集、pp.72−79、言語処理学会、1998年3
月.)および先願の特願平10−072724「文書要
約装置およびその方法」には、文書中の話題の階層的構
成を認定し、それぞれの話題に特徴的な語を多く含む文
を抜粋する技術が示されている。
装置、文書処理プログラムが記憶された記憶媒体、及び
文書処理方法」では、文書全体をいくつかのサブ文書に
分割し、サブ文書間の類似度を調べて話題の変わり目を
認識し、話題毎に文書を要約するというアイディアが示
されている。
定方法が抽象的なレベルでごく簡単にしか示されていな
いが、その手法は、Saltonらの文献(Gerard Salton, A
mitSinghal, Chris Buckley, and Mandar Mitra. Autom
atic text decomposition using text segments and te
xt themes. In Proc. of Hypertext '96, pp.53-65.the
Association for Computing Machinery, March 1996.
)などで従来より知られていた技術を簡略化したもの
と考えられる。
いが、特開平2−254566にも、内容的に関連度の
高い一連の型式段落(字下げなどにより形式的に区切ら
れた段落)を意味段落として自動認定し、文書全体で出
現頻度の大きい語だけでなく、それぞれの意味段落で出
現頻度の大きい語も重要語として抽出して、要約を作成
している。
た従来の要約技術で長い文書を要約した場合、話題毎に
主要な文を抜粋しても、理解しがたい要約になりやすい
という問題がある。
すぎる場合などに重要語が多く出現する文を抜粋する
と、たまたま論の半ば付近の文が抜粋されて、要約が理
解不能になってしまうことがある。詳細な議論を行って
いる箇所を前提となる説明なしに抜粋してしまうと、読
者には何を議論しているのかが掴めない可能性が高いか
らである。また、1%程度以下の極端に短い要約を作成
する場合、重要な文の中から少数の文を選択しなければ
ならないため、要約が関連性のない文の羅列になってし
まう可能性も大きくなる。
る場合、必然的に要約結果の分量も大きくなり、結果と
して読みにくい要約になってしまうという問題もある。
例えば、100頁の本を要約した場合、1%に縮めて
も、要約は1頁になってしまう。1頁の文書は、少なく
とも数段落に分けて見出しなどを付与し、内容の区切り
の目印をつけない限り、読みづらい。従来の要約技術の
主たる対象は、多くとも十数頁程度の論文などであった
こともあり、この問題を解決する汎用の技術は現状では
見当たらない。
は、論文などを対象として、書式などの手掛かりに認定
した章や節毎に要約を作成し、章立ての構造に基づいて
要約結果を再構成して提示する技術が示されている。し
かし、数十頁を越える長い文書を対象とする場合、そも
そも、上述した理由により、それぞれの章や節毎に主要
な文を抜粋しても、簡潔で理解しやすい要約とはならな
い可能性が高い。また、書式は、ある種類の文書におけ
る約束毎であるため、文書の種類毎に経験的な規則を用
意しなければならず、汎用性という点にも問題がある。
理解しやすい要約を作成する文書要約装置およびその方
法を提供することである。また、本発明の第2の課題
は、長い要約を読みやすく提示する文書要約装置および
その方法を提供することである。
約装置の原理図である。図1の文書要約装置は、構成認
定手段1、話題文抽出手段2、および要約成形手段3を
備える。
題の階層的構成を認定する。話題文抽出手段2は、各話
題の導入部を検出し、検出された導入部から集中的に、
話題内容を端的に表す1つ以上の文を話題文として抽出
する。要約成形手段3は、抽出された話題文を話題毎に
まとめて要約を生成する。
きさの1/4〜1/10程度から段落程度の大きさま
で、数種類の大きさの窓幅を設定し、語彙的結束性の強
さを表す結束度を各窓幅で測定する。これにより、大き
な間隔で繰り返される語などによる大局的な結束性と、
小さな間隔で繰り返される語などによる局所的な結束性
の両方を捉えることができ、語彙の繰り返し状況によっ
て、大きな話題のまとまりから小さな話題のまとまりに
至る話題の階層的構成を認定することができる。
成する複数の話題のまとまりが2段以上の階層構造を成
していることを意味する。この階層的構成は、例えば、
文書を構成する複数の大きな話題のまとまりの各々が、
1つ以上のより小さな話題のまとまりを含み、小さな話
題のまとまりの各々が、1つ以上のさらに小さな話題の
まとまりを含むというような話題の包含関係に対応す
る。
利用して適切な粒度(大きさ)の話題を選び、その話題
の導入部から話題文を抽出する。話題の導入部として
は、例えば、話題の開始位置付近の所定領域が指定さ
れ、その領域から集中的に(局所的に)話題文が抽出さ
れる。
に関しては、大きな話題の導入部だけでなく、大きな話
題と開始位置がほぼ一致する、より小さな話題の導入部
からも話題文を抽出する。さらに、抜粋量に余裕がある
場合には、大きな話題のまとまりに包含される、より小
さな話題の導入部からも話題文を抽出する。このよう
に、比較的狭い範囲から集中的に文を抽出して要約に取
り込むので、要約が関連性のない文の羅列になることが
少なくなる。
題境界の近傍領域内の数文を文書における出現順に取り
出し、各文中の語彙の直前・直後の話題のまとまりにお
ける情報量(語彙の出現により伝達される情報の量を出
現確率によって評価した値)に基づき、文と話題境界の
直後の話題のまとまりとの関連度(順方向関連度)と、
文と話題境界の直前の話題のまとまりとの関連度(逆方
向関連度)を求める。
差を直後の話題のまとまりに対する相対的な関連度(順
方向相対関連度)として求め、順方向相対関連度に基づ
いて、話題の転換点に対応する文を第1種の話題文(境
界文)として抽出する。例えば、順方向相対関連度が大
きく上昇する文が境界文として抽出される。また、話題
文抽出手段2は、抽出された境界文の位置を、話題の導
入部の開始位置に設定する。こうして、導入部が検出さ
れる。
の転換点に対応する文を抽出することができるので、書
式情報などの手掛かりを併用しなくても、話題の開始位
置に掲げられている見出しなど、話題内容を端的に表す
文を抽出できる可能性が高くなる。
始まる数文の範囲を導入部として採用し、その範囲から
候補文を取り出して順方向関連度を求める。そして、順
方向関連度に基づいて、話題を導入する役割を持つ文を
第2種の話題文(話題導入文)として抽出する。例え
ば、順方向関連度が最大となる文が話題導入文として抽
出される。
ら、話題を導入する役割を持つ文(後続の話題に関連の
深い文)を抽出できるので、話題に関する情報を補足す
る役割を持った文が抽出できる可能性が高くなる。
り抽出された文を、適切な粒度の話題毎に区別して(ま
とめて)要約に出力する。例えば、話題文抽出手段2に
より、2つの話題に関する文が抽出された場合、抽出さ
れた文を、いずれの話題に対して抽出されたかによって
2つのグループに分け、それぞれのグループを空行など
で区切って要約に出力する。
に区切ることができるので、要約文書が長くなった場合
でも、内容の区切りが一目で把握できる読みやすい要約
が作成できる。
力量に応じて、要約に取り入れる話題の大きさを決定
し、構成認定手段1が認定した話題のまとまりの中か
ら、決定された大きさの話題に関する話題のまとまりで
あって、文章としてのまとまりを備えているものを、話
題文抽出対象として選択する。そして、それぞれの話題
の導入部を検出し、そこから話題文を抽出する。これに
より、望ましい粒度の話題を効率よく要約に取り込むこ
とが可能になる。
題文に章番号などの順序ラベル情報の付いた見出しが含
まれる場合、順序ラベル情報を話題文から分離して、順
序ラベル情報を含まない話題文を出力する。これによ
り、ユーザは、要約中では大きな意味を持たない順序ラ
ベルに煩わされることなく、要約を読み進められるよう
になる。
ラベル情報を加工して、順序ラベル情報を含まない話題
文と原文書の対応関係を示す補足情報として出力するこ
ともできる。このとき、順序ラベル情報は、要約の読解
の邪魔にならない形に変形されて出力される。
る図2の話題構成認定部25に対応し、図1の話題文抽
出手段2は図2の話題文抽出部27に対応し、図1の要
約成形手段3は図2の出力部28に対応する。
明の実施の形態を詳細に説明する。図2は、本発明の文
書要約装置の基本構成を示している。図2において、文
書要約装置(digest generator)12は、要約対象文書
(input document)11が入力されると、その要約文書
13を作成して出力する。
t)21、単語認定部(tokenizer )22、単語辞書(m
achine readable dictionary )24、話題構成認定部
(topic structure detector)25、話題文抽出部(le
ading sentence extractor)27、および出力部(outp
ut unit )28を備える。
み、単語認定部22に渡す。単語認定部22は、サブモ
ジュールの形態素解析部(morphological analyzer)2
3を含み、それを用いて要約対象文書11を言語的に解
析して、文書11に含まれる内容語(名詞・動詞・形容
詞・形容動詞など)を切り出す。このとき、形態素解析
部23は、単語辞書24を参照して、文書11中の文
を、品詞情報付きの単語リストに変換する。単語辞書2
4は、形態素解析用の単語辞書であって、単語の表記文
字列と品詞・活用の情報との対応関係などを記述してい
る。
話題境界候補区間認定部(topic boundary detector )
26を含み、それを用いて共通の話題について記述して
いる文書の部分(話題のまとまり)を自動認定する。話
題境界候補区間認定部26は、語彙的結束度の小さい区
間を話題境界の近傍領域(候補区間)として認定する。
語彙的結束度とは、文書11中の各位置の近傍領域にお
ける語彙的結束性の強さを表す指標であり、例えば、各
位置の前後に設定したある幅の窓内に出現する語彙の類
似性から求められる。
部25で認定した各々の話題のまとまりに対して、話題
の開始位置付近にある導入部を検出し、検出された導入
部から話題文を認定する。次に、文書11の大きさと望
ましい要約の大きさから、要約として抽出すべき話題の
数を計算し、要約作成の単位とする話題のまとまりの大
きさを決定する。そして、決定した大きさ程度の話題の
まとまりに属する話題文を、要約に取り入れる文として
抽出する。
た文を、話題毎にまとめて要約文書13を作成し、処理
結果として出力する。図2の文書要約装置12によれ
ば、話題構成認定部25が、共通の話題について記述し
ている文書の部分を話題のまとまりとして認定し、話題
文抽出部27が、それぞれの話題の開始位置付近から集
中的に文を抽出する。このように、比較的狭い範囲から
集中的に文を抽出して要約に取り込むので、要約が関連
性のない文の羅列になることが少なくなる。
題境界付近の数文を文書の出現順に取り出し、文中の単
語と直前・直後の話題のまとまりとの関連度に基づき、
直後の話題との関連度(順方向関連度)が直前の話題と
の関連度(逆方向関連度)に比べて急激に大きくなる文
を境界文として認定する。これにより、書式情報などの
手掛かりを併用しなくても、直前の話題から直後の話題
への転換点に対応する文を精度よく抽出することができ
る。
の数文の範囲で候補文を取り出し、境界文以降の文につ
いて順方向関連度を求め、順方向関連度が最大となる文
を話題導入文として抽出する。これにより、話題の転換
点の少し後ろから、話題を導入する役割を持つ文(後続
の話題に関連の深い文)を抽出できるので、話題に関す
る情報を補足する役割を持った文が抽出できる可能性が
高くなる。
部25が認定した話題のまとまりの中から、適切な粒度
の話題のまとまりで、結束性(文章としてのまとまり)
の強いものを話題文抽出処理対象として選択し、そこか
ら話題文を抽出する。これにより、望ましい粒度の話題
を効率よく要約に取り込むことが可能になる。
た文を、適切な粒度の話題毎にまとめて要約文書13を
作成し、出力する。これにより、要約を適切な粒度のま
とまりに区切ることができるので、要約文書13が長く
なった場合でも、内容の区切りが一目で把握できる読み
やすい要約が作成できる。
ラベル付きの見出しに対しては、順序ラベルを、本文と
の対応関係を示す補足情報の形に加工して出力する。こ
れにより、ユーザは、要約中では大きな意味をもたない
順序ラベルに煩わされることなく、要約を読み進められ
るようになる。また、要約文書13の内容を要約対象文
書11の内容との対応関係も把握しやすくなる。
に示すような情報処理装置(コンピュータ)を用いて構
成することができる。図3の情報処理装置は、出力装置
41、入力装置42、CPU(中央処理装置)43、ネ
ットワーク接続装置44、媒体駆動装置45、補助記憶
装置46、およびメモリ(主記憶)47を備え、それら
はバス48により互いに接続されている。
y memory)、RAM(random access memory)などを含
み、文書要約処理に用いられるプログラムとデータを格
納する。ここでは、図2に示した入力部21、単語認定
部22、形態素解析部23、話題構成認定部25、話題
境界候補区間認定部26、話題文抽出部27、および出
力部28が、プログラムモジュールとして格納されてい
る。CPU43は、メモリ47を利用してプログラムを
実行することにより、必要な処理を行う。
プリンタなどであり、ユーザへの問い合わせや要約文書
13などの出力に用いられる。入力装置42は、例え
ば、キーボード、ポインティングデバイス、タッチパネ
ルなどであり、ユーザからの指示や要約対象文書11の
入力に用いられる。
ク装置、光ディスク装置、光磁気ディスク(magneto-op
tical disk)装置などであり、要約対象文書11、要約
文書13、単語辞書24などの情報を格納する。情報処
理装置は、この補助記憶装置46に、上述のプログラム
とデータを保存しておき、必要に応じて、それらをメモ
リ47にロードして使用することもできる。
駆動し、その記録内容にアクセスする。可搬記録媒体4
9としては、メモリカード、フロッピーディスク、CD
−ROM(compact disk read only memory )、光ディ
スク、光磁気ディスクなど、任意のコンピュータ読み取
り可能な記録媒体が用いられる。ユーザは、この可搬記
録媒体49に上述のプログラムとデータを格納してお
き、必要に応じて、それらをメモリ47にロードして使
用することもできる。
cal area network)などの任意のネットワーク(回線)
を介して外部の装置と通信し、通信に伴うデータ変換を
行う。また、情報処理装置は、必要に応じて、上述のプ
ログラムとデータを外部の装置から受け取り、それらを
メモリ47にロードして使用することもできる。
とデータを供給することのできるコンピュータ読み取り
可能な記録媒体を示している。可搬記録媒体49や外部
のデータベース50に保存されたプログラムとデータ
は、メモリ47にロードされる。そして、CPU43
は、そのデータを用いてそのプログラムを実行し、必要
な処理を行う。
ールの動作を、具体例を用いてより詳細に説明する。要
約対象文書としては、(社)電子工業振興協会「自然言
語処理システムの動向に関する調査報告書」(平成9年
3月)第4章「ネットワークアクセス技術専門委員会活
動報告」(pp.117−197)を用いた。以下の実
施形態では、この文書から文を抜粋してA4、1〜2枚
(1500文字)程度の要約の作成を試みる。
/4程度の大きさが目安とされてきたが、この要約対象
文書は81ページの大きさを持ち、従来の自動要約技術
が対象としてきた新聞の社説や記事、数頁程度の論文な
どに比べて巨大である。また、オンラインで文書を閲覧
する場合、画面に一度に表示できるのは2ページ程度が
限度である。これらの条件を考慮して、上述のような要
約の大きさが決められている。
ではないので、参考として、要約対象文書中の見出しの
一覧を図5から図7に示す。図5は、4.1節および
4.2節の見出しを出現順に示しており、図6は、4.
3節の見出しを出現順に示しており、図7は、4.4節
の見出しを出現順に示している。
理のフローチャートである。単語認定部22は、まず、
要約対象文書に形態素解析を施し、品詞付きの単語リス
トを作成する(ステップS11)。次に、品詞を手掛か
りに内容語(名詞・動詞・形容詞・形容動詞)を認定
し、内容語に対応する文書の部分に印を付けて(ステッ
プS12)、処理を終了する。図9は、要約対象文書の
冒頭部分を示しており、図10は、単語認定部22から
の対応する出力を示している。
析部23は、図11に示すような形態素解析処理を行
う。形態素解析部23は、まず、単語リストをクリアし
(ステップS21)、文書の先頭から句点(またはピリ
オド)などを手掛かりに文の取り出しを試み(ステップ
S22)、文が取り出せたかどうかを判定する(ステッ
プS23)。
参照して、文に含まれている単語の候補を求める(ステ
ップS24)。日本語の場合は、図9に示したように、
単語と単語の境界が形式的に明示されていないので、文
に含まれる部分文字列に対応するすべての単語を候補と
して求める。例えば、「東京都は大都市だ」という文が
取り出された場合、図12に示すように、この文に含ま
れるすべての部分文字列が単語の候補となる。
が空白(スペース)により明示されているため、空白で
区切られた文字列に対応する単語について、品詞の候補
を求めることが主な処理となる。例えば、“Tokyo is t
he Japanese capital.”という文が取り出された場合、
図13に示すように、この文に明示的に含まれる5つの
単語の基本形と品詞が求められる。
連接の観点から、妥当な単語の並びを選択し(ステップ
S25)、選択された単語の並びに品詞と出現位置の情
報を付加して、出現順に単語リストに追加する(ステッ
プS26)。次に、次の文の取り出しを試み(ステップ
S27)、ステップS23以降の処理を繰り返す。そし
て、ステップS23において文が取り出せなくなると、
処理を終了する。
弧で括られた部分が形態素解析部23の認定した内容語
である。内容語が活用語(動詞・形容詞)の場合、墨付
き括弧内で、スラッシュ(/)の前の部分は語幹を表
し、スラッシュの後の部分は終止形の活用語尾を表す。
これは、後の処理で単語の区別を行うために用いられる
情報であるが、この情報の代わりに、品詞と活用を付加
しておいてもよい。要するに、例えば、「い/る」と
「い/く」のように、語幹だけでは区別の付かない単語
を区別するための識別情報であれば、任意のものを用い
ることができる。
びの妥当性を評価する方法は、形態素解析法として各種
のものが知られており、任意のものを用いることができ
る。例えば、単語の並びの妥当性を訓練データにより推
定された出現確率を用いて評価する方法が報告されてい
る(Eugene Charniak. Hidden markov models and two
applications. In Statistical Language Learning, ch
apter 3, pp.37-73. The MIT Press, 1993. / Masaak
i Nagata. A stochastic japanese morphological anal
yzer using a forward-DP backward-A*N-best search a
lgorithm. In Proceedings of COLING'94, pp.201-207,
1994./ 永田昌明、前向きDP後向きA* アルゴリズ
ムを用いた確率的日本語形態素解析システム、情処研報
NL−101−10、情報処理学会、1994年5
月.)。
すべての内容語を切り出しているが、切り出しの対象を
名詞だけに絞っても構わない。また、英語の文書を対象
に処理する場合には、形態素解析処理を行う代わりに、
空白で区切られたすべての語のうち、話題に関わらずど
こにでも出現する語彙(冠詞、前置詞などの機能語や特
に高い頻度で出現する語)を取り除いて、単語を切り出
してもよい。このような処理は、単語辞書24の代わり
に、機能語や特に高い頻度で出現する語を格納したスト
ップワードリスト(stop word list)を用意すれば、容
易に実現できる。
説明する。本実施形態においては、話題のまとまりを、
先願の特願平10−072724「文書要約装置および
その方法」に示された技術に基づいて認定することにす
る。この方法では、以下の手順で話題の階層構成が認定
される。 1.話題境界位置の区間推定 ある窓幅で計算した結束度に基づき、話題境界が存在し
そうな区間を、話題境界候補区間として求める。この話
題境界候補区間は、話題境界の近傍領域の1つであると
考えられる。そして、大きさの異なる複数の窓幅に対し
てこの処理を繰り返し、大きな話題の切れ目を示す境界
から小さな話題の切れ目を示す境界まで、話題の大きさ
別に話題境界候補区間を求める。 2.話題の階層関係の認定 異なる窓幅により求めた話題境界候補区間を統合し、話
題の階層構成とそれぞれの話題境界の位置を決定する。
層関係の認定の処理を簡略化し、大きな窓幅による話題
境界候補区間と小さな窓幅による話題境界候補区間と
で、境界位置が候補区間の範囲内で一致するとみなせる
もの同士を、互いに関係付けるだけにとどめている。最
終的な話題境界位置は、後述するように、話題文抽出部
27による話題文認定処理で決定される。
構成認定処理のフローチャートである。話題構成認定部
26は、まず、最大窓幅w1 、最小窓幅wmin 、窓幅比
rの3つのパラメータをユーザから受け取り(ステップ
S41)、結束度を測定するための窓幅の集合Wを求め
る(ステップS42)。図14では、図面の見やすさを
考慮して、記号“wmin ”の添字を、“w min”の
ように記している。窓幅の集合Wは、初項をw1 とし、
公比を1/rとする等比級数から、wmin 以上の大きさ
の項を集めて作成される。
は、文書全体の1/2〜1/4程度の大きさを与え、最
小窓幅wmin としては、段落程度の大きさ(例えば、4
0語)を与え、窓幅比rとしては2を与えておけば、実
用上十分である。そこで、以下では、w1 =5,120
(語)、wmin =40(語)、r=2の値を用いてい
る。
したように、内容語に印が付けられた文書をもとに、文
書中の各位置の結束度を、W中のそれぞれの窓幅毎に計
算し、結束度系列として記録する(ステップS43)。
の前後に設定した2つの窓の中に出現している語彙(こ
こでは内容語)を比較し、共通している語彙が多い程大
きくなるような値を計算して、その位置における結束度
とする。そして、窓の位置を文書の冒頭から末尾に向か
って一定の刻み幅ticでずらしながら、結束度の計算
を繰り返し、計算した結束度を、文書の冒頭から末尾に
向かう系列として記録する。
ばいずれの値でも構わないが、処理効率を考慮して、こ
こでは、窓幅の1/8の値を用いた。このticの値
は、ユーザが指定することもできる。
えられるが、以下では、情報検索などの分野で類似度の
指標として広く用いられてきた余弦測度(cosine measu
re)を用いている。この余弦測度は、次式により求めら
れる。
(文書の冒頭側の窓)、右窓(文書の末尾側の窓)に含
まれる文書の部分を表し、wt,bl、wt,brは、それぞ
れ、左窓、右窓に出現する単語tの出現頻度を表す。ま
た、(1)式の右辺のΣt は、単語tに関する総和を表
す。
語彙に共通のものが多いほど大きくなり(最大1)、共
通のものがない時に0となる。つまり、この値が大きい
部分は、左右の窓で共通の話題を扱っている可能性が高
く、逆に、この値が小さい部分は、話題の境界である可
能性が高いことになる。
れた結束度の系列を示している。ここでは、窓幅wの1
/4が刻み幅ticとして用いられており、文書領域a
1〜a11は、刻み幅ticに対応する一定幅の領域で
ある。また、c1は、文書中のa4とa5の境界を基準
点として計算した、窓幅wの結束度を表す。すなわち、
c1は、文書領域a1〜a4の部分を左窓の範囲とし、
a5〜a8の部分を右窓の範囲として計算された結束度
である。
て計算された結束度を表し、a5とa6の境界を基準点
とする窓幅wの結束度である。このようにして、窓をt
ic分ずつ順に右へずらして計算したc1,c2,c
3,c4,...を、文書の冒頭から末尾へ向かう窓幅
wの結束度系列と呼んでいる。
文書の冒頭から各基準点までの間に出現した内容語の延
べ数を横軸にとり、640語の窓幅の結束度系列をプロ
ットしたグラフである。例えば、図15の結束度c2の
場合は、a1〜a5の領域中の内容語の延べ数が、文書
における基準点の位置となる。ここでは、640語の窓
幅の1/8(80語)を刻み幅ticとして、文書の冒
頭から末尾に向かって結束度を計算している。
ールの話題境界候補区間認定部26を使って、それぞれ
の窓幅の結束度系列を解析し、結束度の低い区間を話題
境界候補区間として認定する(ステップS44)。
る極小点は、実際の話題境界(点線で示した節の境界)
に対応することが多いが、すべての極小点が話題境界に
対応するわけではない。話題境界候補区間認定部26
は、結束度系列の極小点を手掛かりに、それぞれの結束
度系列の窓幅程度の大きさの話題のまとまりの境界位置
を区間推定する。本実施形態では、この処理を、移動平
均法を用いて実現している。
の結束度系列に基づいて求めた話題境界候補区間を互い
に関連付けて出力する(ステップS45)。これによ
り、話題構成認定処理が終了する。
題境界候補区間認定処理について、図15および図17
を使って説明する。ここで用いられる移動平均法は、株
価の変動などの統計的分析方法である時系列分析(time
series analysis)において、細かい変動を取り除いて
大局的な傾向を把握するために使われている。本実施形
態では、結束度系列の移動平均値を細かい変動を無視す
るために用いるだけでなく、それを移動平均の開始点に
おける順方向結束力および移動平均の終了点における逆
方向結束力とみなすことで、話題境界候補区間認定のた
めの直接的な手掛かりとしている。
c1〜c4と文書領域a1〜a11との関係を示してい
る。結束度系列の移動平均値とは、例えば、(c1+c
2)/2(2項の移動平均)、(c1+c2+c3)/
3(3項の移動平均)、(c1+c2+c3+c4)/
4(4項の移動平均)のように、結束度系列において連
続するn個の値を算術平均した値である。
の例と文書領域との関係を示している。ここでは、移動
平均の例として、図15の結束度の2項〜4項の移動平
均が示され、それぞれの移動平均に関わる結束度の計算
において、各文書領域が使用された回数が示されてい
る。このうち、下線を付けた値は、対応する文書領域が
移動平均に関わるすべての結束度の計算に用いられてい
ることを表す。
までの4項の移動平均において、文書領域a1が一度だ
け左窓の一部として扱われたことを示している。また、
その右の値“2”は、c1〜c4までの4項の移動平均
において、文書領域a2が2回左窓の一部として扱われ
たことを示している。他の使用回数についても、同様で
ある。
さを表す指標であるので、領域a1を左窓に含んで得ら
れた結束度c1を用いて計算された移動平均値も、領域
a1がそれより右側(文書の末尾側)の部分に結び付い
ているかどうかを示す指標の1つと考えられる。
とった結束度の左窓部分の領域(c1〜c4の4項平均
に対してはa1〜a7)が文書の末尾方向(順方向:図
15では右方向)に引っ張られる強さの指標(順方向結
束力)になっていると言える。一方、逆に、移動平均を
とった結束度の右窓部分の領域(c1〜c4の4項平均
に対してa5〜a11)が文章の冒頭方向(逆方向:図
15では左方向)に引っ張られる強さの指標(逆方向結
束力)になっているとも言える。
関連性を考察すると、結束度の計算においてより多く窓
に含まれていた領域との関連が強いと考えられる。ま
た、語彙的結束性は、一般に、近傍で繰り返される語彙
に基づくものほど強いと考えられるので、移動平均をと
った結束度の基準点(左右の窓の境界位置)に近い位置
にある領域ほど関連が強いとも言える。
は、結束度の基準点は、a4とa5の境界、a5とa6
の境界、a6とa7の境界、およびa7とa8の境界の
4つである。この場合、a4は最も多く左窓に含まれて
おり、かつ、これらの基準点に最も近いことが分かる。
また、a8は最も多く右窓に含まれており、かつ、これ
らの基準点に最も近いことが分かる。したがって、移動
平均値と最も関連の強い領域は、左窓についてはa4、
右窓についてはa8となる。
強い領域を選ぶと、左窓についてはa4、右窓について
はa7となり、2項の移動平均と最も関連の強い領域を
選ぶと、左窓についてはa4、右窓についてはa6とな
る。これらの領域の使用回数は、図17では斜線を付け
て示されている。
定部26は、結束度の移動平均値を、移動平均をとった
領域内の最初の基準点における順方向結束力および最後
の基準点における逆方向結束力の指標として取り扱う。
例えば、c1〜c4の4項の移動平均値は、a4とa5
の境界における順方向結束力およびa7とa8の境界に
おける逆方向結束力となる。 図18は、話題境界候補
区間認定部26による話題境界候補区間認定処理のフロ
ーチャートである。候補区間認定部26は、まず、話題
構成認定部25から結束度系列の刻み幅ticを受け取
り、ユーザから移動平均の項数nを受け取る(ステップ
S51)。
ticについては、例えば、窓幅wの1/8〜1/10
程度の大きさであり、項数nについては、w/ticの
半分(4〜5)程度である。また、移動平均をとる領域
の最初の基準点から最後の基準点までの隔たりを、(n
−1)*ticにより計算して、それを移動平均の幅d
(語)とする。
+dの範囲内で結束度の移動平均をとり、平均値を位置
pにおける順方向結束力として記録する(ステップS5
2)。この値は、同時に、移動平均をとった範囲の終了
位置p+dにおける逆方向結束力としても記録される。
文書中の冒頭から末尾に向かって各位置における順方向
結束力と逆方向結束力の差(順方向結束力−逆方向結束
力)を調べ、その値が負から正に変化する位置を負の結
束力拮抗点mpとして記録する(ステップS53)。
逆方向結束力が優勢であり、その位置の右では順方向結
束力が優勢であるような点である。したがって、この点
の左右の部分は意味的な結び付きが弱いと考えられ、負
の結束力拮抗点は話題境界の候補位置となる。
直前・直後のd語以内の範囲[mp−d,mp+d]を
話題境界候補区間と認定して(ステップS53)、処理
を終了する。
て話題境界候補区間を認定する意味を、図19を使って
説明する。図19は、図16の12000語の手前付近
(11000語〜11500語付近)における320語
幅の窓による結束度と順・逆方向の結束力の分布を示し
ている。刻み幅ticとしては、窓幅の1/8を採用し
ている。
れ線グラフは、結束度Cの系列を表し、記号*でプロッ
トした折れ線グラフは、順方向結束力FCの系列を表
し、記号□でプロットした折れ線グラフは、逆方向結束
力BCの系列を表す。話題境界候補区間と結束力拮抗点
を表す2重矩形で示された領域については、後述するこ
とにする。
p3は、順・逆方向の結束力の差が0になる3つの点
(結束力拮抗点)を表す。最初の点ep1の左側では、
逆方向結束力が順方向結束力より優勢であり、その右側
から次の点ep2までは、順方向結束力が逆方向結束力
より優勢である。さらに、その右側から最後の点ep3
までは、逆方向結束力が順方向結束力より優勢であり、
その右側では、順方向結束力が逆方向結束力より優勢で
ある。
束力と逆方向結束力の差が負から正に変化する負の結束
力拮抗点であり、ep2は、その差が正から負に変化す
る正の結束力拮抗点である。
p1の左側の領域は、それより左側のいずれかの部分へ
向かって結束し、真中の点ep2の両側の領域は、ep
2に向かって結束し、最後の点ep3の右側の領域は、
それより右側のいずれかの部分ヘ向かって結束している
ことが分かる。実際、順・逆方向の結束力と共にプロッ
トした結束度は、ep1とep3の近傍で極小値をと
り、ep2の近傍で極大値をとっている。このように、
順・逆方向の結束力の変化と結束度の変化は密接に関連
している。
傍の水平の矢印で示した部分P1は、結束度が極小とな
る部分の1つである。このため、この部分P1の移動平
均(ここでは、c1〜c4の4項平均)の値も、P2お
よびP3における結束力が示しているように、通常は、
極小値をとる。ただし、移動平均をとる領域より狭い範
囲で細かい変動がある場合には、移動平均の平滑化作用
により、移動平均値すなわち結束力が極小値をとらない
こともある。
均をとる領域の開始位置に記録した指標であるので、順
方向結束力の極小位置は結束度の極小位置の左になる。
同様の理由により、逆方向結束力の極小位置は結束度の
極小位置の右になる。そして、結束度の変動が十分に大
きければ、移動平均をとる領域内に結束力拮抗点が生成
されることになる。
て行われる話題境界候補区間関連付け処理のフローチャ
ートである。話題構成認定部25は、まず、認定された
話題境界候補区間を、認定に使った結束度系列の窓幅
と、話題境界候補区間内の結束力拮抗点の文書における
出現位置とによってソートしてまとめ、話題境界候補区
間データの系列B(j)[p]を作成する(ステップS
61)。
系列により認定されたことを表す系列番号であり、制御
変数pは、系列内の各話題境界候補区間を表すデータ番
号である。実際には、jは、窓幅の大きい順に0,1,
2,...のような値をとり、pは、結束力拮抗点の出
現順に1,2,...のような値をとる。なお、系列番
号0に対応するデータB(0)は、文書全体に対応して
作成される特殊なデータであり、その話題境界候補区間
は結束度系列とは独立に設定される。それぞれのデータ
B(j)[p]は、次のような要素データを含む。
候補区間。(開始位置、終了位置)の組。 ・B(j)[p].bp:結束力拮抗点。
の話題境界候補区間の範囲で一致するB(j+1)系列
の話題境界候補区間(子候補区間)。ここで、結束力拮
抗点は理論的には点であるが、前述のように、順方向結
束力と逆方向結束力の差の符号が反転する地点を拮抗点
として認定しているので、実際には、差が負の点(開始
位置)と差が正の点(終了位置)の組が得られる。そこ
で、本実施形態では、結束力拮抗点の開始位置lpと終
了位置rpにおける(順方向結束力−逆方向結束力)の
値を、それぞれ、DC(lp)とDC(rp)として、
左右の結束力が0になる点bpを、次式により補間して
求める。 bp=(DC(rp)*lp−DC(lp)*rp) /(DC(rp)−DC(lp)) (2) そして、得られたbpを、B(j)[p].bpとす
る。
る話題境界候補区間データを関連付ける処理を行う。こ
こでは、1つの系列に属するB(j)[p]をまとめて
B(j)と記し、さらに、次のような表記法を用いて、
以下の処理を説明する。
号。 ・|B(j)|:B(j)におけるデータ番号pの最大
値。 まず、処理対象を表す系列番号iを1に初期化する(ス
テップS62)。これにより、最大窓幅w1 による話題
境界候補区間の系列が処理対象に設定される。そして、
j+1≦jeである限り、jをインクリメントしなが
ら、B(j+1)を関連付け対象の系列とする関連付け
処理を行う。
それぞれの話題境界候補区間データB(j)[p](p
=1,...,|B(j)|)について、それと同じ付
近を境界候補としている関連付け対象系列中のデータB
(j+1)[q]のうち、B(j+1)[q].bpが
B(j)[p].bpに最も近いデータが選ばれ、関連
境界候補区間データとしてB(j)[p].child
に格納される。
j+1とjeを比較し(ステップS63)、j+1≦j
eであれば、pに1を代入して(ステップS64)、p
と|B(j)|を比較する(ステップS65)。p≦|
B(j)|であれば、ステップS66以降の関連付け処
理を行い、pが|B(j)|を越えれば、j=j+1と
おいて(ステップS71)、ステップS63以降の処理
を繰り返す。
は、関連付け候補となる系列中のデータB(j+1)
[q](q=1,...,|B(j+1)|)の中か
ら、B(j+1)[q].bp∈B(j)[p].ra
ngeとなるデータでB(j+1)[q].bpがB
(j)[p].bpに最も近いデータを、関連付け対象
データとして選択し、B(j)[p].childに格
納する。
(j)[p].rangeという条件は、B(j)
[p]の話題境界候補区間の中にB(j+1)[q]の
結束力拮抗点が含まれていることを表す。また、処理対
象データB(j)[p]と関連付け対象データB(j+
1)[q]は、双方向のリンクで関連付けてもよく、片
方向のリンクで関連付けてもよい。
示している。図21において、記号+でプロットした折
れ線グラフは、処理対象に対応する640語幅の窓によ
る順方向結束力の系列を表し、記号×でプロットした折
れ線グラフは、640語幅の窓による逆方向結束力の系
列を表す。また、記号*でプロットした折れ線グラフ
は、関連付け対象に対応する320語幅の窓による順方
向結束力の系列を表し、記号□でプロットした折れ線グ
ラフは、320語幅の窓による逆方向結束力の系列を表
す。
きな矩形領域が話題境界候補区間に対応し、それに含ま
れている小さな矩形領域が結束力拮抗点に対応する。こ
こでは、結束力拮抗点は、開始位置と終了位置により区
切られた小さな区間として表されている。
2]とすると、その話題境界候補区間B(4)[1
2].rangeには、関連付け対象系列の2つのデー
タの結束力拮抗点B(5)[24].bpとB(5)
[25].bpが含まれている。このため、B(5)
[24]とB(5)[25]が関連付け対象データの候
補となる。これらのうち、B(5)[25].bpの方
が、処理対象データの結束力拮抗点B(4)[12].
bpにより近いので、B(5)[25]が関連付け対象
データとして選択される。
象データが選択できたかどうかを判定する(ステップS
67)。ここでは、B(j)[p].childが空で
なければ、関連付け対象データが選択できたと判定さ
れ、B(j)[p].childが空であれば、関連付
け対象データが選択できなかったと判定される。そし
て、関連付け対象データが選択できた場合は、p=p+
1とおいて(ステップS70)、ステップS65以降の
処理を繰り返す。
合には、B(j)[p]と同じ話題境界候補区間を持つ
疑似的な関連付け対象データ(ダミーデータ)B(j+
1)[q]を作成し、B(j+1)の系列に挿入する
(ステップS68)。
[q].rangeとB(j+1)[q].bpに、そ
れぞれ、B(j)[p].rangeとB(j)
[p].bpの値を設定して、新たなデータB(j+
1)[q]を作成する。そして、系列B(j+1)の中
で、B(j+1)[q−1].bp<B(j+1)
[q].bpかつB(j+1)[q].bp<B(j+
1)[q+1].bpとなるような位置に、作成したデ
ータB(j+1)[q]を挿入する。
のデータ番号qが決定され、それ以降の既存データのデ
ータ番号は書き換えられる。ここで、擬似的な話題境界
候補区間データを作成するのは、以降の処理において、
j以下のすべての系列番号の話題階層において話題文を
抽出するためである。
1)[q]をB(j)[p].childに格納し(ス
テップS69)、ステップS70以降の処理を行う。そ
して、ステップS63においてj+1がjeを越えれ
ば、処理を終了する。
jのデータに対して、その話題境界候補区間内に結束力
拮抗点を持つ系列番号j+1のデータが、B(j)
[p].childに設定される。したがって、B
(j)[p].childにより、複数の階層の話題境
界候補区間データが連鎖的に関連付けられることにな
る。
定結果を示している。図22において、5120語、2
560語、1280語、640語の各窓幅に対応して2
重矩形で示された領域のうち、大きな矩形領域が話題境
界候補区間に対応し、それに含まれている小さな矩形領
域が結束力拮抗点に対応する。B(1)、B(2)、B
(3)、B(4)は、それぞれ、5120語、2560
語、1280語、640語の各窓幅に対応する系列を表
し、2重矩形に添えられた番号[1],[2],...
などは、各系列内のデータ番号を表す。
対応する番号[0]の境界データが加えられている。こ
れは、番号[0]のデータから、文書の先頭の話題のま
とまりに対する話題文、特に、文書全体のまとまり(B
(0))に対する話題文を抽出するための措置である。
いずれの系列の番号[0]のデータについても、その話
題境界候補区間の幅は、最小窓幅による移動平均幅程度
(25語)に設定されている。
て認定された境界ほど大きな話題の切れ目に対応すると
いう傾向にあることが見てとれる。例えば、最大窓幅
(5120語幅)による話題境界が4.3節、4.4節
というような大きな節の開始位置とよく対応しており、
その次に大きな窓幅(2560語幅)による話題境界が
4.3.1節、4.3.2節などの次に大きな節の開始
位置とよく対応している。
明する。話題文抽出部27の処理には、大きく分けて2
種類の処理が含まれる。第1の処理は、話題文認定処理
であり、話題構成認定部25が認定したそれぞれの話題
のまとまりに対して、話題文を認定し、境界位置を確定
するために行われる。第2の処理は、話題文抽出処理で
あり、要約の出力量に応じて要約に取り入れる話題の粒
度を調整するための処理である。
いて、まず、話題構成認定部25が認定した話題境界候
補区間のそれぞれに対して、その範囲内の文を候補とし
て、直後の話題が立ち上がる位置にあたる文を検出す
る。そして、この文を第1種の話題文(境界文)として
認定する。
開始位置として記録し、候補区間内の境界文以降の部分
を導入部と認定する。そして、話題文抽出部27は、導
入部の文の中で、直後の話題のまとまりとの関連度が最
大となる文を第2種の話題文(話題導入文)として認定
する。
入文を認定するために、順方向関連度および逆方向関連
度という2種類の関連度を用いる。順方向関連度とは、
話題構成認定部25が認定した話題境界候補区間内のそ
れぞれの文と、その直後の話題のまとまりとの関連性の
度合いを示す指標である。逆方向関連度とは、話題境界
候補区間内のそれぞれの文と、その直前の話題のまとま
りとの関連性の度合いを示す指標である。
度rS,b は、語彙の繰り返し状況によって定義すること
ができ、例えば、次式により求められる。
れる延べ単語数を表し、|b|は、話題のまとまりbに
含まれる延べ単語数を表し、tfw,b は、話題のまとま
りbにおける単語wの出現頻度を表し、|D|は、文書
全体を固定幅(80語)刻みに区切って得られるブロッ
クの数を表し、dfw は、単語wが出現しているブロッ
クの数を表す。
雄、文書の話題構成に基づく重要語の抽出、情処研報
FI−50−1、情報処理学会、1998年7月.)に
おいて、単語の重要度の評価用に取り上げられた尺度の
1つ(「情報量型複数ブロックtf×idf法」)を応
用したものである。この文献では、(3)式のΣ内の部
分の数式を用いて文書内の単語の重要度を評価する実験
を行ったところ、評価値が高い順に単語を抽出すること
で、見出しに出現する単語(重要語)が効率よく抽出で
きたことが報告されている。
の計算方法は(3)式に限られず、各種の方法を用いる
ことも可能である。ただし、(3)式に基づく関連度に
は以下のような望ましい性質があることから、本実施形
態では、この計算方法を採用した。(1)話題のまとま
り中の高頻度語が重視される。
りに高い頻度で出現すると、tfw, b の値が大きくなる
ので、関連度が大きくなる。 (2)話題のまとまりに特徴的に出現する単語が重視さ
れる。
ど、logの部分の値が大きくなるので、文書全体では
出現密度が低い単語が文Sと話題のまとまりの両方に出
現した場合、関連度が大きくなる。(3)主要な話題と
して取り上げられている単語が重視される傾向にある。
する単語の出現頻度を低めに補正した出現密度の逆数の
形をとっている。このため、文S中の単語が話題のまと
まりの中で1ヶ所に集中して出現している場合に、関連
度が大きくなる。
な境界位置は、境界文の開始位置であるため、話題文認
定処理の途中では決定されていない場合がある。そこ
で、話題文認定処理では、決定されていない境界位置に
対しては、話題構成認定部25が認定した結束力拮抗点
の位置を話題境界の仮位置として用いて、上記の関連度
を計算することにする。
による話題文認定処理のフローチャートである。話題文
認定部27は、まず、文書全体を固定幅のブロックに分
割し、文書内に出現するそれぞれの単語wが出現するブ
ロックの数を集計し、ブロック出現頻度dfw として記
録する(図23、ステップS81)。次に、処理対象の
系列番号を示す制御変数jの初期値として系列番号の最
大値jeを代入する(ステップS82)。これにより、
最小の話題に関する話題境界候補区間データが処理対象
に位置付けられる。
を話題文認定系列とする処理を行う。まず、jが0以上
であるか否かを判定し(ステップS83)、jが0未満
の場合には処理を終了する。次に、pに0を代入して
(ステップS84)、pと|B(j)|を比較する(ス
テップS85)。p≦|B(j)|であれば、ステップ
S86以降の処理を行い、pが|B(j)|を越えれ
ば、j=j−1として(ステップS91)、ステップS
83以降の処理を繰り返す。
連付けられたより小さい話題に関する話題境界候補区間
データ(子候補区間データ)があるか否かを判定する。
そして、子候補区間データがあれば、B(j)[p].
rangeを子候補区間データの話題境界候補区間B
(j)[p].child.rangeに合わせて修正
し(ステップS87)、子候補区間データがなければ、
ステップS87の処理をスキップする。
るか否かを判定し(ステップS89)、それがダミーデ
ータの場合には、図24の処理をスキップし、p=p+
1として(ステップS90)、次のデータの処理に移
る。
ば、話題文認定部27は、B(j)[p].range
内に少なくともその一部分が含まれる文を話題文の候補
s[i](1≦i≦ie)として取り出し(図24、ス
テップS92)、2種類の話題文(境界文と話題導入
文)の認定処理を行う。ここで、ieは、取り出された
話題文の候補の数を表す。
候補s[i]のすべてに対して、順方向関連度と逆方向
関連度を(3)式に基づいて計算する(ステップS9
3)。次に、順方向相対関連度、すなわち、順方向関連
度と逆方向関連度との差を、候補中の先頭の文から末尾
の文まで調べる(ステップS94)。そして、順方向相
対関連度が正で、かつ、直前の順方向相対関連度からの
増分が最大となる文を境界文と認定し、その境界文以降
の候補を導入部と認定する。
連度と逆方向関連度がともに急激に変化することが多
い。このため、順方向関連度と逆方向関連度との差の増
分を指標として用いることで、境界文の検出精度が向上
すると考えられる。
(ステップS95)、境界文が認定できた場合には、そ
の境界文以降(または、境界文より後ろ)にある候補の
中で、順方向関連度が最大となる文を話題導入文として
認定する(ステップS96)。また、境界文が認定でき
なかった場合には、すべての候補の中で、順方向関連度
が最大となる文を、境界文かつ話題導入文として認定す
る(ステップ97)。
を認定された境界文の位置に合わせ(ステップS9
8)、p=p+1として(図23、ステップS90)、
ステップS85以降の処理を繰り返す。これにより、次
の話題境界候補区間データの話題文認定処理が行われ
る。
間の終了位置を修正しているのは、以降の処理で、より
大きな話題のまとまりに対する境界文を、現在の処理対
象の話題に対する境界文以前の範囲から認定するためで
ある。これにより、例えば、章見出しの直後に節見出し
がある場合に、小さい話題に関する境界文として節見出
しを、大きな話題に関する境界文として章見出しを認定
できる可能性を高めることができる。
位置付近(図22の横軸の12,000語の手前付近)
の話題文の認定例を示している。図25において、<外
>の印が付けられた文(12002語の位置)の次の文
から最後の文(12055語の位置)までが話題文の候
補であり、それらの文の少なくとも一部分が話題境界候
補区間(ここでは、[12026,12059]の35
語幅の区間)にかかっている。ここでは、境界文より後
ろにある候補の中から話題導入文が選択されている。
の位置)においては、順方向関連度(“対直後”の列の
値)と逆方向関連度(“対直前”の列の値)との差、す
なわち、順方向相対関連度(“後−前”の列の値)が正
(0.016)であり、かつ、直前の順方向相対関連度
(−0.008)からの増分が最大(0.024)とな
っている。したがって、この文は、境界文と認定されて
いる。
33語の位置)においては、境界文より後ろにある文
(この場合は2文)の中で、順方向関連度が最大(0.
023)となっている。したがって、この文は、話題導
入文と認定されている。
界文は見出しであることが望ましく、話題導入文は、後
続の話題を紹介する文であることが望ましい。そこで、
図24の処理において、それぞれの話題文候補の文末表
現や文型などの手掛かりを併用することで、この性質を
満たす境界文と話題導入文を増やすことも可能である。
終わらない文であることが多く、英語であればピリオド
で終わらない文であることが多い。そこで、ステップS
94において、まず、話題文の候補の中で句点/ピリオ
ドで終わらない文だけを対象に境界文の認定を試み、そ
れが認定できなかった場合にだけ、その他の文を対象に
境界文の認定処理を行うようにすれば、認定される境界
文が文書中の見出しと一致する可能性を高めることがで
きる。
であれば、“〜する”のように終止形の動詞で終わる文
であることが多く、英語であれば、“I”、“we”の
ような1人称の代名詞や“This section”
のような章などを表す名詞句から始まる現在時制/未来
時制の文であることが多い。そこで、ステップS96に
おいて、まず、そのような性質を満たす文だけを対象に
話題導入文の認定を試み、それが認定できなかった場合
にだけ、その他の文を対象に話題導入文の認定処理を行
うようにすれば、認定される話題導入文が後続の話題を
紹介する文と一致する可能性を高めることができる。
話題文抽出処理のフローチャートである。話題文抽出部
27は、まず、望ましい要約の大きさSa、望ましい各
話題の抜粋量Stの2つのパラメータをユーザから受け
取る(ステップS101)。
の概数Ntを求め(ステップS102)、Nt個以下の
境界からなる最下層の話題の話題境界候補区間データ系
列を求め、その系列番号を制御変数jに設定する(ステ
ップS103)。これにより、B(j)が話題文抽出処
理の基本的な対象に位置付けられ、話題の粒度が決定さ
れる。
を与え、Stとして150文字程度を与えているので、
Nt=10となる。この場合、図22の話題構成の認定
結果によれば、1280語の窓幅による話題境界候補区
間データ(系列番号は3)が話題文抽出処理の基本的な
対象となる。
区間データB(j)[p]について、それぞれの話題境
界候補区間の中で最も前にある境界文、すなわち最大の
話題のまとまりに対する境界文の開始位置を、話題境界
表示記号の出力位置に指定する(ステップS104)。
この指定を行うことで、出力部28が要約を成形する際
に、話題のまとまり毎に話題文を区切って出力すること
が可能になる。
から話題文を抽出する処理を行う。まず、jが0以上で
あるか否かを判定し(ステップS105)、jが0未満
の場合には処理を終了する。
抽出系列として、B(j)中の個々の話題境界候補区間
データB(j)[p]について、それと関連付けられて
いるより大きな話題の中で最大のものに対応する系列番
号を求める。そして、それらのB(j)[p]を得られ
た系列番号順にソートする(ステップS106)。これ
により、B(j)[p]のデータ番号pはソート順に置
き換えられる。
大きな話題から優先的に話題文を抽出するために行われ
る。これにより、ステップS109において要約の出力
量に関する制約から話題文抽出処理が打ち切られた場合
でも、大きな話題に関する話題文が要約に取り入れられ
るようにすることができる。
して(ステップS107)、pと|B(j)|を比較す
る(ステップS108)。p≦|B(j)|であれば、
ステップS109以降の処理を行い、pが|B(j)|
を越えれば、j=j+1とおいて(ステップS11
2)、ステップS105以降の処理を繰り返す。
tの制約の範囲内で文を抜粋する余地があるか否かを調
べ(ステップS109)、抜粋する余地がなければ、話
題文抽出処理を終了する。抜粋する余地があれば、処理
対象のB(j)[p]の境界文と話題導入文、および、
その話題境界候補区間に含まれている境界文の中で最も
前にあるものを、抜粋対象の文として抽出する(ステッ
プS110)。
理対象に位置付け(ステップS111)、ステップS1
08以降の処理を繰り返す。なお、結束度が低い話題の
まとまりは、例えば、項目を羅列しただけの部分のよう
に、内容が薄い部分であることが多いので、そこからの
話題文の抽出をスキップすることも考えられる。抽出を
スキップする場合には、ステップS110に先立って、
所定の方法で話題のまとまりの結束度を計算し、得られ
た結束度を何らかの基準値と比較する。そして、結束度
が基準値より小さい場合に、その話題のまとまりの開始
位置に対応する話題境界候補区間を求め、その区間につ
いてのステップS110の処理を行わないようにすれば
よい。
度計算処理のフローチャートである。話題文抽出部27
は、まず、処理対象話題区間bとその話題区間の窓幅w
を受け取り(ステップS121)、話題区間bの大きさ
とwを比較する(ステップS122)。
話題区間bから、その両端w/2の部分を除外した区間
における最大結束度を求め、その値を中央結束度として
記録して(ステップS123)、処理を終了する。ま
た、話題区間bの大きさがw以下であれば、話題区間b
の中心位置における結束度を中央結束度として記録し
(ステップS124)、処理を終了する。こうして得ら
れた中央結束度を基準値と比較して、話題文の抽出をス
キップするか否かが判定される。
形処理のフローチャートである。出力部28は、まず、
話題文抽出部27が抽出したie個の話題文をs[i]
(1≦i≦ie)とし、それらを要約対象文書11にお
ける出現位置順にソートする(ステップS131)。次
に、話題文抽出部27が設定したje個の話題境界表示
記号の出力位置(話題境界出力位置)をb[j](1≦
j≦je)とし、それらを同様にソートする(ステップ
S132)。
し、先頭の話題文と話題境界出力位置を処理対象に位置
付ける(ステップS133)。続いて、i≦ieである
限り、話題文の出力処理を行う。
iとieを比較し(ステップS134)、i>ieであ
れば処理を終了する。i≦ieであれば、次に、話題境
界出力位置b[j]の位置データLOC(b[j])と
出力対象の話題文s[i]の位置データLOC(s
[i])を比較する(ステップS135)。
[j]以降にある場合には、話題境界表示記号を出力し
(ステップS136)、j=j+1とおいて(ステップ
S137)、ステップS135以降の処理を繰り返す。
話題境界表示記号は、話題文抽出部27が抽出対象とし
て決定した粒度の話題の間に区切りを付けるための記号
であり、例えば、空行などである。
b[j]より前にある場合には、その話題文s[i]を
出力し(ステップS138)、i=i+1とおいて次の
話題文を出力対象に位置付け(ステップS139)、ス
テップS134以降の処理を繰り返す。
よって作成された要約文書を示している。この要約文書
は、1449文字(要約対象文書との文字数比で1.5
%)の長さを持ち、10個の空行(話題境界表示記号)
により11個の部分に分けて出力されている。この要約
結果によれば、話題文抽出部27に条件として与えたパ
ラメータに従って、適切な粒度の話題が適切な分量で要
約に取り入れられたことが分かる。
区切られた部分の中には、その中に含まれる文の相互の
関連性が明確であるものが多い。また、文の内容も、調
査内容の紹介などに関するものが多く、理解するのは容
易である。ただし、比較的数は少ないものの、図30の
「(4)分散検索」から始まる部分に含まれている
「4.3.3 電子出版及び電子図書館」のように、よ
り大きな話題の見出しと考えられる文を含む部分なども
ある。
31の要約結果は、長い文書に対しても本発明の狙い通
りに要約が作成可能なことを示している。また、空行で
区切られた各部分の先頭には、適切な見出しが抽出され
ていることが多いという事実は、本発明の方法によれ
ば、文書の書式を参照しなくても、適切な話題境界が認
定できることを示唆している。
しが抽出されることが多いことを利用して、要約中の話
題のまとまりをより強調して提示することも可能であ
る。例えば、空行の直後にある文を見出しとして扱い、
独立した行に出力し、後続の文を段下げして表示すれ
ば、話題の切れ目をより強調して提示することができ
る。
のまとまりを強調した例を示している。この要約結果
は、要約全体の長さのパラメータ(望ましい要約の大き
さSa)を500文字に変更して話題文を抽出した後、
話題境界表示記号(空行)の直後にある見出しを強調し
て出力することにより得られたものである。
4.3節、および4.4節の見出しが含まれているの
に、4.2節の見出しが含まれていない。そのため、要
約文書のユーザが4.2節に何が書いてあるのかを気に
することも考えられる。この場合、節番号のような順序
を規定するラベル(順序ラベル)が付加された見出しを
特別に処理し、順序ラベルを外すことで、ユーザの心理
的な負荷を軽減することも可能である。
まず、見出しを出力してから、順序ラベルを「(4.参
照)」のような形に加工し、原文書(要約対象文書)と
の対応関係を示す補足情報(対応箇所表示表現)として
見出しに添えてやると、図33のような要約文書を作成
することができる。図33では、「(4.参照)」、
「(4.3参照)」、および「(4.4.参照)」が対
応箇所表示表現として、各見出しに添えられている。
ローチャートである。この処理は、図28のステップS
138において、通常の出力処理の代わりに行われる。
出力部28は、まず、出力対象の話題文s[i]の位置
が話題境界表示記号の直後か否かを判定する(ステップ
S141)。それが話題境界表示記号の直後であれば、
次に、s[i]は順序ラベル付きの見出しであるか否か
を判定する(ステップS142)。
ば、順序ラベルを見出しから分離し(ステップS14
3)、順序ラベルを用いて対応箇所表示表現を作成する
(ステップS144)。そして、見出しと対応箇所表示
表現を出力して(ステップS145)、処理を終了す
る。
置が話題境界表示記号の直後でない場合、および、ステ
ップS142において、s[i]が順序ラベル付きの見
出しでない場合は、s[i]を通常通り出力して(ステ
ップS146)、処理を終了する。
表示記号として、空行以外にも罫線などの任意の表示情
報を用いることができ、順序ラベルには、節番号以外に
も章番号やアルファベットなどの任意の順序情報が含ま
れる。さらに、対応箇所表示表現としては、「(4.参
照)」のような表現以外の任意の表現を用いることがで
きる。
階層の話題境界(図33では、B(1)系列の境界デー
タ)のみを用いて要約結果中の話題を区切って出力して
いるが、複数階層の話題境界を併用すれば、要約結果中
の大きな話題と小さな話題を区別して出力することも可
能である。
サービス(4.3参照)」で始まる部分には、B(2)
系列の境界データB(2)[2]とB(2)[3]に対
する境界文「(1)キーワード抽出」と「(4)分散検
索」が含まれている。それらを見出しとして扱って、同
様の手順で出力すれば、図35のような要約結果が得ら
れる。
願の明細書の原稿(23,000語)を用いた例につい
て説明する。ここでは、次のような処理方法およびパラ
メータを採用した。 (1)単語認定の方法:ストップワードリストを用いた
方法 (2)結束度計算用の窓の幅: 最大窓幅w1 =6,556(語) 最小窓幅wmin =104(語) 刻み幅tic=13(語)(要約対象文書における1文
あたりの平均語数) (3)話題文抽出における抜粋量: 望ましい要約の大きさSa:1000文字程度 望ましい各話題の抜粋量St:300文字程度 要約対象文書の全体を掲載することは適当ではないの
で、参考として、要約対象文書中の見出しの一覧を図3
6に示す。図36において、()内の表現は、説明のた
めに付加された見出しの省略形であり、要約対象文書に
は含まれていない。
部分を示しており、図38は、その部分に対する単語認
定処理の結果を示している。図38において、[]で括
られた部分が、認定された単語に対応する。先頭の1文
字のみが大文字の単語は、[]では、すべて小文字に置
き換えられている。
び“,”、“.”、“:”、“;”などの区切り記号を
手掛かりに単語が切り出され、それらの単語のうち、図
39に示すストップワードリストに含まれる単語が取り
除かれた。ストップワードリストとは、重要語として抽
出したくない冠詞、前置詞などの単語を、あらかじめ定
義したリストである。
構成の認定結果を示している。図40において、節境界
の近くに記された(Bg)、<1>などは、図36に示
された見出しの省略形を表している。
の開始位置付近(図40の横軸の6,000語の手前付
近)の話題文の認定例を示している。図41において、
最初の文(5522語の位置)から最後の文(5571
語の位置)までが話題文の候補であり、それらの文の少
なくとも一部分が話題境界候補区間(ここでは、[55
45,5585]の41語幅の区間)にかかっている。
位置)においては、順方向関連度(“対直後”の列の
値)と逆方向関連度(“対直前”の列の値)との差、す
なわち、順方向相対関連度(“後−前”の列の値)が正
(0.089)であり、かつ、直前の順方向相対関連度
(−0.026)からの増分が最大(0.115)とな
っている。したがって、この文は、境界文と認定されて
いる。
7語の位置)においては、境界文より後ろにある文(こ
の場合は2文)の中で、順方向関連度が最大(0.05
1)となっている。したがって、この文は、話題導入文
と認定されている。
めて出力すると、図42のような要約文書が生成され
た。この要約文書は、914文字(要約対象文書との文
字数比で0.7%)の長さを持ち、4つの部分に分けて
出力されている。ここでは、各話題の先頭の文を見出し
として出力し、さらに、各話題の先頭にピリオドで終わ
っていない文が続いている場合には、そのようなすべて
の文を見出し扱いにして出力している。
および英語の文書を例に挙げて要約処理を説明したが、
本発明は、これらの文書以外にも、任意の言語および任
意の形式の文書に対して適用され、同様の結果を得るこ
とができる。
ル化された電子文書である必要はなく、例えば、紙媒体
などに記載された文書でもよい。この場合、イメージス
キャナなどの光電変換装置により文書画像を取り込み、
文字認識を行うことで、単語認定可能な文書データを作
成することができる。
い文書についても、文書サイズの1/2〜1/4程度の
大きな話題のまとまりから、段落程度の大きさ(数十語
から100語程度)の話題のまとまりまでを含む話題の
階層的構成を認定することができる。そして、この階層
的構成を利用して、話題を端的に示す文を多く含み、か
つ、意味的なまとまりの強い要約を作成することができ
る。また、話題の階層的構成を活用して、要約を適切な
粒度の話題に分けて出力することもできる。
理解が容易で読みやすい要約が作成できるようになり、
長い要約を読みやすく提示することも可能になる。
1)である。
2)である。
3)である。
る。
である。
ートである。
である。
である。
である。
る。
る。
る。
る。
である。
Claims (10)
- 【請求項1】 与えられた文書中の話題の階層的構成を
認定する構成認定手段と、 各話題の導入部を検出し、該導入部から集中的に、話題
内容を端的に表す1つ以上の文を話題文として抽出する
話題文抽出手段と、 抽出された話題文を話題毎にまとめて要約を生成する要
約成形手段とを備えることを特徴とする文書要約装置。 - 【請求項2】 前記話題文抽出手段は、前記構成認定手
段が認定した話題境界の近傍領域内の文の中から、文と
該話題境界の直後の話題のまとまりとの関連度を表す順
方向関連度と、文と該話題境界の直前の話題のまとまり
との関連度を表す逆方向関連度との差に基づいて、話題
の転換点に対応する境界文を話題文として抽出し、該境
界文の位置を前記導入部の開始位置に設定することを特
徴とする請求項1記載の文書要約装置。 - 【請求項3】 前記話題文抽出手段は、前記境界文から
始まる前記導入部の文の中から、さらに、前記順方向関
連度に基づいて、話題を導入する役割を持つ話題導入文
を話題文として抽出することを特徴とする請求項2記載
の文書要約装置。 - 【請求項4】 前記要約成形手段は、前記話題文を適切
な大きさの話題毎に区別して出力することを特徴とする
請求項1記載の文書要約装置。 - 【請求項5】 前記話題文抽出手段は、前記要約の出力
量に応じて、該要約に取り入れる話題の大きさを決定す
ることを特徴とする請求項4記載の文書要約装置。 - 【請求項6】 前記要約成形手段は、前記話題文に含ま
れる見出しの順序ラベル情報を該話題文から分離して、
該順序ラベル情報を含まない話題文を出力することを特
徴とする請求項1記載の文書要約装置。 - 【請求項7】 前記要約成形手段は、前記順序ラベル情
報を加工して、前記順序ラベル情報を含まない話題文の
補足情報として出力することを特徴とする請求項6記載
の文書要約装置。 - 【請求項8】 与えられた文書中の各話題の導入部を検
出し、該導入部から集中的に1つ以上の文を抽出する話
題文抽出手段と、 抽出された文を用いて要約を生成する要約成形手段とを
備えることを特徴とする文書要約装置。 - 【請求項9】 コンピュータのためのプログラムを記録
した記録媒体であって、 与えられた文書中の話題の階層的構成を認定するステッ
プと、 各話題の導入部を検出するステップと、 前記導入部から集中的に、話題内容を端的に表す1つ以
上の文を話題文として抽出するステップと、 抽出された話題文を話題毎にまとめて要約を生成するス
テップとを含む処理を前記コンピュータに実行させるた
めのプログラムを記録したコンピュータ読み取り可能な
記録媒体。 - 【請求項10】 与えられた文書中の話題の階層的構成
を、語彙の繰り返し状況に基づいて認定し、 各話題の導入部を、語彙の繰り返し状況に基づいて検出
し、 前記導入部から集中的に、話題内容を端的に表す1つ以
上の文を話題文として抽出し、 抽出された話題文を話題毎にまとめて要約を生成するこ
とを特徴とする文書要約方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20506199A JP3791879B2 (ja) | 1999-07-19 | 1999-07-19 | 文書要約装置およびその方法 |
US09/593,151 US6963830B1 (en) | 1999-07-19 | 2000-06-14 | Apparatus and method for generating a summary according to hierarchical structure of topic |
EP00305732.0A EP1071023B1 (en) | 1999-07-19 | 2000-07-07 | Apparatus and method for generating a summary according to hierarchical structure of topic |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20506199A JP3791879B2 (ja) | 1999-07-19 | 1999-07-19 | 文書要約装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001034624A true JP2001034624A (ja) | 2001-02-09 |
JP3791879B2 JP3791879B2 (ja) | 2006-06-28 |
Family
ID=16500797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20506199A Expired - Fee Related JP3791879B2 (ja) | 1999-07-19 | 1999-07-19 | 文書要約装置およびその方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6963830B1 (ja) |
EP (1) | EP1071023B1 (ja) |
JP (1) | JP3791879B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007214729A (ja) * | 2006-02-08 | 2007-08-23 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP5440815B2 (ja) * | 2009-06-26 | 2014-03-12 | 日本電気株式会社 | 情報分析装置、情報分析方法、及びプログラム |
WO2021234798A1 (ja) * | 2020-05-18 | 2021-11-25 | 日本電信電話株式会社 | 生成装置、生成方法および生成プログラム |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509572B1 (en) * | 1999-07-16 | 2009-03-24 | Oracle International Corporation | Automatic generation of document summaries through use of structured text |
JP4843867B2 (ja) * | 2001-05-10 | 2011-12-21 | ソニー株式会社 | 文書処理装置、文書処理方法および文書処理プログラム、ならびに、記録媒体 |
JP4489994B2 (ja) * | 2001-05-11 | 2010-06-23 | 富士通株式会社 | 話題抽出装置、方法、プログラム及びそのプログラムを記録する記録媒体 |
GB2390704A (en) * | 2002-07-09 | 2004-01-14 | Canon Kk | Automatic summary generation and display |
KR100481580B1 (ko) * | 2002-10-09 | 2005-04-08 | 한국전자통신연구원 | 문서에서 이벤트 문장을 추출하는 장치 및 그 방법 |
US7117437B2 (en) * | 2002-12-16 | 2006-10-03 | Palo Alto Research Center Incorporated | Systems and methods for displaying interactive topic-based text summaries |
JP2004220215A (ja) * | 2003-01-14 | 2004-08-05 | Hitachi Ltd | 計算機を利用した業務誘導支援システムおよび業務誘導支援方法 |
GB2399427A (en) | 2003-03-12 | 2004-09-15 | Canon Kk | Apparatus for and method of summarising text |
JP2004348241A (ja) * | 2003-05-20 | 2004-12-09 | Hitachi Ltd | 情報提供方法、サーバ及びプログラム |
US7676358B2 (en) * | 2003-09-24 | 2010-03-09 | International Business Machines Corporation | System and method for the recognition of organic chemical names in text documents |
US20050149498A1 (en) * | 2003-12-31 | 2005-07-07 | Stephen Lawrence | Methods and systems for improving a search ranking using article information |
US8954420B1 (en) | 2003-12-31 | 2015-02-10 | Google Inc. | Methods and systems for improving a search ranking using article information |
US7664734B2 (en) * | 2004-03-31 | 2010-02-16 | Google Inc. | Systems and methods for generating multiple implicit search queries |
US7707142B1 (en) | 2004-03-31 | 2010-04-27 | Google Inc. | Methods and systems for performing an offline search |
US8346777B1 (en) | 2004-03-31 | 2013-01-01 | Google Inc. | Systems and methods for selectively storing event data |
US8041713B2 (en) | 2004-03-31 | 2011-10-18 | Google Inc. | Systems and methods for analyzing boilerplate |
US7581227B1 (en) | 2004-03-31 | 2009-08-25 | Google Inc. | Systems and methods of synchronizing indexes |
US7333976B1 (en) | 2004-03-31 | 2008-02-19 | Google Inc. | Methods and systems for processing contact information |
US8161053B1 (en) | 2004-03-31 | 2012-04-17 | Google Inc. | Methods and systems for eliminating duplicate events |
US7725508B2 (en) | 2004-03-31 | 2010-05-25 | Google Inc. | Methods and systems for information capture and retrieval |
US7680888B1 (en) | 2004-03-31 | 2010-03-16 | Google Inc. | Methods and systems for processing instant messenger messages |
US9009153B2 (en) | 2004-03-31 | 2015-04-14 | Google Inc. | Systems and methods for identifying a named entity |
US8099407B2 (en) | 2004-03-31 | 2012-01-17 | Google Inc. | Methods and systems for processing media files |
US8386728B1 (en) | 2004-03-31 | 2013-02-26 | Google Inc. | Methods and systems for prioritizing a crawl |
US8631076B1 (en) | 2004-03-31 | 2014-01-14 | Google Inc. | Methods and systems for associating instant messenger events |
US7272601B1 (en) | 2004-03-31 | 2007-09-18 | Google Inc. | Systems and methods for associating a keyword with a user interface area |
US7412708B1 (en) | 2004-03-31 | 2008-08-12 | Google Inc. | Methods and systems for capturing information |
US8631001B2 (en) | 2004-03-31 | 2014-01-14 | Google Inc. | Systems and methods for weighting a search query result |
US20080040315A1 (en) * | 2004-03-31 | 2008-02-14 | Auerbach David B | Systems and methods for generating a user interface |
US8275839B2 (en) | 2004-03-31 | 2012-09-25 | Google Inc. | Methods and systems for processing email messages |
US7941439B1 (en) | 2004-03-31 | 2011-05-10 | Google Inc. | Methods and systems for information capture |
US7693825B2 (en) | 2004-03-31 | 2010-04-06 | Google Inc. | Systems and methods for ranking implicit search results |
JP4254623B2 (ja) * | 2004-06-09 | 2009-04-15 | 日本電気株式会社 | トピック分析方法及びその装置並びにプログラム |
US8131754B1 (en) | 2004-06-30 | 2012-03-06 | Google Inc. | Systems and methods for determining an article association measure |
US7788274B1 (en) | 2004-06-30 | 2010-08-31 | Google Inc. | Systems and methods for category-based search |
US7853445B2 (en) * | 2004-12-10 | 2010-12-14 | Deception Discovery Technologies LLC | Method and system for the automatic recognition of deceptive language |
GB2424972A (en) * | 2005-04-08 | 2006-10-11 | Motorola Inc | Monitoring content topics in a communication system |
KR100731283B1 (ko) * | 2005-05-04 | 2007-06-21 | 주식회사 알에스엔 | 질의어에 따른 대량문서기반 성향 분석시스템 |
US7565372B2 (en) * | 2005-09-13 | 2009-07-21 | Microsoft Corporation | Evaluating and generating summaries using normalized probabilities |
US20070112833A1 (en) * | 2005-11-17 | 2007-05-17 | International Business Machines Corporation | System and method for annotating patents with MeSH data |
US9495349B2 (en) * | 2005-11-17 | 2016-11-15 | International Business Machines Corporation | System and method for using text analytics to identify a set of related documents from a source document |
JP2007156745A (ja) * | 2005-12-02 | 2007-06-21 | Konica Minolta Business Technologies Inc | 処理装置、ジョブ実行装置、処理装置制御方法、およびコンピュータプログラム |
US20070143329A1 (en) * | 2005-12-16 | 2007-06-21 | Eric Arno Vigen | System and method for analyzing communications using multi-dimensional hierarchical structures |
US20070143310A1 (en) * | 2005-12-16 | 2007-06-21 | Vigen Eric A | System and method for analyzing communications using multi-dimensional hierarchical structures |
US9262446B1 (en) | 2005-12-29 | 2016-02-16 | Google Inc. | Dynamically ranking entries in a personal data book |
US7552047B2 (en) * | 2006-05-02 | 2009-06-23 | International Business Machines Corporation | Instance-based sentence boundary determination by optimization |
US8631005B2 (en) | 2006-12-28 | 2014-01-14 | Ebay Inc. | Header-token driven automatic text segmentation |
US20080270119A1 (en) * | 2007-04-30 | 2008-10-30 | Microsoft Corporation | Generating sentence variations for automatic summarization |
WO2009026140A2 (en) | 2007-08-16 | 2009-02-26 | Hollingsworth William A | Automatic text skimming using lexical chains |
US20090083026A1 (en) * | 2007-09-24 | 2009-03-26 | Microsoft Corporation | Summarizing document with marked points |
US20090198488A1 (en) * | 2008-02-05 | 2009-08-06 | Eric Arno Vigen | System and method for analyzing communications using multi-placement hierarchical structures |
JP2009277183A (ja) * | 2008-05-19 | 2009-11-26 | Hitachi Ltd | 情報識別装置及び情報識別システム |
US9904436B2 (en) | 2009-08-11 | 2018-02-27 | Pearl.com LLC | Method and apparatus for creating a personalized question feed platform |
US9646079B2 (en) | 2012-05-04 | 2017-05-09 | Pearl.com LLC | Method and apparatus for identifiying similar questions in a consultation system |
JP5284990B2 (ja) * | 2010-01-08 | 2013-09-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | キーワードの時系列解析のための処理方法、並びにその処理システム及びコンピュータ・プログラム |
US8510098B2 (en) * | 2010-01-29 | 2013-08-13 | Ipar, Llc | Systems and methods for word offensiveness processing using aggregated offensive word filters |
US8977540B2 (en) * | 2010-02-03 | 2015-03-10 | Syed Yasin | Self-learning methods for automatically generating a summary of a document, knowledge extraction and contextual mapping |
JP5678774B2 (ja) * | 2011-03-31 | 2015-03-04 | 国立大学法人鳥取大学 | テキストデータの冗長性を解析する情報解析装置 |
US9501580B2 (en) | 2012-05-04 | 2016-11-22 | Pearl.com LLC | Method and apparatus for automated selection of interesting content for presentation to first time visitors of a website |
US9275038B2 (en) | 2012-05-04 | 2016-03-01 | Pearl.com LLC | Method and apparatus for identifying customer service and duplicate questions in an online consultation system |
US8280888B1 (en) | 2012-05-04 | 2012-10-02 | Pearl.com LLC | Method and apparatus for creation of web document titles optimized for search engines |
US9569413B2 (en) * | 2012-05-07 | 2017-02-14 | Sap Se | Document text processing using edge detection |
US11468243B2 (en) | 2012-09-24 | 2022-10-11 | Amazon Technologies, Inc. | Identity-based display of text |
JP6099046B2 (ja) * | 2013-06-11 | 2017-03-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 文を検索する装置および方法 |
US10778618B2 (en) * | 2014-01-09 | 2020-09-15 | Oath Inc. | Method and system for classifying man vs. machine generated e-mail |
WO2016179755A1 (en) * | 2015-05-08 | 2016-11-17 | Microsoft Technology Licensing, Llc. | Mixed proposal based model training system |
US9946924B2 (en) * | 2015-06-10 | 2018-04-17 | Accenture Global Services Limited | System and method for automating information abstraction process for documents |
JP6815184B2 (ja) * | 2016-12-13 | 2021-01-20 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
US20180189266A1 (en) * | 2017-01-03 | 2018-07-05 | Wipro Limited | Method and a system to summarize a conversation |
CN107967257B (zh) * | 2017-11-20 | 2021-01-12 | 哈尔滨工业大学 | 一种级联式作文生成方法 |
US10838996B2 (en) * | 2018-03-15 | 2020-11-17 | International Business Machines Corporation | Document revision change summarization |
US10534846B1 (en) * | 2018-10-17 | 2020-01-14 | Pricewaterhousecoopers Llp | Page stream segmentation |
US10936796B2 (en) * | 2019-05-01 | 2021-03-02 | International Business Machines Corporation | Enhanced text summarizer |
US11281854B2 (en) * | 2019-08-21 | 2022-03-22 | Primer Technologies, Inc. | Limiting a dictionary used by a natural language model to summarize a document |
US11061951B2 (en) * | 2019-11-21 | 2021-07-13 | International Business Machines Corporation | Unsupervised attention based scientific document summarization |
US11630869B2 (en) | 2020-03-02 | 2023-04-18 | International Business Machines Corporation | Identification of changes between document versions |
US11157537B2 (en) | 2020-03-26 | 2021-10-26 | Wipro Limited | Method and system for summarizing content based on user preferences |
CN111639175B (zh) * | 2020-05-29 | 2023-05-02 | 电子科技大学 | 一种自监督的对话文本摘要方法及*** |
CN112231468A (zh) * | 2020-10-15 | 2021-01-15 | 平安科技(深圳)有限公司 | 信息生成方法、装置、电子设备及存储介质 |
US11873485B2 (en) | 2021-01-26 | 2024-01-16 | California Institute Of Technology | Allosteric conditional guide RNAs for cell-selective regulation of CRISPR/Cas |
CN113033163A (zh) * | 2021-03-24 | 2021-06-25 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
US11947916B1 (en) * | 2021-08-19 | 2024-04-02 | Wells Fargo Bank, N.A. | Dynamic topic definition generator |
CN114741499B (zh) * | 2022-06-08 | 2022-09-06 | 杭州费尔斯通科技有限公司 | 一种基于句子语义模型的文本摘要生成方法和*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2957875B2 (ja) | 1993-03-17 | 1999-10-06 | 株式会社東芝 | 文書情報検索装置及び文書検索結果表示方法 |
US5384703A (en) * | 1993-07-02 | 1995-01-24 | Xerox Corporation | Method and apparatus for summarizing documents according to theme |
US5838323A (en) * | 1995-09-29 | 1998-11-17 | Apple Computer, Inc. | Document summary computer system user interface |
US5924108A (en) * | 1996-03-29 | 1999-07-13 | Microsoft Corporation | Document summarizer for word processors |
JP3579204B2 (ja) | 1997-01-17 | 2004-10-20 | 富士通株式会社 | 文書要約装置およびその方法 |
JP4025391B2 (ja) | 1997-07-27 | 2007-12-19 | 株式会社ジャストシステム | 文書処理装置、文書処理プログラムが記憶されたコンピュータ読取り可能な記憶媒体、及び文書処理方法 |
US6185592B1 (en) * | 1997-11-18 | 2001-02-06 | Apple Computer, Inc. | Summarizing text documents by resolving co-referentiality among actors or objects around which a story unfolds |
JP3597697B2 (ja) | 1998-03-20 | 2004-12-08 | 富士通株式会社 | 文書要約装置およびその方法 |
-
1999
- 1999-07-19 JP JP20506199A patent/JP3791879B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-14 US US09/593,151 patent/US6963830B1/en not_active Expired - Fee Related
- 2000-07-07 EP EP00305732.0A patent/EP1071023B1/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007214729A (ja) * | 2006-02-08 | 2007-08-23 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP4635891B2 (ja) * | 2006-02-08 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP5440815B2 (ja) * | 2009-06-26 | 2014-03-12 | 日本電気株式会社 | 情報分析装置、情報分析方法、及びプログラム |
WO2021234798A1 (ja) * | 2020-05-18 | 2021-11-25 | 日本電信電話株式会社 | 生成装置、生成方法および生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1071023A2 (en) | 2001-01-24 |
US6963830B1 (en) | 2005-11-08 |
EP1071023B1 (en) | 2014-03-19 |
EP1071023A3 (en) | 2002-12-18 |
JP3791879B2 (ja) | 2006-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3791879B2 (ja) | 文書要約装置およびその方法 | |
US7813915B2 (en) | Apparatus for reading a plurality of documents and a method thereof | |
US6638317B2 (en) | Apparatus and method for generating digest according to hierarchical structure of topic | |
US8447588B2 (en) | Region-matching transducers for natural language processing | |
US7251781B2 (en) | Computer based summarization of natural language documents | |
JP3653141B2 (ja) | 機械読み取り可能形式の文書からプロセッサに対してキーフレーズを選択する自動的方法 | |
US8510097B2 (en) | Region-matching transducers for text-characterization | |
US20100161639A1 (en) | Complex Queries for Corpus Indexing and Search | |
US20020046018A1 (en) | Discourse parsing and summarization | |
EP1661031A1 (en) | System and method for processing text utilizing a suite of disambiguation techniques | |
Jagadeesh et al. | Sentence extraction based single document summarization | |
CN115630640A (zh) | 一种智能写作方法、装置、设备及介质 | |
Séaghdha | Annotating and learning compound noun semantics | |
JPH06282587A (ja) | 文書の自動分類方法及び装置並びに分類用の辞書作成方法及び装置 | |
JP4108948B2 (ja) | 複数の文書を閲覧するための装置および方法 | |
WO2009113289A1 (ja) | 新規事例生成装置、新規事例生成方法及び新規事例生成用プログラム | |
Heidary et al. | Automatic Persian text summarization using linguistic features from text structure analysis | |
JP3139658B2 (ja) | 文書表示方式 | |
Agichtein et al. | Combining strategies for extracting relations from text collections | |
Chanod et al. | From legacy documents to xml: A conversion framework | |
Manne et al. | A Feature Terms based Method for Improving Text Summarization with Supervised POS Tagging | |
Li et al. | Web document duplicate removal algorithm based on keyword sequences | |
JP3578618B2 (ja) | 文書分割装置 | |
Bakar et al. | An evaluation of retrieval effectiveness using spelling‐correction and string‐similarity matching methods on Malay texts | |
Pattanayak et al. | Computational Linguistics & NLP: Summarization of Odia Text using TF-IDF |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060403 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |