JP6867963B2

JP6867963B2 - 要約評価装置、方法、プログラム、及び記憶媒体

Info

Publication number: JP6867963B2
Application number: JP2018032553A
Authority: JP
Inventors: 平尾　努; 努平尾; 永田　昌明; 昌明永田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2021-05-12
Anticipated expiration: 2038-02-26
Also published as: JP2019148933A; WO2019163642A1; US20200401767A1; US11520994B2

Description

本発明は、要約評価装置、方法、プログラム、及び記憶媒体に係り、特に、システム要約を評価するための要約評価装置、方法、プログラム、及び記憶媒体に関する。

従来より、計算機を用いて自動的に言語を処理する自然言語処理分野において、人間が作成した正解の要約（以降、参照要約）が与えられた際にそれを用いてシステム要約を自動的に採点する技術がある。

要約の自動評価法として、参照要約と候補要約との間で共通するかかり受け関係にある単語ペアとその関係のタプルｔ＝<h,m,rel>に基づき決定されるBasic Elementsスコアがある．h,m,relはそれぞれ、かかり先単語、かかり元単語、及びかかり受け関係である。たとえば、"The dog likes eating sausage."という文からは、<dog,The,det>,<likes,dog,nsubj>,<likes,eating,xcomp>,<eating,sausage,dobj>というタプル集合が得られる。

いま、参照要約の集合

が与えられ、ｉ番目の参照要約から得たタプル集合をＴ_ｉとし、参照要約全体でのタプル集合を

とする。このとき、システム要約ＳのＢＥスコアは以下（１）式で計算される。

・・・（１）

Ｎ(ｔ_ｊ,Ｒ_ｉ)はｊ番目のタプルのｉ番目の参照要約における頻度、Ｎ(ｔ_ｊ,Ｓ)はｊ番目のタプルのシステム要約における頻度を表す。

Hovy, E., Lin, C.Y. Zhou, L. and Fukumoto, J. "Automated Summarization Evaluation with Basic Elements". In Proceedings of the 5th International Conference on Language Resource and Evaluation(LREC), 2006

上記（１）式より明らかであるが、ＢＥスコアは複数の参照要約にまたがって出現するタプルに対して高いスコアを与える。つまり、複数の参照要約に出現するタプルと１つの参照要約にしか出現しないタプルでは、タプルが獲得するスコアに大きな格差がある。たとえば、要約の主題となるような名詞は冠詞を伴って多くの参照要約に出現するため、こうしたタプルをシステムが含むとその要約は高いスコアを獲得する傾向にある。いま、<dog,The,det> というタプルがK個の参照要約に出現し、"dog"が動詞"likes"の主語であるという重要な文脈情報をあらわす<likes,dog,nsubj>というタプルはある１つの参照要約に１回しか出現していないとする。この場合、システム要約が<dog,The,det>をどのような文脈であれ１回でも含むと最低でもＫ点を得る。一方、<likes,dog,nsubj>しか含まないシステム要約は１点しか得ることができず両者の得点の差は最低でもＫ−１点となり、非常に大きい。一般的に、冠詞＋名詞というタプルはそれ自体が文脈情報を含むようなものではないので、これがあるだけで高得点を獲得するということは問題である。また、システム要約のタプルと参照要約のタプルの一致は文字列の完全一致により行われる。よって、<John,killed,nsubjpass>,<John,murdered,nsubjpass>という意味的にはほぼおなじタプルを同一視することができない。

本発明は、上記問題点を解決するために成されたものであり、精度良くシステム要約を評価することができる要約評価装置、方法、プログラム、及び記憶媒体を提供することを目的とする。

上記目的を達成するために、第１の発明に係る要約評価装置は、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるタプル抽出部と、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するスコア計算部と、を含んで構成されている。

第２の発明に係る要約評価方法は、タプル抽出部が、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるステップと、スコア計算部が、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するステップと、を含んで実行することを特徴とする。

第３の発明に係るプログラムは、コンピュータを、第１の発明に係る要約評価装置の各部として機能させるためのプログラムである。

第４の発明に係る記憶媒体は、コンピュータを、第１の発明に係る要約評価装置の各部として機能させるためのプログラムを格納する記憶媒体である。

本発明の要約評価装置、方法、プログラム、及び記憶媒体によれば、要約対象の文書について予め求められた複数の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換え、クラスに置き換えられた、複数の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合とに基づいて、システム要約のスコアを計算することにより、精度良くシステム要約を評価することができる、という効果が得られる。

本発明の実施の形態に係る要約評価装置の構成を示すブロック図である。依存構造解析を行ってタプルを抽出する一例を示す図である。タプル中の単語をクラスＩＤに置き換える一例を示す図である。本発明の実施の形態に係る要約評価装置における要約評価処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

本発明の実施の形態では、上記の２つの課題に対し、（１）スコア計算時にタプルの頻度を考慮せず、（２）タプルのマッチングにおいて単語の意味クラスを考慮する、という手法によって解決する。具体的には以下（２）式でシステム要約を評価する。

・・・（２）

Ｔ_Ｓはシステム要約から得たタプル集合である。なお、

に含まれるタプルの単語は単語に対応するクラスのクラスＩＤに置き換えられているものとする。単語からクラスＩＤへの変換は単語ベクトルをもとにK-means法、階層クラスタリング法などを用いて単語をクラスタリングし、クラスタＩＤにより単語のクラスＩＤを決定すればよい。

＜本発明の実施の形態に係る要約評価装置の構成＞

次に、本発明の実施の形態に係る要約評価装置の構成について説明する。図１に示すように、本発明の実施の形態に係る要約評価装置１００は、ＣＰＵと、ＲＡＭと、後述する要約評価処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この要約評価装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、要約対象の文書について予め求められたＫ個の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々を受け付ける。

演算部２０は、文分割部３０と、単語クラスタリング部３２と、タプル抽出部３４と、スコア計算部３６とを含んで構成されている。

文分割部３０は、入力部１０受け付けたＫ個の参照要約、及びシステム要約を１文ごとに分割する。文の分割は、既存の文分割ツールを用いても良いし、句読点のような情報を参考に分割ルールを作成し、分割器を実装しても良い。

単語クラスタリング部３２は、文分割部３０で分割されたＫ個の参照要約、及びシステム要約に含まれる単語を、単語の意味ベクトルを用いてクラスタリングする。単語のクラスタリングは単語をｎ次元ベクトルとして表現し、ベクトル間のコサイン類似度に基づきK-means法、階層クラスタリング法などを用いれば実現できる。単語をｎ次元ベクトルとして表現するためには、word2vecのようなツールを利用すれば良い。

タプル抽出部３４は、文分割部３０で分割されたＫ個の参照要約と、システム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出する。例えば、図２に示すような依存構造解析を行うことでタプルを抽出する。次に、タプル抽出部３４は、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語クラスタリング部３２の単語についてのクラスタリング結果のクラスに置き換える。例えば、図３に示すように、タプル中の単語をクラスタのインデックスへと置き換えて、単語が属するクラスタのクラスＩＤとする。

スコア計算部３６は、タプル抽出部３４でクラスに置き換えられた、Ｋ個の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合との重複度合いに応じたスコアを以下（３）式に従って計算し、出力部５０に出力する。

・・・（３）

以上のように、参照要約、及びシステム要約とも依存構造から得られるタプルの集合としてとらえ、それぞれのタプルがもとの要約における頻度を考慮しないスコア計算式を導入することにより、一部の単語が高得点を獲得できてしまう状況を抑制できる。また、タプルを構成する単語を単語クラスタのクラスＩＤで置き換えることにより、意味的に類似したタプルを同一のものとみなす。これにより、単語の意味クラスを考慮して要約を評価できる。

＜本発明の実施の形態に係る要約評価装置の作用＞

次に、本発明の実施の形態に係る要約評価装置１００の作用について説明する。入力部１０において要約対象の文書について予め求められたＫ個の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々を受け付けると、要約評価装置１００は、図４に示す要約評価処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０受け付けたＫ個の参照要約、及びシステム要約を１文ごとに分割する。

次に、ステップＳ１０２では、ステップＳ１００で分割されたＫ個の参照要約、及びシステム要約に含まれる単語を、単語の意味ベクトルを用いてクラスタリングする。

ステップＳ１０４では、ステップＳ１００で分割されたＫ個の参照要約と、システム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出する。

ステップＳ１０６では、ステップＳ１０４で抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、ステップＳ１０２の単語についてのクラスタリング結果のクラスに置き換える。

ステップＳ１０８では、タプル抽出部３４でクラスに置き換えられた、Ｋ個の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合との重複度合いに応じたスコアを上記（３）式に従って計算し、出力部５０に出力する。

以上説明したように、本発明の実施の形態に係る要約評価装置によれば、要約対象の文書について予め求められた複数の参照要約と、要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及びかかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、タプルの単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換え、クラスに置き換えられた、複数の参照要約の全体についてのタプルの集合と、システム要約のタプルの集合とに基づいて、システム要約のスコアを計算することにより、精度良くシステム要約を評価することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、かかり先単語、及びかかり受け単語をクラスＩＤに置き換える場合を例に説明したが、これに限定されるものではなく、単語が属するクラスタに対応する値などに置き換えるようにしてもよい。

例えば、上述した実施の形態では、文分割部３０により分割し、単語クラスタリング部３２によりクラスタリングする場合を例に説明したが、これに限定されるものではなく、文分割部３０、及び単語クラスタリング部３２を設けずに、予め分割した参照要約、及びシステム要約と、クラスタリング結果とを受け付けるようにしてもよい。

また、上述した実施の形態では、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記憶媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０入力部
２０演算部
３０文分割部
３２単語クラスタリング部
３４タプル抽出部
３６スコア計算部
５０出力部
１００要約評価装置

Claims

要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるタプル抽出部と、
前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するスコア計算部と、
を含む要約評価装置。
前記単語のクラスは、単語の意味ベクトルを用いたクラスタリングにより定められたクラスである請求項１記載の要約評価装置。
前記スコア計算部は、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合との重複度合いに応じた前記スコアを計算する請求項１又は２記載の要約評価装置。
タプル抽出部が、要約対象の文書について予め求められた複数の参照要約と、前記要約対象の文書についてシステムにより生成されたシステム要約との各々について、かかり受け関係にある、かかり先単語及びかかり受け単語からなる単語ペア、及び前記かかり受け関係を表すラベルの組であるタプルを抽出し、抽出されたタプルの各々について、前記タプルの前記単語ペアのかかり先単語、及びかかり受け単語の各々を、単語について予め定められたクラスに置き換えるステップと、
スコア計算部が、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合とに基づいて、前記システム要約のスコアを計算するステップと、
を含む要約評価方法。
前記単語のクラスは、単語の意味ベクトルを用いたクラスタリングにより定められたクラスである請求項４に記載の要約評価方法。
前記スコア計算部が計算するステップは、前記クラスに置き換えられた、前記複数の参照要約の全体についてのタプルの集合と、前記システム要約のタプルの集合との重複度合いに応じた前記スコアを計算する請求項４又は請求項５に記載の要約評価方法。
コンピュータを、請求項１〜３の何れか１項に記載の要約評価装置の各部として機能させるためのプログラム。
コンピュータを、請求項１〜３の何れか１項に記載の要約評価装置の各部として機能させるためのプログラムを格納する記憶媒体。