JP4512826B2 - 質問応答システム - Google Patents
質問応答システム Download PDFInfo
- Publication number
- JP4512826B2 JP4512826B2 JP2005058390A JP2005058390A JP4512826B2 JP 4512826 B2 JP4512826 B2 JP 4512826B2 JP 2005058390 A JP2005058390 A JP 2005058390A JP 2005058390 A JP2005058390 A JP 2005058390A JP 4512826 B2 JP4512826 B2 JP 4512826B2
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- unit
- action
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
以下、上記した従来技術について詳細に説明する。
Julian Kupiec.MURAX:Finding and Organizing Answers from Text Search. In T.Strzalkowsky,editor,Natural Language Information Retrieval,pp.311−332.Kluwer Avademic Publishers,1999. 渡辺靖彦,園和也,岡田至弘.「メーリングリストを利用した質問応答システムのための知識獲得」,情報処理学会研究報告,2004−NL−162,pp.131−138,2004. 徳永健伸,岩山真,乾健太郎,田中穂積.「日本語語順の推定モデルとその応用」,情報処理学会研究報告,91−NL−81,pp.9−16,1991.
本発明は、上記状況に鑑みて、抽出型の質問応答システムをウェブに応用し、行動を問うhow型質問に領域を限定することなく回答することができる質問応答システムを提供する。つまり、何らかの困った状況にあるユーザからの質問に対して、取るべき行動を示唆するヘルプデスク指向の質問応答システムを提供する。
〔1〕質問応答システムにおいて、ウェブに接続され、ウェブページを検索し頻出する質問表現をよくある質問として抽出する質問抽出部と、この質問抽出部に接続されるとともに、ウェブに接続され、検索エンジンを用いて前記質問抽出部で抽出されたよくある質問に関連するページを網羅的に検索する検索部と、この検索部に接続され、前記検索されたページから前記よくある質問に対する回答となる行動を表す表現と、この行動を表す表現を含む複数の段落を抽出する回答抽出部と、この回答抽出部に接続され、前記回答抽出部で抽出された複数の段落を、同じ行動を表す表現を含むグループごとに分類する回答組織化部と、前記質問抽出部で抽出されたよくある質問と前記回答組織化部で分類された回答とを対にして予め記憶しておくFAQデータベース部と、質問を入力し、回答が出力されるユーザインタフェース装置と、前記FAQデータベース部及び前記ユーザインタフェース装置に接続され、前記FAQデータベース部に記憶されたよくある質問に、前記ユーザインタフェース装置に入力された質問と同じ質問があるかを判別する判別部とを具備し、前記判別部で同じ質問があると判定された場合、前記ユーザインタフェース装置に入力された質問に対応する回答を、前記行動を表す表現又はこの行動を表す表現を含む段落を回答の単位として前記FAQデータベース部から提示し、前記判別部で同じ質問がないと判定された場合、前記ユーザインタフェース装置に入力された質問に対して前記検索・回答抽出・回答組織化を行って回答を生成し提示することを特徴とする。
〔3〕上記〔1〕記載の質問応答システムにおいて、前記回答抽出部は、前記抽出された複数の段落に含まれる前記行動を表す表現にスコアを付け、各段落に含まれる前記行動を表す表現のスコアを総和することで、前記各段落のスコア付けを行うことを特徴とする。
(a)領域を限定することなく、how型質問に回答することができる。つまり、何らかの困った状況にあるユーザに対して、取るべき行動を示唆するヘルプデスク指向の質問応答システムを提供する。
(b)よくある質問とそれに対する回答を事前に記憶するFAQデータベース部を有するため、よくある質問に対しては迅速なる回答を提示することができる。
本発明のシステムは、入力された質問文に関連するウェブページを検索し、抽出した回答を分類して提示する。対象とするのは、what−if、what−to−do、how−to−do型の行動を問う質問である。これらの質問に回答するため、名詞句と動詞からなる「行動を表す表現(以下、単に行動表現と記す)」に着目する。例えば、「蜂に刺されたらどうすればよい?」という質問には「針を抜く」、「流水で洗う」、「軟膏を塗る」などの行動表現と、その行動表現を含む段落を回答する。
この図において、1はユーザインタフェース装置、2は質問(質問文:質問情報)、3は回答(回答文:回答情報)、10は事前処理部、11は回答部、12はFAQデータベース部、13はウェブ、14は質問抽出部、15はよくある質問か否かを判別する判別部、16は検索部、17は回答抽出部、18は回答組織化部である。
まず、FAQデータベースを構築する事前処理(オフライン処理)について説明する。ここでは、質問抽出部14による「質問抽出」、検索部16による「検索」、回答抽出部17による「回答抽出」、回答組織化部18による「回答組織化」の処理を段階的に行う。
その回答は、図2に示すような画面で提示する。これは「蜂に刺されたらどうすればいい?」という質問に対する回答画面例である。「病院 へ 行く」という見出し表現は組織化後のグループを代表する行動表現で、その下の「針 を 抜く」、「診察 を 受ける」などは、このグループに含まれる他の行動表現である。それらの行動表現を含む段落と、抽出元のページへのリンクを併記し、詳細情報を取得しやすくしている。
以下、質問抽出、検索、回答抽出、回答組織化の各処理について説明する。
ウェブ13上には、FAQサイトに用意された質問や、個人の日記サイトやウェブログに書かれた素朴な疑問まで、様々な質問表現が潜在するため、これらを収集する。
「○○が△△したら、どうする?」、「○○を△△したら?」のような表現を単語や品詞で規則化し、該当するフレーズや文を抽出する。具体的には『名詞の後に助詞(が・に・を)、動詞(〜したら)、と続き、さらに疑問符や「(、)どうする」が続く』という規則を満たす表現を抽出する。
(2)検索
ウェブ13検索には検索サイトGoogleを利用し、入力された質問文をそのままクエリとして用いる。しかし、実験の規模を拡張するためには、質問応答に適した検索エンジンを独自に開発する必要がある。
回答抽出部17は、検索部16で検索されたページ群から行動表現を含む回答となる段落を抽出し、スコア付けを行う。実際のウェブ13上にはPDFファイルなども存在するが、本発明では本文のレイアウト解析を行う必要があるためHTMLファイルのみを対象とする。
まず、検索された各ページから、一定の長さを持つ段落を抽出する。これは、単語や文の単位で抽出した回答では、行動を説明するための情報が少なく、逆にページ単位では不要な情報が含まれやすいためである。段落の判別には、HTMLタグの中でも<P>と<BR>を用いた。
段落のスコア付けでは、まず、検索されたページに出現する個々の行動表現にスコアを付け、段落内に含まれる行動表現の各スコアを総和する。
本手法は、「薬を患部に塗る」のように複数の名詞句(名詞+助詞)が動詞に係った表現を行動表現として扱うこともできる。しかし、名詞句が複数あった場合「薬を塗る」と「薬を患部に塗る」が別の行動表現とみなされるという問題が生じる。そこで、実験では名詞句をひとつに限定した。
(a)係り受けの距離が近い。
係り受けの距離とは、名詞句と動詞の間にある形態素数のことである。日本語の場合、文末に近い要素ほど動詞の意味を限定する性質がある(上記非特許文献3参照)。また、距離が近いほど係り受け解析の誤りが少ないという利点もある。
推奨表現は問題解決に有効な対処法を述べる時に用いられる。また、禁止表現は行ってはならない対処法を述べる時に用いられるため、推奨表現と同等に有用である。例えば、「蜂に刺されたら?」の質問例では「薬を塗りましょう」、「病院へ行くこと」などが推奨表現であり、「アンモニアをかけてはいけない」、「毒袋をつぶさないでください」などが禁止表現である。このような表現を正規表現によって照合し、検出する。
抽出元ページとは、行動表現が抽出されたページである。現在、検索にはGoogleを用いているため、抽出元ページの順位とはGoogleの検索順位を意味する。GoogleはPageRankにより、他ページから多くリンクされているページは高順位とする。そのため、信頼性を部分的に取り入れることができる。なお、このスコアは以下の式で計算する。
(d)段落内で質問に含まれる行動表現との距離が近い。
これは行動表現中の動詞と質問中の動詞の間にある形態素数から判断する。行動表現中の動詞が質問中の動詞に近いほど質問との関連性が強く、対処法として重要な行動表現が出現しやすい。
質問者が動作主となる行動を取り出すため、格助詞「ガ」(以下、ガ格)によって主語が明示されている行動表現はスコアを下げる。例えば「蜂が巣を守る。」という文であれば動作主は「蜂」である。この文に出現する行動表現「蜂が守る」、「巣を守る」はともに蜂が行う行動表現であり、質問者への回答として適切でない。
回答組織化部18は、上記の回答抽出の手法で抽出された複数の段落を分類する。ここでは、同じ行動表現を含む段落を同じグループにまとめる。ただし、スコアの低い行動表現はノイズになるので、事前に削除する。現在は経験的に、スコアが2以上の行動表現を使用して分類を行っている。ユーザに回答を提示する際に、グループごとに最も高いスコアの段落と行動表現を提示することで、類似した複数の段落を読む手間を省くことができ、どのような回答グループがあるのかを概観しやすくなる。
(評価実験)
以下、本発明の質問応答システムの評価実験を行ったので説明する。
これは、本発明のシステムが、高スコアの行動表現を元に段落をグループ化し、グループ内で最高スコアの行動表現を代表(すなわち、図2における「病院へ行く」としてユーザに提示するため、回答として適切な行動表現のスコアが他よりも高くなることが重要となるからである。そこで、行動表現のスコア付けについて、先に提案した(a)〜(e)の5つの基準が有効であるかという観点で評価を行った。
(1)パスワードを忘れたら、(2)事故にあったら、(3)迷子になったら、(4)急病にかかったら、(5)盗難にあったら、(6)蜂に刺されたら、(7)怪我をしたら、(8)ニキビができたら、(9)発作がおきたら、(10)パスポートを紛失したら、(11)セクハラを受けたら、(12)やけどをしたら、(13)火事になったら
これらの質問に対して、抽出された行動表現の適否を人手で判定した。さらに、適切な表現については、禁止表現かどうかも判定し、正解として扱った。
ここで、F値(F−measure)とは、再現率(recall)と精度(precision)の調和平均である。再現率と精度の両方を考慮した評価尺度であり、再現率と精度が大きいほど、F値も大きくなる。
「システムが回答として出力した行動表現かどうか?」、「その質問に対する正しい行動表現かどうか?」という観点で分類すると、以下のような分割表(contingency table)を作ることができる。
A:成功、B:失敗(抽出漏れ)、C:失敗(抽出誤り)
上記の分割表に基づいて、再現率と精度はそれぞれ以下の式で計算される。
精度=A/(A+C)
F値は再現率(R)と精度(P)の調和平均なので、以下で計算される。
まず、RとPの逆数に対して算術平均を計算する。
すなわち、F値は、「成功と失敗(抽出漏れ、抽出誤り)」に対する「成功」の比率を表す。
精度=出力した正解数/出力した全行動表現数
再現率=出力した正解数/全行動表現中の正解数
F値=2×再現率×精度/(再現率+精度)
(結果と考察)
回答数によるF値の推移を調べるため、行動表現を段階的に増やしていき、上位200件までの行動表現についてF値を計算した。評価に用いた全質問について、行動表現数を変化させた各点におけるF値を計算し、その平均値を用いて比較評価した。
all:基準(a)〜(e)をすべて用いたスコアによる順位付け
Pa:基準(a)「係り受けの距離」を使用したスコアによる順位付け
Pb:基準(b)「推奨・禁止表現の有無」を使用したスコアによる順位付け
Pc:基準(c)「検索における順位」を使用したスコアによる順位付け
Pd:基準(d)「質問に含まれる行動表現との距離」を使用したスコアによる順位付け
Pe:基準(e)「ガ格の名詞がかかる行動表現」を使用したスコアによる順位付け
また、比較のために、
freq:出現頻度による順位付け
という条件で評価した結果も示す。
また、allとPa〜Peを比較すると、出力する行動表現の数によらず、allの方が良い結果であった。すなわち、基準の組み合わせによる相乗効果があることが分かった。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
2 質問(質問文:質問情報)
3 回答(回答文:回答情報)
10 事前処理部
11 回答部
12 FAQデータベース部
13 ウェブ
14 質問抽出部
15 判別部
16 検索部
17 回答抽出部
18 回答組織化部
Claims (4)
- (a)ウェブに接続され、ウェブページを検索し頻出する質問表現をよくある質問として抽出する質問抽出部と、
(b)該質問抽出部に接続されるとともに、ウェブに接続され、検索エンジンを用いて前記質問抽出部で抽出されたよくある質問に関連するページを網羅的に検索する検索部と、
(c)該検索部に接続され、前記検索されたページから前記よくある質問に対する回答となる行動を表す表現と、該行動を表す表現を含む複数の段落を抽出する回答抽出部と、
(d)該回答抽出部に接続され、前記回答抽出部で抽出された複数の段落を、同じ行動を表す表現を含むグループごとに分類する回答組織化部と、
(e)前記質問抽出部で抽出されたよくある質問と前記回答組織化部で分類された回答とを対にして予め記憶しておくFAQデータベース部と、
(f)質問を入力し、回答が出力されるユーザインタフェース装置と、
(g)前記FAQデータベース部及び前記ユーザインタフェース装置に接続され、前記FAQデータベース部に記憶されたよくある質問に、前記ユーザインタフェース装置に入力された質問と同じ質問があるかを判別する判別部とを具備し、
(h)前記判別部で同じ質問があると判定された場合、前記ユーザインタフェース装置に入力された質問に対応する回答を、前記行動を表す表現又は該行動を表す表現を含む段落を回答の単位として前記FAQデータベース部から提示し、前記判別部で同じ質問がないと判定された場合、前記ユーザインタフェース装置に入力された質問に対して前記検索・回答抽出・回答組織化を行って回答を生成し提示することを特徴とする質問応答システム。 - 請求項1記載の質問応答システムにおいて、前記段落の抽出には文字数に関する閾値を併用し、120文字以上200文字以下を段落として抽出することを特徴とする質問応答システム。
- 請求項1記載の質問応答システムにおいて、前記回答抽出部は、前記抽出された複数の段落に含まれる前記行動を表す表現にスコアを付け、各段落に含まれる前記行動を表す表現のスコアを総和することで、前記各段階のスコア付けを行うことを特徴とする質問応答システム。
- 請求項3記載の質問応答システムにおいて、前記行動を表す表現のスコアは、回答として適切な行動を表す表現を選択するため、
(a)係り受けの距離が近い
(b)推奨表現と禁止表現を伴っている
(c)抽出元ページの検索における順位が高い
(d)質問に含まれる行動を表す表現との距離が近い
(e)質問者(ユーザ)がすべき行動である
上記5つの基準を用いてスコア付けすることを特徴とする質問応答システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058390A JP4512826B2 (ja) | 2005-03-03 | 2005-03-03 | 質問応答システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058390A JP4512826B2 (ja) | 2005-03-03 | 2005-03-03 | 質問応答システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006244102A JP2006244102A (ja) | 2006-09-14 |
JP4512826B2 true JP4512826B2 (ja) | 2010-07-28 |
Family
ID=37050460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005058390A Active JP4512826B2 (ja) | 2005-03-03 | 2005-03-03 | 質問応答システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4512826B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5213098B2 (ja) * | 2007-06-22 | 2013-06-19 | 独立行政法人情報通信研究機構 | 質問応答方法及びシステム |
JP2009075904A (ja) * | 2007-09-21 | 2009-04-09 | Fujifilm Corp | 検索可能化プログラム |
US8621011B2 (en) * | 2009-05-12 | 2013-12-31 | Avaya Inc. | Treatment of web feeds as work assignment in a contact center |
CN102737022B (zh) * | 2011-03-31 | 2015-01-07 | 百度在线网络技术(北京)有限公司 | 获取和搜索相关知识信息的方法及装置 |
JP5464295B1 (ja) * | 2013-08-05 | 2014-04-09 | 富士ゼロックス株式会社 | 応答装置及び応答プログラム |
CN105677764B (zh) * | 2015-12-30 | 2020-05-08 | 百度在线网络技术(北京)有限公司 | 信息提取方法和装置 |
JP6544551B1 (ja) * | 2018-03-25 | 2019-07-17 | 柏熊 誠治 | スイング判定装置、スイング判定方法、および、プログラム。 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207902A (ja) * | 1997-01-24 | 1998-08-07 | Toshiba Corp | 情報サービスシステムおよび情報検索方法 |
JPH1196179A (ja) * | 1997-09-24 | 1999-04-09 | Mitsubishi Electric Corp | ヘルプデスクシステム |
JPH11191114A (ja) * | 1997-10-10 | 1999-07-13 | Nec Corp | メタ検索方法、画像検索方法、メタ検索エンジン及び画像検索エンジン |
JP2002215661A (ja) * | 2001-01-12 | 2002-08-02 | Sakae Takeuchi | 自然言語インターフェイス知識応答システム |
-
2005
- 2005-03-03 JP JP2005058390A patent/JP4512826B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207902A (ja) * | 1997-01-24 | 1998-08-07 | Toshiba Corp | 情報サービスシステムおよび情報検索方法 |
JPH1196179A (ja) * | 1997-09-24 | 1999-04-09 | Mitsubishi Electric Corp | ヘルプデスクシステム |
JPH11191114A (ja) * | 1997-10-10 | 1999-07-13 | Nec Corp | メタ検索方法、画像検索方法、メタ検索エンジン及び画像検索エンジン |
JP2002215661A (ja) * | 2001-01-12 | 2002-08-02 | Sakae Takeuchi | 自然言語インターフェイス知識応答システム |
Also Published As
Publication number | Publication date |
---|---|
JP2006244102A (ja) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Haidar et al. | A multilingual system for cyberbullying detection: Arabic content detection using machine learning | |
Haidar et al. | Multilingual cyberbullying detection system: Detecting cyberbullying in Arabic content | |
JP5825676B2 (ja) | ノン・ファクトイド型質問応答システム及びコンピュータプログラム | |
Cimiano et al. | Learning taxonomic relations from heterogeneous sources of evidence | |
Jusoh et al. | Techniques, applications and challenging issue in text mining | |
MXPA04010820A (es) | Sistema para identificar parafrasis utilizando tecnicas de traduccion de maquina. | |
JP4512826B2 (ja) | 質問応答システム | |
Buscaldi et al. | Lipn-core: Semantic text similarity using n-grams, wordnet, syntactic analysis, esa and information retrieval based features | |
Panja | Information Retrieval Systems in Healthcare: Understanding Medical Data Through Text Analysis | |
Wong et al. | Contextual question answering for the health domain | |
Derici et al. | A closed-domain question answering framework using reliable resources to assist students | |
Koltsova et al. | PolSentiLex: sentiment detection in socio-political discussions on Russian social media | |
Gaston et al. | Authorship attribution vs. adversarial authorship from a liwc and sentiment analysis perspective | |
Elbedweihy et al. | Using BabelNet in Bridging the Gap Between Natural Language Queries and Linked Data Concepts. | |
Khanmohammadi et al. | COPER: A query-adaptable semantics-based search engine for Persian COVID-19 articles | |
Kazemi et al. | FarsNewsQA: a deep learning-based question answering system for the Persian news articles | |
Dunn | Multi-dimensional abstractness in cross-domain mappings | |
Chang et al. | Towards automatic short answer assessment for finnish as a paraphrase retrieval task | |
Mohler et al. | Applying textual entailment to the interpretation of metaphor | |
Fehri et al. | ARmed question answering system | |
Habu et al. | A Hybrid Extractive-Abstractive Framework with Pre & Post-Processing Techniques To Enhance Text Summarization | |
Abdaoui et al. | Predicting medical roles in online health fora | |
Lopes et al. | Identification and classification of health queries: Co-occurrences vs. domain-specific terminologies | |
Shivani et al. | Study on Techniques for Analyzing Semantic Similarity in Question Answering System | |
Tyagi et al. | Trigger Warnings: A Computational Approach to Understanding User-Tagged Trigger Warnings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |