JP2021140486A - 回答生成装置及びプログラム - Google Patents
回答生成装置及びプログラム Download PDFInfo
- Publication number
- JP2021140486A JP2021140486A JP2020038077A JP2020038077A JP2021140486A JP 2021140486 A JP2021140486 A JP 2021140486A JP 2020038077 A JP2020038077 A JP 2020038077A JP 2020038077 A JP2020038077 A JP 2020038077A JP 2021140486 A JP2021140486 A JP 2021140486A
- Authority
- JP
- Japan
- Prior art keywords
- answer
- answers
- token
- question
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
まず、本実施形態の基本原理について説明する。
BiDAF:(Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. Bidirectional attention flow for machine comprehension. arXiv preprint arXiv:1611.01603, 2016.)
QANet:(Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, and Quoc V Le. Qanet: Combining local convolution with global
self-attention for reading comprehension. arXiv preprint arXiv:1804.09541, 2018.)
BERTBASE:(Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, 2019.)
BERTLARGE:(Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL, 2019.)
である。
図4は、本実施形態における回答生成装置の構成ブロック図を示す。
「In the first quarter, Cincinnati trailed early as Patriots kicker Stephen Gostkowski got a 31-yard field goal, while QB Tom Brady completed a 1-yard TD pass to LB Mike Vrabel.(…) QB Carson Palmer completing a 1-yard TD pass to LB Mike Vrabel.(…)」
であるとする。質問24も任意であるが、例えば、
「Which two players both completed 1-yard TD pass ?」
であるとする。ここで、質問が、正解が一つの回答に限定されるのではなく、正解が複数の回答を含むことに留意されたい(上記の質問では、2つの正解を含む)。
「Brady」
「Tom」
「Carson Palmer」
「Tom Brady completed」
・・・
「Palmer」
等が開始点と終了点におけるトークン、すなわち単語や文字列が出力されたことを示す。
N個の異なる単一回答モデルからのN個の独立な回答候補は、RC−リライタ28に供給される。
「Tom Brady」
「Carson Palmer」
が出力されたことを示す。特定トークンに回答範囲が集中しているか、あるいは複数トークンに回答範囲が分散しているかは、回答の一致度を算出し、当該回答の一致値を予め設定された閾値と大小比較することで決定され得る。
x = [CLS]Q[SEP]C[SEP]
をBERTへの入力とする。ここで、[CLS] はペア文全体の表現を表すトークン、[SEP] は入力ペアの分割を明示するためのトークンを表す。従って、x をBERTへ入力することで、長さLのトークン系列に対するd次元の分散表現H
H・Rd×L
が得られる。
回答範囲の抽出のため、2種類の全結合層を用いて回答の開始点と終了点を予測するための確率分布を以下の式に基づき計算する。
操作2: u>fi≧lを満たす場合、tiを複数回答のトークンと決定して回答に追加する(複数回答QA)
操作3:l>fiを満たす場合、tiを回答のトークンでないと決定する
以上の操作1〜操作3により、最終回答として単一回答または複数回答が得られる。
例えば、
u=0.9×N
l=0.2×N
とすると、出現頻度fi≧0.9×N、つまり一致度が90%以上である場合、単一回答QAとなる。また、出現頻度fiが0.9>fi≧0.2N、つまり一致度が90%未満20%以上である場合、複数回答QAとなる。また、出現頻度fi>0.2×N、つまり一致度が20%未満であれば、回答なしと決定される。
「Tom」
「Brady」
という別々に抽出されたトークンから
「Tom Brady」
といった回答を構成可能である。
図7は、本実施形態の処理フローチャートを示す。S101〜S103の処理がモデルの学習処理であり、S104〜S107の処理が学習済モデルを用いた回答作成処理である。
操作1:fi≧uを満たす場合、tiを単一回答のトークンと決定して最終回答に追加する(単一回答QA)
操作2: u>fi≧lを満たす場合、tiを複数回答のトークンと決定して回答に追加する(複数回答QA)
操作3:l>fiを満たす場合、tiを回答のトークンでないと決定する
以上のようにして単一/複数回答、あるいは回答なしを選択すると、これらの選択結果を最終回答として出力する(S107)。
機械読解モデル26として使用するために、異なるシードを設定した20個のモデルを事前に学習した。学習時には、Adamによる最適化を行った。
表2に、各モデルで使用したパラメータを示す。
u=0.9N
l=0.2N
に設定した。なお、Nは機械読解モデル26で用いるモデルの数に対応し、実施例では
N=20
である。
他方、比較例として、機械読解モデル26として用意したモデルと同様の条件で学習した単一回答モデルをベースラインとして用意した。さらに、単一回答モデルにおける性能の上限値としてOraclesingle を用意した。Oraclesingle では、各質問に付与された複数の真の回答のうち、F1の値が最も高くなる回答を一つ抽出する。
本実施形態における機械読解モデル26として用いる単一回答モデルの数および種類は任意に設定し得る。
本実施形態では、解析対象データとして関連テキスト等のテキストデータとしたが、他のデータ形式、例えば画像データにも同様に適用し得る。解析対象データが画像データの場合、トークンとしてピクセルを用いることができる。
Claims (9)
- 質問及び解析の対象となるデータである解析対象データを入力する入力部と、
プロセッサと、
出力部と、
を備え、前記プロセッサは、プログラムを実行することで、
前記質問及び前記解析対象データが入力された場合に、事前に用意した複数の単一回答モデルを用いて前記質問に対する回答を前記解析対象データからそれぞれ独立に抽出し、
抽出された前記回答の各トークン毎の出現頻度を算出し、
前記出現頻度に基づき、単一あるいは複数の回答を抽出して前記出力部に出力する、
回答生成装置。 - 前記プロセッサは、
第1閾値、及び前記第1閾値よりも小さい第2閾値を用い、前記出現頻度が前記第1閾値以上の場合に、前記出現頻度が前記第1閾値以上となるトークンを単一回答と判定して出力し、前記出現頻度が前記第1閾値未満であって前記第2閾値以上の場合に、前記出現頻度が前記第1閾値未満であって前記第2閾値以上となるトークンを複数回答と判定して出力し、前記出現頻度が前記第2閾値未満の場合に、対象トークンを回答として選択しない、
請求項1に記載の回答生成装置。 - 前記プロセッサは、
連続する複数の前記トークンに対して判定結果が同一である場合に、各トークンを出力結果として出力することに代えて、系列長が最大となるようにトークンを連続的に選択して出力する、
請求項2に記載の回答生成装置。 - 前記プロセッサは、
処理対象トークンに対して単一回答として判定した後、次の処理対象トークンに対して複数回答あるいは回答なしと判定した場合、単一回答と判定したトークンのみを出力する、
請求項2に記載の回答生成装置。 - 前記プロセッサは、
前記複数の回答の回答数以上の前記複数の単一回答モデルを用いる、
請求項1〜4のいずれかに記載の回答生成装置。 - 前記複数の単一回答モデルのそれぞれは、深層学習方法に基づき前記質問及び前記解析対象データを分散表現に符号化し、符号化された前記分散表現に基づき、前記回答の開始点及び終了点を推定するための全結合層により最大確率の回答範囲を前記解析対象データから抽出するモデルである、
請求項1〜5のいずれかに記載の回答生成装置。 - 前記複数の単一回答モデルのそれぞれは、質問に対して単一の回答のみが付与された学習データを用いて学習される、
請求項1〜6のいずれかに記載の回答生成装置。 - 前記解析対象データは、テキストデータであり、
前記トークンは、前記テキストデータ中の単語あるいは文字列である、
請求項1〜7のいずれかに記載の回答生成装置。 - コンピュータに、
質問及び解析の対象となるデータである解析対象データを入力するステップと、
事前に用意した複数の単一回答モデルを用いて前記質問に対する回答を前記解析対象データからそれぞれ独立に抽出するステップと、
抽出された前記回答の各トークン毎の出現頻度を算出するステップと、
前記出現頻度に基づき、単一あるいは複数の回答を抽出して出力するステップと、
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038077A JP2021140486A (ja) | 2020-03-05 | 2020-03-05 | 回答生成装置及びプログラム |
US17/001,885 US11481445B2 (en) | 2020-03-05 | 2020-08-25 | Answer generating device and non-transitory computer readable medium storing program |
CN202010914428.2A CN113360609A (zh) | 2020-03-05 | 2020-09-03 | 回答生成装置、回答生成方法及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038077A JP2021140486A (ja) | 2020-03-05 | 2020-03-05 | 回答生成装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021140486A true JP2021140486A (ja) | 2021-09-16 |
Family
ID=77524491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020038077A Pending JP2021140486A (ja) | 2020-03-05 | 2020-03-05 | 回答生成装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11481445B2 (ja) |
JP (1) | JP2021140486A (ja) |
CN (1) | CN113360609A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032620A1 (ja) | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6772213B2 (ja) | 2018-04-23 | 2020-10-21 | 日本電信電話株式会社 | 質問応答装置、質問応答方法及びプログラム |
JP2019220142A (ja) | 2018-06-18 | 2019-12-26 | 日本電信電話株式会社 | 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム |
WO2019244803A1 (ja) | 2018-06-18 | 2019-12-26 | 日本電信電話株式会社 | 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム |
-
2020
- 2020-03-05 JP JP2020038077A patent/JP2021140486A/ja active Pending
- 2020-08-25 US US17/001,885 patent/US11481445B2/en active Active
- 2020-09-03 CN CN202010914428.2A patent/CN113360609A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032620A1 (ja) | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210279288A1 (en) | 2021-09-09 |
CN113360609A (zh) | 2021-09-07 |
US11481445B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107944915B (zh) | 一种游戏用户行为分析方法及计算机可读存储介质 | |
Baskeles et al. | Software effort estimation using machine learning methods | |
CN110032630A (zh) | 话术推荐设备、方法及模型训练设备 | |
JP2019192246A (ja) | 自然言語質問回答システム用のトレーニングデータを提供する方法および装置 | |
Hong et al. | Fast analysis of optimal improved-oil-recovery switch time using a two-factor production model and least-squares Monte Carlo algorithm | |
An et al. | Colo: A contrastive learning based re-ranking framework for one-stage summarization | |
Zhang | Modeling error distributions of growth curve models through Bayesian methods | |
JP2021140486A (ja) | 回答生成装置及びプログラム | |
Juselius | On the role of theory and evidence in macroeconomics | |
Liu et al. | Evaluating text coherence at sentence and paragraph levels | |
CN105159746B (zh) | 面向容错组合web服务的可靠性仿真工具 | |
US6889219B2 (en) | Method of tuning a decision network and a decision tree model | |
JP4643586B2 (ja) | 最適設計管理装置、最適設計計算システム、最適設計管理方法、最適設計管理プログラム | |
JP6839001B2 (ja) | モデル学習装置、情報判定装置およびそれらのプログラム | |
Girma et al. | Government grants, plant survival and employment growth: A micro-econometric analysis | |
Chandramohan et al. | Behavior specific user simulation in spoken dialogue systems | |
Li et al. | Feature selection for bagging of support vector machines | |
Etzo et al. | The impact of migration on the cross‐border M&A: Some evidence for Japan | |
Laaksonen | Multiple imputation for a continuous variable | |
Heuss et al. | RankingSHAP--Listwise Feature Attribution Explanations for Ranking Models | |
KR101697992B1 (ko) | 다중 개발자 네트워크 기반의 버그 정정 개발자 추천 시스템 및 방법 | |
Banerjee et al. | Convergence and Inclusiveness Aspects of Various Socio-economic Indicators in Different Income Groups Across the World | |
CN117216081B (zh) | 题库自动更新方法、装置、电子设备和存储介质 | |
CN107678734A (zh) | 基于遗传算法的cpu基准测试程序集构造方法 | |
Ardagna et al. | Zero-knowledge evaluation of service performance based on simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |