JP7099031B2 - 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム - Google Patents
回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム Download PDFInfo
- Publication number
- JP7099031B2 JP7099031B2 JP2018086370A JP2018086370A JP7099031B2 JP 7099031 B2 JP7099031 B2 JP 7099031B2 JP 2018086370 A JP2018086370 A JP 2018086370A JP 2018086370 A JP2018086370 A JP 2018086370A JP 7099031 B2 JP7099031 B2 JP 7099031B2
- Authority
- JP
- Japan
- Prior art keywords
- question
- pair
- response
- answering
- translation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
図1に本発明の回答選択装置の機能構成例を示す。図2に本発明の回答選択装置の処理フロー例を示す。本発明の回答選択装置100は、入力された質問である入力質問に対して、あらかじめ定めたキャラクタらしい1つまたは複数の回答を出力する。例えば、M個の回答を出力するようにあらかじめ定めておけばよい。Mは1以上の整数である。例えばM=5のように定めてもよいし、チャットボットのように回答を1つだけにしたい場合はM=1とすればよい。回答選択装置100は、記録部190、文書検索部110、スコア算出部160、ランキング部170を備える。
1.0-(r-1)/max_rank (1)
ただし、max_rankは検索結果質問応答ペアの数
のように求めることで、0~1の間の値を求めてもよい。max_rankは文書検索部110が検索し得る最大の数Nとしてもよい。例えば、max_rank=10でr=5の場合、翻訳尤度に基づく数値translation_scoreは、0.6となる。スコア算出部160は、同様に逆翻訳尤度に基づく数値rev_translation_scoreついても、逆翻訳尤度が大きいもの順にソートし、式(1)を適用することで求めればよい。そして、入力質問Q、検索結果質問応答ペアの質問Q’、応答A’とするときに、スコアscore(Q,(Q’,A’))を例えば以下のように求めればよい。
=w1・translation_score
+w2・rev_translation_score (2)
ただし、w1w2は、どちらの数値を重視するかを決める重みである。どちらも1.0としてもよいし、翻訳モデルと逆翻訳モデルの特性を考慮してチューニングしてもよい。スコアscore(Q,(Q’,A’))がスコア算出部160の出力となる。
図3に本発明のモデル学習装置に機能構成例を示す。図4に本発明のモデル学習装置の処理フロー例を示す。本発明のモデル学習装置200は、質問から応答を求めるための学習済みの翻訳モデル、応答から質問を求めるための学習済み逆翻訳モデルの少なくとも一方を生成する。モデル学習装置200は、記録部290、質問応答ペア拡張部220、翻訳モデル学習部240を備える。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
160 スコア算出部 170 ランキング部
190,290 記録部 200 モデル学習装置
210 質問応答ペアの集合 220 質問応答ペア拡張部
230 拡張質問応答ペアの集合 240 翻訳モデル学習部
261 翻訳モデル 262 逆翻訳モデル
Claims (10)
- 入力された質問である入力質問に対して、1つまたは複数の回答を出力する回答選択装置であって、
質問と応答のペアである質問応答ペア、質問から応答を求めるための学習済みの翻訳モデルを記録した記録部と、
前記入力質問を入力とし、あらかじめ定めた検索方式で、前記記録部に記録された質問応答ペアから質問応答ペアを検索し、検索結果質問応答ペアとして出力する文書検索部と、
前記入力質問および前記検索結果質問応答ペアの応答を入力とし、前記翻訳モデルを用いて前記入力質問から前記応答が得られる確率に基づく数値である翻訳尤度を求め、前記翻訳尤度に基づいて前記検索結果質問応答ペアごとの前記入力質問に対するスコアを算出するスコア算出部と、
前記スコアがより適切であることを示す順番に、あらかじめ定めた数の前記検索結果質問応答ペアを選択し、選択された検索結果質問応答ペアの応答を、回答として出力するランキング部と
を備え、
前記翻訳モデルは、応答のキャラクタらしさの程度を示す指標を対応付けた質問と応答のペアを用いて、前記指標が示す程度に従って学習された
ことを特徴とする回答選択装置。 - 請求項1記載の回答選択装置であって、
前記記録部は、応答から質問を求めるための学習済みの逆翻訳モデルも記録しており、
前記スコア算出部は、前記逆翻訳モデルを用いて前記応答から前記入力質問が得られる確率に基づく数値である逆翻訳尤度も求め、前記翻訳尤度と前記逆翻訳尤度に基づいて前記検索結果質問応答ペアごとの前記入力質問に対するスコアを算出し、
前記逆翻訳モデルも、応答の前記キャラクタらしさの程度を示す指標を対応付けた質問と応答のペアを用いて、前記指標が示す程度に従って学習された
ことを特徴とする回答選択装置。 - 請求項1または2記載の回答選択装置であって、
前記記録部は、前記質問応答ペアごとに応答の前記キャラクタらしさの程度を示す指標を対応付けて記録しており、
前記文書検索部は、前記指標も用いて、前記記録部に記録された質問応答ペアから質問応答ペアを検索する
ことを特徴とする回答選択装置。 - 入力された質問である入力質問に対して、1つまたは複数の回答を出力する回答選択装置であって、
質問と応答のペアである質問応答ペア、質問から応答を求めるための学習済みの翻訳モデルを記録した記録部と、
前記入力質問を入力とし、あらかじめ定めた検索方式で、前記記録部に記録された質問応答ペアから質問応答ペアを検索し、検索結果質問応答ペアとして出力する文書検索部と、
前記検索結果質問応答ペアごとに、前記翻訳モデルに基づいて前記入力質問に対する前記検索結果質問応答ペアの応答の妥当性を表すスコアを算出するスコア算出部と、
前記スコアがより適切であることを示す順番に基づいて、前記検索結果質問応答ペアの応答を、回答として出力するランキング部と
を備え、
前記翻訳モデルは、応答のキャラクタらしさの程度を示す指標を対応付けた質問と応答のペアを用いて、前記指標が示す程度に従って学習された
ことを特徴とする回答選択装置。 - 質問から応答を求めるための学習済みの翻訳モデル、応答から質問を求めるための学習済み逆翻訳モデルの少なくとも一方を生成するためのモデル学習装置であって、
質問と応答のペアである質問応答ペア、拡張質問応答ペア、質問から応答を求めるための翻訳モデルまたは応答から質問を求めるための逆翻訳モデルを記録した記録部と、
前記質問応答ペアから前記拡張質問応答ペアを生成する質問応答ペア拡張部と、
前記拡張質問応答ペアを用いて前記翻訳モデルと前記逆翻訳モデルの少なくとも一方の学習を行う翻訳モデル学習部と
を備え、
前記質問応答ペアは、前記質問応答ペアごとに応答のあらかじめ定めたキャラクタに対するキャラクタらしさの程度を示す指標が対応付けられており、
前記質問応答ペア拡張部は、よりキャラクタらしいことを示す前記指標が対応付けられている質問応答ペアほど、当該質問応答ペアの個数を多く増やすことで前記拡張質問応答ペアを生成する
ことを特徴とするモデル学習装置。 - 前記キャラクタらしさの程度を示す指標は、前記キャラクタ本人以外の人によって評価された第1指標、前記キャラクタ本人が回答した応答であることを示す第2指標、前記キャラクタ本人が前記キャラクタらしいと認定したことを示す第3指標を含む
ことを特徴とする請求項1~4のいずれかに記載の回答選択装置、または請求項5記載のモデル学習装置。 - 記録部、文書検索部、スコア算出部、ランキング部を備える回答選択装置を用いて、入力された質問である入力質問に対して、1つまたは複数の回答を出力する回答選択方法であって、
あらかじめ前記記録部に、質問と応答のペアである質問応答ペア、質問から応答を求めるための学習済みの翻訳モデルを記録しておき、
前記文書検索部が、前記入力質問を入力とし、あらかじめ定めた検索方式で、前記記録部に記録された質問応答ペアから質問応答ペアを検索し、検索結果質問応答ペアとして出力する文書検索ステップと、
前記スコア算出部が、前記入力質問および前記検索結果質問応答ペアの応答を入力とし、前記翻訳モデルを用いて前記入力質問から前記応答が得られる確率に基づく数値である翻訳尤度を求め、前記翻訳尤度に基づいて前記検索結果質問応答ペアごとの前記入力質問に対するスコアを算出するスコア算出ステップと、
前記ランキング部が、前記スコアがより適切であることを示す順番に、あらかじめ定めた数の前記検索結果質問応答ペアを選択し、選択された検索結果質問応答ペアの応答を、回答として出力するランキングステップと
を有し、
前記翻訳モデルは、応答のキャラクタらしさの程度を示す指標を対応付けた質問と応答のペアを用いて、前記指標が示す程度に従って学習された
ことを特徴とする回答選択方法。 - 記録部、文書検索部、スコア算出部、ランキング部を備える回答選択装置を用いて、入力された質問である入力質問に対して、1つまたは複数の回答を出力する回答選択方法であって、
あらかじめ前記記録部に、質問と応答のペアである質問応答ペア、質問から応答を求めるための学習済みの翻訳モデルを記録しておき、
前記文書検索部が、前記入力質問を入力とし、あらかじめ定めた検索方式で、前記記録部に記録された質問応答ペアから質問応答ペアを検索し、検索結果質問応答ペアとして出力する文書検索ステップと、
前記スコア算出部が、前記検索結果質問応答ペアごとに、前記翻訳モデルに基づいて前記入力質問に対する前記検索結果質問応答ペアの応答の妥当性を表すスコアを算出するスコア算出ステップと、
前記ランキング部が、前記スコアがより適切であることを示す順番に基づいて、前記検索結果質問応答ペアの応答を、回答として出力するランキングステップと
を有し、
前記翻訳モデルは、応答のキャラクタらしさの程度を示す指標を対応付けた質問と応答のペアを用いて、前記指標が示す程度に従って学習された
ことを特徴とする回答選択方法。 - 記録部、質問応答ペア拡張部、翻訳モデル学習部を備えるモデル学習装置を用いて、質問から応答を求めるための学習済みの翻訳モデルと応答から質問を求めるための学習済み逆翻訳モデルの少なくとも一方を生成するためのモデル学習方法であって、
あらかじめ前記記録部に、質問と応答のペアである質問応答ペア、質問から応答を求めるための翻訳モデルまたは応答から質問を求めるための逆翻訳モデルを記録しておき、
前記質問応答ペア拡張部が、前記質問応答ペアから拡張質問応答ペアを生成する質問応答ペア拡張ステップと、
前記翻訳モデル学習部が、前記拡張質問応答ペアを用いて前記翻訳モデルと前記逆翻訳モデルの少なくとも一方の学習を行う翻訳モデル学習ステップと
を有し、
前記質問応答ペアは、前記質問応答ペアごとに応答のあらかじめ定めたキャラクタに対するキャラクタらしさの程度を示す指標が対応付けられており、
前記質問応答ペア拡張ステップは、よりキャラクタらしいことを示す前記指標が対応付けられている質問応答ペアほど、当該質問応答ペアの個数を多く増やすことで前記拡張質問応答ペアを生成する
ことを特徴とするモデル学習方法。 - 請求項1~4のいずれかに記載の回答選択装置、請求項5または6記載のモデル学習装置のいずれかの装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018086370A JP7099031B2 (ja) | 2018-04-27 | 2018-04-27 | 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム |
PCT/JP2019/015437 WO2019208199A1 (ja) | 2018-04-27 | 2019-04-09 | 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム |
US17/050,347 US11941365B2 (en) | 2018-04-27 | 2019-04-09 | Response selecting apparatus, model learning apparatus, response selecting method, model learning method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018086370A JP7099031B2 (ja) | 2018-04-27 | 2018-04-27 | 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019192073A JP2019192073A (ja) | 2019-10-31 |
JP7099031B2 true JP7099031B2 (ja) | 2022-07-12 |
Family
ID=68293632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086370A Active JP7099031B2 (ja) | 2018-04-27 | 2018-04-27 | 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11941365B2 (ja) |
JP (1) | JP7099031B2 (ja) |
WO (1) | WO2019208199A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111694939B (zh) * | 2020-04-28 | 2023-09-19 | 平安科技(深圳)有限公司 | 智能调用机器人的方法、装置、设备及存储介质 |
JP7101357B2 (ja) * | 2020-08-14 | 2022-07-15 | 株式会社オルツ | アンケート調査のためのシステム、プログラム、および方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015109068A (ja) | 2013-12-05 | 2015-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回答候補間の関係を識別および表示する機構、方法、コンピュータ・プログラム、ならびに装置 |
US20170323011A1 (en) | 2014-11-12 | 2017-11-09 | International Business Machines Corporation | Answering Questions Via a Persona-Based Natural Language Processing (NLP) System |
WO2017191696A1 (ja) | 2016-05-06 | 2017-11-09 | ソニー株式会社 | 情報処理システム、および情報処理方法 |
JP2018055548A (ja) | 2016-09-30 | 2018-04-05 | 株式会社Nextremer | 対話装置、学習装置、対話方法、学習方法、およびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8738623B2 (en) * | 2010-05-21 | 2014-05-27 | Benjamin Henry Woodard | Global reverse lookup public opinion directory |
US8688667B1 (en) * | 2011-02-08 | 2014-04-01 | Google Inc. | Providing intent sensitive search results |
KR101341816B1 (ko) * | 2012-04-23 | 2013-12-16 | (주)이스트소프트 | 유사검색어 추출 시스템 및 방법 |
US9336269B1 (en) * | 2013-03-14 | 2016-05-10 | Google Inc. | Determining question and answer alternatives |
US11182433B1 (en) * | 2014-07-25 | 2021-11-23 | Searchable AI Corp | Neural network-based semantic information retrieval |
US20160335261A1 (en) * | 2015-05-11 | 2016-11-17 | Microsoft Technology Licensing, Llc | Ranking for efficient factual question answering |
US10360265B1 (en) * | 2016-08-29 | 2019-07-23 | A9.Com, Inc. | Using a voice communications device to answer unstructured questions |
US11055354B2 (en) * | 2017-11-03 | 2021-07-06 | Salesforce.Com, Inc. | Omni-platform question answering system |
US20230205795A1 (en) * | 2021-12-23 | 2023-06-29 | Capital One Services, Llc | Sequence prediction for data retrieval |
-
2018
- 2018-04-27 JP JP2018086370A patent/JP7099031B2/ja active Active
-
2019
- 2019-04-09 WO PCT/JP2019/015437 patent/WO2019208199A1/ja active Application Filing
- 2019-04-09 US US17/050,347 patent/US11941365B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015109068A (ja) | 2013-12-05 | 2015-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回答候補間の関係を識別および表示する機構、方法、コンピュータ・プログラム、ならびに装置 |
US20170323011A1 (en) | 2014-11-12 | 2017-11-09 | International Business Machines Corporation | Answering Questions Via a Persona-Based Natural Language Processing (NLP) System |
WO2017191696A1 (ja) | 2016-05-06 | 2017-11-09 | ソニー株式会社 | 情報処理システム、および情報処理方法 |
JP2018055548A (ja) | 2016-09-30 | 2018-04-05 | 株式会社Nextremer | 対話装置、学習装置、対話方法、学習方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210089723A1 (en) | 2021-03-25 |
US11941365B2 (en) | 2024-03-26 |
JP2019192073A (ja) | 2019-10-31 |
WO2019208199A1 (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kiseleva et al. | Predicting user satisfaction with intelligent assistants | |
Maroengsit et al. | A survey on evaluation methods for chatbots | |
Kiseleva et al. | Understanding user satisfaction with intelligent assistants | |
KR102137809B1 (ko) | 자동 답변 제공 방법 | |
US12001465B2 (en) | Response selecting apparatus, response selecting method, and response selecting program | |
Qaffas | Improvement of Chatbots semantics using wit. ai and word sequence kernel: Education Chatbot as a case study | |
Fu et al. | Facilitating exploratory search by model-based navigational cues | |
Liu et al. | Predicting information searchers' topic knowledge at different search stages | |
Dethlefs et al. | Cluster-based prediction of user ratings for stylistic surface realisation | |
Lamontagne et al. | Textual reuse for email response | |
Charras et al. | Comparing system-response retrieval models for open-domain and casual conversational agent | |
JP7099031B2 (ja) | 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム | |
Verberne et al. | Creating a reference data set for the summarization of discussion forum threads | |
Arguello et al. | Using query performance predictors to reduce spoken queries | |
Wang et al. | An in-depth investigation of user response simulation for conversational search | |
Munton | Answering machines: How to (epistemically) evaluate a search engine | |
KR20200124836A (ko) | 콘텐츠 분석 기반의 인공지능 책쓰기 가이딩 시스템 | |
Arguello et al. | Using query performance predictors to improve spoken queries | |
JP7256357B2 (ja) | 情報処理装置、制御方法、プログラム | |
JP6426074B2 (ja) | 関連文書検索装置、モデル作成装置、これらの方法及びプログラム | |
US11880664B2 (en) | Identifying and transforming text difficult to understand by user | |
Symonds et al. | Automatic query expansion: A structural linguistic perspective | |
Secker et al. | AISIID: An artificial immune system for interesting information discovery on the web | |
Prates et al. | Using educational resources to improve the efficiency of Web searches for additional learning material | |
Inaba et al. | Statistical response method and learning data acquisition using gamified crowdsourcing for a non-task-oriented dialogue agent |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7099031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |