JP6649536B1 - 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム - Google Patents
対話処理装置、学習装置、対話処理方法、学習方法及びプログラム Download PDFInfo
- Publication number
- JP6649536B1 JP6649536B1 JP2019566974A JP2019566974A JP6649536B1 JP 6649536 B1 JP6649536 B1 JP 6649536B1 JP 2019566974 A JP2019566974 A JP 2019566974A JP 2019566974 A JP2019566974 A JP 2019566974A JP 6649536 B1 JP6649536 B1 JP 6649536B1
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- history
- document
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Abstract
Description
対話型の機械読解では、ニューラルネットワークにより実現されるモデルを用いて現在の質問に対する回答を生成する。このため、モデルのパラメータ(以降、「モデルパラメータ」とも表す。)を学習する「学習時」と、学習済みのモデルパラメータを用いて現在の質問に対する回答を生成する「推論時」とが存在する。なお、モデルパラメータは、例えば、補助記憶装置等の記憶装置に記憶される。
推論時における対話処理装置10の全体構成について、図1を参照しながら説明する。図1は、本発明の実施の形態における対話処理装置10の全体構成(推論時)の一例を示す図である。
学習時における対話処理装置10の全体構成について、図2を参照しながら説明する。図2は、本発明の実施の形態における対話処理装置10の全体構成(学習時)の一例を示す図である。
以降では、現在の質問Qiと文書Pと質問履歴{Qi−1,・・・,Qi−k}と回答履歴{Ai−1,・・・,Ai−k}とを入力として、学習済みのモデルパラメータを用いて抽出形式又は生成形式により回答Aiを生成する処理(対話処理)について、図3を参照しながら説明する。図3は、本発明の実施の形態における対話処理の一例を示すフローチャートである。
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. Bert:Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
質問符号化部110を実現するニューラルネットワークのモデルはBERT以外の他の符号化モデルでもよいが、BERTのような「Transformerモデルを用いた事前学習を行うことによって、言語理解に関する知識を持つモデル」を用いることで、より高い精度を実現することが可能となる。なお、Transformerモデルについては、以下の参考文献2を参照されたい。
A. Vaswani, N. Shazeer, N. Parmar, and J. Uszkoreit. Attention is all you need, arXiv preprint arXiv:1706.03762, 2017.
質問符号化部110を実現するニューラルネットワークのモデルとして上記の参考文献1に記載されているBERTを採用する場合、質問符号化部110は、文書Pと現在の質問Qiとをセパレータトークン[SEP]で結合した上で、モデルに入力する。これにより、現在の質問Qiで条件付けされた文書Pの特徴量ui t(t=1,・・・,T)が得られる。
抽出形式により回答Aiを生成する場合、回答生成部140を実現するニューラルネットワークのモデルとしては、例えば、以下の参考文献3に記載されているBiDAF(BiDirectional Attention Flow)と呼ばれるモデルを採用することができる。この場合、回答生成部140をBiDAFのModeling LayerとOutput Layerとで実現する。具体的には、回答生成部140は、参考文献3に記載されているBiDAFのModeling Layerに特徴量ot(t=1,・・・,T)を入力して、Output Layerの出力として文書Pの各単語が回答Aiの開始位置である確率と終了位置である確率とを出力する。そして、回答生成部140は、これらの確率に基づいて動的計画法によって回答Aiとなる文書Pの範囲を推定した上で、当該範囲内の単語を文書Pから抜き出すことで回答Aiを生成する。
Min Joon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. Bidirectional attention flow for machine comprehension. In ICLR 2017.
なお、抽出形式により回答Aiを生成する場合に、回答生成部140を実現するニューラルネットワークのモデルはBiDAFに限られず、特徴量ot(t=1,・・・,T)を入力として、抽出形式により回答Aiを生成するモデルであれば任意のモデルを採用することが可能である。
生成形式により回答Aiを生成する場合、回答生成部140を実現するニューラルネットワークのモデルとしては、例えば、以下の参考文献4に記載されているSequence-to-sequence attentional modelと呼ばれるモデルやPointer-generatorと呼ばれるモデルを採用することができる。この場合、回答生成部140を、Sequence-to-sequence attentional modelの符号化器(Encoder)と復号化器(Decoder)、又は、Pointer-generatorの符号化器と復号化器で実現する。具体的には、回答生成部140は、参考文献4に記載されているSequence-to-sequence attentional model又はPointer-generatorの符号化器に特徴量ot(t=1,・・・,T)を入力して、文書Pの各単語を重視する確率(参考文献4に記載されているAttention Distribution)を算出する。そして、回答生成部140は、これらの確率を復号化器(参考文献4に記載されているSequence-to-sequence attentional model又はPointer-generatorの復号化器)に入力して、回答Aiを生成する。なお、このとき、回答生成部140は、文書Pの各単語を重視する確率と、所定の語彙集合中の単語を重視する確率(参考文献4に記載されているVocabulary Distribution)とに基づいて、文書P中の単語をコピー又は所定の語彙集合中の単語を生成することで回答Aiを生成する。
Abigail See, Peter J. Liu, and Christopher D. Manning. Get to the point: Summarization with pointer-generator networks. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, July 2017.
なお、生成形式により回答Aiを生成する場合に、回答生成部140を実現するニューラルネットワークのモデルはSequence-to-sequence attentional modelやPointer-generatorに限られず、特徴量ot(t=1,・・・,T)を入力として、生成形式により回答Aiを生成するモデルであれば任意のモデルを採用することが可能である。
以降では、対話処理部100に含まれる各機能部(質問符号化部110、文脈符号化部120、文脈結合部130及び回答生成部140)を実現するニューラルネットワークのモデルパラメータを学習する処理(学習処理)について、図4を参照しながら説明する。図4は、本発明の実施の形態における学習処理の一例を示すフローチャートである。
Eunsol Choi, He He, Mohit Iyyer, Mark Yatskar, Wentau Yih, Yejin Choi, Percy Liang, and Luke Zettlemoyer. 2018. QuAC : Question Answering in Context. In EMNLP. ArXiv: 1808.07036.
各学習用データには、現在の質問Qiと、文書Pと、質問履歴{Qi−1,・・・,Qi−k}と、回答履歴{Ai−1,・・・,Ai−k}と、正解回答^Aiとが含まれる。なお、回答生成部140を実現するニューラルネットワークのモデルが抽出形式により回答Aiを生成するモデルである場合、正解回答^Aiは、文書P内で正解の回答となる範囲の開始位置と終了位置との組で表現される。一方で、生成形式により回答Aiを生成するモデルである場合、正解回答^Aiは、正解の回答を表す1以上の単語で表現される。
次に、本実施形態に係る対話処理装置10を用いて、従来技術と比較を行った実験結果について説明する。データセットとしては、以下の3種類のQuACの抽出型(抽出形式の機械読解に用いられるデータセット)を用いた。
・開発セット:7,354 QA
・テストセット:7,353 QA
なお、学習セットはモデルパラメータの学習にのみ用いた。
・スライド幅:128 tokens
・最大のクエリ(質問)の長さ:64 tokens
・最大の回答の長さ:30 tokens
・Fine-tuning:2 epoch
なお、最大系列長とはBERTに入力可能な単語長である。スライド幅は最大系列長を超える長さの単語列をBERTに入力する場合に用いられ、スライド幅ずつ単語列をスライドさせながらBERTに入力される。本実験では最大系列長が384 tokens、スライド幅が128 tokensであるため、384 tokensを超える単語列をBERTに入力する場合にはスライド前後で一部の単語列をオーバラップさせながらBERTに入力される。
最後に、本実施形態に係る対話処理装置10のハードウェア構成について、図5を参照しながら説明する。図5は、本発明の実施の形態における対話処理装置10のハードウェア構成の一例を示す図である。
100 対話処理部
110 質問符号化部
120 文脈符号化部
130 文脈結合部
140 回答生成部
200 更新部
Claims (7)
- 対話における現在の質問を表す単語列である質問Qiと、前記質問Qiに対する回答Aiの生成に用いられる文書Pと、過去のk個の質問をそれぞれ表す単語列である質問履歴{Qi−1,・・・,Qi−k}と、前記k個の質問に対する回答をそれぞれ表す単語列である回答履歴{Ai−1,・・・,Ai−k}とを入力として、予め学習済みのモデルパラメータを用いて、抽出形式又は生成形式の機械読解によって前記回答Aiを生成する生成手段、
を有することを特徴とする対話処理装置。 - 抽出形式又は生成形式の機械読解による前記回答Aiの生成に用いられる特徴量であって、前記質問Qiと質問履歴{Qi−1,・・・,Qi−k}と回答履歴{Ai−1,・・・,Ai−k}とを反映した特徴量の数をTとして、
前記生成手段には、
前記質問履歴{Qi−1,・・・,Qi−k}に関する前記文書Pの特徴量{ui−1 t,・・・,ui−k t}(t=1,・・・,T)と、前記回答履歴{Ai−1,・・・,Ai−k}に関する前記文書Pの特徴量{vi−1 t,・・・,vi−k t}(t=1,・・・,T)とを算出する第1の算出手段が含まれる、ことを特徴とする請求項1に記載の対話処理装置。 - 前記生成手段には、
前記質問Qiに関する前記文書Pの特徴量ui t(t=1,・・・,T)を算出する第2の算出手段と、
前記特徴量ui t(t=1,・・・,T)と前記特徴量{ui−1 t,・・・,ui−k t}(t=1,・・・,T)と前記特徴量{vi−1 t,・・・,vi−k t}(t=1,・・・,T)とをtに関してそれぞれ結合することで、前記質問Qiと質問履歴{Qi−1,・・・,Qi−k}と回答履歴{Ai−1,・・・,Ai−k}とを反映した特徴量として特徴量ot(t=1,・・・,T)を算出する結合手段と、
特徴量ot(t=1,・・・,T)を用いて、前記抽出形式又は生成形式の機械読解によって前記回答Aiを生成する回答生成手段と、が含まれることを特徴とする請求項2に記載の対話処理装置。 - 対話における現在の質問を表す単語列である質問Qiと、前記質問Qiに対する回答Aiの生成に用いられる文書Pと、過去のk個の質問をそれぞれ表す単語列である質問履歴{Qi−1,・・・,Qi−k}と、前記k個の質問に対する回答をそれぞれ表す単語列である回答履歴{Ai−1,・・・,Ai−k}とを入力として、モデルパラメータを用いて、抽出形式又は生成形式の機械読解によって前記回答Aiを生成する生成手段と、
前記回答Aiと、前記質問Qiに対する正解の回答とを用いて、教師あり学習により前記モデルパラメータを更新する更新手段と、
を有することを特徴とする学習装置。 - 対話における現在の質問を表す単語列である質問Qiと、前記質問Qiに対する回答Aiの生成に用いられる文書Pと、過去のk個の質問をそれぞれ表す単語列である質問履歴{Qi−1,・・・,Qi−k}と、前記k個の質問に対する回答をそれぞれ表す単語列である回答履歴{Ai−1,・・・,Ai−k}とを入力として、予め学習済みのモデルパラメータを用いて、抽出形式又は生成形式の機械読解によって前記回答Aiを生成する生成手順、
をコンピュータが実行することを特徴とする対話処理方法。 - 対話における現在の質問を表す単語列である質問Qiと、前記質問Qiに対する回答Aiの生成に用いられる文書Pと、過去のk個の質問をそれぞれ表す単語列である質問履歴{Qi−1,・・・,Qi−k}と、前記k個の質問に対する回答をそれぞれ表す単語列である回答履歴{Ai−1,・・・,Ai−k}とを入力として、モデルパラメータを用いて、抽出形式又は生成形式の機械読解によって前記回答Aiを生成する生成手順と、
前記回答Aiと、前記質問Qiに対する正解の回答とを用いて、教師あり学習により前記モデルパラメータを更新する更新手順と、
をコンピュータが実行することを特徴とする学習方法。 - コンピュータを、請求項1乃至3の何れか一項に記載の対話処理装置における各手段、又は、請求項4に記載の学習装置における各手段、として機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/021142 WO2020240709A1 (ja) | 2019-05-28 | 2019-05-28 | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6649536B1 true JP6649536B1 (ja) | 2020-02-19 |
JPWO2020240709A1 JPWO2020240709A1 (ja) | 2021-09-13 |
Family
ID=69568248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019566974A Active JP6649536B1 (ja) | 2019-05-28 | 2019-05-28 | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12026472B2 (ja) |
JP (1) | JP6649536B1 (ja) |
WO (1) | WO2020240709A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113282722A (zh) * | 2021-05-07 | 2021-08-20 | 中国科学院深圳先进技术研究院 | 机器阅读理解方法、电子设备及存储介质 |
WO2021171575A1 (ja) * | 2020-02-28 | 2021-09-02 | 日本電信電話株式会社 | 学習装置、テキスト生成装置、学習方法、テキスト生成方法及びプログラム |
WO2022003762A1 (ja) * | 2020-06-29 | 2022-01-06 | 日本電信電話株式会社 | 質問応答装置、質問応答方法及び質問応答プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111324717B (zh) * | 2020-02-24 | 2023-06-27 | 武汉大学 | 一种面向开放域问答的基于机器阅读理解的答案获取方法及*** |
EP4328762A1 (en) * | 2021-04-23 | 2024-02-28 | Fujitsu Limited | Information processing program, information processing method, and information processing device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132812A (ja) * | 2000-10-19 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答方法、質問応答システム及び質問応答プログラムを記録した記録媒体 |
JP2018206307A (ja) * | 2017-06-09 | 2018-12-27 | エヌ・ティ・ティ レゾナント株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6813591B2 (ja) * | 2016-11-25 | 2021-01-13 | 日本電信電話株式会社 | モデル作成装置、テキスト検索装置、モデル作成方法、テキスト検索方法、及びプログラム |
JP7087938B2 (ja) * | 2018-06-07 | 2022-06-21 | 日本電信電話株式会社 | 質問生成装置、質問生成方法及びプログラム |
-
2019
- 2019-05-28 WO PCT/JP2019/021142 patent/WO2020240709A1/ja active Application Filing
- 2019-05-28 US US17/613,417 patent/US12026472B2/en active Active
- 2019-05-28 JP JP2019566974A patent/JP6649536B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132812A (ja) * | 2000-10-19 | 2002-05-10 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答方法、質問応答システム及び質問応答プログラムを記録した記録媒体 |
JP2018206307A (ja) * | 2017-06-09 | 2018-12-27 | エヌ・ティ・ティ レゾナント株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021171575A1 (ja) * | 2020-02-28 | 2021-09-02 | 日本電信電話株式会社 | 学習装置、テキスト生成装置、学習方法、テキスト生成方法及びプログラム |
WO2021171732A1 (ja) * | 2020-02-28 | 2021-09-02 | 日本電信電話株式会社 | 学習装置、テキスト生成装置、学習方法、テキスト生成方法及びプログラム |
JPWO2021171732A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
JP7409476B2 (ja) | 2020-02-28 | 2024-01-09 | 日本電信電話株式会社 | 学習装置、テキスト生成装置、学習方法、テキスト生成方法及びプログラム |
WO2022003762A1 (ja) * | 2020-06-29 | 2022-01-06 | 日本電信電話株式会社 | 質問応答装置、質問応答方法及び質問応答プログラム |
JPWO2022003762A1 (ja) * | 2020-06-29 | 2022-01-06 | ||
JP7468654B2 (ja) | 2020-06-29 | 2024-04-16 | 日本電信電話株式会社 | 質問応答装置、質問応答方法及び質問応答プログラム |
CN113282722A (zh) * | 2021-05-07 | 2021-08-20 | 中国科学院深圳先进技术研究院 | 机器阅读理解方法、电子设备及存储介质 |
CN113282722B (zh) * | 2021-05-07 | 2024-03-29 | 中国科学院深圳先进技术研究院 | 机器阅读理解方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020240709A1 (ja) | 2021-09-13 |
US12026472B2 (en) | 2024-07-02 |
WO2020240709A1 (ja) | 2020-12-03 |
US20220229997A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6649536B1 (ja) | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム | |
US11972365B2 (en) | Question responding apparatus, question responding method and program | |
Chen et al. | Extending context window of large language models via positional interpolation | |
US11062179B2 (en) | Method and device for generative adversarial network training | |
US20210390271A1 (en) | Neural machine translation systems | |
CN111368996B (zh) | 可传递自然语言表示的重新训练投影网络 | |
CN108052512B (zh) | 一种基于深度注意力机制的图像描述生成方法 | |
CN110472242B (zh) | 一种文本处理方法、装置和计算机可读存储介质 | |
US20200134463A1 (en) | Latent Space and Text-Based Generative Adversarial Networks (LATEXT-GANs) for Text Generation | |
JP7315065B2 (ja) | 質問生成装置、質問生成方法及びプログラム | |
JP7342971B2 (ja) | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム | |
CN110807335B (zh) | 基于机器学习的翻译方法、装置、设备及存储介质 | |
CN111401084A (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
JP7070653B2 (ja) | 学習装置、音声認識順位推定装置、それらの方法、およびプログラム | |
JP7417679B2 (ja) | 情報抽出方法、装置、電子機器及び記憶媒体 | |
CN111401037B (zh) | 自然语言的生成方法、装置、电子设备及存储介质 | |
JP2021033995A (ja) | テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体 | |
RU2712101C2 (ru) | Предсказание вероятности появления строки с использованием последовательности векторов | |
CN111814489A (zh) | 口语语义理解方法及*** | |
CN114528387A (zh) | 基于对话流自举的深度学习对话策略模型构建方法和*** | |
WO2023241415A1 (zh) | 用于生成文本的配乐的方法、装置、电子设备和介质 | |
CN112364659A (zh) | 一种无监督的语义表示自动识别方法及装置 | |
Wang et al. | Augmentation with projection: Towards an effective and efficient data augmentation paradigm for distillation | |
CN115879480A (zh) | 语义约束机器翻译方法、装置、电子设备及存储介质 | |
KR102674639B1 (ko) | 신경망 모델 기반 암호문을 복호화하기 위한 전자 장치 및 전자 장치의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191204 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191204 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6649536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |