JP7103264B2 - 生成装置、学習装置、生成方法及びプログラム - Google Patents
生成装置、学習装置、生成方法及びプログラム Download PDFInfo
- Publication number
- JP7103264B2 JP7103264B2 JP2019028504A JP2019028504A JP7103264B2 JP 7103264 B2 JP7103264 B2 JP 7103264B2 JP 2019028504 A JP2019028504 A JP 2019028504A JP 2019028504 A JP2019028504 A JP 2019028504A JP 7103264 B2 JP7103264 B2 JP 7103264B2
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- generation
- range
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
本発明は、生成装置、学習装置、生成方法及びプログラムに関する。
質問生成は、自然言語で記述された文章(パッセージ)が与えられた場合に、そのパッセージに関する質問(質問文)を自動生成するタスクである。
近年では、パッセージ中から切り出した一部分を回答として質問生成モデルに与えることで、回答部分のみに着目した質問生成を行う技術が提案されている(例えば非特許文献1参照)。このような技術では、例えば「NTTは2018年11月29日に東京都武蔵野市でR&Dフォーラム2018を開催しました。」というパッセージを用いて、このパッセージから切り出した「NTT」を回答として質問生成モデルに与えた場合、「R&Dフォーラムを開催した会社は?」等といった会社名を問う質問が生成される。同様に、例えば「2018年11月29日」を回答として質問生成モデルに与えた場合、「NTTがR&Dフォーラム2018を開催したのはいつ?」等といった時期を問う質問が生成される。
Xinya Du, Claire Cardie, "Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia", ACL2018
しかしながら、従来の質問生成では、パッセージ中で回答として質問生成モデルに与えられた範囲(すなわち、パッセージ中から切り出された回答部分の範囲)の単語等をそのまま使用した質問が生成される場合があった。このため、例えば、質問生成タスクの応用先であるチャットボットやFAQ検索等では利用されにくい、YES/NOで回答可能な質問が生成されてしまう場合があった。
本発明は、上記の点に鑑みてなされたもので、回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することを目的とする。
上記目的を達成するため、本発明の実施の形態における生成装置は、文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、前記生成手段は、前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする。
回答に関する質問を生成する際に、パッセージ中の回答範囲に含まれる単語の使用を防止することができる。
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。以降の本発明の実施の形態では、パッセージを入力として、パッセージ中で回答となる可能性のある範囲と、その回答に関する質問とを同時に生成する質問生成モデル(以降、単に「生成モデル」とも表す。)を用いた生成装置10について説明する。本発明の実施の形態では、質問回答に用いられる手法である機械読解のモデルとデータセットとを活用することで、パッセージ中で回答となる可能性がある範囲(回答範囲)を複数抽出した上で、これらの回答範囲が回答となるような質問を生成する。これにより、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲の指定を不要とすることができる。なお、これに対して、従来技術では、回答に関する質問を生成する際に、パッセージ中で回答部分となる範囲を指定する必要がある。
なお、本発明の実施の形態では、生成モデルは、ニューラルネットワークを用いた機械学習モデルであるものとする。ただし、生成モデルには、複数のニューラルネットワークが用いられてもよい。また、生成モデルの一部又は全部に、ニューラルネットワーク以外の機械学習モデルが用いられていてもよい。
ここで、従来の質問生成では、パッセージの内容に基づく質問を生成するため、質問を構成する単語等をパッセージ中からそのまま使用(コピー)している。このため、例えば、与えられた回答に対応する範囲に含まれる単語等をパッセージ中からそのまま使用した質問が生成される場合がある。例えば、回答範囲「2018月11月29日」に対して、「NTTがR&Dフォーラム2018を開催したのは2018年11月29日?」等というYES/NOで回答可能な質問が生成される場合がある。このようなYES/NOで回答可能な質問は、例えば、質問生成タスクの応用先であるチャットボットやFAQ検索等では利用されにくい質問であるため、YES/NOで回答可能な質問は生成されないようにすることが好ましい。
そこで、本発明の実施の形態では、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲からのコピーを抑止する仕組みを生成モデルに導入する。より具体的には、パッセージ中の単語等をコピーして質問を生成する際に、回答範囲から単語等がコピーされる確率が低くなるように調整(確率が0となるように調整することも含む)する。これにより、回答範囲以外の部分からコピーされた単語等で質問が生成され、YES/NOで回答可能な質問の生成を防止することができる。
<生成装置10の機能構成>
本発明の実施の形態では、学習済みの生成モデルを用いて回答及び質問を生成する段階(回答及び質問生成時)と、この生成モデルを学習する段階(学習時)とが存在する。
本発明の実施の形態では、学習済みの生成モデルを用いて回答及び質問を生成する段階(回答及び質問生成時)と、この生成モデルを学習する段階(学習時)とが存在する。
≪回答及び質問生成時≫
まず、回答及び質問生成時における生成装置10の機能構成について、図1を参照しながら説明する。図1は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の一例を示す図である。
まず、回答及び質問生成時における生成装置10の機能構成について、図1を参照しながら説明する。図1は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の一例を示す図である。
図1に示すように、回答及び質問生成時における生成装置10は、機能部として、分割部110と、テキスト処理部120と、素性抽出部130と、生成処理部140と、回答・質問出力部150とを有する。本発明の実施の形態では、回答及び質問生成時には、自然文で記述された文書(例えば、マニュアル等)が生成装置10に入力されるものとする。なお、この文書は、例えば、生成装置10又は他の装置に入力された音声を音声認識した結果として得られた文書であってもよい。
分割部110は、入力された文書を1以上の文章(パッセージ)に分割する。ここで、入力された文書が長文である場合等には文書全体を生成モデルで処理することは難しい。そこで、分割部110は、入力された文書を、生成モデルで処理可能な長さのパッセージ(例えば、数百~数千語程度の長さのパッセージ)に分割する。なお、分割部110によって分割された文書は、「部分文書」等と称されてもよい。
入力された文書を1以上のパッセージに分割する方法としては、任意の方法を用いることができる。例えば、文書の各段落をそれぞれパッセージに分割してもよいし、文書がHTML(HyperText Markup Language)形式等の構造化部署である場合にはタグ等のメタ情報を用いてパッセージに分割してもよい。また、例えば、1つのパッセージ中に含まれる文字数等を規定した分割ルールをユーザが独自に作成した上で、これらの分割ルールを用いてパッセージに分割してもよい。
以降のテキスト処理部120、素性抽出部130、生成処理部140及び回答・質問出力部150は、パッセージ単位で処理を実行する。したがって、分割部110によって文書が複数のパッセージに分割された場合、素性抽出部130、生成処理部140及び回答・質問出力部150は、パッセージ毎に繰り返し処理を実行する。
テキスト処理部120は、生成モデルに入力可能な形式にパッセージを変換する。後述する分散表現変換層141では単語単位で分散表現に変換するため、テキスト処理部120は、パッセージを単語単位に分割した形式(例えば、単語単位に半角スペースで区切った形式等)で表現される単語系列に変換する。ここで、パッセージを単語系列に変換する際の変換形式としては、後述する分散表現変換層141で分散表現に変換可能な形式であれば任意の形式を用いることができる。例えば、パッセージが英語である場合には、半角スペース区切りの単語をそのまま用いて単語系列にすることもできるし、単語をサブワードに分割した形式を単語系列とすることもできる。また、例えば、パッセージが日本語である場合には、パッセージを形態素解析した上で、その結果得られる形態素を単語として、これら単語を半角スペースで区切って単語系列としてもよい。なお、形態素解析器については、任意の解析器を用いることができる。
素性抽出部130は、回答及び質問の生成に有効な情報を素性情報としてパッセージから抽出する。この素性情報についても、後述する分散表現変換層141で分散表現に変換可能であれば任意の素性情報を用いることができる。例えば、上記の非特許文献1と同様に単語や文の参照関係を素性情報としてもよいし、パッセージから抽出した固有表現を素性情報としてもよい。なお、素性情報は、単に「素性」と称されたり、「特徴」又は「特徴量」等と称されたりしてもよい。また、素性情報をパッセージから抽出する場合に限られず、例えば、通信ネットワークを介して接続される他の装置等の外部から素性情報が取得されてもよい。
固有表現とは、パッセージ中の固有の表現(例えば、固有名詞等)を抽出した上で、カテゴリラベルを付与したものである。例えば、固有名詞「NTT」であればラベル「会社」を付与したものが固有表現となり、年月日「2018年11月29日」であればラベル「日時」を付与したものが固有表現となる。これらの固有表現は、生成モデルにより生成される質問のタイプを特定するために有用な情報となる。例えば、回答範囲の単語等に対してラベル「日時」が付与されていれば、「~はいつ?」等といった日時や時期を問うタイプの質問を生成すればよいと特定することが可能となる。また、例えば、回答範囲の単語等に対してラベル「会社」が付与されていれば、「~した会社は?」等といった会社名を問うタイプの質問を生成すればよいと特定することが可能となる。なお、質問のタイプとしては、これら以外にも、カテゴリラベルに応じて様々なタイプがある。
生成処理部140は、ニューラルネットワークを用いた生成モデルによって実現される。生成処理部140は、学習済み生成モデルのパラメータを用いて、パッセージ中で回答となる可能性のある範囲(回答範囲)を複数抽出し、これらの回答範囲が回答となるような質問を生成する。ここで、生成処理部140(つまり、ニューラルネットワークを用いた生成モデル)には、分散表現変換層141と、情報エンコード層142と、回答抽出層143と、質問生成層144とが含まれる。なお、これら各層は、ニューラルネットワークを用いた生成モデルを機能的に分割した場合に各機能をそれぞれ実現する層(レイヤー)のことであり、「層」の代わりに「部」と称されてもよい。
分散表現変換層141は、テキスト処理部120により変換された単語系列と、素性抽出部130により抽出された素性情報とを、生成モデルで扱うための分散表現に変換する。
ここで、分散表現変換層141は、まず、単語系列を構成する各単語と、各素性情報とをone―hotベクトルに変換する。例えば、生成モデルで使用する全語彙数をVとして、テキスト処理部120は、各単語を、当該単語に対応する要素のみを1、それ以外の要素を0とするV次元のベクトルにそれぞれ変換する。同様に、例えば、生成モデルで使用する素性情報の種類数をFとして、テキスト処理部120は、各素性情報を、当該素性情報に対応する要素のみを1、それ以外の要素を0とするF次元のベクトルにそれぞれ変換する。
次に、分散表現変換層141は、変換行列Mw∈RV×dを用いて、各単語のone―hotベクトルを、d次元の実数値ベクトル(以降では、この実数値ベクトルを「単語ベクトル」とも表す。)に変換する。なお、Rは実数全体の集合を表す。
同様に、分散表現変換層141は、変換行列Mf∈RF×d´を用いて、各素性情報のone―hotベクトルを、d´次元の実数値ベクトル(以降では、この実数値ベクトルを「素性ベクトル」とも表す。)に変換する。
なお、上記の変換行列Mw及びMfは、学習対象のパラメータとして生成モデルの学習時に学習されてもよいし、学習済みのWord2Vec等の既存の分散表現モデルが用いられてもよい。
情報エンコード層142は、分散表現変換層141で得られた単語ベクトルの集合を用いて、これらの単語ベクトルを、単語間の相互関係を考慮したベクトル系列H∈Rd×Tにエンコードする。ここで、Tは、単語ベクトルの系列長(すなわち、単語ベクトル集合の要素数)を表す。
なお、単語ベクトル集合のエンコード手法は、上記のベクトル系列Hが得られる手法であれば任意の手法を用いることができる。例えば、リカレントニューラルネットワークを用いてベクトル系列Hにエンコードしてもよいし、セルフアテンション(自己注意機構:Self-Attention)を用いた手法によってベクトル系列Hにエンコードしてもよい。
ここで、情報エンコード層142は、単語ベクトルの集合をエンコードすると同時に、分散表現変換層141で得られた素性ベクトルの集合も組み込んだエンコードをすることもできる。なお、素性ベクトル集合も組み込んだエンコード手法は、任意の手法を用いることができる。例えば、素性ベクトルの系列長(すなわち、素性ベクトル集合の要素数)が単語ベクトルの系列長Tと一致する場合、単語ベクトルと素性ベクトルとをそれぞれ結合させたベクトル(d+d´次元のベクトル)を情報エンコード層142の入力とすることで、素性情報も考慮したベクトル系列H∈R(d+d´)×Tを得てもよいし、単語ベクトルの集合と素性ベクトルの集合とをそれぞれ同一又は異なるエンコード層でエンコードしてベクトル系列H1及びH2を得た後、ベクトル系列H1を構成する各ベクトルとベクトル系列H2を構成する各ベクトルとをそれぞれ結合することで、素性情報も考慮したベクトル系列Hを得てもよい。又は、例えば、全結合層等のニューラルネットワークの層を利用して、素性情報も考慮したベクトル系列Hを得てもよい。
なお、情報エンコード層142は、素性ベクトル集合を組み込んだエンコードしてもよいし、素性ベクトル集合を組み込まないエンコードをしてもよい。情報エンコード層142で素性ベクトル集合を組み込まないエンコードをする場合は、生成装置10は、素性抽出部130を有していなくてもよい(この場合、分散表現変換層141には素性情報が入力されないため、素性ベクトルは作成されない。)。
なお、以降では、情報エンコード層142で得られたベクトル系列Hを、H∈Ru×Tとする。ここで、uは、素性ベクトル集合を組み込んだエンコードを行っていない場合はu=dであり、素性ベクトル集合も組み込んだエンコードを行った場合はu=d+d´である。
回答抽出層143は、情報エンコード層142で得られたベクトル系列H∈Ru×Tを用いて、パッセージ中から回答となる記述の始点と終点とを抽出する。始点と終点とが抽出されることで、この始点から終点までの範囲が回答範囲となる。
始点に関しては、ベクトル系列Hを重みW0∈R1×uにより線形変換して、始点ベクトルOstart∈RTを作成する。そして、始点ベクトルOstartに対して系列長Tでsoftmax関数を適用して確率分布Pstartに変換した上で、始点ベクトルOstartの各要素のうち、最も確率が高いs番目(0≦s<T)の要素を始点とする。
一方で、終点に関しては、まず、始点ベクトルOstartとベクトル系列Hとをリカレントニューラルネットワークに入力して、新しいモデリングベクトルM´∈Ru×Tを作成する。次に、このモデリングベクトルM´を重みW0により線形変換して、終点ベクトルOend∈RTを作成する。そして、終点ベクトルOendに対して系列長Tでsoftmax関数を適用して確率分布Pendに変換した上で、終点ベクトルOendの各要素のうち、最も確率が高いe番目(0≦e<T)の要素を終点とする。これにより、パッセージ中のs番目の単語からe番目の単語までの区間が回答範囲となる。
ここで、N個の回答範囲を得るには、上記のPstart及びPendを用いて、以下の(1-1)及び(1-2)によりN個の始点及び終点を抽出すればよい。なお、Nはユーザ等により設定されるハイパーパラメータである。
(1-1) 系列長をT、始点をi、終点をjとして、0≦i<T、かつ、i≦j<Tとなる任意の(i,j)に対して、P(i,j)=Pstart(i)×Pend(j)を計算する。
(1-2) P(i,j)の上位N個の(i,j)を抽出する。
これにより、N個の回答範囲が得られる。これら各回答範囲は質問生成層144に入力される。なお、回答抽出層143は、N個の回答範囲を出力してもよいし、N個の回答範囲にそれぞれ対応する文(つまり、パッセージ中で回答範囲に含まれる単語等で構成される文(回答文))を回答として出力してもよい。
ここで、本発明の実施の形態では、N個の回答範囲を得る際に、各回答範囲の少なくとも一部が重複しないようにする。例えば、1番目の回答範囲が(i1,j1)であり、2番目の回答範囲が(i2,j2)である場合、2番目の回答範囲は、「i2<i1かつj2<i1」又は「i2>j1かつj2>j1」のいずれかの条件を満たす必要がある。他の回答範囲と少なくとも一部が重複する回答範囲は抽出されない。
質問生成層144は、回答範囲と、ベクトル系列Hとを入力として、質問を構成する単語系列を生成する。単語系列の生成には、例えば以下の参考文献1に記載されているエンコーダ・デコーダモデルで用いられるリカレントニューラルネットワークをベースとしたものを使用する。
[参考文献1]
Ilya Sutskever, Oriol Vinyals, Quoc V. Le, "Sequence to Sequence Learning with Neural Networks", NIPS2014
Ilya Sutskever, Oriol Vinyals, Quoc V. Le, "Sequence to Sequence Learning with Neural Networks", NIPS2014
ここで、単語の生成には、リカレントニューラルネットワークが出力する単語の生成確率pgと、パッセージ中の単語をコピーして使用する確率pcの重み付き和で決定する。すなわち、単語の生成確率pは、以下の式(1)で表される。
p=λpg+(1-λ)pc ・・・(1)
ここで、λは生成モデルのパラメータである。コピー確率pcは、以下の参考文献2に記載されているpointer-generator-networkと同様に、アテンション(注意機構:Attention)による重み値によって計算する。
ここで、λは生成モデルのパラメータである。コピー確率pcは、以下の参考文献2に記載されているpointer-generator-networkと同様に、アテンション(注意機構:Attention)による重み値によって計算する。
[参考文献2]
Abigail See, Peter J. Liu, Christopher D. Manning, "Get To The Point: Summarization with Pointer-Generator Networks", ACL2018
Abigail See, Peter J. Liu, Christopher D. Manning, "Get To The Point: Summarization with Pointer-Generator Networks", ACL2018
すなわち、生成する質問を構成するs番目の単語をwsとして、この単語wsを生成するときに、パッセージ中のt番目の単語wtがコピーされる確率を以下の式(2)で計算する。
ところで、単語wtが回答範囲に含まれる単語である場合には、上記の式(2)により、回答範囲に含まれる単語wtがコピーされる確率pcが計算されることになる。上述したように、質問を構成する単語を生成する際に、回答範囲に含まれる単語からはコピーされないようにすることが好ましい。そこで、本発明の実施の形態では、単語wtが回答範囲に含まれる場合は、pc(wt)を0とする。例えば、単語wtが回答範囲に含まれる場合は、上記の式(2)のscore(Ht,hs)に負の無限大(又は、例えば-10の30乗等の極めて小さい値)を設定する。上記の式(2)はsoftmax関数であるため、負の無限大が設定された場合の確率は0(極めて小さい値が設定された場合は極めて小さい確率)となり、回答範囲からの単語wtがコピーされることを防止(又は抑止)することができる。
なお、パッセージ中の単語wtがコピーされないようにする処理のことを「マスク処理」とも表す。回答範囲に含まれる単語wtがコピーされないようにする場合、回答範囲に対してマスク処理を施したことを意味する。
ここで、マスク処理を行う範囲は、回答範囲だけに限られず、例えばパッセージの性質等に応じてユーザ等によって自由に設定されてもよい。例えば、パッセージ中で、回答範囲内の文字列と一致する全ての文字列部分(つまり、パッセージ中で、回答範囲と同一の文字列が含まれる部分)にマスク処理を施してもよい。
回答・質問出力部150は、生成処理部140により抽出された回答範囲が表す回答(つまり、パッセージ中の回答範囲に含まれる単語等で構成される回答文)と、この回答に対応する質問とを出力する。なお、回答に対応する質問とは、当該回答により表される回答範囲を質問生成層144に入力することで生成された質問のことである。
≪学習時≫
次に、学習時における生成装置10の機能構成について、図2を参照しながら説明する。図2は、本発明の実施の形態における生成装置10の機能構成(学習時)の一例を示す図である。
次に、学習時における生成装置10の機能構成について、図2を参照しながら説明する。図2は、本発明の実施の形態における生成装置10の機能構成(学習時)の一例を示す図である。
図2に示すように、学習時における生成装置10は、機能部として、テキスト処理部120と、素性抽出部130と、生成処理部140と、パラメータ更新部160とを有する。本発明の実施の形態では、学習時には、機械読解の学習コーパスが入力されるものとする。機械読解の学習コーパスは、質問と、パッセージと、回答範囲との3つの組で構成されている。この学習コーパスを訓練データとして、生成モデルを学習する。なお、質問及びパッセージは自然文で記述されている。
テキスト処理部120及び素性抽出部130の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。また、生成処理部140の分散表現変換層141、情報エンコード層142及び回答抽出層143の各機能は、回答及び質問生成時と同様であるため、その説明を省略する。ただし、生成処理部140は、学習済みでない生成モデルのパラメータを用いて、各処理を実行する。
生成処理部140の質問生成層144は、回答範囲と、ベクトル系列Hとを入力として、質問を構成する単語系列を生成するが、学習時では、回答範囲として、学習コーパスに含まれる回答範囲(以降、「正解回答範囲」とも表す。)を入力する。
又は、学習の進み具合(例えば、エポック数等)に応じて、正解回答範囲と、回答抽出層143から出力された回答範囲(以降、「推定回答範囲」とも表す。)とのいずれかを入力してもよい。このとき、学習の初期の段階から推定回答範囲を入力とした場合、学習が収束しない可能性がある。このため、推定回答範囲を入力とする確率Paをハイパーパラメータとして設定し、この確率Paによって正解回答範囲又は推定回答範囲のいずれを入力とするかを決定する。確率Paには、学習の初期の段階では比較的小さい値(例えば、0~0,05等)となり、学習が進むにつれて徐々にその値が大きくなるような関数を設定する。このような関数は任意の計算方法で設定してよい。
パラメータ更新部160は、正解回答範囲と推定回答範囲との誤差と、質問生成層144から出力された質問(以降、「推定質問」とも表す。)と学習コーパスに含まれる質問(以降、「正解質問」とも表す。)との誤差とを用いて、これらの誤差が最小となるように、既知の最適化手法によって学習済みでない生成モデルのパラメータを更新する。
<生成装置10のハードウェア構成>
次に、本発明の実施の形態における生成装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本発明の実施の形態における生成装置10のハードウェア構成の一例を示す図である。
次に、本発明の実施の形態における生成装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本発明の実施の形態における生成装置10のハードウェア構成の一例を示す図である。
図3に示すように、本発明の実施の形態における生成装置10は、ハードウェアとして、入力装置201と、表示装置202と、外部I/F203と、RAM(Random Access Memory)204と、ROM(Read Only Memory)205と、プロセッサ206と、通信I/F207と、補助記憶装置208とを有する。これら各ハードウェアは、それぞれがバスBを介して通信可能に接続されている。
入力装置201は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置202は、例えばディスプレイ等であり、生成装置10の処理結果(例えば、生成された回答及び質問等)を表示する。なお、生成装置10は、入力装置201及び表示装置202の少なくとも一方を有していなくてもよい。
外部I/F203は、記録媒体203a等の外部記録媒体とのインタフェースである。生成装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、生成装置10が有する各機能部(例えば、分割部110、テキスト処理部120、素性抽出部130、生成処理部140、回答・質問出力部150及びパラメータ更新部160等)を実現する1以上のプログラムや、生成モデルのパラメータ等が記録されていてもよい。
記録媒体203aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
RAM204は、プログラムやデータを一時保持する揮発性の半導体メモリである。ROM205は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ROM205には、例えば、OS(Operating System)に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
プロセッサ206は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等であり、ROM205や補助記憶装置208等からプログラムやデータをRAM204上に読み出して処理を実行する演算装置である。生成装置10が有する各機能部は、ROM205や補助記憶装置208等に格納されている1以上のプログラムをRAM204上に読み出してプロセッサ206が処理を実行することで実現される。
通信I/F207は、生成装置10を通信ネットワークに接続するためのインタフェースである。生成装置10が有する各機能部を実現する1以上のプログラムは、通信I/F207を介して、所定のサーバ等から取得(ダウンロード)されてもよい。
補助記憶装置208は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置208に格納されているプログラムやデータには、例えば、OS、当該OS上で各種機能を実現するアプリケーションプログラム、生成装置10が有する各機能部を実現する1以上のプログラム、生成モデルのパラメータ等がある。
本発明の実施の形態における生成装置10は、図3に示すハードウェア構成を有することにより、後述する回答及び質問生成処理や学習処理を実現することができる。なお、図3に示す例では、本発明の実施の形態における生成装置10が1台の装置(コンピュータ)で実現されている場合を示したが、これに限られない。本発明の実施の形態における生成装置10は、複数台の装置(コンピュータ)で実現されていてもよい。また、1台の装置(コンピュータ)には、複数のプロセッサ206や複数のメモリ(RAM204やROM205、補助記憶装置208等)が含まれていてもよい。
<回答及び質問生成処理>
次に、本発明の実施の形態における生成装置10により回答及び質問を生成する処理(回答及び質問生成処理)について、図4を参照しながら説明する。図4は、本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。なお、回答及び質問生成処理では、生成処理部140は、学習済み生成モデルのパラメータを用いる。
次に、本発明の実施の形態における生成装置10により回答及び質問を生成する処理(回答及び質問生成処理)について、図4を参照しながら説明する。図4は、本発明の実施の形態における回答及び質問生成処理の一例を示すフローチャートである。なお、回答及び質問生成処理では、生成処理部140は、学習済み生成モデルのパラメータを用いる。
ステップS101:分割部110は、入力された文書を1以上の文章(パッセージ)に分割する。
なお、本発明の実施の形態では、文書が生成装置10に入力されるものとしたが、例えば、パッセージが生成装置10に入力される場合は、上記のステップS101は行われなくてもよい。この場合、生成装置10は、分割部110を有していなくてもよい。
以降のステップS102~ステップS107は、上記のステップS101での分割によって得られたパッセージ毎に繰り返し実行される。
ステップS102:次に、テキスト処理部120は、パッセージを単語単位に分割した形式で表現される単語系列に変換する。
ステップS103:次に、素性抽出部130は、パッセージから素性情報を抽出する。
なお、上記のステップS102及びステップS103の実行順は順不同であり、ステップS103が実行された後にステップS102が実行されてもよいし、ステップS102とステップS103とが平行して実行されてもよい。また、後述するステップS106で単語ベクトル集合をベクトル系列Hにエンコードする際に、素性情報を考慮しない場合(すなわち、素性ベクトル集合をエンコードに組み込まない場合)は、上記のステップS103は行われなくてもよい。
ステップS104:次に、生成処理部140の分散表現変換層141は、上記のステップS102で得られた単語系列を単語ベクトル集合に変換する。
ステップS105:次に、生成処理部140の分散表現変換層141は、上記のステップS103で得られた素性情報を素性ベクトル集合に変換する。
なお、上記のステップS104及びステップS105の実行順は順不同であり、ステップS105が実行された後にステップS104が実行されてもよいし、ステップS104とステップS105とが平行して実行されてもよい。また、後述するステップS106で単語ベクトル集合をベクトル系列Hにエンコードする際に、素性情報を考慮しない場合は、上記のステップS105は行われなくてもよい。
ステップS106:次に、生成処理部140の情報エンコード層142は、上記のステップS104で得られた単語ベクトル集合をベクトル系列Hにエンコードする。このとき、情報エンコード層142は、素性ベクトル集合を組み込んでエンコードしてもよい。
ステップS107:生成処理部140の回答抽出層143は、上記のステップS106で得られたベクトル系列Hを用いて、N個の回答範囲の始点及び終点をそれぞれ抽出する。
ステップS108:生成処理部140の質問生成層144は、上記のステップS107で得られたN個の回答範囲のそれぞれに対して、回答を生成する。
ステップS109:回答・質問出力部150は、上記のステップS107で得られたN個の回答範囲のそれぞれが表すN個の回答と、これらN個の回答のそれぞれに対応する質問とを出力する。なお、回答・質問出力部150の出力先は任意の出力先としてよい。例えば、回答・質問出力部150は、N個の回答及び質問を補助記憶装置208や記録媒体203a等に出力して保存してもよいし、表示装置202に出力して表示させてもよいし、通信ネットワークを介して接続される他の装置等に出力してもよいし。
<学習処理>
次に、本発明の実施の形態における生成装置10が生成モデルを学習する処理(学習処理)について、図5を参照しながら説明する。図5は、本発明の実施の形態における学習処理の一例を示すフローチャートである。なお、学習処理では、生成処理部140は、学習済みでない生成モデルのパラメータを用いる。
次に、本発明の実施の形態における生成装置10が生成モデルを学習する処理(学習処理)について、図5を参照しながら説明する。図5は、本発明の実施の形態における学習処理の一例を示すフローチャートである。なお、学習処理では、生成処理部140は、学習済みでない生成モデルのパラメータを用いる。
ステップS201~ステップS205は、回答及び質問生成処理のステップS102~ステップS106と同様であるため、その説明を省略する。
ステップS206:生成処理部140の回答抽出層143は、ステップS205で得られたベクトル系列Hを用いて、N個の回答範囲(推定回答範囲)の始点及び終点をそれぞれ抽出する。
ステップS207:次に、生成処理部140の質問生成層144は、入力された正解回答範囲(又は、上記のステップS206で得られた推定回答範囲)に対して、推定質問を生成する。
ステップS208:パラメータ更新部160は、正解回答範囲及び推定回答範囲の誤差と、推定質問及び正解質問の誤差とを用いて、学習済みでない生成モデルのパラメータを更新する。これにより、生成モデルのパラメータが更新される。機械読解の各学習コーパスに対してパラメータ更新が繰り返し実行されることで、生成モデルが学習される。
<回答及び質問の生成結果>
ここで、回答及び質問生成処理を行って、回答及び質問を生成した結果について、図6を参照しながら説明する。図6は、回答及び質問の一例を説明するための図である。
ここで、回答及び質問生成処理を行って、回答及び質問を生成した結果について、図6を参照しながら説明する。図6は、回答及び質問の一例を説明するための図である。
図6に示す文書1000が生成装置10に入力された場合、図4のステップS101ではパッセージ1100とパッセージ1200とに分割される。そして、パッセージ1100及びパッセージ1200のそれぞれに対して、図4のステップS103~ステップS107が実行されることで、パッセージ1100に対して回答範囲1110及び回答範囲1120が抽出され、パッセージ1200に対して回答範囲1210及び回答範囲1220が抽出される。
そして、図4のステップS108が実行されることで、パッセージ1100に対して、回答範囲1110が表す回答に対応する質問1111と、回答範囲1120が表す回答に対応する質問1121とが生成される。同様に、パッセージ1200に対して、回答範囲1210が表す回答に対応する質問1211と、回答範囲1220が表す回答に対応する質問1221とが生成される。なお、図6に示す例における質問1221に含まれる『「中断証明書」』との文字列は、パッセージ1200の回答範囲1220中の『中断証明書』ではなく、パッセージ1200の『・・・保険契約者からの請求により「中断証明書」を発行することができます。・・・』の『「中断証明書」』がコピーされたものである。
このように、本発明の実施の形態における生成装置10では、各パッセージから回答範囲を抽出し、この回答範囲が表す回答に対応する質問が適切に生成できていることがわかる。
<変形例(その1)>
次に、変形例(その1)における生成装置10の機能構成について、図7を参照しながら説明する。図7は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の変形例を示す図である。
次に、変形例(その1)における生成装置10の機能構成について、図7を参照しながら説明する。図7は、本発明の実施の形態における生成装置10の機能構成(回答及び質問生成時)の変形例を示す図である。
図7に示すように、回答範囲が生成装置10に入力される場合、当該生成装置10の生成処理部140には、回答抽出層143が含まれていなくてもよい。この場合、生成処理部140の質問生成層144は、入力された回答範囲から質問を生成する。なお、回答範囲が生成装置10に入力される場合であっても、質問生成層144で質問を生成する際にマスク処理を施すことが可能である。
また、回答・質問出力部150は、入力された回答範囲が表す回答と、この回答に対応する質問とを出力する。
なお、変形例(その1)の場合、回答範囲が生成装置10に入力されるため、学習時には、正解質問と推定質問との誤差のみを最小化するように、生成モデルのパラメータが更新されればよい。
<変形例(その2)>
次に、変形例(その2)について説明する。本発明の実施の形態における生成装置10は、質問と、パッセージと、回答範囲との3つの組で構成されている学習コーパスを訓練データとして生成モデルを学習する代わりに、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することも可能である。これにより、回答及び質問生成時において、質問の代わりに、質問を表すキーワード集合(言い換えれば、質問の際に用いられそうなキーワードの集合)を生成することが可能となる。
次に、変形例(その2)について説明する。本発明の実施の形態における生成装置10は、質問と、パッセージと、回答範囲との3つの組で構成されている学習コーパスを訓練データとして生成モデルを学習する代わりに、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することも可能である。これにより、回答及び質問生成時において、質問の代わりに、質問を表すキーワード集合(言い換えれば、質問の際に用いられそうなキーワードの集合)を生成することが可能となる。
ここで、一般的な検索エンジンを用いて質問の回答を探すための検索を行う際には、ユーザは、クエリとして自然文ではなく、キーワード集合を入力とする場合も多い。例えば、「R&Dフォーラムを開催した会社は?」といった質問の回答を探す場合のクエリとしては、キーワード集合「R&Dフォーラム 開催 会社」等を入力することが多い。
又は、ユーザからクエリとして自然文を入力する場合であっても、検索エンジンの前処理等の中で自然文から、検索キーワードとして不適切な単語等を削除する処理が行われることもある。
したがって、検索エンジンを用いてユーザの質問に対する回答を提示するシステムに本発明を適用するような場合は、検索に実際に用いられるクエリの形式に合せて質問と回答とのペアを用意した方が、ユーザの質問に対してより適切な回答を提示することが可能となる。つまり、このような場合は、質問(文)を生成するよりも、質問の際に使われそうなキーワードの集合を生成する方がより適切な回答を提示することが可能なる。
そこで、上述したように、質問を表すキーワード集合と、パッセージと、回答範囲とを訓練データとして生成モデルを学習することで、(パッセージに含まれる)回答と、該回答を検索エンジンから検索するためのキーワード集合である、質問を表すキーワード集合とを生成する生成装置10を実現することが可能となる。これにより、例えば、検索の際にノイズとなる単語を予め排除することが可能となる。また、質問文ではなく、質問を表すキーワード集合を生成するため、例えば、質問文を生成する際にキーワードとキーワードとの間を埋める単語が誤生成されてしまうといった事態を回避することも可能となる。
なお、訓練データとする質問を表すキーワード集合は、例えば、学習コーパスに含まる質問に対して、形態素解析等を行って内容語のみを取り出す、品詞でフィルタリングを行う、等の方法により作成可能である。
<まとめ>
以上のように、本発明の実施の形態における生成装置10は、1つ以上のパッセージが含まれる文書(又はパッセージ)を入力として、パッセージ中の回答範囲を指定することなく、回答とこの回答に関する質問とを生成することができる。このため、本発明の実施の形態における生成装置10によれば、文書(又はパッセージ)のみを与えれば、大量の質問とその回答とを自動的に生成することが可能となる。したがって、例えば、FAQを自動的に作成したり、質問応答型のチャットボットを容易に実現したりすることが可能となる。
以上のように、本発明の実施の形態における生成装置10は、1つ以上のパッセージが含まれる文書(又はパッセージ)を入力として、パッセージ中の回答範囲を指定することなく、回答とこの回答に関する質問とを生成することができる。このため、本発明の実施の形態における生成装置10によれば、文書(又はパッセージ)のみを与えれば、大量の質問とその回答とを自動的に生成することが可能となる。したがって、例えば、FAQを自動的に作成したり、質問応答型のチャットボットを容易に実現したりすることが可能となる。
FAQは商品やサービス等に関する「よくある質問集」であるが、従来はこれを人手で作成する必要があった。本発明の実施の形態における生成装置10を用いることで、回答範囲が含まれている文書を回答(A)、自動生成した質問文を質問(Q)とすることで、FAQを構成するQAペアを大量かつ容易に作成することができる。
また、質問応答型のチャットボットは、シナリオ方式という仕組みで動作しているものが多い。シナリオ方式では、QAペアを大量に用意することによるFAQ検索(例えば、特開2017-201478号公報を参照)に近い動作方式である。このため、例えば製品マニュアルやチャットボットキャラクチャのプロフィール文書等を生成装置10に入力することで、質問(Q)と、チャットボットが回答する回答(A)とのQAペアを大量に作成することが可能となり、チャットボットの作成コストを削減させつつ幅広い質問に回答可能なチャットボットを実現することができるようになる。
更に、上述したように、本発明の実施の形態における生成装置10では、質問に含まれる単語を生成する際に、回答範囲から単語がコピーされることを防止している。このため、YES/NOで回答可能な質問の生成を防止することが可能となり、例えば、FAQやチャットボットに相応しい質問及び回答のペアを生成することができる。したがって、本発明の実施の形態における生成装置10を用いることで、例えば、生成された質問及び回答のペアの修正や整備が不要となり、修正や整備に要していたコストの削減も可能となる。
なお、生成モデルを複数のニューラルネットワークを用いて構成する場合、例えば、回答抽出層143を有するニューラルネットワークと、質問生成層144を有するニューラルネットワークとの間で特定の層(例えば、情報エンコード層142等)を共有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
10 生成装置
110 分割部
120 テキスト処理部
130 素性抽出部
140 生成処理部
141 分散表現変換層
142 情報エンコード層
143 回答抽出層
144 質問生成層
150 回答・質問出力部
160 パラメータ更新部
110 分割部
120 テキスト処理部
130 素性抽出部
140 生成処理部
141 分散表現変換層
142 情報エンコード層
143 回答抽出層
144 質問生成層
150 回答・質問出力部
160 パラメータ更新部
Claims (7)
- 文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段を有し、
前記生成手段は、
前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成装置。 - 前記生成手段は、
前記範囲に含まれる単語がコピーされる確率を、0又は微小値に調整する、ことを特徴とする請求項1に記載の生成装置。 - 前記生成手段は、
エンコーダ・デコーダモデルに用いられるニューラルネットワークが出力する単語の生成確率と、前記範囲に含まれる単語がコピーされる確率との重み付き和で表される確率により、前記質問表現を構成する各単語を生成する、ことを特徴とする請求項1又は2に記載の生成装置。 - 前記質問表現は、質問文、又は、質問を表すキーワード集合である、ことを特徴とする請求項1乃至3の何れか一項に記載の生成装置。
- 文書を入力として、機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手段と、
前記質問表現と、該質問表現に対する正解の質問表現との誤差を少なくとも用いて、前記機械学習モデルのパラメータを学習する学習手段と、
を有し、
前記生成手段は、
前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする学習装置。 - 文書を入力として、予め学習済みの機械学習モデルを用いて、前記文書中で回答となる範囲に対する質問表現を生成する生成手順、
をコンピュータが実行し、
前記生成手順は、
前記質問表現を構成する単語を前記文書中からコピーして生成する際に、前記範囲に含まれる単語がコピーされる確率を調整する、ことを特徴とする生成方法。 - コンピュータを、請求項1乃至4の何れか一項に記載の生成装置における各手段、又は、請求項5に記載の学習装置における各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028504A JP7103264B2 (ja) | 2019-02-20 | 2019-02-20 | 生成装置、学習装置、生成方法及びプログラム |
US17/431,760 US20220138267A1 (en) | 2019-02-20 | 2020-02-12 | Generation apparatus, learning apparatus, generation method and program |
PCT/JP2020/005318 WO2020170906A1 (ja) | 2019-02-20 | 2020-02-12 | 生成装置、学習装置、生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028504A JP7103264B2 (ja) | 2019-02-20 | 2019-02-20 | 生成装置、学習装置、生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135457A JP2020135457A (ja) | 2020-08-31 |
JP7103264B2 true JP7103264B2 (ja) | 2022-07-20 |
Family
ID=72144681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019028504A Active JP7103264B2 (ja) | 2019-02-20 | 2019-02-20 | 生成装置、学習装置、生成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220138267A1 (ja) |
JP (1) | JP7103264B2 (ja) |
WO (1) | WO2020170906A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11557288B2 (en) * | 2020-04-10 | 2023-01-17 | International Business Machines Corporation | Hindrance speech portion detection using time stamps |
US20230095180A1 (en) * | 2021-09-29 | 2023-03-30 | International Business Machines Corporation | Question answering information completion using machine reading comprehension-based process |
WO2023152914A1 (ja) * | 2022-02-10 | 2023-08-17 | 日本電信電話株式会社 | 埋め込み装置、埋め込み方法、および、埋め込みプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010267200A (ja) | 2009-05-18 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム |
JP2016136341A (ja) | 2015-01-23 | 2016-07-28 | 国立研究開発法人情報通信研究機構 | アノテーション補助装置及びそのためのコンピュータプログラム |
JP2017102921A (ja) | 2015-12-02 | 2017-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 質問応答(q&a)データベースを拡張するためのシステム、方法、およびコンピュータ・プログラム(質問応答データベースの拡張) |
JP2017201478A (ja) | 2016-05-06 | 2017-11-09 | 日本電信電話株式会社 | キーワード評価装置、類似度評価装置、検索装置、評価方法、検索方法、及びプログラム |
JP2018063696A (ja) | 2016-10-07 | 2018-04-19 | 国立研究開発法人情報通信研究機構 | ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム |
US20190043379A1 (en) | 2017-08-03 | 2019-02-07 | Microsoft Technology Licensing, Llc | Neural models for key phrase detection and question generation |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014212437A1 (de) * | 2014-06-27 | 2016-01-14 | Siemens Aktiengesellschaft | System zur verbesserten Parallelisierung eines Programmcodes |
US9825875B2 (en) * | 2015-03-31 | 2017-11-21 | Alcatel Lucent | Method and apparatus for provisioning resources using clustering |
US9607616B2 (en) * | 2015-08-17 | 2017-03-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for using a multi-scale recurrent neural network with pretraining for spoken language understanding tasks |
EP3371807B1 (en) * | 2015-11-12 | 2023-01-04 | Google LLC | Generating target phoneme sequences from input speech sequences using partial conditioning |
US10423685B2 (en) * | 2016-09-09 | 2019-09-24 | Robert Bosch Gmbh | System and method for automatic question generation from knowledge base |
CN106782504B (zh) * | 2016-12-29 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 语音识别方法和装置 |
US20180225590A1 (en) * | 2017-02-07 | 2018-08-09 | International Business Machines Corporation | Automatic ground truth seeder |
US10410406B2 (en) * | 2017-02-27 | 2019-09-10 | Trimble Ab | Enhanced three-dimensional point cloud rendering |
US10762427B2 (en) * | 2017-03-01 | 2020-09-01 | Synaptics Incorporated | Connectionist temporal classification using segmented labeled sequence data |
CA3055379C (en) * | 2017-03-10 | 2023-02-21 | Eduworks Corporation | Automated tool for question generation |
KR102414583B1 (ko) * | 2017-03-23 | 2022-06-29 | 삼성전자주식회사 | 머신 러닝을 수행하는 전자 장치 및 머신 러닝 수행 방법 |
US20200042597A1 (en) * | 2017-04-27 | 2020-02-06 | Microsoft Technology Licensing, Llc | Generating question-answer pairs for automated chatting |
US10418023B2 (en) * | 2017-10-17 | 2019-09-17 | International Business Machines Corporation | Automatic answer rephrasing based on talking style |
US20200050942A1 (en) * | 2018-08-07 | 2020-02-13 | Oracle International Corporation | Deep learning model for cloud based technical support automation |
-
2019
- 2019-02-20 JP JP2019028504A patent/JP7103264B2/ja active Active
-
2020
- 2020-02-12 US US17/431,760 patent/US20220138267A1/en active Pending
- 2020-02-12 WO PCT/JP2020/005318 patent/WO2020170906A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010267200A (ja) | 2009-05-18 | 2010-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム |
JP2016136341A (ja) | 2015-01-23 | 2016-07-28 | 国立研究開発法人情報通信研究機構 | アノテーション補助装置及びそのためのコンピュータプログラム |
JP2017102921A (ja) | 2015-12-02 | 2017-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 質問応答(q&a)データベースを拡張するためのシステム、方法、およびコンピュータ・プログラム(質問応答データベースの拡張) |
JP2017201478A (ja) | 2016-05-06 | 2017-11-09 | 日本電信電話株式会社 | キーワード評価装置、類似度評価装置、検索装置、評価方法、検索方法、及びプログラム |
JP2018063696A (ja) | 2016-10-07 | 2018-04-19 | 国立研究開発法人情報通信研究機構 | ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム |
US20190043379A1 (en) | 2017-08-03 | 2019-02-07 | Microsoft Technology Licensing, Llc | Neural models for key phrase detection and question generation |
Non-Patent Citations (1)
Title |
---|
佐藤 紗都 外,製品マニュアル文からの質問自動生成,一般社団法人 人工知能学会 第32回全国大会論文集DVD [DVD-ROM] 2018年度 人工知能学会全国大会(第32回),日本,一般社団法人 人工知能学会,2018年06月08日,pp. 1-4 |
Also Published As
Publication number | Publication date |
---|---|
WO2020170906A1 (ja) | 2020-08-27 |
JP2020135457A (ja) | 2020-08-31 |
US20220138267A1 (en) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7087938B2 (ja) | 質問生成装置、質問生成方法及びプログラム | |
WO2020170912A1 (ja) | 生成装置、学習装置、生成方法及びプログラム | |
JP6772213B2 (ja) | 質問応答装置、質問応答方法及びプログラム | |
JP7315065B2 (ja) | 質問生成装置、質問生成方法及びプログラム | |
WO2020170906A1 (ja) | 生成装置、学習装置、生成方法及びプログラム | |
CN110347802B (zh) | 一种文本分析方法及装置 | |
WO2020170881A1 (ja) | 質問応答装置、学習装置、質問応答方法及びプログラム | |
Hasegawa-Johnson et al. | Grapheme-to-phoneme transduction for cross-language ASR | |
WO2020240709A1 (ja) | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム | |
CN112185361B (zh) | 一种语音识别模型训练方法、装置、电子设备及存储介质 | |
US20220222442A1 (en) | Parameter learning apparatus, parameter learning method, and computer readable recording medium | |
Gupta et al. | A TENGRAM method based part-of-speech tagging of multi-category words in Hindi language | |
JP2023181819A (ja) | 言語処理装置、機械学習方法、推定方法及びプログラム | |
JP7327647B2 (ja) | 発話生成装置、発話生成方法、プログラム | |
Park et al. | Jejueo datasets for machine translation and speech synthesis | |
WO2022079845A1 (ja) | 単語対応装置、学習装置、単語対応方法、学習方法、及びプログラム | |
JP2009157888A (ja) | 音訳モデル作成装置、音訳装置、及びそれらのためのコンピュータプログラム | |
Sowmya Lakshmi et al. | Automatic English to Kannada back-transliteration using combination-based approach | |
JP7385900B2 (ja) | 推論器、推論プログラムおよび学習方法 | |
WO2014030258A1 (ja) | 形態素解析装置、テキスト分析方法、及びそのプログラム | |
WO2023100291A1 (ja) | 言語処理装置、言語処理方法、及びプログラム | |
WO2021009972A1 (ja) | 自然言語処理方法、自然言語処理システム、及び、自然言語処理プログラム | |
KR20240073535A (ko) | 질의문 생성 모델 학습 방법 및 그 장치 | |
JP2018028872A (ja) | 学習装置、学習方法、プログラムパラメータおよび学習プログラム | |
JP2022178527A (ja) | 自然言語処理装置、分類装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7103264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |