JP2017010249A - パラメタ学習装置、文類似度算出装置、方法、及びプログラム - Google Patents
パラメタ学習装置、文類似度算出装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2017010249A JP2017010249A JP2015124686A JP2015124686A JP2017010249A JP 2017010249 A JP2017010249 A JP 2017010249A JP 2015124686 A JP2015124686 A JP 2015124686A JP 2015124686 A JP2015124686 A JP 2015124686A JP 2017010249 A JP2017010249 A JP 2017010249A
- Authority
- JP
- Japan
- Prior art keywords
- tree
- ordered
- editing operation
- training data
- tree editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】離れた単語間における依存関係を考慮して、文ペアの類似度を算出するためのパラメタを学習するパラメタ学習装置、方法及びプログラムを提供する。【解決手段】正例の訓練データの各々について、正例に対応する荷重行列を用いたJordan型RNNに基づいて、木編集操作の出現確率を推定し、推定された出現確率に基づいて、木編集操作の系列の各々の出現確率を推定する。負例の訓練データの各々について、負例に対応する荷重行列を用いたJordan型RNNに基づいて、木編集操作の出現確率を推定し、推定された出現確率に基づいて、木編集操作の系列の各々の出現確率を推定する。推定された木編集操作の系列の各々の出現確率に基づいて、正例及び負例に対応する荷重行列に対して、尤度関数を最適化するように、正例及び負例に対応する荷重行列を更新することを、予め定められた反復終了条件を満たすまで繰り返す。【選択図】図1
Description
本発明は、パラメタ学習装置、文類似度算出装置、方法、及びプログラムに係り、特に、文ペアの類似度を算出するためのパラメタ学習装置、文類似度算出装置、方法、及びプログラムに関する。
近年、インターネット上にある大量のテキストデータが利用可能になっており、その中から必要な情報を取り出すために、文書や文間の意味内容の比較に関する技術が重要となっている。2つの文の意味内容を比較する手段の1つとして、2つの文に含まれる単語やフレーズごとの関連性から2つの文の類似度(以下、文類似度)を算出する手法が知られている(例えば非特許文献1参照)。その手法の1つとして、編集距離を利用した手法が提案されている。一般的な編集距離では、文字の挿入、削除、置換、又は入れ替えといった操作によって1つの文字列を別の文字列に変形するのに必要な最短手順と、各操作のコストから算出される合計コストとして与えられる(例えば非特許文献2参照)。文類似度を求める手法では、挿入、削除、又は置換の3つの操作がよく用いられる。
また、近年では、文字情報を利用するだけではなく、構文情報や係り受け情報を解析することで文を木構造で表現し、その木構造を基に編集距離を算出する木編集距離と呼ばれる手法が用いられている(例えば非特許文献3参照)。木編集距離を用いた計算では、文類似度は、文字や単語をノードとして表現し、ノードの挿入、削除、又は置換によるコストとして計算され、1つの木構造から別の木構造に変形するために必要な合計コストの最小値として与えられる。
また、木編集距離における挿入や削除、置換といった操作のコストは、教師信号(正例及び負例を含む)を用いた機械学習によって算出することができる。学習手法の1つとして、2つの木構造間において、考えうるすべての木編集操作系列を求め、正例の木編集操作コストの合計が小さくなるように学習する手法がある。例えば木編集操作系列を推定するために条件付き確率場(CRF)を用いた手法などが提案されている(例えば、非特許文献4参照)。CRFを用いる手法は、2つの文の木構造の各ノードの組に対して適切な木編集操作を付与したものを木編集系列として、系列ラベリング問題を解く手法と捉えることができる。このような系列ラベリング問題を解く手法では、木編集操作系列内の連続している木編集操作間にマルコフ性を仮定しているため、2つの木構造に含まれる単語対単語や単語対フレーズといった、2つの文の木構造におけるノード間の対応付け関係を、木編集操作コストの学習と同時にある程度学習することができる。
例えば、文「小さい花子」と文「花子さん」の、2つの文からそれぞれ構成される木構造において、「形容詞」のノード<小さい>と「固有名詞」のノード<花子>といった、2つのノードからなる木構造から、「固有名詞」のノード<花子さん>から構成される木構造へと変形する木編集操作を考えるとき、「ノード<小さい>における形容詞の削除操作」と「ノード<花子>とノード<花子さん>間における固有名詞の置換操作」の2つの木編集操作が連続して出現しやすい操作であることを学習することで、木編集操作の出現確率を学習するだけでなく、「小さい花子」というフレーズと「花子さん」という単語間の、対応付け関係を同時に学習することができる。このとき、言語情報を持ったノード間の対応付けを精細に抽出するために、例えば「形容詞の削除を行う木編集操作」や「固有名詞の置換を行う木編集操作」など、言語情報に対応した木編集操作をあらかじめ多く用意する必要がある。
Daniel Jurafsky, James H. Martin. "Speech and Language Processing". Pearson Education International, 2nd ed, p.107-109, 2009.
Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, Clifford Stein. "Introduction to Algorithms". The MIT Press, 3rd ed, p.406-407, 2009.
Milen Kouylekov, Bernardo Magnini. "Recognizing Textual Entailment with Tree Edit Distance Algorithms."Proceedings of the PASCAL RTE Challenge, pp.17-20, 2005
Mengqiu Wang and Christopher D. "Manning. Probabilistic Tree-Edit Models with Structured Latent Variables for Textual Entailment and Question Answering." Proceedings of the 23rd International Conference on Computational Linguistics, pp.1164-1172, 2010.
一方で、木編集操作間のマルコフ性を仮定している手法では、木編集操作系列において一定以上離れた、長文における木編集操作間の同時出現確率や、不連続の依存関係を持つ木編集操作間の同時出現確率を学習することができないという課題がある。
不連続な依存関係を持つ木編集操作は、例えば、能動文と受動文の意味的類似度を算出する際に出現する。ここでは、「先生が花子を叱る」という能動文と、「花子は先生に叱られる」という受動文を例として挙げる。求めたい木編集操作系列は、3つの連続するノード<先生が>と<花子を>と<叱る>から構成される木構造を、3つの連続するノード<花子は>と<先生に>と<叱られる>から構成される木構造へと変形する木編集操作系列と考えられる。このとき、「ノード<先生が>の削除操作」と、「ノード<花子を>とノード<花子は>における置換操作」と、「ノード<先生に>の挿入操作」と、「ノード<叱る>とノード<叱られる>における置換操作」といった、4つの木編集操作系列が出現すると考えられる。この時、「ノード<先生が>の削除操作」と、「ノード<先生に>の挿入操作」の2つの木編集操作は、明らかに依存関係があると考えられるが、木編集操作系列の中で連続して出現していないため、マルコフ性を仮定している手法では、学習の対象として扱うことができない。
一定以上離れた単語間の依存関係を学習するために、例えば2つ以上の木編集操作を連続で行う操作を示す新たな木編集操作を生成するといった工夫により対処することは考えられる。しかしこの方法を用いると、多くの木編集操作における組み合わせを考慮しなければならず、木編集操作の種類が多い学習手法では計算時間の課題が生じる。
本発明は、上記問題点を解決するために成されたものであり、離れた単語間における依存関係を考慮して文ペアの類似度を算出するためのパラメタを学習することができるパラメタ学習装置、方法、及びプログラムを提供することを目的とする。
また、離れた単語間における依存関係を考慮して、文ペアの類似度を算出することができる類似度算出装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第1の発明に係る類似度算出装置は、文ペアの類似度を算出する類似度算出装置であって、前記文ペアに含まれる文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成する順序付木生成部と、前記順序付木生成部により生成された前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、予め学習されたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定する木編集操作系列出現確率推定部と、前記木編集操作系列出現確率推定部によって推定された木編集操作の系列の各々の出現頻度の総和を、前記文ペアの類似度として出力する文類似度出力部と、を含んで構成されている。
第2の発明に係るパラメタ学習装置は、学習対象文と、前記学習対象文と類似する正例の学習目標文及び前記学習対象文と類似しない負例の学習目標文とを含む訓練データの集合を用いてパラメタを学習するパラメタ学習装置であって、前記訓練データの集合における前記訓練データの各々に含まれる前記学習対象文及び前記学習目標文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成する順序付木生成部と、前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから、前記木編集操作の出現確率を推定するための、負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定する木編集操作系列出現確率推定部と、前記木編集操作系列出現確率推定部により前記訓練データの各々について推定された前記木編集操作の系列の各々の出現確率に基づいて、前記正例に対応する荷重行列及び前記負例に対応する荷重行列に対して、前記訓練データの集合における前記訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、前記正例に対応する荷重行列及び前記負例に対応する荷重行列を更新するパラメタ推定部と、予め定められた反復終了条件を満たすまで、前記木編集操作系列出現確率推定部による推定及び前記パラメタ推定部による更新を繰り返す反復判定部と、を含んで構成されている。
また、第2の発明に係るパラメタ学習装置において、前記木編集操作系列出現確率推定部は、前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、正例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、負例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記パラメタ推定部は、更に、更新された前記正例に対応する荷重行列に基づいて、正例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、正例に対応する前記木編集操作の集合を更新し、更新された前記負例に対応する荷重行列に基づいて、負例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、負例に対応する前記木編集操作の集合を更新するようにしてもよい。
第3の発明に係る類似度算出方法は、文ペアの類似度を算出する類似度算出装置における類似度算出方法であって、順序付木生成部が、前記文ペアに含まれる文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成するステップと、木編集操作系列出現確率推定部が、前記順序付木生成部により生成された前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、予め学習されたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定するステップと、文類似度出力部が、前記木編集操作系列出現確率推定部によって推定された木編集操作の系列の各々の出現頻度の総和を、前記文ペアの類似度として出力するステップと、を含んで実行することを特徴とする。
第4の発明に係るパラメタ学習方法は、学習対象文と、前記学習対象文と類似する正例の学習目標文及び前記学習対象文と類似しない負例の学習目標文とを含む訓練データの集合を用いてパラメタを学習するパラメタ学習装置におけるパラメタ学習方法であって、順序付木生成部が、前記訓練データの集合における前記訓練データの各々に含まれる前記学習対象文及び前記学習目標文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成するステップと、木編集操作系列出現確率推定部が、前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから、前記木編集操作の出現確率を推定するための、負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定するステップと、パラメタ推定部が、前記木編集操作系列出現確率推定部により前記訓練データの各々について推定された前記木編集操作の系列の各々の出現確率に基づいて、前記正例に対応する荷重行列及び前記負例に対応する荷重行列に対して、前記訓練データの集合における前記訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、前記正例に対応する荷重行列及び前記負例に対応する荷重行列を更新するステップと、反復判定部が、予め定められた反復終了条件を満たすまで、前記木編集操作系列出現確率推定部による推定及び前記パラメタ推定部による更新を繰り返すステップと、を含んで実行することを特徴とする。
また、第4の発明に係るパラメタ学習方法において、前記木編集操作系列出現確率推定部が推定するステップは、前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、正例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、負例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、前記パラメタ推定部が推定するステップは、更に、更新された前記正例に対応する荷重行列に基づいて、正例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、正例に対応する前記木編集操作の集合を更新し、更新された前記負例に対応する荷重行列に基づいて、負例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、負例に対応する前記木編集操作の集合を更新するようにしてもよい。
第5の発明に係るコンピュータは、コンピュータを、第1の発明に係る類似度算出装置、又は第2の発明に係るパラメタ学習装置を構成する各部として機能させるためのプログラムである。
本発明のパラメタ学習装置、方法、及びプログラムによれば、正例の訓練データの各々について、生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる木編集操作の各々について、正例に対応する荷重行列を用いたJordan型RNNとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、訓練データの学習対象文の順序付き木を学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、負例の訓練データの各々について、順序付木生成部により生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる木編集操作の各々について、負例に対応する荷重行列を用いたJordan型RNNとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、学習対象文の順序付き木を学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、推定された木編集操作の系列の各々の出現確率に基づいて、正例に対応する荷重行列及び負例に対応する荷重行列に対して、訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、正例に対応する荷重行列及び負例に対応する荷重行列を更新することを、予め定められた反復終了条件を満たすまで繰り返すことにより、離れた単語間における依存関係を考慮して文ペアの類似度を算出するためのパラメタを学習することができる、という効果が得られる。
また、本発明の類似度算出装置、方法、及びプログラムによれば、生成された文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、木編集操作の系列の各々に含まれる木編集操作の各々について、生成された順序付き木から抽出される、木編集操作の特徴ベクトルと、特徴ベクトルから木編集操作の出現確率を推定するための、予め学習されたJordan型Recurrent Neural Networkとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定し、推定された複数の木編集操作系列の各々の出現頻度の総和を、文ペアの類似度として出力することにより、離れた単語間における依存関係を考慮して、文ペアの類似度を算出することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の実施の形態に係る概要>
まず、本発明の実施の形態における概要を説明する。
本発明の実施の形態では、2つの文から生成される木構造から木編集操作系列を推定する系列ラベリング問題について、入力系列の双方向の依存関係を処理できるJordan型Recurrent Neural Network(以下、RNNと称する)を用いることで、上記の木編集操作系列における木編集操作の依存関係を学習する課題に取り組む。双方向RNNは入力系列の一定以上離れた要素間に依存関係がある場合や、不連続な依存関係がある場合に有効であることが示されている(非特許文献5参照)。
[非特許文献5]:Tomas Mikolov, Stefan Kombrink, Lukas Burget, Jan H Cernocky, Sanjeev Khudanpur. Extensions of Recurrent Neural Network Language Model. Acoustics, Speech and Signal Processing, pp.5528-5531, 2011.
よって、RNNは木編集操作系列の推定に対しても効果的に機能すると考えられる。また、双方向RNNの学習時に、言語情報に対応した木編集操作の種類数を削減する機能を加える。学習対象のデータによって最適な木編集操作の種類数を取るように逐次的に削減処理を行うために、計算量を軽減しつつ一定以上離れた単語間における依存関係を学習することが可能となる。
<本発明の実施の形態に係るパラメタ学習装置の構成>
次に、本発明の実施の形態に係るパラメタ学習装置の構成について説明する。図1に示すように、本発明の実施の形態に係るパラメタ学習装置100は、CPUと、RAMと、後述するパラメタ学習処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。このパラメタ学習装置100は、機能的には図1に示すように入力部10と、演算部20とを備えている。
入力部10は、図2に示すような、訓練データの集合を受け付ける。訓練データの集合における訓練データは、学習対象文と、学習対象文と類似する正例の学習目標文及び学習対象文と類似しない負例の学習目標文との2つ組からなる。本実施の形態では、正例の学習目標文を一つとし、負例の学習目標文を複数とする。例えば、訓練データは、「“プロメーテウスは人類に火を渡し、張り付けにされた”、“プロメテウスは人類に火を齎して罰を受けた。”」のように2つの文の間に意味的関連性を含む正例の学習目標文や、「“アメリカ海軍の最初の潜水艦は、アリゲーターだ。”、“飲むヨーグルトは、酒の一種だ。”」のように2つの文間に意味的関連性を含まない複数の負例の学習目標文などを含む。
演算部20は、順序付木生成部30と、木編集操作系列出現確率推定部32と、パラメタ推定部34と、反復判定部36と、パラメタ集合DB40とを含んで構成されている。
順序付木生成部30は、以下に説明するように、入力部10により受け付けた訓練データの集合における訓練データの各々に含まれる学習対象文及び学習目標文の各々について、形態素を表すノードの各々から構成され、かつ、ノードの各々に順序が付けられた木構造である順序付き木を生成する。
順序付木生成部30は、まず、学習対象文及び学習目標文の各々に対して形態素解析及び係り受け解析の処理を行う。例えば、形態素解析に非特許文献5(Takeshi Fuchi and Shinichiro Takagi. “Japanese Morphological Analyzer using Word Co-occurrence -JTAG.”In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (Volume 1), pp. 409-413, 1998.)記載の方法を利用することができる。また、係り受け解析に非特許文献6(Kenji Imamura, Genichiro Kikui and Norihito Yasuda. “Japanese Dependency Parsing Using Sequential Labeling for Semi-spoken Language.” In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 225-228, 2007.)記載の方法を利用することができる。次に、係り受け解析によって得られた係り受け木に対して順序付けを行う。ここでは、係り受け解析で得られたそれぞれの形態素をノードと見なした係り受け木に対して、当該木に対して後順に走査した順番をノードに付与する。図3に、順序付木生成部30における順序付き木の生成の結果の一例を示す。ここで順序付き木の各ノードは、単に表層の語彙を持つだけでなく、形態素解析によって得られた、形態素の種類、連用形、読み、及び原型といった言語情報と、当該ノードの親ノードや子ノードの有無及びポインタといった木構造情報とを保持している。
パラメタ集合DB40には、後述する木編集操作系列出現確率推定部32によりある2つのノードについて算出された木編集操作に関する特徴ベクトルと、2つの双方向RNNを含むネットワーク構造と、RNNの出力値を説明するための各荷重行列の値とが格納されている。
図4にパラメタの一例として特徴ベクトルφ(τt,τh)の要素である各特徴量を示す。特徴ベクトルφ(τt,τh)は、対応する木編集操作の対象となる2つのノードの関連性における特徴量と、文ペアから生成される順序付き木τt,τhの関連性における特徴量を要素として持つ。各特徴量の値は{0,1}で定義され、例えば「2つのノードの表層が等しい」という特徴量の場合、該当する木編集操作の対象である2つのノードの表層が等しければ値は1、表層が等しくなければ0の値を取る。
図5に2つの双方向RNNを含むネットワーク構造の構成の一例を示す。当該ネットワーク構造は、n番目の木編集操作に関する特徴ベクトルである入力ベクトルx(n)を共有する2つの双方向RNNから構成されており、木編集操作系列におけるn番目の木編集操作に対応する2つのノードから生成される特徴ベクトルφ(τt,τh)を入力として受け取り、2つの双方向RNNはそれぞれ当該木編集操作の出現確率を出力する。この時、一方の双方向RNNは2つの入力文に意味的な類似性がある正例に対応した、当該木編集操作の出現確率を出力し、他方の双方向RNNは負例に対応した、当該木編集操作の出現確率を出力する。2つの入力文に意味的類似性がある場合を1、ない場合は0を示す2値変数t∈{0,1}を用いて、当該ネットワークの出力値を以下(1)式に示す。
ここで、σはシグモイド関数を示し、gはソフトマックス関数
を示す。
またWx (t)、Wb (t)、Wa (t)、Wh (t)は、それぞれ木編集操作の各々の出現確率を推定するための荷重ベクトルである。Wx (t)は入力ベクトルx(n)から隠れベクトルh(n)(t)へ結合する荷重行列であり、Wb (t)はn−1番目の出力ベクトルy(n−1)(t)から隠れベクトルh(n)(t)へと結合する荷重行列であり、Wa (t)はn+1番目の出力ベクトルy(n+1)(t)から隠れベクトルh(n)(t)へと結合する荷重行列であり、Wh (t)は隠れベクトルh(n)(t)から出力ベクトルy(n)(t)へと結合する荷重行列である。また、出力ベクトルy(n)(t)は、推定されうる木編集操作の総数であるM個の要素を持ち、各要素mは、対応する木編集操作の出現確率を表す。
木編集操作系列出現確率推定部32は、以下のように正例の訓練データの各々、及び負例の訓練データの各々について、訓練データの学習対象文の順序付き木を学習目標文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定する。
木編集操作系列出現確率推定部32は、訓練データの集合における正例の訓練データの各々について、順序付木生成部30により生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、正例に対応する木編集操作集合に含まれる木編集操作からなる複数の木編集操作系列の各々に含まれる木編集操作の各々について、順序付木生成部30により生成された順序付き木から抽出される当該木編集操作の特徴ベクトルと、特徴ベクトルから木編集操作の出現確率を推定するための、正例に対応する荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、当該訓練データの学習対象文の順序付き木を学習目標文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定する。
また、木編集操作系列出現確率推定部32は、訓練データの集合における負例の訓練データの各々について、順序付木生成部30により生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、負例に対応する木編集操作集合に含まれる木編集操作からなる複数の木編集操作系列の各々に含まれる木編集操作の各々について、当該木編集操作の特徴ベクトルと、特徴ベクトルから、木編集操作の出現確率を推定するための、負例に対応する荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、訓練データの学習対象文の順序付き木を学習目標文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定する。
木編集操作系列出現確率推定部32における具体的な処理を以下に説明する。木編集操作系列出現確率推定部32は、順序付木生成部30から出力される学習対象文及び学習目標文の各々についての順序付き木を受けとり、学習対象文の順序付き木から学習目標文の順序付き木に変換するための、複数の木編集操作系列を求める。ここで木編集操作系列は、例えば、「ノード<先生が>の削除操作」及び「ノード<先生が>の挿入操作」のように、不要な木編集操作のペアが含まれないものである。また、木編集操作系列出現確率推定部32は、訓練データの学習対象文及び学習目標文の各々について生成された順序付き木から抽出された木編集操作に関する特徴ベクトルをパラメタ集合DB40に格納する。
そして、各木編集操作系列における木編集操作の出現確率を、パラメタ集合DB40に保持しているネットワーク(正例及び負例の双方向RNN)の出力値から算出する。
入力として与えられる学習対象文及び学習目標文から生成される順序付き木をそれぞれτt,τhと定義すると、τtからτhへ変形する際の連続する木編集操作からなる木編集操作系列e=e0,e1…eN,e(N+1)の出現確率p(e│τt,τh)は以下(2)式で求められる。
ここで、y(n)m (t)は、M個の木編集操作のうち、ある木編集操作enに対応するネットワークのm番目の出力値(出現確率)である。e0とe(N+1)とは計算上に用意した、操作しないという操作を示す。またZは次に説明する正規化のための変数である。
各木編集操作における出現確率を出力するネットワークは、正例及び負例の2つの双方向RNNから構成されているために、ある木編集操作系列を入力としたとき、正例及び負例の2つの出現確率値が出力される。ある順序付き木τt,からある順序付き木τhへと変形するための木編集操作系列は複数求めることができ、これら木編集操作系列の出現確率をすべて合計した値がZと定義される。Zは以下(4)式で求められる。
ここで正例及び負例に対応する2つのネットワークからの出力と対応する木編集操作の集合をそれぞれS1,S0と表現している。またe0∈Ss,e(N+1)∈Szである。
パラメタ推定部34は、木編集操作系列出現確率推定部32により訓練データの各々について推定された複数の木編集操作系列の各々の出現確率に基づいて、正例に対応する荷重行列及び負例に対応する荷重行列に対して、訓練データの集合における訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、正例に対応する荷重行列及び負例に対応する荷重行列を更新する。更に、木編集操作系列出現確率推定部32で更新された正例に対応する荷重行列に基づいて、正例に対応する木編集操作の集合に含まれる木編集操作を削減するように、正例に対応する木編集操作の集合を更新する。また、木編集操作系列出現確率推定部32で更新された負例に対応する荷重行列に基づいて、負例に対応する木編集操作の集合に含まれる木編集操作を削減するように、負例に対応する木編集操作の集合を更新する。
パラメタ推定部34における具体的な処理を以下に説明する。パラメタ推定部34は、木編集操作系列出現確率推定部32から出力される、正例及び負例についてのすべての木編集操作系列と出現確率を受け取り、パラメタ集合DB40に保存されている正例及び負例に対応する荷重行列の値と木編集操作集合を更新する。
パラメタ推定部34における荷重行列の学習は、訓練データの集合が含むすべての正例及び負例を用いた、尤度関数を最大化する最尤法の枠組みで行う。尤度関数p(T|θ)は以下(5)式で定義される。
ここでTは、訓練データの集合が含むすべてのデータ数D個の要素を持つ、教師信号ベクトルであり、各要素はd番目のデータである2つの文の意味的類似性を示す2値変数td∈{0,1}からなる。またτt d,τh dは、d番目のデータである2つの文から生成される順序付き木をそれぞれ示す。θはネットワークが持つパラメタ(Wx (t),Wa (t),Wb (t),Wh (t))を示す。
パラメタ推定部34における最尤法の学習では、尤度関数を最大化するようなθを求めればよいが、尤度関数p(T|θ)は対数の中に総和を含む式であり、そのままでは解析的に解くことができない。そのため以下(6)式のような式変形を行い、EMアルゴリズムを用いて逐次的に学習を行う。
EMアルゴリズムを用いて、E−stepで与えられた訓練データの各々における正例及び負例に対応する学習対象文及び学習目標文の2つの順序付き木を用いてp(e│τt d,τh d)を求め、M−stepでp(e│τt d,τh d)log p(td|e,τt d,τh d)を最大化する荷重行列を求める。最大化手法には、例えばBFGS法などの準ニュートン法を用いることができる。また、荷重行列Wx (t),Wb (t),Wa (t),Wh (t)の学習には誤差逆伝搬法などを用いることができる。
ここで、各荷重行列のある行ベクトルである荷重ベクトルwを更新する際の更新式を、準ニュートン法におけるkステップ目のヘッセ行列の逆行列の近似行列Hkを用いて、以下(7)式のように定式化する。
ここでfは荷重ベクトルwが結合している出力ベクトルの要素における出力関数を示す。上記(7)式により、推定される荷重行列の値はL1正則化を伴って学習されるため、尤度関数を最大化するうえで影響の小さい荷重の値は0をとる。この効果を利用して、木編集操作の削減を行うことができる。
パラメタ推定部34における木編集操作の削減は、具体的には、訓練データの集合に含まれるすべての訓練データに基づいてパラメタを学習する毎(1epoch毎)に、荷重行列Wb (t),Wa (t)が含む0の値をとる荷重の数を、それぞれm番目の入力値であるy(n−1)m (t),y(n+1)m (t)ごとに取得し、その数が隠れベクトルh(n)(t)の次元数の半分よりも大きいとき、対応するy(n)m (t),y(n−1)m (t),y(n+1)m (t)全てのm番目の出力ベクトルの要素を削除する。この操作は、m番目の出力ベクトルの要素に対応する木編集操作が削減されたことに対応している。この処理によって、学習が1epochごと進むたびに木編集操作が削除されうる。当該木編集操作の削減処理は、正例及び負例に対応する2つの双方向RNNごとに行われ、正例及び負例に対応する木編集操作集合S1及びS0それぞれに含まれる木編集操作の総数Mが更新される。
なお、上記のパラメタ推定手法を用いるとき、木編集操作集合の初期集合をあらかじめ複数用意する必要がある。図6に木編集操作集合の初期集合の一例を示す。また、当該学習手法では局所解が存在するため、尤度の低い局所解を避けるために、事前学習を行ってもよい。
反復判定部36は、反復終了条件を満たすまで、木編集操作系列出現確率推定部32による推定、及びパラメタ推定部34による更新を繰り返す。反復終了条件としては、例えば予め定められた回数を繰り返すようにすればよい。
以上のように本実施の形態におけるパラメタ学習装置100は、パラメタ集合DB40に格納されているパラメタの内、双方向RNNの荷重行列の値と、出力層の種類数(木編集操作系列に含まれる木編集操作の種類数)とを更新することによりパラメタを学習する。
<本発明の実施の形態に係る類似度算出装置の構成>
次に、本発明の実施の形態に係る類似度算出装置の構成について説明する。図7に示すように、本発明の実施の形態に係る類似度算出装置200は、CPUと、RAMと、後述する類似度算出処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この類似度算出装置200は、機能的には図7に示すように入力部210と、演算部220とを備えている。
入力部210は、類似度を算出したい文ペアの入力を受け付ける。例えば、「プロメーテウスは人類に火を渡し、張り付けにされた。」と「プロメテウスは人類に火を齎して罰を受けた。」のような文ペアのテキストデータを入力として受け付ける。
演算部220は、順序付木生成部230と、木編集操作系列出現確率推定部232と、文類似度出力部234と、パラメタ集合DB240とを含んで構成されている。
順序付木生成部230は、入力部210で受け付けた文ペアに含まれる文の各々について、形態素を表すノードの各々から構成され、かつ、ノードの各々に順序が付けられた木構造である順序付き木を生成する。なお、順序付木生成部230の具体的な処理は、上記パラメタ学習装置100の順序付木生成部30と同様であるため詳細な説明を省略する。
パラメタ集合DB240には、上記パラメタ学習装置100により学習されたパラメタ集合DB40と同様のものが格納されている。
木編集操作系列出現確率推定部232は、順序付木生成部230により生成された文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、複数の木編集操作系列の各々に含まれる木編集操作の各々について、2つの順序付き木に基づいて算出される当該木編集操作の特徴ベクトルと、パラメタ集合DB240に記憶された、正例に対応する荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定する。
文類似度出力部234は、木編集操作系列出現確率推定部232によって推定された複数の木編集操作系列の各々の出現頻度の総和を、文ペアの類似度として出力する。ここでは、文類似度p(td=1│τt,τh)(=1−p(td=0│τt,τh))は以下(8)式で算出される。
ここでeは、上記パラメタ学習装置100により正例に対する出力層として学習された木編集操作の集合S1、Ss、Szの和集合の部分集合であり、木編集操作系列である。
<本発明の実施の形態に係るパラメタ学習装置の作用>
次に、本発明の実施の形態に係るパラメタ学習装置100の作用について説明する。入力部10において訓練データの集合を受け付けると、パラメタ学習装置100は、図8に示すパラメタ学習処理ルーチンを実行する。
まず、ステップS100では、入力部10において受け付けた訓練データの集合における訓練データの各々に含まれる学習対象文及び学習目標文の各々について、木構造である順序付き木を生成する。
次に、ステップS102では、入力部10において受け付けた訓練データの集合の正例の訓練データの各々に対し、ステップS100で生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、正例に対応する木編集操作集合S1,S0に含まれる木編集操作からなる複数の木編集操作系列eの各々に含まれる木編集操作enの各々について、上記(2)式に従って、木編集操作enの特徴ベクトルと、後述するステップS106で更新された、正例の荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、上記(3)式に従って、訓練データの学習対象文の順序付き木τtを学習目標文の順序付き木τhに変形するための複数の木編集操作系列eの各々の出現確率を推定する。
また、ステップS102では、負例の訓練データの各々に対し、ステップS100で生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、負例に対応する木編集操作集合S1,S0に含まれる木編集操作からなる複数の木編集操作系列eの各々に含まれる木編集操作enの各々について、上記(2)式に従って、木編集操作enの特徴ベクトルと、後述するステップS106で更新された、負例の荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、上記(3)式に従って、訓練データの学習対象文の順序付き木τtを学習目標文の順序付き木τhに変形するための複数の木編集操作系列eの各々の出現確率を推定する。
ステップS104では、ステップS102で推定された木編集操作系列の各々の出現確率と、後述するステップS106で更新された、正例又は負例の荷重行列を用いたJordan型RNNとに基づいて、複数の木編集操作系列eの各々について、上記(6)式に従って、訓練データの各々における正例又は負例に対応する学習対象文及び学習目標文の2つの順序付き木τt,τhを用いて木編集操作系列eの出現確率p(e│τt d,τh d)を求める。
ステップS106では、ステップS104で算出された出現確率に基づいて、正例に対応する荷重行列Wx (1),Wa (1),Wb (1),Wh (1),及び負例に対応する荷重行列Wx (0),Wa (0),Wb (0),Wh (0)に対して、上記(7)式に従って、p(e│τt d,τh d)log p(td|e,τt d,τh d)を最大化する荷重行列Wx (t),Wa (t),Wb (t),Wh (t)を求め、パラメタ集合DB40に記憶されている荷重行列Wx (t),Wa (t),Wb (t),Wh (t)を更新する。
ステップS108では、ステップS104〜S106の処理を予め定められた回数繰り返したかを判定し、繰り返していなければステップS104へ戻って繰り返し、繰り返していればステップS110へ移行する。
ステップS110では、ステップS106で更新された荷重行列Wb (t),Wa (t)が含む0の値をとる荷重の数を、それぞれm番目の入力値であるy(n−1)m (t),y(n+1)m (t)ごとに取得し、その数が隠れベクトルh(n)(t)の次元数の半分よりも大きいとき、パラメタ集合DB40において対応するy(n)m (t),y(n−1)m (t),y(n+1)m (t)全てのm番目の出力ベクトルの要素を削除することにより、木編集操作集合S1及びS0と、木編集操作集合S1及びS0それぞれに含まれる木編集操作の総数Mとを更新する。
ステップS112では、予め定められた回数を繰り返す反復終了条件を満たすかを判定し、反復終了条件を満たしていればパラメタ学習処理ルーチンを終了し、反復終了条件を満たしていなければステップS102へ戻ってステップS102〜ステップS110の処理を繰り返す。
以上説明したように、本実施の形態に係るパラメタ学習装置によれば、正例の訓練データの各々について、生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、複数の木編集操作系列の各々に含まれる木編集操作の各々について、正例に対応する荷重行列を用いたJordan型RNNとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、訓練データの学習対象文の順序付き木を学習目標文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定し、負例の訓練データの各々について、順序付木生成部30により生成された学習対象文の順序付き木を学習目標文の順序付き木に変形するための、複数の木編集操作系列の各々に含まれる木編集操作の各々について、負例に対応する荷重行列を用いたJordan型RNNとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、学習対象文の順序付き木を学習目標文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定し、推定された複数の木編集操作系列の各々の出現確率に基づいて、正例に対応する荷重行列及び負例に対応する荷重行列に対して、訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、正例に対応する荷重行列及び負例に対応する荷重行列を更新することを、予め定められた反復終了条件を満たすまで繰り返すことにより、離れた単語間における依存関係を考慮して文ペアの類似度を算出するためのパラメタを学習することができる。
<本発明の実施の形態に係る類似度算出装置の作用>
次に、本発明の実施の形態に係る類似度算出装置200の作用について説明する。入力部210において文ペアを受け付けると、類似度算出装置200は、図9に示す類似度算出処理ルーチンを実行する。
ステップS200では、入力部210において受け付けた文ペアに含まれる文の各々について、木構造である順序付き木を生成する。
ステップS202では、順序付木生成部230により生成された文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、正例に対応する木編集操作集合S1に含まれる木編集操作からなる複数の木編集操作系列の各々に含まれる木編集操作の各々について、2つの順序付き木に基づいて算出される当該木編集操作の特徴ベクトルと、パラメタ集合DB240に記憶された、正例に対応する荷重行列を用いたJordan型RNNとに基づいて、当該木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための複数の木編集操作系列の各々の出現確率を推定する。
ステップS204では、上記(8)式に従って、ステップS202で推定された複数の木編集操作系列の各々の出現頻度の総和を、文ペアの類似度として出力して処理を終了する。
以上説明したように、本実施の形態に係る類似度算出装置によれば、生成された文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、複数の木編集操作系列の各々に含まれる木編集操作の各々について、生成された順序付き木から抽出される、木編集操作の特徴ベクトルと、特徴ベクトルから木編集操作の出現確率を推定するための、予め学習されたJordan型RNNとに基づいて、木編集操作の出現確率を推定し、推定された木編集操作の出現確率に基づいて、文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、推定された木編集操作の系列の各々の出現頻度の総和を、文ペアの類似度として出力することにより、離れた単語間における依存関係を考慮して、文ペアの類似度を算出することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図1の構成図に示された機能を実現するプログラムをインストールすることによっても実現可能である。
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図1の構成図に示された機能を実現するプログラムをインストールすることによっても実現可能である。
10、110 入力部
20、220 演算部
30、230 順序付木生成部
32、232 木編集操作系列出現確率推定部
34 パラメタ推定部
36 反復判定部
100 パラメタ学習装置
200 類似度算出装置
234 文類似度出力部
20、220 演算部
30、230 順序付木生成部
32、232 木編集操作系列出現確率推定部
34 パラメタ推定部
36 反復判定部
100 パラメタ学習装置
200 類似度算出装置
234 文類似度出力部
Claims (7)
- 文ペアの類似度を算出する類似度算出装置であって、
前記文ペアに含まれる文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成する順序付木生成部と、
前記順序付木生成部により生成された前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、予め学習されたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定する木編集操作系列出現確率推定部と、
前記木編集操作系列出現確率推定部によって推定された木編集操作の系列の各々の出現頻度の総和を、前記文ペアの類似度として出力する文類似度出力部と、
を含む類似度算出装置。 - 学習対象文と、前記学習対象文と類似する正例の学習目標文及び前記学習対象文と類似しない負例の学習目標文とを含む訓練データの集合を用いてパラメタを学習するパラメタ学習装置であって、
前記訓練データの集合における前記訓練データの各々に含まれる前記学習対象文及び前記学習目標文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成する順序付木生成部と、
前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから、前記木編集操作の出現確率を推定するための、負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定する木編集操作系列出現確率推定部と、
前記木編集操作系列出現確率推定部により前記訓練データの各々について推定された前記木編集操作の系列の各々の出現確率に基づいて、前記正例に対応する荷重行列及び前記負例に対応する荷重行列に対して、前記訓練データの集合における前記訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、前記正例に対応する荷重行列及び前記負例に対応する荷重行列を更新するパラメタ推定部と、
予め定められた反復終了条件を満たすまで、前記木編集操作系列出現確率推定部による推定及び前記パラメタ推定部による更新を繰り返す反復判定部と、
を含むパラメタ学習装置。 - 前記木編集操作系列出現確率推定部は、
前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、正例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、負例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記パラメタ推定部は、更に、更新された前記正例に対応する荷重行列に基づいて、正例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、正例に対応する前記木編集操作の集合を更新し、
更新された前記負例に対応する荷重行列に基づいて、負例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、負例に対応する前記木編集操作の集合を更新する請求項2記載のパラメタ学習装置。 - 文ペアの類似度を算出する類似度算出装置における類似度算出方法であって、
順序付木生成部が、前記文ペアに含まれる文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成するステップと、
木編集操作系列出現確率推定部が、前記順序付木生成部により生成された前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、予め学習されたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記文ペアの一方の文の順序付き木を他方の文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定するステップと、
文類似度出力部が、前記木編集操作系列出現確率推定部によって推定された木編集操作の系列の各々の出現頻度の総和を、前記文ペアの類似度として出力するステップと、
を含む類似度算出方法。 - 学習対象文と、前記学習対象文と類似する正例の学習目標文及び前記学習対象文と類似しない負例の学習目標文とを含む訓練データの集合を用いてパラメタを学習するパラメタ学習装置におけるパラメタ学習方法であって、
順序付木生成部が、前記訓練データの集合における前記訓練データの各々に含まれる前記学習対象文及び前記学習目標文の各々について、形態素を表すノードの各々から構成され、かつ、前記ノードの各々に順序が付けられた木構造である順序付き木を生成するステップと、
木編集操作系列出現確率推定部が、前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから前記木編集操作の出現確率を推定するための、正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により生成された前記学習対象文の順序付き木を学習目標文の順序付き木に変形するための、木編集操作の系列の各々に含まれる前記木編集操作の各々について、前記順序付木生成部により生成された順序付き木から抽出される、前記木編集操作の特徴ベクトルと、前記特徴ベクトルから、前記木編集操作の出現確率を推定するための、負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定するステップと、
パラメタ推定部が、前記木編集操作系列出現確率推定部により前記訓練データの各々について推定された前記木編集操作の系列の各々の出現確率に基づいて、前記正例に対応する荷重行列及び前記負例に対応する荷重行列に対して、前記訓練データの集合における前記訓練データの各々が正例であるか負例であるかを示す教師信号ベクトルの尤もらしさを表す尤度関数を最適化するように、前記正例に対応する荷重行列及び前記負例に対応する荷重行列を更新するステップと、
反復判定部が、予め定められた反復終了条件を満たすまで、前記木編集操作系列出現確率推定部による推定及び前記パラメタ推定部による更新を繰り返すステップと、
を含むパラメタ学習方法。 - 前記木編集操作系列出現確率推定部が推定するステップは、
前記訓練データの集合における正例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、正例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記正例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記訓練データの集合における負例の前記訓練データの各々について、前記順序付木生成部により前記訓練データの前記学習対象文及び前記学習目標文の各々について生成された順序付き木から抽出される、負例に対応する前記木編集操作の集合に含まれる、前記木編集操作の系列の各々に含まれる前記木編集操作の特徴ベクトルと、前記負例に対応する荷重行列を用いたJordan型Recurrent Neural Networkとに基づいて、前記木編集操作の出現確率を推定し、推定された前記木編集操作の出現確率に基づいて、前記訓練データの前記学習対象文の順序付き木を前記学習目標文の順序付き木に変形するための木編集操作の系列の各々の出現確率を推定し、
前記パラメタ推定部が推定するステップは、更に、更新された前記正例に対応する荷重行列に基づいて、正例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、正例に対応する前記木編集操作の集合を更新し、
更新された前記負例に対応する荷重行列に基づいて、負例に対応する前記木編集操作の集合に含まれる木編集操作を削減するように、負例に対応する前記木編集操作の集合を更新する請求項5記載のパラメタ学習方法。 - コンピュータを、請求項1に記載の類似度算出装置、又は請求項2又は3に記載のパラメタ学習装置を構成する各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015124686A JP2017010249A (ja) | 2015-06-22 | 2015-06-22 | パラメタ学習装置、文類似度算出装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015124686A JP2017010249A (ja) | 2015-06-22 | 2015-06-22 | パラメタ学習装置、文類似度算出装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017010249A true JP2017010249A (ja) | 2017-01-12 |
Family
ID=57761688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015124686A Pending JP2017010249A (ja) | 2015-06-22 | 2015-06-22 | パラメタ学習装置、文類似度算出装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017010249A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021510858A (ja) * | 2018-01-22 | 2021-04-30 | 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. | 関連性を算出する方法、関連性を算出する装置、データクエリ装置及び非一時的なコンピュータ可読記録媒体 |
CN113010771A (zh) * | 2021-02-19 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 搜索引擎中的个性化语义向量模型的训练方法及装置 |
CN113302601A (zh) * | 2019-01-08 | 2021-08-24 | 三菱电机株式会社 | 含义关系学习装置、含义关系学习方法及含义关系学习程序 |
WO2021176648A1 (ja) | 2020-03-05 | 2021-09-10 | 富士通株式会社 | 文書評価プログラム、文書評価方法および文書評価装置 |
CN115035890A (zh) * | 2022-06-23 | 2022-09-09 | 北京百度网讯科技有限公司 | 语音识别模型的训练方法、装置、电子设备及存储介质 |
-
2015
- 2015-06-22 JP JP2015124686A patent/JP2017010249A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021510858A (ja) * | 2018-01-22 | 2021-04-30 | 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co.,Ltd. | 関連性を算出する方法、関連性を算出する装置、データクエリ装置及び非一時的なコンピュータ可読記録媒体 |
JP7513396B2 (ja) | 2018-01-22 | 2024-07-09 | 京東方科技集團股▲ふん▼有限公司 | 関連性を算出する方法、関連性を算出する装置、データクエリ装置及び非一時的なコンピュータ可読記録媒体 |
CN113302601A (zh) * | 2019-01-08 | 2021-08-24 | 三菱电机株式会社 | 含义关系学习装置、含义关系学习方法及含义关系学习程序 |
WO2021176648A1 (ja) | 2020-03-05 | 2021-09-10 | 富士通株式会社 | 文書評価プログラム、文書評価方法および文書評価装置 |
CN113010771A (zh) * | 2021-02-19 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 搜索引擎中的个性化语义向量模型的训练方法及装置 |
CN113010771B (zh) * | 2021-02-19 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 搜索引擎中的个性化语义向量模型的训练方法及装置 |
CN115035890A (zh) * | 2022-06-23 | 2022-09-09 | 北京百度网讯科技有限公司 | 语音识别模型的训练方法、装置、电子设备及存储介质 |
CN115035890B (zh) * | 2022-06-23 | 2023-12-05 | 北京百度网讯科技有限公司 | 语音识别模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111914067B (zh) | 中文文本匹配方法及*** | |
CN106502985B (zh) | 一种用于生成标题的神经网络建模方法及装置 | |
US20180329884A1 (en) | Neural contextual conversation learning | |
CN110110062B (zh) | 机器智能问答方法、装置与电子设备 | |
CN104462066B (zh) | 语义角色标注方法及装置 | |
JP6222821B2 (ja) | 誤り修正モデル学習装置、及びプログラム | |
CN113239700A (zh) | 改进bert的文本语义匹配设备、***、方法及存储介质 | |
US10319368B2 (en) | Meaning generation method, meaning generation apparatus, and storage medium | |
CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
CN113127624B (zh) | 问答模型的训练方法及装置 | |
CN111414749B (zh) | 基于深度神经网络的社交文本依存句法分析*** | |
CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
JP6498095B2 (ja) | 単語埋込学習装置、テキスト評価装置、方法、及びプログラム | |
JP2017010249A (ja) | パラメタ学習装置、文類似度算出装置、方法、及びプログラム | |
KR102033458B1 (ko) | 계층적 포인터 네트워크를 이용한 상호참조해결 시스템 및 방법 | |
WO2023137911A1 (zh) | 基于小样本语料的意图分类方法、装置及计算机设备 | |
US11544457B2 (en) | Machine learning based abbreviation expansion | |
US20210406483A1 (en) | Device, method and program for natural language processing | |
CN115345169A (zh) | 一种基于知识增强的文本生成模型及其训练方法 | |
CN111241843B (zh) | 基于复合神经网络的语义关系推断***和方法 | |
US11941360B2 (en) | Acronym definition network | |
CN115878847B (zh) | 基于自然语言的视频引导方法、***、设备及存储介质 | |
CN112100342A (zh) | 一种基于知识表示学习技术的知识图谱问答方法 | |
CN114386425B (zh) | 用于对自然语言文本内容进行处理的大数据体系建立方法 | |
WO2019163752A1 (ja) | 形態素解析学習装置、形態素解析装置、方法、及びプログラム |