JP2018028872A - 学習装置、学習方法、プログラムパラメータおよび学習プログラム - Google Patents

Abstract

【課題】文章に付与するラベルの精度を向上させる。【解決手段】本願に係る学習装置は、第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習部と、前記第１学習部によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成部と、文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習部とを有することを特徴とする。【選択図】図１

Description

本発明は、学習装置、学習方法、プログラムパラメータおよび学習プログラムに関する。

従来、ＲＮＮ（Recurrent neural network）やディープラーニング等と呼ばれる技術を用いて、情報にラベルを付与する技術が知られている。このような技術の一例として、入力された文章の内容に応じて、文章の内容や種別を示すラベルを出力するように学習器の学習を行い、文章にラベルを付与する技術が知られている。

"Learning phrase representations using RNN encoder-decoder for statistical machine translation." K. Cho, B. van Merrienboer, C. Gulcehre, D. Bahdanau,F. Bougares, H. Schwenk, and Y. Bengio. In Proceedings of the 2014 Confer-ence on EMNLP, 2014.

Socher, R.; Perelygin, A.; Wu, J.; Chuang, J.; Manning, C. D.; Ng, A.; and Potts, C. 2013. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP 2013), 1631-1642. Association for Computational Linguistics.

しかしながら、従来技術では、学習器が適切なラベルを付与することができない場合がある。

例えば、入力された文章の内容に応じて、文章の内容や種別を示すラベルを出力するように学習器の学習を行う場合には、文章とその文章に付与すべきラベルとの関係性を学習器に学習させることとなる。しかしながら、文章とその文章に付与すべきラベルとを含む正解データが十分に準備できない場合には、文章とラベルとの関係性を適切に学習することができず、学習器が適切なラベルを付与することができなくなる恐れがある。

本願は、上記に鑑みてなされたものであって、文章に付与するラベルの精度を向上させることを目的とする。

本願に係る学習装置は、第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習部と、前記第１学習部によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成部と、文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習部ととを有することを特徴とする。

実施形態の一態様によれば、文章に付与するラベルの精度を向上させることができる。

図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。 図２は、実施形態に係る学習装置の構成例を示す図である。 図３は、実施形態に係る対話データデータベースに登録される情報の一例を示す図である。 図４は、実施形態に係る学習データデータベースに登録される情報の一例を示す図である。 図５は、実施形態に係る学習装置が生成するＲＮＮのバリエーションを示す第１の図である。 図６は、実施形態に係る学習装置が生成するＲＮＮのバリエーションを示す第２の図である。 図７は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。 図８は、ハードウェア構成の一例を示す図である。

以下に、本願に係る学習装置、学習方法、プログラムパラメータおよび学習プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、学習方法、プログラムパラメータおよび学習プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
［実施形態］

〔１−１．学習装置の一例〕
まず、図１を用いて、学習装置が実行する学習処理の一例について説明する。図１は、実施形態に係る学習装置が実行する学習処理の一例を示す図である。図１では、学習装置１０は、以下に説明する学習処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

より具体的には、学習装置１０は、インターネット等の所定のネットワークＮを介して、利用者が使用する端末装置１００といった任意の装置と通信が可能である。また、学習装置１０は、任意の利用者間における対話を取得するための入力装置２００（例えば、図２を参照）と通信可能である。

なお、端末装置１００や入力装置２００は、スマートフォンやタブレット等のスマートデバイス、デスクトップＰＣ（Personal Computer）やノートＰＣ等、サーバ装置等の情報処理装置により実現される。また、学習装置１０は、サーバ装置やクラウドシステム等の任意の情報処理装置により実現される。

〔１−２．学習処理について〕
ここで、学習装置１０は、入力された文章に対し、その文章の種別や内容等といった属性を示す属性情報を付与するためのモデルを学習する。このような属性情報は、ラベル、タグ、又はメタデータ等と呼ばれ、文章の検索や選択を行う際に利用される。なお、以下の説明では属性情報をラベルと記載する。

例えば、学習装置１０は、文章に含まれる複数の単語を、各単語が文章中に出現する順に入力した際に、各単語の特徴と、各単語が出現する順番の特徴とを学習するリカレントニューラルネットワーク（以下「ＲＮＮ（Recurrent Neural Network）と記載する。）の学習を行う。ここで、ＲＮＮは、複数の情報を順に入力した際に、各情報の特徴と入力された順番の特徴とを符号化し、符号化した特徴を出力する学習器（エンコーダ）と、学習器が出力した特徴に基づいて、新たな情報を復元する復元器（デコーダ）とを有するニューラルネットワークである。例えば、復元器は、学習器が出力した特徴から、学習器に入力された複数の情報を、入力した順に復元するといった処理を実行する。

例えば、学習装置１０は、ＲＮＮの学習に用いられる学習データとして、所定の文章と、その文章に付与すべきラベルとの組を取得する。このような場合、学習装置１０は、文章に含まれる単語をＲＮＮに入力した際に、文章に付与すべきラベルを出力するようにＲＮＮの学習を行う。例えば、学習装置１０は、バックプロパゲーション法等、ディープラーニングやニューラルネットワーク等の学習に用いられる任意の学習手法を用いて、ＲＮＮの学習を実行する。

しかしながら、学習データの数が十分に取得できなかった場合には、文章に含まれる各単語の特徴や、単語が出現する順番の特徴等を適切に学習することができず、文章に付与するラベルの精度が低下する恐れがある。

そこで、学習装置１０は、以下の学習処理を実行する。まず、学習装置１０は、第１ＲＮＮが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる。続いて、学習装置１０は、学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２ＲＮＮを生成する。そして、学習装置１０は、文章と文章に付与されるラベルとの関係性を、第２ＲＮＮに学習させる。すなわち、学習装置１０は、対話に含まれる発話と応答とを用いて、文章とラベルとの関係性のプレトレーニングを行う。

ここで、対話に含まれる発話と応答とには、隠れた共通性が含まれると予測される。例えば、ある小説を原作とするアニメや映画が存在する場合に、対話に含まれる発話と応答とには、小説に関する対話であるのか、アニメに関する対話であるのか、映画に関する対話であるのか等といった隠れた共通性が存在する。また、対話に含まれる発話と、発話に対する応答とには、共通する文脈（コンテキスト）が存在すると予測される。このような共通性は、文章のコンテキストとラベルのコンテキストとの共通性に類似すると予測される。すると、発話と応答との関係性をあらかじめ学習した場合には、文章とラベルとの共通性や共起性を補強しうると考えられる。

そこで、学習装置１０は、発話と応答とを用いて、ＲＮＮに含まれる学習器と復元器とのプレトレーニングを行う。例えば、学習装置１０は、発話を学習器に入力した際に、その発話に対する応答を復元器が出力するように、学習器および復元器のプレトレーニングを行う。より具体的には、学習装置１０は、発話に含まれる各単語が発話内で出現する順番とともに、その各単語が有する特徴を学習器に学習させる。そして、学習装置１０は、学習器が発話を符号化した特徴、すなわち、学習器が出力する情報から、応答に含まれる各単語を各単語が応答内で出現する順番とともに復元するよう復元器を学習させる。

なお、学習装置１０は、発話と応答とを、それぞれ学習器または復元器のいずれかに対応付けるのであれば、発話を学習器に対応付けて学習させ、応答を復元器に対応付けて学習させる必要はない。例えば、学習装置１０は、応答を学習器に対応付けて学習させ、発話を復元器に対応付けて学習させてもよい。具体的には、学習装置１０は、応答を学習器に入力した際に、応答に対応する発話を復元器が出力するように、学習器および復元器の学習を行ってもよい。例えば、学習装置１０は、応答に含まれる各単語が応答内で出現する順番とともに各単語が有する特徴を学習器に学習させる。そして、学習装置１０は、学習器が符号化した特徴から、発話に含まれる各単語を各単語が発話内で出現する順番とともに復元するよう復元器を学習させてもよい。また、学習装置１０は、学習器と復元器とでパラメータを共有させることで、学習器兼復元器となるモデルの学習を行なってもよい。例えば、学習装置１０は、学習器兼復元器として動作する１つのＲＮＮの学習を行ってもよい。

〔１−３．ＲＮＮの生成について〕
ここで、学習装置１０は、プレトレーニングを行ったＲＮＮ、すなわち、第１ＲＮＮをそのまま用いて、文章とラベルとの関係性を学習させてもよい。また、学習装置１０は、第１ＲＮＮに含まれる学習器または復元器の少なくともいずれか１つを用いて、新たなＲＮＮを生成し、生成したＲＮＮに文章とラベルとの関係性を学習させてもよい。

例えば、学習装置１０は、第１ＲＮＮに含まれる学習器と、新たに生成した復元器とを用いて、第２ＲＮＮを生成する。ここで、新たに生成した復元器とは、第１ＲＮＮに含まれる復元器であれば、任意の復元器が適用可能であり、例えば、ニューロン間で情報を伝達する際の伝達係数を初期化（例えば、ランダム化）した復元器であってもよい。このようにして生成された第２ＲＮＮには、学習器側に、発話と応答とに含まれる隠れた共通性の特徴が反映されていると考えられる。換言すると、第２ＲＮＮは、文章を入力した際に適切なラベルを出力するように、各ニューロン間の伝達係数が収束しやすいと考えられる。このため、学習データの量が十分に存在しない場合であっても、第２ＲＮＮは、学習データに含まれる文章とラベルとの関係性、すなわち、文章とラベルとが有する隠れた共通性の特徴を迅速に学習することができると考えられる。

そこで、学習装置１０は、第２ＲＮＮに学習データの文章を入力した際に、入力した文章に付与すべきラベルを第２ＲＮＮが出力するように、第２ＲＮＮの復号化の学習を行う。例えば、学習装置１０は、ランダムに初期化した復元器と、第１ＲＮＮの学習器とを接続し、学習器のパラメータを固定して、復元器側のパラメータの更新を行う。この結果、学習装置１０は、文章に対して適切なラベルを付与するＲＮＮを生成することができるので、文章に付与するラベルの精度を改善することができる。

ここで、学習装置１０は、第３ＲＮＮにおける学習、すなわち、学習データ以外の文章に対してラベルを付与する際に、第２ＲＮＮをそのまま利用してさらに全体を学習させてもよく、第２ＲＮＮを用いて新たな第３ＲＮＮを生成し、新たな第３ＲＮＮを測定時に用いるＲＮＮ（以下、「測定用ＲＮＮ」と記載する。）としてもよい。例えば、第２ＲＮＮに含まれる復元器には、文章とラベルとの関係性の特徴が学習されていると予測される。より具体的には、第２ＲＮＮに含まれる復元器は、複数の単語の特徴と、各単語が出現する順序の特徴とを示す情報から、その複数の単語がその順序で現れる文章に対して付与すべきラベルを示す情報を出力するように学習が行われている。そこで、学習装置１０は、第２ＲＮＮに含まれる復元器と、第１ＲＮＮに含まれる学習器とを含む第３ＲＮＮに対してさらに全体学習をおこなった第３ＲＮＮを測定用ＲＮＮとしてもよい。また、学習装置１０は、第２ＲＮＮを通さずに、第１ＲＮＮの学習器を利用して、さらに全体学習をさせた第３ＲＮＮを測定用ＲＮＮとしてもよい。また、学習装置１０は、第３ＲＮＮの学習時において、学習器のパラメータを固定して復元器側のパラメータのみを更新し、ある程度の学習が進んだ再に、学習器側のパラメータの固定を外して、第３ＲＮＮ全体の学習（トレーニング）を行ってもよい。

そして、学習装置１０は、第３ＲＮＮを用いて、ラベルの付与対象となる文章に対してラベルを付与してもよい。例えば、学習装置１０は、第３ＲＮＮに含まれる学習器の入力層に、文章に含まれる各単語を各単語が出現する順序で入力し、学習器の出力層から出力された情報、すなわち、入力された文章に含まれる各単語の特徴と各単語が出現する順序の特徴とを示す特徴情報を、復元器の入力層に入力する。そして、学習装置１０は、復元器が特徴情報に基づいて出力したラベルを示す情報から、文章に対して付与すべきラベルを決定する。

〔１−４．ＲＮＮのバリエーションについて〕
ここで、学習装置１０は、対話に含まれる発話と応答とを用いてプレトレーニングを行った学習器または復元器を用いるのであれば、任意の処理を用いて、測定用ＲＮＮを生成してよい。例えば、学習装置１０は、第１ＲＮＮに含まれる学習器と新たな復元器とから第２ＲＮＮを生成し、学習データを用いて第２ＲＮＮを学習する。そして、学習装置１０は、学習を行った第２ＲＮＮを、そのまま測定用ＲＮＮとしてもよい。

また、学習装置１０は、第１ＲＮＮに含まれる学習器と、新たな復元器とを用いて第２ＲＮＮを生成し、学習データを用いて第２ＲＮＮを学習する。続いて、学習装置１０は、第２ＲＮＮに含まれる復元器と、第１ＲＮＮに含まれる学習器とを用いて第３ＲＮＮを生成し、学習データを用いて、第３ＲＮＮの学習を行う。そして、学習装置１０は、学習データを用いて学習を行った第３ＲＮＮを測定用ＲＮＮとして出力してもよい。

なお、学習装置１０は、第２ＲＮＮの学習を行う際と、第３ＲＮＮの学習を行う際とで、同一の学習データを用いてもよく、異なる学習データを用いてもよい。また、学習装置１０は、文章とその文章に付与すべきラベルとの組である学習データに加えて、対話に含まれる発話と応答との組を学習データとし、第２ＲＮＮや第３ＲＮＮの学習を行ってもよい。

〔１−５．文章とラベルについて〕
ここで、学習装置１０は、任意の文章に対して付与される任意のラベルを付与するＲＮＮの学習を行ってよい。すなわち、学習装置１０がラベルを付与する文章とは、小説、新聞記事、ブログ、マイクロブログ、批評、投稿等といった執筆物に関する文章であってもよく、カルテ等といった記録等であってもよい。また、文章は、一文であってもよく複数の文からなる文章であってもよい。例えば、学習装置１０は、書籍や作品単位で文章の学習等を行ってもよい。

また、学習装置１０が付与するラベルとは、文章の内容や属性等を示す単語や文章等であってもよく、検索などに使用される数値や文字列等であってもよい。

〔１−６．数式の一例〕
次に、上述した学習処理を示す数式の一例について説明する。例えば、時刻「ｔ」における学習器の「ｊ」番目のノードの状態を「ｈｊ＜ｔ＞」と記載すると、学習器における各ノードの状態は、以下の式（１）で表すことができる。ここで、式（１）中の波付き「ｈｊ＜ｔ＞」は、式（２）で表すことができ、「ｚｊ」および「ｒｊ」は、以下の式（３）および式（４）で表される。ここで、「ｘｔ」は、「ｔ」番目の入力を示す。また、式（２）〜式（４）の「Ｗ」および「Ｕ」は、学習器の接続係数を示すパラメータである。

すると、学習器による学習結果は、式（５）で示すことができる。

ここで、学習器の出力は、復元器の各ノードへと伝達される。このような復元器のノードへの入力は、式（６）で示すことができる。

すると、時刻「ｔ」における復元器の「ｊ」番目のノードの状態を「ｈ´ｊ＜ｔ＞」とすると、「ｈ´ｊ＜ｔ＞」は、以下の式（７）で示すことができる。ここで、式（７）中の波付き「ｈ´ｊ＜ｔ＞」は、以下の式（８）で表すことができ、「ｚ´ｊ」および「ｒ´ｊ」は、以下の式（９）および式（１０）で表される。また、式（８）〜式（１０）の「Ｗ´」および「Ｕ´」は、復元器の接続係数を示すパラメータである。

例えば、学習装置１０は、学習器が文章に含まれる複数の単語、すなわち単語群の特徴および順番を学習し、復元器が学習器の出力から、学習器に入力された複数の単語が学習器に入力された順で出現する文章に対して付与すべきラベルを示す情報を出力するように、式（１）〜式（１０）における「Ｗ」、「Ｕ」、「Ｗ´」および「Ｕ´」の値を学習する。

〔１−７．学習処理の一例〕
次に、図１を用いて、学習装置１０が実行する学習処理の一例について説明する。まず、学習装置１０は、利用者の発言Ａや発言Ｂ等といった対話を入力として受付ける（ステップＳ１）。例えば、入力装置２００は、マイクなどの音声を取得する音声取得装置を用いて、複数の利用者間で行われた対話の音声を取得する。そして、入力装置２００は、任意の音声認識技術を用いて、対話をテキストデータに変換し、変換後のテキストデータ、すなわち、対話のテキストデータを学習装置１０へと送信する。

より具体的には、入力装置２００は、ある利用者による発言Ａのテキストデータを発話のデータ（以下、「発話データ」と記載する場合がある。）とし、発言Ａに対する他の利用者の応答である発言Ｂのテキストデータを応答のデータ（以下、「応答データ」と記載する場合がある。）として生成する。そして、入力装置２００は、発話データおよび応答データを、対話のデータとして学習装置１０へと送信する。

このような場合、学習装置１０は、入力した対話文に含まれる発話と応答とを、それぞれ第１ＲＮＮの学習器または復元器のいずれかに対応付けて、発話と応答とに内在する隠れた情報、すなわち、発話と応答とに内在する隠れた共通性をプレトレーニングする（ステップＳ２）。例えば、学習装置１０は、対話のテキストデータから、発話とその発話に対応する応答とを抽出する。そして、学習装置１０は、第１ＲＮＮに含まれる学習器ＥＮ０１に対して発話に含まれる各単語をその発話に含まれる順に入力した場合に、学習器ＥＮ０１の出力から、学習器ＥＮ０１に入力した発話に対応する応答に含まれる各単語を、その応答に含まれる順で復元器ＤＥ０１が出力するように、学習器ＥＮ０１および復元器ＤＥ０１の学習を行う。より具体的には、学習装置１０は、学習器ＥＮ０１および復元器ＤＥ０１の伝達係数を補正する。

次に、学習装置１０は、プレトレーニングを行った学習器ＥＮ０１と新たな復元器ＤＥ０２とを組み合わせた第２ＲＮＮを生成し、ラベル付き文章（すなわち、学習データ）の文章から、そのラベル付き文章のラベルを生成するように、第２ＲＮＮの学習を行う（ステップＳ３）。例えば、学習装置１０は、第２ＲＮＮに含まれる学習器ＥＮ０１に対してラベル付き文章の文章に含まれる各単語をその文章に含まれる順に入力した場合に、学習器ＥＮ０１の出力から、ラベル付き文章のラベルを示す情報を復元器ＤＥ０２が出力するように、学習器ＥＮ０１および復元器ＤＥ０２の学習を行う。

ここで、学習装置１０は、ラベルの付与対象となる文章を端末装置１００から取得したものとする（ステップＳ４）。このような場合、学習装置１０は、測定時の処理を実行する。より具体的には、学習装置１０は、ラベル付き文章を用いてラベルの学習を行った復元器ＤＥ０２と、プレトレーニングを行った学習器ＥＮ０１とを組み合わせた第３ＲＮＮを測定用ＲＮＮとして、端末装置１００から取得した文章に付与するラベルを判定する（ステップＳ５）。例えば、学習装置１０は、測定用ＲＮＮの学習器ＥＮ０１に端末装置１００から取得した文章に含まれる各単語を、各単語が出現する順序で入力する。そして、学習装置１０は、測定用ＲＮＮの復元器ＤＥ０２が出力した情報に基づいて、文章に付与すべきラベルを判定する。その後、学習装置１０は、判定結果であるラベルを示す情報を、端末装置１００に対して出力する（ステップＳ６）。

〔２．学習装置の構成〕
以下、上記した学習処理を実現する学習装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る学習装置の構成例を示す図である。図２に示すように、学習装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や入力装置２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、対話データデータベース３１、および学習データデータベース３２を記憶する。なお、記憶部３０は、例えば、学習するＲＮＮのノードと伝達係数との関係性を示す情報等をさらに記憶しているものとする。

対話データデータベース３１には、プレトレーニングに用いる対話のデータが登録されている。例えば、図３は、実施形態に係る対話データデータベースに登録される情報の一例を示す図である。図３に示す例では、対話データデータベース３１には、「対話ＩＤ」、「発話情報」、「応答情報」等といった項目を有する情報が登録される。なお、対話データデータベース３１には、発話や応答を行った利用者の属性等、図３に示す情報以外の情報が登録されていてもよい。

ここで、「対話ＩＤ（Identifier）」は、対話を識別するための情報である。また、「発話情報」とは、発話のテキストデータである。また、「応答情報」とは、対応付けられた発話に対する応答のテキストデータである。なお、図３に示す例では、「対話＃１」、「発話＃１」、「応答＃１」等といった概念的な値について記載したが、実際には、対話を識別する識別子や、テキストデータ等が対話データデータベース３１に登録される。

例えば、図３に示す例では、対話ＩＤ「対話＃１」、発話情報「発話＃１」、および応答情報「応答＃１」が対応付けて登録されている。このような情報は、対話ＩＤ「対話＃１」が示す対話に含まれる発話のテキストデータが「発話＃１」であり、この発話に対する応答のテキストデータが「応答＃１」である旨を示す。

図２に戻り、説明を続ける。学習データデータベース３２には、ＲＮＮの学習に用いられる学習データ、すなわち、ラベル付き文章が登録されている。例えば、図４は、実施形態に係る学習データデータベースに登録される情報の一例を示す図である。図４に示す例では、学習データデータベース３２には、「学習データＩＤ」、「文章情報」、「ラベル情報」等といった項目を有する情報が登録される。なお、学習データデータベース３２には、図３に示す情報以外にも、ラベル付き文章に関連する任意の情報が登録されていてもよい。

ここで、「学習データＩＤ」は、学習データとしての対話を識別するための情報である。また、「文章情報」とは、ラベル付き文章の文章、すなわちテキストデータである。また、「ラベル情報」とは、対応付けられた文章に対して付与されるべきラベルを示す情報である。なお、図４に示す例では、「データ＃１」、「文章＃１」、「ラベル＃１」等といった概念的な値について記載したが、実際には、ラベル付き文章を識別する識別子や、テキストデータ等が学習データデータベース３２に登録される。

例えば、図４に示す例では、学習データＩＤ「データ＃１」、文章情報「文章＃１」、およびラベル情報「ラベル＃１」が対応付けて登録されている。このような情報は、学習データＩＤ「データ＃１」が示すラベル付き文章に含まれる文章のテキストデータが「文章＃１」であり、この文章に対して付与されるべきラベルが「ラベル＃１」である旨を示す。

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、学習装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４０は、取得部４１、第１学習部４２、第２学習部４３、生成部４４、および測定部４５を有する。

取得部４１は、所定の対話における発話と、その発話に対する応答とを取得する。例えば、取得部４１は、入力装置２００から対話のテキストデータを取得すると、取得したテキストデータの解析を行い、発話のテキストデータと、その発話に対する応答のテキストデータとを抽出する。そして、取得部４１は、抽出した発話のテキストデータと応答のテキストデータとを対話データとして対話データデータベース３１に登録する。なお、取得部４１は、形態素解析等、任意の文字列解析技術を用いて、発話と、その発話に対応する応答とを抽出してよい。

第１学習部４２は、第１ＲＮＮが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる。すなわち、第１学習部４２は、対話を用いたＲＮＮのプレトレーニングを実行する。

例えば、第１学習部４２は、対話データデータベース３１から対話に含まれる発話と応答とを取得する。また、第１学習部４２は、初期化された第１ＲＮＮ等、プレトレーニングの対象となる第１ＲＮＮを準備する。そして、第１学習部４２は、発話を第１ＲＮＮの学習器に入力した際に、その発話に対する応答を第１ＲＮＮの復元器が出力するように、学習器および復元器の学習を行う。より具体的には、第１学習部４２は、発話に含まれる各単語を発話内で出現する順番で学習器に入力し、学習器が符号化した特徴から、応答に含まれる各単語を各単語が応答内で出現する順番とともに復元するよう学習器と復元器を学習させる。すなわち、第１学習部４２は、発話の各単語が有する特徴と各単語が出現する順番との特徴とを学習器と復元器とに学習させる。

なお、第１学習部４２は、応答を学習器に入力した際に、応答に対応する発話を復元器が出力するように、学習器および復元器の学習を行ってもよい。例えば、第１学習部４２には、応答に含まれる各単語が発話内で出現する順番とともに各単語が有する特徴を学習器に学習させ、学習器が符号化した特徴から、発話に含まれる各単語を各単語が応答内で出現する順番とともに復元するよう復元器を学習させてもよい。

第２学習部４３は、学習データデータベース３２に登録された学習データであるラベル付き文章を用いて、第１ＲＮＮに含まれる学習器または復元器の少なくともいずれか１つを用いて生成された第２ＲＮＮや、第３ＲＮＮの学習を行う。なお、第２学習部４３が実行する処理の例については、後述する。

生成部４４は、第１学習部４２によって学習が行われた学習器または復元器、すなわち、第１ＲＮＮに含まれる学習器または復元器の少なくともいずれか１つを用いて、第２ＲＮＮを生成する。例えば、生成部４４は、第１ＲＮＮに含まれる学習器と新たな復元器とを用いて第２ＲＮＮを生成する。

このような第２ＲＮＮが生成された場合、第２学習部４３は、学習データデータベース３２に登録されたラベル付き文章の文章と、ラベル付き文章のラベルとの関係性を、第２ＲＮＮに学習させる。

また、生成部４４は、第２学習部４３によって第２ＲＮＮの学習が行われた場合、第１学習部４２によってプレトレーニングが行われた第１ＲＮＮの学習器と、第２学習部４３によって学習が行われた第２ＲＮＮの復元器とを含む第３ＲＮＮを生成する。そして、生成部４４は、生成した第３ＲＮＮを測定用ＲＮＮとして記憶部３０等に登録する。

なお、第２学習部４３は、第３ＲＮＮに対して、学習データを用いたさらなる学習を行ってもよい。例えば、第２学習部４３は、第３ＲＮＮに対して、学習データデータベース３２に登録されたラベル付き文章の文章と、ラベル付き文章のラベルとの関係性を学習させる。そして、第２学習部４３は、学習を行った第３ＲＮＮを測定用ＲＮＮとして記憶部３０等に登録してもよい。

測定部４５は、測定用ＲＮＮを用いた測定処理を実行する。例えば、測定部４５は、端末装置１００からラベルの付与対象となる文章を受付けた場合は、生成部４４によって生成された第３ＲＮＮを測定用ＲＮＮとして、受付けられた文章に付与されるラベルを特定する。例えば、測定部４５は、受付けられた文章に含まれる各単語を、文章中に出現する順序で測定用ＲＮＮの学習器に入力し、測定用ＲＮＮの復元器が出力した情報に基づいて、受付けられた文章に付与されるラベルを特定する。そして、測定部４５は、特定したラベルを示す情報を、端末装置１００へと送信する。

なお、測定部４５は、第２学習部４３によってラベル付き文章を用いた学習がさらに行われた第３ＲＮＮを測定用ＲＮＮとして、受付けられた文章に付与されるラベルを特定してもよい。また、測定部４５は、第２学習部４３により学習が行われた第２ＲＮＮを測定用ＲＮＮとして、受付けられた文章に付与されるラベルを特定してもよい。

〔３．ＲＮＮのバリエーション〕
次に、図５および図６を用いて、学習装置１０が測定用ＲＮＮとして用いるＲＮＮの生成のバリエーションについて説明する。図５は、実施形態に係る学習装置が生成するＲＮＮのバリエーションを示す第１の図である。また、図６は、実施形態に係る学習装置が生成するＲＮＮのバリエーションを示す第２の図である。

まず、図５を用いて、第２ＲＮＮを測定用ＲＮＮとする処理の一例について説明する。例えば、学習装置１０は、学習器ＥＮ０１と復元器ＤＥ０１とを含む第１ＲＮＮを生成し、発話と応答とを用いたプレトレーニングを行う（ステップＳ１０）。続いて、学習装置１０は、第１ＲＮＮに含まれる学習器ＥＮ０１を取り出し（ステップＳ１１）、学習器ＥＮ０１と新たな復元器ＤＥ０２とを用いて第２ＲＮＮを生成し、ラベル付き文章の文章とラベルとを用いて、第２ＲＮＮの学習を行う（ステップＳ１２）。そして、学習装置１０は、学習を行った第２ＲＮＮの復元器ＤＥ０２と（ステップＳ１３）、学習を行った第２ＲＮＮの学習器ＥＮ０１と（ステップＳ１４）とをそのまま用いて、測定用ＲＮＮとし、文章からラベルを特定する測定処理を実行する（ステップＳ１５）。

次に、図６を用いて、ラベル付き文章を用いた学習を行った第３ＲＮＮを測定用ＲＮＮとする処理の一例について説明する。例えば、学習装置１０は、学習器ＥＮ０１と復元器ＤＥ０１とを含む第１ＲＮＮを生成し、発話と応答とを用いたプレトレーニングを行う（ステップＳ２０）。続いて、学習装置１０は、第１ＲＮＮに含まれる学習器ＥＮ０１を取り出し（ステップＳ２１）、学習器ＥＮ０１と新たな復元器ＤＥ０２とを用いて第２ＲＮＮを生成し、ラベル付き文章の文章とラベルとを用いて、第２ＲＮＮの学習を行う（ステップＳ２２）。

また、学習装置１０は、学習を行った第２ＲＮＮの復元器ＤＥ０２を取り出し（ステップＳ２３）、プレトレーニングを行った第１ＲＮＮに含まれる学習器ＥＮ０１と組み合わせた第３ＲＮＮを生成し（ステップＳ２４）、ラベル付き文章を用いて第３ＲＮＮの学習を再度実行する（ステップＳ２５）。そして、学習装置１０は、学習を行った第３ＲＮＮの復元器ＤＥ０２と（ステップＳ２６）、学習を行った第３ＲＮＮの学習器ＥＮ０１と（ステップＳ２７）とをそのまま用いて、測定用ＲＮＮとし、文章からラベルを特定する測定処理を実行する（ステップＳ２８）。

〔４．学習装置が実行する処理の流れの一例〕
次に、図７を用いて、学習装置１０が実行する学習処理の流れの一例について説明する。図７は、実施形態に係る学習処理の流れの一例を説明するフローチャートである。まず、学習装置１０は、対話文を取得し（ステップＳ１０１）、対話文から発話と応答とを抽出する（ステップＳ１０２）。そして、学習装置１０は、発話から応答を再現するように、第１ＲＮＮに含まれる学習器と復元器とのプレトレーニングを行う（ステップＳ１０３）。

続いて、学習装置１０は、プレトレーニング済みの学習器と、新たな復元器とを用いた第２ＲＮＮを生成し（ステップＳ１０４）、ラベル付き文章の文章からラベルを示す情報を生成するように、第２ＲＮＮの学習を行う（ステップＳ１０５）。そして、学習装置１０は、学習済みの第２ＲＮＮの復元器と、プレトレーニング済みの第１ＲＮＮに含まれる学習器とを用いた第３ＲＮＮを生成し（ステップＳ１０６）、生成した第３ＲＮＮを測定用ＲＮＮとして用いて、測定処理を実行し（ステップＳ１０７）、処理を終了する。

〔５．変形例〕
上記では、学習装置１０による学習処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習装置１０が実行する学習処理のバリエーションについて説明する。

〔５−１．測定用ＲＮＮについて〕
上述した例では、学習装置１０は、生成した測定用ＲＮＮを用いて、ラベルの付与対象となる文章に付与するラベルを特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置１０は、生成した測定用ＲＮＮを用いて、文章からラベルを付与するプログラムを生成し、生成したプログラムを出力してもよい。このようなプログラムは、学習装置１０以外の情報処理装置が実行することで、学習装置１０により生成された測定用ＲＮＮを用いて、文章からラベルを特定させることができる。すなわち、学習装置１０が生成した測定用ＲＮＮは、文章からラベルを特定するプログラムのプログラムパラメータとして用いられてもよい。

〔５−２．装置構成〕
上述した例では、学習装置１０は、学習装置１０内で学習処理および測定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、学習装置１０は、学習処理のみを実行し、測定処理については、他の装置が実行してもよい。また、学習装置１０は、対話データデータベース３１および学習データデータベース３２を外部のストレージサーバに記憶させてもよい。

〔５−３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した第１学習部４２及び第２学習部４３は統合されてもよい。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔６．プログラム〕
また、上述してきた実施形態に係る学習装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が学習装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔７．効果〕
上述したように、学習装置１０は、第１ＲＮＮが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる。そして、学習装置１０は、学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２ＲＮＮを生成し、文章とその文章に付与されるラベルとの関係性を、第２ＲＮＮに学習させる。このように、学習装置１０は、発話とその発話に対する応答とが含む隠された共通性を用いて、ＲＮＮのプレトレーニングを行うので、文章に付与するラベルの精度を向上させることができる。また、学習データがある程度潤沢にある場合は、従来の学習手法で学習したＲＮＮよりも分類精度（性能）が良いＲＮＮを取得することができる。

また、学習装置１０は、発話を学習器に入力した際に、発話に対する応答を復元器が出力するように、学習器および復元器の学習を行う。例えば、学習装置１０は、発話に含まれる各単語が発話内で出現する順番とともに各単語が有する特徴を学習器に学習させ、学習器が符号化した特徴から、応答に含まれる各単語を各単語が応答内で出現する順番とともに復元するよう復元器を学習させる。

また、学習装置１０は、応答を学習器に入力した際に、応答に対応する発話を復元器が出力するように、学習器および復元器の学習を行う。例えば、学習装置１０は、応答に含まれる各単語が応答内で出現する順番とともに各単語が有する特徴を学習器に学習させ、学習器が符号化した特徴から、発話に含まれる各単語を各単語が発話内で出現する順番とともに復元するよう復元器を学習させる。

上述した処理の結果、学習装置１０は、発話とその発話に対する応答とが含む隠された共通性を用いて、ＲＮＮのプレトレーニングを行うことができる。

また、学習装置１０は、プレトレーニングが行われた第１ＲＮＮに含まれる学習器と新たな復元器とを用いて第２ＲＮＮを生成する。また、学習装置１０は、プレトレーニングが行われた第１ＲＮＮに含まれる学習器と、学習データを用いた学習が行われた第２ＲＮＮに含まれる復元器とを含む第３ＲＮＮを生成する。そして、学習装置１０は、ラベルの付与対象となる文章を受付けた場合は、第３ＲＮＮを用いて、受付けられた文章に付与されるラベルを特定する。このため、学習装置１０は、文章に付与するラベルの精度の悪化を防ぐことができる。

また、学習装置１０は、プレトレーニングが行われた第１ＲＮＮに含まれる学習器と、学習データを用いた学習が行われた第２ＲＮＮに含まれる復元器とを含む第３ＲＮＮを生成する。そして、学習装置１０は、文章と文章に付与されるラベルとの関係性を、生成された第３ＲＮＮに学習させ、学習が行われた第３ＲＮＮを用いて、受付けられた文章に付与されるラベルを特定する。このため、学習装置１０は、文章に付与するラベルの精度の悪化を防ぐことができる。

また、学習装置１０は、ラベルの付与対象となる文章を受付けた場合は、第２ＲＮＮを用いて、受付けられた文章に付与されるラベルを特定する。このため、学習装置１０は、文章に付与するラベルの精度の悪化を防ぐことができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

２０ 通信部
３０ 記憶部
３１ 対話データデータベース
３２ 学習データデータベース
４０ 制御部
４１ 取得部
４２ 第１学習部
４３ 第２学習部
４４ 生成部
４５ 測定部
１００ 端末装置
２００ 入力装置

Claims (12)

1. 第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習部と、
   前記第１学習部によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成部と、
   文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習部と
   を有することを特徴とする学習装置。
2. 前記第１学習部は、前記発話を前記学習器に入力した際に、当該発話に対する応答を前記復元器が出力するように、前記学習器および前記復元器の学習を行う
   ことを特徴とする請求項１に記載の学習装置。
3. 前記第１学習部は、前記発話に含まれる各単語が当該発話内で出現する順番とともに各単語が有する特徴を前記学習器に学習させ、当該学習器が符号化した特徴から、前記応答に含まれる各単語を各単語が当該応答内で出現する順番とともに復元するよう前記復元器を学習させる
   ことを特徴とする請求項２に記載の学習装置。
4. 前記第１学習部は、前記応答を前記学習器に入力した際に、当該応答に対応する発話を前記復元器が出力するように、前記学習器および前記復元器の学習を行う
   ことを特徴とする請求項１に記載の学習装置。
5. 前記第１学習部は、前記応答に含まれる各単語が当該応答内で出現する順番とともに各単語が有する特徴を前記学習器に学習させ、当該学習器が符号化した特徴から、前記発話に含まれる各単語を各単語が当該発話内で出現する順番とともに復元するよう前記復元器を学習させる
   ことを特徴とする請求項４に記載の学習装置。
6. 前記第１生成部は、前記第１学習部によって学習が行われた学習器と新たな復元器とを用いて前記第２リカレントニューラルネットワークを生成する
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の学習装置。
7. 前記第１学習部によって学習された学習器と、前記第２学習部によって学習された前記第２リカレントニューラルネットワークに含まれる復元器とを含む第３リカレントニューラルネットワークを生成する第２生成部と、
   ラベルの付与対象となる文章を受付けた場合は、前記第２生成部により生成された前記第３リカレントニューラルネットワークを用いて、受付けられた文章に付与されるラベルを特定する特定部と
   を有することを特徴とする請求項６に記載の学習装置。
8. 前記第１学習部によって学習された学習器と、前記第２学習部によって学習された前記第２リカレントニューラルネットワークに含まれる復元器とを含む第３リカレントニューラルネットワークを生成する第２生成部と、
   文章と当該文章に付与されるラベルとの関係性を、前記第２生成部によって生成された第３リカレントニューラルネットワークに学習させる第３学習部と、
   ラベルの付与対象となる文章を受付けた場合は、前記第３学習部により学習が行われた前記第３リカレントニューラルネットワークを用いて、受付けられた文章に付与されるラベルを特定する特定部と
   を有することを特徴とする請求項６に記載の学習装置。
9. ラベルの付与対象となる文章を受付けた場合は、前記第２学習部により学習が行われた前記第２リカレントニューラルネットワークを用いて、受付けられた文章に付与されるラベルを特定する特定部と
   を有することを特徴とする請求項６に記載の学習装置。
10. 学習装置が実行する学習方法であって、
    第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習工程と、
    前記第１学習工程によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成工程と、
    文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習工程と
    を含むことを特徴とする学習方法。
11. 第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習工程と、
    前記第１学習工程によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成工程と、
    文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習工程と、
    前記第２リカレントニューラルネットワークを用いて、入力された文章に付与するラベルを推定する第３リカレントニューラルネットワークを生成する第２生成工程と、
    を含むことを特徴とする学習方法で生成される前記第３リカレントニューラルネットワークを含むプログラムパラメータ。
12. コンピュータに
    第１リカレントニューラルネットワークが有する学習器および復元器に、所定の対話における発話と応答との関係性を学習させる第１学習手順と、
    前記第１学習手順によって学習が行われた学習器または復元器の少なくともいずれか１つを用いて、第２リカレントニューラルネットワークを生成する第１生成手順と、
    文章と当該文章に付与されるラベルとの関係性を、前記第２リカレントニューラルネットワークに学習させる第２学習手順と
    を実行させる学習プログラム。

Images