JP6605997B2 - 学習装置、学習方法及びプログラム - Google Patents

学習装置、学習方法及びプログラム Download PDF

Info

Publication number
JP6605997B2
JP6605997B2 JP2016054160A JP2016054160A JP6605997B2 JP 6605997 B2 JP6605997 B2 JP 6605997B2 JP 2016054160 A JP2016054160 A JP 2016054160A JP 2016054160 A JP2016054160 A JP 2016054160A JP 6605997 B2 JP6605997 B2 JP 6605997B2
Authority
JP
Japan
Prior art keywords
word
input
output
learning
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016054160A
Other languages
English (en)
Other versions
JP2017167938A (ja
Inventor
皓文 森下
貴史 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016054160A priority Critical patent/JP6605997B2/ja
Priority to US15/388,397 priority patent/US10410624B2/en
Publication of JP2017167938A publication Critical patent/JP2017167938A/ja
Application granted granted Critical
Publication of JP6605997B2 publication Critical patent/JP6605997B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Description

本発明の実施形態は学習装置、学習方法及びプログラムに関する。
単語列が与えられた際に、その単語列中の特定の位置の単語の単語スコアを計算する技術が従来から知られている。近年では、単語スコアの計算をニューラルネットワークによって行う技術が開発されている。
また、単語スコアの計算を行えるニューラルネットワークの学習方法が従来から知られている。従来の学習方法では、例えば、まず学習装置が、学習テキストコーパス中の一部又は全てのテキストに対して形態素解析を行うことにより、当該テキストを複数の単語を含む単語列に変換する。次に、学習装置が、この単語列からニューラルネットワークの入力となる単語の入力例と、入力例と対応する単語の出力例とを選択する。次に、学習装置が、ニューラルネットワークに実際に入力例を入力し、当該ニューラルネットワークの出力結果を得る。そして学習装置が、選択された出力例と、ニューラルネットワークの実際の出力結果との差異に基づいて、ニューラルネットワークのパラメータを更新する。
特許第４２４５５３０号公報 特許第４５４３２９４号公報
"Ｎｅｕｒａｌ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｎｇｕａｇｅ ｍｏｄｅｌｓ" Ｙｏｓｈｕａ Ｂｅｎ−ｇｉｏ， Ｈｏｌｇｅｒ Ｓｃｈｗｅｎｋ， Ｊｅａｎ−Ｓｅｂａｓｔｉｅｎ Ｓｅｎｅｃａｌ， Ｆｒｅｄｅｒｉｃ Ｍｏｒｉｎ， Ｊｅａｎ−Ｌｕｃ Ｇａｕｖａｉｎ "Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ" Ｔｏｍａｓ Ｍｉｋｏｌｏｖ， Ｍａｒｔｉｎ Ｋａｒａｆｉａｔ， Ｌｕｋａｓ Ｂｕｒｇｅｔ， Ｊａｎ Ｃｅｒ−ｎｏｃｋｙ， Ｓａｎｊｅｅｖ Ｋｈｕｄａｎｐｕｒ
しかしながら、従来の技術では、まだ知られていない新語の単語スコアを計算可能なニューラルネットワークの学習ができなかった。
実施形態の学習装置は、分割部と変換部と計算部と学習部とを備える。分割部は、学習対象のニューラルネットワークの入力層に入力される入力文字列を、複数の入力単語に分割する。変換部は、前記複数の入力単語のそれぞれを、前記入力単語に関連付けられた第１の確率で、前記入力単語の語彙素性に変換することにより、前記入力単語又は前記入力単語の語彙素性を示す入力学習単語を取得し、複数の前記入力学習単語を含む入力学習単語列が前記入力層に入力された場合に、前記ニューラルネットワークの出力層から出力されることが予想される出力単語を、前記出力単語に関連付けられた第２の確率で、前記出力単語の語彙素性に変換することにより、前記出力単語又は前記出力単語の語彙素性を示す出力学習単語を取得する。計算部４は、前記ニューラルネットワークの入力層に前記入力学習単語列を入力することにより、前記ニューラルネットワークの出力層のユニットから出力されるスコアを取得する。学習部は、前記出力学習単語に対応するユニットから出力されることが予想される予め定められた予想スコアと、前記出力学習単語に対応するユニットのスコアと、の差に基づいて前記ニューラルネットワークの学習を行う。
実施形態の学習装置の機能構成の例を示す図。 単語スコアの計算例について説明するための図。 実施形態のニューラルネットワークの例を示す図。 実施形態の分割部及び変換部の処理例を示す図。 実施形態の学習方法の例を示すフローチャート。 実施形態の変形例１のニューラルネットワークの例を示す図。 実施形態の変形例２の第１のニューラルネットワークの例を示す図。 実施形態の変形例２の第２のニューラルネットワークの例を示す図。 実施形態の変形例３のニューラルネットワークの例を示す図。 実施形態の学習装置のハードウェア構成の例を示す図。
以下に添付図面を参照して、学習装置、学習方法及びプログラムの実施形態を詳細に説明する。
［学習装置の機能構成］
はじめに、実施形態の学習装置の機能構成の例について説明する。
図１は実施形態の学習装置１００の機能構成の例を示す図である。実施形態の学習装置１００は、記憶部１、分割部２、変換部３、計算部４及び学習部５を備える。
記憶部１は情報を記憶する。記憶部１は、例えば単語リスト、既知語辞書、新語辞書、学習テキストコーパス、後述のニューラルネットワーク（図３参照）、及び、後述の変換確率情報（図４参照）等を記憶する。
単語リストは、単語のリストである。以下、単語リストを語彙という。また語彙に含まれる単語を既知語という。また語彙に含まれない単語を新語という。
既知語辞書は、既に知られている既知語と、当該既知語の語彙素性と、を関連付けて記憶する。既知語は、例えば国語辞書等に既に登録されている一般的によく知られている単語である。語彙素性は、単語をある基準で幾つかの集合に分類した際の集合の種類である。語彙素性は、例えば単語の品詞である。また例えば語彙素性は、単語の類似度により分類された集合の名称等である。なお単語は、自然言語に限らず、記号等を含む。
新語辞書は、新語と、当該新語の語彙素性とを関連付けて記憶する。学習装置１００は、新語辞書により、未知語を新語として扱うことができる。新語辞書には、例えばユーザにより随時、新しい未知語が新語として追加される。
以下、実施形態の説明では、単語の語彙素性が品詞である場合を例にして説明する。
学習テキストコーパスは、単語スコアの計算に使用されるニューラルネットワークの学習に使用される単語列を記憶する。
＜単語スコアの例＞
はじめに、簡単な例により単語スコアの例について説明する。単語スコアは、文字列に含まれるターゲット単語に対して計算される。具体的には、ターゲット単語の単語スコアは、ターゲット単語以外の単語が、単語列中に与えられた条件での条件付き確率により計算される。
図２は単語スコアの計算例について説明するための図である。図２の例では、単語列１０１〜１０３に含まれるターゲット単語ｗ３を計算する場合を示す。単語列１０１のターゲット単語ｗ３は「雨」である。単語列１０２のターゲット単語ｗ３は「カブトムシ」である。単語列１０３のターゲット単語ｗ３は「食べる」である。
ターゲット単語以外の単語は、単語ｗ１「明日」、及び、単語ｗ２「は」である。このとき、単語列１０１の単語スコアＰ１、単語列１０２の単語スコアＰ２、及び、単語列１０３の単語スコアＰ３は、下記式（１）〜（３）により計算される。
Ｐ１（ｗ３＝雨｜ｗ１＝明日，ｗ２＝は）＝０．３ ・・・（１）
Ｐ２（ｗ３＝カブトムシ｜ｗ１＝明日，ｗ２＝は）＝０．１ ・・・（２）
Ｐ３（ｗ３＝食べる｜ｗ１＝明日，ｗ２＝は）＝０．２ ・・・（３）
式（１）〜（３）の例では、単語列１０１の単語スコアが最も高い。そのため、例えば音声認識システムの認識結果として、単語列１０１〜１０３が得られた場合には、言語的な観点からは、認識結果は単語列１０１である可能性が最も高いことがわかる。
＜ニューラルネットワークの構造＞
具体的には、計算部４は、単語列に含まれるターゲット単語の単語スコアを、ニューラルネットワークを用いて計算する。
次に学習対象のニューラルネットワークの構造について説明する。
図３は実施形態のニューラルネットワーク２００の例を示す図である。図３の例は、簡単のため、ターゲット単語の３つ前までの単語に基づいて、当該ターゲット単語の単語スコアを計算する場合の構造を例示している。なおターゲット単語の単語スコアの計算に使用される単語の数は任意でよい。例えばターゲット単語の単語スコアは、ターゲット単語の５つ前までの単語に基づいて計算されてもよい。
実施形態のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。以下、中間層２０ａ〜２０ｃを区別しない場合、単に中間層２０という。なお図３の例では、ニューラルネットワーク２００は、中間層２０及び中間層３０の２層構成になっているが、中間層の層数は任意でよい。
入力層１０は、単語ユニット群１１ａ〜１１ｃ、及び、品詞ユニット群１２ａ〜１２ｃを有する。以下、単語ユニット群１１ａ〜１１ｃを区別しない場合、単に単語ユニット群１１という。同様に、品詞ユニット群１２ａ〜１２ｃを区別しない場合、単に品詞ユニット群１２という。単語ユニット群１１は、１以上の単語ユニットを含む。同様に、品詞ユニット群１２は、１以上の品詞ユニットを含む。
はじめに、計算部４は、ターゲット単語の３つ前までの入力情報を、入力層１０に入力する。
具体的には、計算部４は、ターゲット単語の１つ前の入力情報が単語である場合、当該単語を単語ユニット群１１ａに入力する。一方、計算部４は、ターゲット単語の１つ前の入力情報が品詞である場合、当該品詞を品詞ユニット群１２ａに入力する。
また計算部４は、ターゲット単語の２つ前の入力情報が単語である場合、当該単語を単語ユニット群１１ｂに入力する。一方、計算部４は、ターゲット単語の２つ前の入力情報が品詞である場合、当該品詞を品詞ユニット群１２ｂに入力する。
また計算部４は、ターゲット単語の３つ前の入力情報が単語である場合、当該単語を単語ユニット群１１ｃに入力する。一方、計算部４は、ターゲット単語の３つ前の入力情報が品詞である場合、当該品詞を品詞ユニット群１２ｃに入力する。
なお計算部４が、単語ユニット群１１に単語を入力する方法は任意でよい。計算部４は、例えば各々の単語に対して、予め定められた当該単語を識別するベクトルを単語ユニット群１１に入力する。なお単語を識別するベクトルは任意に定めてよい。単語を識別するベクトルは、例えば（０，０，０，・・・，０，１，０，・・・，０，０，０）等の１つの該当成分が１であり、他の成分は全て０であるベクトルである。この場合、ベクトルの各成分が、単語ユニット群１１に含まれる各ユニットに対応する。１が入力されたユニットは、活性化されたユニットと呼ばれる。
同様に、計算部４が、品詞ユニット群１２に品詞を入力する方法は任意でよい。計算部４は、例えば各々の品詞に対して、予め定められた当該品詞を識別するベクトルを品詞ユニット群１２に入力する。
以下、入力層１０の単語ユニット群１１に入力されたベクトルと、品詞ユニット群１２に入力されたベクトルと、を縦に連結することにより得られる列ベクトルを、単語ベクトルｖｋ（ｋ＝１，２，３）という。
次に、計算部４は、入力層１０の単語ベクトルｖｋ（ｋ＝１，２，３）に、下記式（４）による線形演算を行うことにより得られたベクトルｗｋ（ｋ＝１，２，３）を、中間層２０に入力する。
ｗｋ＝Ｗｖｋ ・・・（４）
ここでＷは、単語ベクトルｖｋの結合重みを示すパラメータを表す行列である。
次に、計算部４は、中間層２０のベクトルｗｋ（ｋ＝１，２，３）に、下記式（５）による演算を行うことにより得られたベクトルｈを、中間層３０に入力する。
ｈｉ＝ｔａｎｈ［（Ｓｗ＋ｕ）ｉ］ ・・・（５）
ここでｉは、ベクトルｈのｉ番目の成分を示す。またｗは、中間層２０のベクトルｗｋ（ｋ＝１，２，３）を縦に連結することにより得られる列ベクトルを示す。またＳはベクトルｗの結合重みを示すパラメータを表す行列である。またｕは中間層３０の閾値パラメータを示す。またｔａｎｈはハイパボリックタンジェント関数を示す。
すなわちベクトルｈは、ベクトルｗに線形演算を行った後に、ハイパボリックタンジェント関数を適用することにより得られる。
次に、計算部４は、中間層３０のベクトルｈに、下記式（６）による線形演算を行うことにより得られたベクトルａに、下記式（７）によるソフトマックス演算を行う。そして計算部４は、ベクトルｙを出力層４０に入力する。
ａ＝Ｔｈ＋ｒ ・・・（６）
ｙｉ＝ｅｘｐ（ａｉ）／Σｊｅｘｐ（ａｊ） ・・・（７）
ここでＴはベクトルｈの結合重みを示すパラメータを表す行列である。またｒは出力層４０の閾値パラメータを示す。またｉは、ベクトルｙ及びベクトルａのｉ番目の成分を示す。またｊは、ベクトルａのｊ番目の成分を示す。またｅｘｐは指数関数を示す。
出力層４０は、単語スコアユニット群４１及び品詞スコアユニット群４２を有する。単語スコアユニット群４１は、１以上の単語スコアユニットを含む。単語スコアユニットの各々は、既に知られている単語（既知語）のスコアを示す。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。
計算部４は、上述の構造のニューラルネットワーク２００を用いることにより、単語と品詞とを含む単語列が入力層１０に与えられた場合でも、ターゲット単語の単語スコアを計算することができる。
具体的には、ターゲット単語ｓｉに対応する出力層４０の値ｙｉが、ターゲット単語ｓｉの単語スコアＰ（ｓｉ｜ｖ１，ｖ２，ｖ３）を表す。計算部４は、ターゲット単語ｓｉが品詞の場合でも、出力層４０に品詞スコアユニット群４２が存在するので、品詞のスコアを計算することができる。
なお上述の図３のニューラルネットワーク２００は、フィードフォワード型ニューラルネットワークであるが、他の構造のニューラルネットワークでもよい。ニューラルネットワーク２００は、例えばリカレント型ニューラルネットワークでもよい。
＜ニューラルネットワークの使用例＞
計算部４は、上述のニューラルネットワーク２００を使用することにより、単語列に新語が含まれる場合でも、ターゲット単語の単語スコアを計算することができる。具体的には、計算部４は、単語が既知語である場合、当該既知語を単語ユニット群１１に入力する。一方、計算部４は、単語が新語である場合、当該新語の品詞を品詞ユニット群１２に入力する。そして計算部４は、ターゲット単語ｓｉが新語である場合、当該新語の品詞に一致する品詞のスコアを、当該新語の単語スコアとして計算する。
＜ニューラルネットワークの学習＞
次にニューラルネットワーク２００の学習処理について説明する。
図１に戻り、分割部２は、学習対象のニューラルネットワーク２００の入力層１０に入力される入力文字列を形態素解析することにより、複数の入力単語に分割する。例えば学習テキストコーパスに単語列１０１（図２参照）が記憶されている場合、入力単語は、単語ｗ１「明日」、及び、単語ｗ２「は」である。
変換部３は、複数の入力単語のそれぞれを、入力単語に関連付けられた確率で、入力単語の品詞に変換することにより、入力単語又は入力単語の品詞を示す入力学習単語を取得する。
また変換部３は、複数の入力学習単語を含む入力学習単語列が入力層１０に入力された場合に、ニューラルネットワーク２００の出力層４０から出力されることが予想される出力単語を、出力単語に関連付けられた確率で、出力単語の品詞に変換することにより、出力単語又は出力単語の品詞を示す出力学習単語を取得する。
図４は実施形態の分割部２及び変換部３の処理例を示す図である。図４の例は、分割部２が、記憶部１に記憶された学習テキストコーパスから文字列１１１を取得した場合を示す。分割部２は、文字列１１１を、入力単語１１２〜１１５、及び、出力単語１１６に分割する。
次に、変換部３は、入力単語１１２〜１１５を、変換確率情報１１０に基づいて、入力単語１１２〜１１５の品詞に変換する。同様に、変換部３は、出力単語１１６を、変換確率情報１１０に基づいて、出力単語１１６の品詞に変換する。これにより変換部３は、文字列１１１を、入力単語又は入力単語の品詞を示す入力学習単語を含む入力学習単語列１１７と、出力単語又は出力単語の品詞を示す出力学習単語と、に変換する。図４の入力学習単語列１１７の例では、入力単語１１４が品詞「名詞」に変換されている。
変換確率情報１１０は、単語、品詞及び確率を関連付けて記憶する。図４の変換確率情報１１０の例では、例えば「天気」が、品詞「名詞」に変換される確率は１％である。
計算部４は、ニューラルネットワーク２００の入力層１０に入力学習単語列１１７を入力することにより、ニューラルネット１１８ワーク２００の出力層４０のユニットから出力されるスコアを取得する。図４の例では、計算部４は、出力学習単語１１８に対応するユニットのスコアを取得する。
学習部５は、出力学習単語１１８の予想スコアと、出力学習単語１１８に対応するユニットのスコアと、の差に基づいてニューラルネットワーク２００の学習を行う。なおニューラルネットワーク２００の学習方法は任意でよい。学習部５は、例えばバックプロパゲーションによりニューラルネットワーク２００の学習を行う。
［学習方法］
次に実施形態の学習方法の例について説明する。
図５は実施形態の学習方法の例を示すフローチャートである。はじめに、分割部２は、学習対象のニューラルネットワーク２００の入力層１０に入力される入力文字列を形態素解析することにより、複数の入力単語に分割する（ステップＳ１）。具体的には、分割部２は、ニューラルネットワーク２００の学習に使用される文字列を、学習テキストコーパスから取得する。そして分割部２は、学習テキストコーパスから取得された文字列を形態素解析することにより、当該文字列を入力文字列（複数の入力単語）と、出力単語と、に分割する。なお出力単語は、ステップＳ３の処理で使用される。
次に、変換部３が、複数の入力単語のそれぞれを、入力単語に関連付けられた確率で、入力単語の品詞に変換することにより、入力単語又は入力単語の品詞を示す入力学習単語を取得する（ステップＳ２）。
次に、変換部３は、複数の入力学習単語を含む入力学習単語列が入力層１０に入力された場合に、ニューラルネットワーク２００の出力層４０から出力されることが予想される出力単語を、出力単語に関連付けられた確率で、出力単語の品詞に変換することにより、出力単語又は出力単語の品詞を示す出力学習単語を取得する（ステップＳ３）。
次に、計算部４が、ニューラルネットワーク２００の入力層１０に入力学習単語列を入力することにより、ニューラルネットワーク２００の出力層４０のユニットから出力されるスコアを取得する（ステップＳ４）。
次に、学習部５が、出力学習単語の予想スコアと、出力学習単語に対応するユニットのスコアと、を比較する（ステップＳ５）。次に、学習部５が、ステップＳ５の処理による比較結果に基づいて、ニューラルネットワーク２００を表すパラメータを更新する（ステップＳ６）。
学習装置１００は、上述のステップＳ１〜ステップＳ６の処理を繰り返すことにより、ニューラルネットワーク２００の学習を行う。
以上説明したように、実施形態の学習装置１００では、分割部２が、学習対象のニューラルネットワーク２００の入力層１０に入力される入力文字列を、複数の入力単語に分割する。変換部３が、複数の入力単語のそれぞれを、入力単語に関連付けられた確率で、入力単語の品詞に変換することにより、入力単語又は入力単語の品詞を示す入力学習単語を取得する。また変換部３は、複数の入力学習単語を含む入力学習単語列が入力層１０に入力された場合に、ニューラルネットワーク２００の出力層４０から出力されることが予想される出力単語を、出力単語に関連付けられた確率で、出力単語の品詞に変換することにより、出力単語又は出力単語の品詞を示す出力学習単語を取得する。計算部４が、ニューラルネットワーク２００の入力層１０に入力学習単語列を入力することにより、ニューラルネットワーク２００の出力層４０のユニットから出力されるスコアを取得する。そして学習部５が、出力学習単語の予想スコアと、出力学習単語に対応するユニットのスコアと、の差に基づいてニューラルネットワーク２００の学習を行う。
これにより実施形態の学習装置１００によれば、まだ知られていない新語の単語スコアを計算するニューラルネットワーク２００の学習を行うことができる。例えば実施形態の学習装置１００によれば、ニューラルネットワーク２００を、既知語辞書を用いて学習した後でも、随時、当該既知語辞書に登録されていない新語のスコアを計算する当該ニューラルネットワーク２００の学習を行うことができる。
（実施形態の変形例１）
次に実施形態の変形例１について説明する。実施形態の変形例１の説明では、上述の実施形態と同様の説明については省略し、上述の実施形態と異なる箇所について説明する。
実施形態の変形例１の学習装置１００の機能構成の説明は、実施形態の学習装置１００の機能構成の例の説明（図１参照）と同じなので省略する。実施形態の変形例１の説明では、語彙素性が品詞である場合を例にして説明する。
実施形態の変形例１では、学習対象のニューラルネットワーク２００の構造が、上述の実施形態のニューラルネットワーク２００の構造（図３参照）と異なる。具体的には、実施形態の変形例１では、ニューラルネットワーク２００の出力層４０が、品詞スコアユニット群４２を有さない点が、上述の実施形態の場合と異なる。
＜ニューラルネットワークの構造＞
図６は実施形態の変形例１のニューラルネットワーク２００の例を示す図である。図６の例は、出力層４０に、出力単語のスコアを出力するユニットがあり、かつ、品詞のスコアを出力するユニットがない場合を示す。
実施形態の変形例１のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。実施形態の変形例１の入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、上述の実施形態の場合と同じなので省略する。
出力層４０は、単語スコアユニット群４１を有する。単語スコアユニット群４１は、単語のスコアを示す。単語スコアユニット群４１は、１以上の単語スコアユニットを含む。単語スコアユニットの各々は、既に知られている単語（既知語）のスコアを示す。
実施形態の変形例１のニューラルネットワーク２００は、出力層４０に品詞スコアユニット群４２がないので、上述の実施形態に比べて、ニューラルネットワーク２００のパラメータを減らすことができる。すなわち実施形態の変形例１では、記憶部１に記憶されるニューラルネットワーク２００の記憶容量を削減することができる。
＜ニューラルネットワークの使用例＞
計算部４は、上述のニューラルネットワーク２００を使用することにより、単語列に新語が含まれる場合でも、ターゲット単語の単語スコアを計算することができる。具体的には、計算部４は、ターゲット単語が新語である場合、単語スコアユニット群４１に含まれる既知語のスコアの全て又は一部のうち、既知語の品詞が、ターゲット単語の新語の品詞と一致する既知語のスコアに基づいて、新語の単語スコアを計算する。計算部４は、例えばターゲット単語が新語である場合、単語スコアユニット群４１に含まれる既知語のスコアの全て又は一部のうち、既知語の品詞が、ターゲット単語の新語の品詞と一致する既知語のスコアの和を、新語の単語スコアとして計算する。
図６の例は、ベクトルｙの成分ｙ２、ｙｉ、ｙｊ及びｙｋが示す既知語のスコアに対応する既知語の品詞が、ターゲット単語である新語の品詞と一致する場合を示す。この場合、計算部４は、ターゲット単語が新語である場合、ｙ２、ｙｉ、ｙｊ及びｙｋが示す既知語のスコアの和を、新語の単語スコアとして計算する。
＜ニューラルネットワークの学習＞
実施形態の変形例１では、ニューラルネットワーク２００の出力層４０に、品詞スコアユニット群４２を有さない。そのため実施形態の変形例１のニューラルネットワーク２００は、品詞のスコアを出力するユニットを表すパラメータがない。
そのため実施形態の変形例１の変換部３は、ニューラルネットワーク２００の出力層４０から出力されることが予想される出力単語を、当該出力単語の品詞に変換する確率を０にする。これにより実施形態の変形例１では、出力単語を当該出力単語の品詞にする変換が行われないので、上述の出力学習単語は、常に上述の出力単語に一致する。
実施形態の変形例１の学習装置１００によれば、出力層４０に、出力単語のスコアを出力するユニットがあり、かつ、品詞のスコアを出力するユニットがない場合にも、上述の実施形態と同様の効果が得られる。
（実施形態の変形例２）
次に実施形態の変形例２について説明する。実施形態の変形例２の説明では、上述の実施形態と同様の説明については省略し、上述の実施形態と異なる箇所について説明する。
実施形態の変形例２の学習装置１００の機能構成の説明は、実施形態の学習装置１００の機能構成の例の説明（図１参照）と同じなので省略する。実施形態の変形例２の説明では、語彙素性が品詞である場合を例にして説明する。
実施形態の変形例２では、学習対象のニューラルネットワーク２００の構造が、上述の実施形態のニューラルネットワーク２００の構造（図３参照）と異なる。具体的には、実施形態の変形例２のニューラルネットワーク２００は、構造的に２つに分離された第１のニューラルネットワーク及び第２のニューラルネットワークを含む。
＜ニューラルネットワークの構造＞
図７は実施形態の変形例２の第１のニューラルネットワーク２００ａの例を示す図である。図７の例は、出力層４０に、出力単語のスコアを出力するユニットがあり、かつ、品詞のスコアを出力するユニットがない場合を示す。
実施形態の変形例２の第１のニューラルネットワーク２００ａは、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。実施形態の変形例２の第１のニューラルネットワーク２００ａの入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、実施形態のニューラルネットワーク２００と同じなので省略する。
出力層４０は、単語スコアユニット群４１を有する。単語スコアユニット群４１は、１以上の単語スコアユニットを含む。単語スコアユニットの各々は、既に知られている単語（既知語）のスコアを示す。
図８は実施形態の変形例２の第２のニューラルネットワーク２００ｂの例を示す図である。図８の例は、出力層４０に、出力単語のスコアを出力するユニットがなく、かつ、品詞のスコアを出力するユニットがある場合を示す。
実施形態の変形例２の第２のニューラルネットワーク２００ｂは、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。実施形態の変形例２の第２のニューラルネットワーク２００ｂの入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、実施形態のニューラルネットワーク２００と同じなので省略する。
出力層４０は、品詞スコアユニット群４２を有する。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。
すなわち実施形態の変形例２では、単語のスコアを計算する第１のニューラルネットワーク２００ａの構造、及び、品詞のスコアを計算する第２のニューラルネットワーク２００ｂの構造を、それぞれのスコア計算に適した構造にすることができる。
＜ニューラルネットワークの使用例＞
計算部４は、上述の第１のニューラルネットワーク２００ａ、及び、第２のニューラルネットワーク２００ｂを使用することにより、単語列に新語が含まれる場合でも、ターゲット単語の単語スコアを計算することができる。具体的には、計算部４は、ターゲット単語が新語である場合、第２のニューラルネットワーク２００ｂの品詞スコアユニット群４２のスコアを、ターゲット単語の単語スコアとして計算する。一方、計算部４は、ターゲット単語が新語でない場合、第１のニューラルネットワーク２００ａの単語スコアユニット群４１のスコアを、ターゲット単語の単語スコアとして計算する。
＜第１のニューラルネットワークの学習＞
実施形態の変形例２の第１のニューラルネットワーク２００ａでは、出力層４０に、品詞スコアユニット群４２を有さない。そのため実施形態の変形例２の第１のニューラルネットワーク２００ａは、上述の実施形態の変形例１の場合と同様に、品詞のスコアを出力するユニットを表すパラメータがない。第１のニューラルネットワーク２００ａの学習方法の説明は、上述の実施形態の変形例１の場合と同じなので省略する。
実施形態の変形例２の第１のニューラルネットワーク２００ａの学習では、出力単語を当該出力単語の品詞にする変換が行われないので、上述の出力学習単語は、常に上述の出力単語に一致する。
＜第２のニューラルネットワークの学習＞
実施形態の変形例２の第２のニューラルネットワーク２００ｂでは、出力層４０に、単語スコアユニット群４１を有さない。そのため実施形態の変形例２の第２のニューラルネットワーク２００ｂは、既に知られている単語（既知語）のスコアを出力するユニットを表すパラメータがない。
そのため実施形態の変形例２の変換部３は、第２のニューラルネットワーク２００ｂの出力層４０から出力されることが予想される出力単語を、当該出力単語の品詞に変換する確率を１にする。これにより実施形態の変形例２の第２のニューラルネットワーク２００ｂの学習では、出力単語を当該出力単語の品詞にする変換が常に行われるので、上述の出力学習単語は、常に上述の出力単語の品詞に一致する。
実施形態の変形例２の学習装置１００によれば、出力層４０に、出力単語のスコアを出力するユニットがあり、かつ、品詞のスコアを出力するユニットがない場合（図７参照）にも、上述の実施形態と同様の効果が得られる。また、実施形態の変形例２の学習装置１００によれば、出力層４０に、出力単語のスコアを出力するユニットがなく、かつ、品詞のスコアを出力するユニットがある場合（図８参照）にも、上述の実施形態と同様の効果が得られる。
（実施形態の変形例３）
次に実施形態の変形例３について説明する。実施形態の変形例３の説明では、上述の実施形態と同様の説明については省略し、上述の実施形態と異なる箇所について説明する。
実施形態の変形例３の学習装置１００の機能構成の説明は、実施形態の学習装置１００の機能構成の例の説明（図１参照）と同じなので省略する。実施形態の変形例３の説明では、語彙素性が品詞である場合を例にして説明する。
実施形態の変形例３では、学習対象のニューラルネットワーク２００の構造が、上述の実施形態のニューラルネットワーク２００の構造（図３参照）と異なる。具体的には、ニューラルネットワーク２００の入力層１０に単語ユニット群１１がなく、ニューラルネットワーク２００の出力層４０に単語スコアユニット群４１がない点が、上述の実施形態の場合と異なる。
＜ニューラルネットワークの構造＞
図９は実施形態の変形例３のニューラルネットワーク２００の例を示す図である。実施形態の変形例３のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。
入力層１０は、品詞ユニット群１２ａ〜１２ｃを有する。品詞ユニット群１２は、１以上の品詞ユニットを含む。
実施形態の変形例３の中間層２０ａ〜２０ｃ及び中間層３０の説明は、実施形態の中間層２０ａ〜２０ｃ及び中間層３０の説明と同じなので省略する。
出力層４０は、品詞スコアユニット群４２を有する。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。
実施形態の変形例３では、ニューラルネットワーク２００の入力層１０に単語ユニット群１１がなく、ニューラルネットワーク２００の出力層４０に単語スコアユニット群４１がない。そのため実施形態の変形例３では、上述の実施形態に比べて、ニューラルネットワーク２００のパラメータを減らすことができる。すなわち実施形態の変形例３では、記憶部１に記憶されるニューラルネットワーク２００の記憶容量を削減することができる。
また、実施形態の変形例３では、入力層１０に入力される情報が品詞であり、出力層４０から出力される情報が品詞スコアであるので、ニューラルネットワーク２００で扱われる情報を品詞に特化させることができる。そのため実施形態の変形例３の学習装置１００は、ニューラルネットワーク２００の統計学習を有利に行うことができる。
＜ニューラルネットワークの使用例＞
計算部４は、上述のニューラルネットワーク２００を使用することにより、単語列に新語が含まれる場合でも、ターゲット単語の単語スコアを計算することができる。具体的には、計算部４は、ターゲット単語の３つ前までの単語に基づいて、入力層１０に情報の入力を行う。計算部４は、ターゲット単語の１つ前の単語の品詞を品詞ユニット群１２ａに入力する。計算部４は、ターゲット単語の２つ前の単語の品詞を品詞ユニット群１２ｂに入力する。計算部４は、ターゲット単語の３つ前の単語の品詞を品詞ユニット群１２ｃに入力する。そして計算部４は、出力層４０の品詞スコアユニット群４２のスコアを、ターゲット単語の単語スコアとして計算する。
＜ニューラルネットワークの学習＞
実施形態の変形例３では、ニューラルネットワーク２００の入力層１０に、単語ユニット群１１を有さない。そのため実施形態の変形例３のニューラルネットワーク２００は、単語を入力するユニットを表すパラメータがない。
そのため実施形態の変形例３の変換部３は、ニューラルネットワーク２００の入力層１０に入力する入力単語を、当該入力単語の品詞に変換する確率を１にする。これにより実施形態の変形例３のニューラルネットワーク２００の学習では、入力単語を当該入力単語の品詞にする変換が常に行われるので、上述の入力学習単語は、常に上述の入力単語の品詞に一致する。
また実施形態の変形例３では、ニューラルネットワーク２００の出力層４０に、単語スコアユニット群４１を有さない。そのため実施形態の変形例３のニューラルネットワーク２００は、上述の実施形態の変形例２の第２のニューラルネットワーク２００ｂの場合と同様に、既に知られている単語（既知語）のスコアを出力するユニットを表すパラメータがない。ニューラルネットワーク２００の学習方法の説明は、上述の実施形態の変形例２の第２のニューラルネットワーク２００ｂの場合と同じなので省略する。
実施形態の変形例３のニューラルネットワーク２００の学習では、出力単語を当該出力単語の品詞にする変換が常に行われるので、上述の出力学習単語は、常に上述の出力単語の品詞に一致する。
実施形態の変形例３の学習装置１００によれば、入力層１０に、入力単語を入力するユニットがなく、かつ、品詞を入力するユニットがない場合、かつ、出力層４０に、出力単語のスコアを出力するユニットがなく、かつ、品詞のスコアを出力するユニットがある場合にも、上述の実施形態と同様の効果が得られる。
以上説明したように、実施形態の学習装置１００は、様々な構造のニューラルネットワーク２００の学習に適用することができる。学習対象のニューラルネットワーク２００として、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上述のニューラルネットワーク２００は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
ニューラルネットワーク２００の入力層１０又は出力層４０の構造が簡略化されている場合に、変換部３が使用する上述の確率をまとめると、以下のようになる。
（１）ニューラルネットワーク２００の入力層１０に、入力単語を入力するユニットがなく、かつ、語彙素性（例えば品詞）を入力するユニットがある場合、変換部３は、入力層１０に入力する入力単語を、当該入力単語の語彙素性に変換する確率を１にする。
（２）ニューラルネットワーク２００の入力層１０に、入力単語を入力するユニットがあり、かつ、語彙素性を入力するユニットがない場合、変換部３は、入力層１０に入力する入力単語を、当該入力単語の語彙素性に変換する確率を０にする。
（３）ニューラルネットワーク２００の出力層４０に、出力単語のスコアを出力するユニットがなく、かつ、語彙素性のスコアを出力するユニットがある場合、変換部３は、出力層４０から出力されることが予想される出力単語を、当該出力単語の品詞に変換する確率を１にする。
（４）ニューラルネットワーク２００の出力層４０に、出力単語のスコアを出力するユニットがあり、かつ、語彙素性のスコアを出力するユニットがない場合、変換部３は、出力層４０から出力されることが予想される出力単語を、当該出力単語の品詞に変換する確率を０にする。
［学習装置のハードウェア構成］
最後に、実施形態の学習装置１００のハードウェア構成の例について説明する。
図１３は実施形態の学習装置１００のハードウェア構成の例を示す図である。実施形態の学習装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。
制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。
表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばキーボード及びマウス等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と情報を送受信する。
実施形態の学習装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
また実施形態の学習装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の学習装置１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
また実施形態の学習装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
実施形態の学習装置１００で実行されるプログラムは、上述の実施形態の学習装置１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。
なお実施形態の学習装置１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 記憶部
２ 分割部
３ 変換部
４ 計算部
５ 学習部
１００ 学習装置
２００ ニューラルネットワーク
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置

Claims (10)

  1. 学習対象のニューラルネットワークの入力層に入力される入力文字列を、複数の入力単語に分割する分割部と、
    前記複数の入力単語のそれぞれを、前記入力単語に関連付けられた第１の確率で、前記入力単語の語彙素性に変換することにより、前記入力単語又は前記入力単語の語彙素性を示す入力学習単語を取得し、複数の前記入力学習単語を含む入力学習単語列が前記入力層に入力された場合に、前記ニューラルネットワークの出力層から出力されることが予想される出力単語を、前記出力単語に関連付けられた第２の確率で、前記出力単語の語彙素性に変換することにより、前記出力単語又は前記出力単語の語彙素性を示す出力学習単語を取得する変換部と、
    前記ニューラルネットワークの入力層に前記入力学習単語列を入力することにより、前記ニューラルネットワークの出力層のユニットから出力されるスコアを取得する計算部と、
    前記出力学習単語に対応するユニットから出力されることが予想される予め定められた予想スコアと、前記出力学習単語に対応するユニットのスコアと、の差に基づいて前記ニューラルネットワークの学習を行う学習部と、
    を備える学習装置。
  2. 前記語彙素性は、単語の品詞である、
    請求項１に記載の学習装置。
  3. 前記学習部は、バックプロパゲーションにより前記ニューラルネットワークの学習を行う、
    請求項１に記載の学習装置。
  4. 前記分割部は、前記ニューラルネットワークの学習に使用される文字列を分割することにより、前記入力文字列と前記出力単語とを取得する、
    請求項１に記載の学習装置。
  5. 前記ニューラルネットワークの入力層に、前記入力単語を入力するユニットがなく、かつ、前記語彙素性を入力するユニットがある場合、
    前記変換部は、前記第１の確率を１にする、
    請求項１に記載の学習装置。
  6. 前記ニューラルネットワークの入力層に、前記入力単語を入力するユニットがあり、かつ、前記語彙素性を入力するユニットがない場合、
    前記変換部は、前記第１の確率を０にする、
    請求項１に記載の学習装置。
  7. 前記ニューラルネットワークの出力層に、前記出力単語のスコアを出力するユニットがなく、かつ、前記語彙素性のスコアを出力するユニットがある場合、
    前記変換部は、前記第２の確率を１にする、
    請求項１に記載の学習装置。
  8. 前記ニューラルネットワークの出力層に、前記出力単語のスコアを出力するユニットがあり、かつ、前記語彙素性のスコアを出力するユニットがない場合、
    前記変換部は、前記第２の確率を０にする、
    請求項１に記載の学習装置。
  9. 学習対象のニューラルネットワークの入力層に入力される入力文字列を、複数の入力単語に分割するステップと、
    前記複数の入力単語のそれぞれを、前記入力単語に関連付けられた第１の確率で、前記入力単語の語彙素性に変換することにより、前記入力単語又は前記入力単語の語彙素性を示す入力学習単語を取得するステップと、
    複数の前記入力学習単語を含む入力学習単語列が前記入力層に入力された場合に、前記ニューラルネットワークの出力層から出力されることが予想される出力単語を、前記出力単語に関連付けられた第２の確率で、前記出力単語の語彙素性に変換することにより、前記出力単語又は前記出力単語の語彙素性を示す出力学習単語を取得するステップと、
    前記ニューラルネットワークの入力層に前記入力学習単語列を入力することにより、前記ニューラルネットワークの出力層のユニットから出力されるスコアを取得するステップと、
    前記出力学習単語に対応するユニットから出力されることが予想される予め定められた予想スコアと、前記出力学習単語に対応するユニットのスコアと、の差に基づいて前記ニューラルネットワークの学習を行うステップ、
    を含む学習方法。
  10. コンピュータを、
    学習対象のニューラルネットワークの入力層に入力される入力文字列を、複数の入力単語に分割する分割部と、
    前記複数の入力単語のそれぞれを、前記入力単語に関連付けられた第１の確率で、前記入力単語の語彙素性に変換することにより、前記入力単語又は前記入力単語の語彙素性を示す入力学習単語を取得し、複数の前記入力学習単語を含む入力学習単語列が前記入力層に入力された場合に、前記ニューラルネットワークの出力層から出力されることが予想される出力単語を、前記出力単語に関連付けられた第２の確率で、前記出力単語の語彙素性に変換することにより、前記出力単語又は前記出力単語の語彙素性を示す出力学習単語を取得する変換部と、
    前記ニューラルネットワークの入力層に前記入力学習単語列を入力することにより、前記ニューラルネットワークの出力層のユニットから出力されるスコアを取得する計算部と、
    前記出力学習単語に対応するユニットから出力されることが予想される予め定められた予想スコアと、前記出力学習単語に対応するユニットのスコアと、の差に基づいて前記ニューラルネットワークの学習を行う学習部、
    として動作させるためのプログラム。
JP2016054160A 2016-03-17 2016-03-17 学習装置、学習方法及びプログラム Active JP6605997B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016054160A JP6605997B2 (ja) 2016-03-17 2016-03-17 学習装置、学習方法及びプログラム
US15/388,397 US10410624B2 (en) 2016-03-17 2016-12-22 Training apparatus, training method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054160A JP6605997B2 (ja) 2016-03-17 2016-03-17 学習装置、学習方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017167938A JP2017167938A (ja) 2017-09-21
JP6605997B2 true JP6605997B2 (ja) 2019-11-13

Family

ID=59855935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054160A Active JP6605997B2 (ja) 2016-03-17 2016-03-17 学習装置、学習方法及びプログラム

Country Status (2)

Country Link
US (1) US10410624B2 (ja)
JP (1) JP6605997B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191038B (zh) * 2018-11-15 2024-05-10 第四范式（北京）技术有限公司 神经网络训练方法和装置及命名实体识别方法和装置
CN109902309B (zh) * 2018-12-17 2023-06-02 北京百度网讯科技有限公司 翻译方法、装置、设备和存储介质
JP6918030B2 (ja) * 2019-01-11 2021-08-11 株式会社東芝 学習装置、学習方法、プログラムおよび情報処理システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03263266A (ja) * 1990-03-14 1991-11-22 Fujitsu Ltd 未知語の品詞選択装置
JP3059504B2 (ja) * 1991-03-08 2000-07-04 富士通株式会社 品詞選択システム
JP4543294B2 (ja) 2000-03-14 2010-09-15 ソニー株式会社 音声認識装置および音声認識方法、並びに記録媒体
JP4245530B2 (ja) 2004-08-19 2009-03-25 三菱電機株式会社 言語モデル作成装置及び方法並びにプログラム
US9582490B2 (en) * 2013-07-12 2017-02-28 Microsoft Technolog Licensing, LLC Active labeling for computer-human interactive learning
US20150095017A1 (en) 2013-09-27 2015-04-02 Google Inc. System and method for learning word embeddings using neural language models
JP6222821B2 (ja) 2013-10-10 2017-11-01 日本放送協会 誤り修正モデル学習装置、及びプログラム
US9715660B2 (en) * 2013-11-04 2017-07-25 Google Inc. Transfer learning for deep neural network based hotword detection
CN105940395B (zh) * 2014-01-31 2019-07-16 谷歌有限责任公司 生成文档的矢量表示
US9484022B2 (en) * 2014-05-23 2016-11-01 Google Inc. Training multiple neural networks with different accuracy
US10580401B2 (en) * 2015-01-27 2020-03-03 Google Llc Sub-matrix input for neural network layers
US9678664B2 (en) * 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
US10115055B2 (en) * 2015-05-26 2018-10-30 Booking.Com B.V. Systems methods circuits and associated computer executable code for deep learning based natural language understanding
US9984677B2 (en) * 2015-09-30 2018-05-29 Nice Ltd. Bettering scores of spoken phrase spotting

Also Published As

Publication number Publication date
US20170270911A1 (en) 2017-09-21
US10410624B2 (en) 2019-09-10
JP2017167938A (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
US11238845B2 (en) Multi-dialect and multilingual speech recognition
US10311146B2 (en) Machine translation method for performing translation between languages
Kim et al. Two-stage multi-intent detection for spoken language understanding
US10796105B2 (en) Device and method for converting dialect into standard language
US20180137109A1 (en) Methodology for automatic multilingual speech recognition
CN110377916B (zh) 词预测方法、装置、计算机设备及存储介质
US20170365252A1 (en) Meaning generation method, meaning generation apparatus, and storage medium
US11693854B2 (en) Question responding apparatus, question responding method and program
US10963819B1 (en) Goal-oriented dialog systems and methods
JP6832501B2 (ja) 意味生成方法、意味生成装置及びプログラム
Korpusik et al. Spoken language understanding for a nutrition dialogue system
JP2015094848A (ja) 情報処理装置、情報処理方法、およびプログラム
US20180277145A1 (en) Information processing apparatus for executing emotion recognition
US11954594B1 (en) Training recurrent neural networks to generate sequences
CN111984766A (zh) 缺失语义补全方法及装置
JP2017058877A (ja) 学習装置、音声検出装置、学習方法およびプログラム
WO2015166606A1 (ja) 自然言語処理システム、自然言語処理方法、および自然言語処理プログラム
WO2014073206A1 (ja) 情報処理装置、及び、情報処理方法
US11620981B2 (en) Speech recognition error correction apparatus
JP6605997B2 (ja) 学習装置、学習方法及びプログラム
JP5612720B1 (ja) 対話制御学習装置と対話制御装置とそれらの方法とプログラム
JP2019204214A (ja) 学習装置、学習方法、プログラム及び推定装置
WO2021200200A1 (ja) 情報処理装置及び情報処理方法
CN114676692A (zh) 一种评论语句特定目标关键词情感分析方法及***
JP6545633B2 (ja) 単語スコア計算装置、単語スコア計算方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191017

R151 Written notification of patent or utility model registration

Ref document number: 6605997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151