JP7293729B2 - LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM - Google Patents
LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM Download PDFInfo
- Publication number
- JP7293729B2 JP7293729B2 JP2019038037A JP2019038037A JP7293729B2 JP 7293729 B2 JP7293729 B2 JP 7293729B2 JP 2019038037 A JP2019038037 A JP 2019038037A JP 2019038037 A JP2019038037 A JP 2019038037A JP 7293729 B2 JP7293729 B2 JP 7293729B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- model
- input
- classification
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
本発明は、学習装置、情報出力装置、及びプログラムに関する。 The present invention relates to a learning device, an information output device, and a program.
例えば、特許文献１には、文により構成されるテキストデータから言語モデルを学習する言語モデル学習装置が記載されている。この言語モデル学習装置は、テキストデータを構成する文に含まれる単語をクラスタリングしてジャンル分けし、ジャンル分けされた各単語に、ジャンルごとに固有のジャンルＩＤを付与する分類手段を備える。また、この言語モデル学習装置は、テキストデータとして、単語と当該単語に付与されているジャンルＩＤとを再帰型ニューラルネットワークに順次入力し、当該再帰型ニューラルネットワークにより、単語から当該単語の次単語および当該次単語に付与されているジャンルＩＤを推定し、再帰型ニューラルネットワークに順次入力される正解データである次単語およびジャンルＩＤとの誤差を用いた誤差逆伝播法により、再帰型ニューラルネットワークを言語モデルとして更新する学習手段を備える。 For example, Patent Literature 1 describes a language model learning device that learns a language model from text data composed of sentences. This language model learning apparatus includes a classification means for clustering words included in sentences forming text data, classifying them into genres, and assigning genre IDs unique to each genre to each of the classified words. In addition, this language model learning device sequentially inputs a word and a genre ID assigned to the word as text data to a recursive neural network, and the recursive neural network reads from the word to the next word of the word and The genre ID assigned to the next word is estimated, and the error backpropagation method using the error between the next word and the genre ID, which are the correct data sequentially input to the recursive neural network, is used to convert the recursive neural network into a language. A learning means for updating as a model is provided.
また、特許文献２には、つづり－発音記号変換装置が記載されている。このつづり－発音記号変換装置は、単語のつづり文字と、そのつづり文字の発音記号を入力し、Ｎ個の部分文字列を切り出して出力する入力文字窓と、入力文字窓からのつづり文字を受けて１文字ずつディレイをかけたつづりを出力するＮ個の文字ディレイと、を備える。また、このつづり－発音記号変換装置は、これらＮ個の文字ディレイに対応して設けられた、これら文字ディレイの対応する出力を入力とする要素ニューラルネットワークと、当該要素ニューラルネットワークに学習操作を行う学習部とにより構成されるＮ個のニューラルネットワーク部と、を備える。また、このつづり－発音記号変換装置は、入力文字窓からの発音記号を受けて、教師信号を生成し、要素ニューラルネットワークの学習部に与える教師信号生成部と、各要素ニューラルネットワークの出力を受けてそれぞれの出力に所定の重みづけを行う重み係数部と、重み係数部の出力を受けて最終的な発音記号列を出力する最終出力部と、を備える。
In addition,
また、特許文献３には、コンピュータシステムにおけるウェブページを分類する方法が記載されている。この方法は、ウェブページを取り出すステップと、取り出されたウェブページの要約を自動的に生成するステップと、自動的に生成された要約に基づいて取り出されたウェブページの分類を決定するステップと、を備える。 In addition, Patent Literature 3 describes a method of classifying web pages in a computer system. The method comprises the steps of retrieving a web page, automatically generating a summary of the retrieved web page, determining a classification of the retrieved web page based on the automatically generated summary; Prepare.
ところで、複数のモデルを個別に学習する場合、複数のモデルの出力間で内容が矛盾し、内容の一貫性を保てない場合がある。 By the way, when a plurality of models are individually learned, there are cases where the content is inconsistent between the outputs of the plurality of models and the consistency of the content cannot be maintained.
本発明は、複数のモデルを個別に学習する場合と比較して、複数のモデルがそれぞれ出力する出力情報同士の内容の一貫性を向上させることができる学習装置、情報出力装置、及びプログラムを提供することを目的とする。 The present invention provides a learning device, an information output device, and a program that can improve the consistency of the content of output information output by a plurality of models, compared to the case where a plurality of models are individually learned. intended to
上記目的を達成するために、第１態様に係る学習装置は、入力情報から得られ、かつ、前記入力情報と共通の意味を表す特徴情報を入力として、前記特徴情報の意味に対応する文字列の分類を分類結果として出力する分類モデル、及び、前記特徴情報を入力として、前記特徴情報の意味に対応する文字列を生成結果として出力する生成モデルを機械学習する学習部を備えている。 In order to achieve the above object, a learning device according to a first aspect receives feature information that is obtained from input information and has a common meaning with the input information. and a learning unit that machine-learns a generation model that receives the feature information as an input and outputs a character string corresponding to the meaning of the feature information as a generation result.
また、第２態様に係る学習装置は、第１態様に係る学習装置において、前記入力情報から前記特徴情報を抽出する抽出部を更に備え、前記抽出部が、前記入力情報を単語毎に入力し、前記入力した単語と共通の意味を表す特徴情報が出力されるように学習されるニューラルネットワークとされている。 Further, the learning device according to the second aspect is the learning device according to the first aspect, further comprising an extraction unit for extracting the feature information from the input information, wherein the extraction unit inputs the input information word by word. , is a neural network trained to output feature information representing a common meaning with the input word.
また、第３態様に係る学習装置は、第１態様又は第２態様に係る学習装置において、前記分類モデルが、前記特徴情報を入力として、前記特徴情報の意味に対応する文字列の分類毎に固有の分類ＩＤが出力されるように学習されるニューラルネットワークとされている。 Further, a learning device according to a third aspect is the learning device according to the first aspect or the second aspect, wherein the classification model uses the feature information as an input, and for each classification of character strings corresponding to the meaning of the feature information, A neural network is trained to output a unique classification ID.
また、第４態様に係る学習装置は、第１態様～第３態様のいずれか１の態様に係る学習装置において、前記生成モデルが、前記特徴情報を入力として、前記特徴情報の意味に対応する文字列が出力されるように学習されるニューラルネットワークとされている。 Further, a learning device according to a fourth aspect is the learning device according to any one of the first to third aspects, wherein the generative model receives the feature information as an input and corresponds to the meaning of the feature information. It is a neural network that is trained to output character strings.
また、第５態様に係る学習装置は、第１態様～第４態様のいずれか１の態様に係る学習装置において、前記学習部が、前記特徴情報を入力として、前記特徴情報の意味に対応する数値を回帰分析結果として出力する回帰モデルを更に機械学習する。 Further, a learning device according to a fifth aspect is the learning device according to any one of the first to fourth aspects, wherein the learning unit receives the feature information as an input and corresponds to the meaning of the feature information. A regression model that outputs numerical values as regression analysis results is further machine-learned.
また、第６態様に係る学習装置は、第５態様に係る学習装置において、前記回帰モデルが、前記特徴情報を入力として、前記特徴情報の意味に対応する数値が出力されるように学習されるニューラルネットワークとされている。 A learning device according to a sixth aspect is the learning device according to the fifth aspect, wherein the regression model is learned such that the feature information is input and a numerical value corresponding to the meaning of the feature information is output. It's called a neural network.
また、第７態様に係る学習装置は、第１態様～第４態様のいずれか１の態様に係る学習装置において、前記学習部が、前記分類モデル及び前記生成モデルの各々の学習の度合いに応じて決定される、前記分類モデル及び前記生成モデルの各々に対する学習の割合に基づいて、前記分類モデル及び前記生成モデルの各々の学習を行う。 Further, a learning device according to a seventh aspect is the learning device according to any one of the first to fourth aspects, wherein the learning unit is configured to: Each of the classification model and the generative model is trained based on the rate of learning for each of the classification model and the generative model determined by the method.
また、第８態様に係る学習装置は、第７態様に係る学習装置において、前記学習部が、前記分類モデル及び前記生成モデルのうち、前記学習の度合いが低い一方のモデルの前記学習の割合を、前記学習の度合いが高い他方のモデルの前記学習の割合よりも大きく決定する。 Further, the learning device according to the eighth aspect is the learning device according to the seventh aspect, wherein the learning unit calculates the learning ratio of one of the classification model and the generation model having a lower degree of learning. , is determined to be greater than the learning rate of the other model with the higher degree of learning.
また、第９態様に係る学習装置は、第７態様又は第８態様に係る学習装置において、前記学習部が、前記分類モデルから出力された分類結果と、前記分類結果に対応する正解データとの第１誤差を算出する第１算出部と、前記生成モデルから出力された生成結果と、前記生成結果に対応する正解データとの第２誤差を算出する第２算出部と、前記第１誤差に付与する第１重み値、及び、前記第２誤差に付与する第２重み値の各々を、前記分類モデル及び前記生成モデルの各々の学習の度合いに応じて決定する決定部と、前記第１重み値が付与された前記第１誤差と、前記第２重み値が付与された前記第２誤差との和である重み付き和を用いた誤差逆伝播法により、前記分類モデル及び前記生成モデルの各々を更新する更新部と、を含んでいる。 Further, a learning device according to a ninth aspect is the learning device according to the seventh aspect or the eighth aspect, wherein the learning unit compares the classification result output from the classification model and the correct data corresponding to the classification result. a first calculation unit that calculates a first error; a second calculation unit that calculates a second error between a generation result output from the generative model and correct data corresponding to the generation result; a determination unit that determines each of a first weight value to be assigned and a second weight value to be assigned to the second error according to a degree of learning of each of the classification model and the generative model; each of the classification model and the generative model by error backpropagation using a weighted sum that is the sum of the first error assigned the value and the second error assigned the second weight value and an updater for updating the .
また、第１０態様に係る学習装置は、第９態様に係る学習装置において、前記更新部が、前記第１重み値が付与された前記第１誤差が、前記第２重み値が付与された前記第２誤差よりも大きい場合、前記分類モデルの前記学習の度合いを制御するフィードバック量を、前記生成モデルの前記学習の度合いを制御するフィードバック量よりも大きくし、前記第２重み値が付与された前記第２誤差が、前記第１重み値が付与された前記第１誤差よりも大きい場合、前記生成モデルの前記学習の度合いを制御するフィードバック量を、前記分類モデルの前記学習の度合いを制御するフィードバック量よりも大きくする。 Further, the learning device according to a tenth aspect is the learning device according to the ninth aspect, wherein the updating unit converts the first error to which the first weight value is assigned to the error to which the second weight value is assigned. if greater than the second error, the feedback amount controlling the degree of learning of the classification model is made greater than the feedback amount controlling the degree of learning of the generative model, and the second weighting value is assigned. If the second error is greater than the first error with the first weighting value, the amount of feedback controlling the degree of learning of the generative model controls the degree of learning of the classification model. Make it larger than the feedback amount.
また、第１１態様に係る学習装置は、第９態様又は第１０態様に係る学習装置において、前記学習の度合いが、学習を行った回数を示す学習回数及び予め定められた関数の少なくとも一方を用いて制御される。 Further, the learning device according to the eleventh aspect is the learning device according to the ninth aspect or the tenth aspect, wherein the degree of learning uses at least one of a learning number indicating the number of times learning has been performed and a predetermined function. controlled by
一方、上記目的を達成するために、第１２態様に係る情報出力装置は、第１態様～第１１態様のいずれか１の態様に係る学習装置を用いて機械学習された学習済み分類モデルと、前記学習装置を用いて機械学習された学習済み生成モデルと、を備え、前記学習済み分類モデルが、入力情報から得られ、かつ、前記入力情報と共通の意味を表す特徴情報を入力とし、前記特徴情報の意味に対応する文字列の分類を分類結果として出力し、前記学習済み生成モデルが、前記特徴情報を入力とし、前記特徴情報の意味に対応する文字列を生成結果として出力する。 On the other hand, in order to achieve the above object, an information output device according to a twelfth aspect includes a learned classification model machine-learned using the learning device according to any one of the first to eleventh aspects, a trained generative model machine-learned using the learning device, wherein the trained classification model is obtained from input information and receives as input feature information representing a common meaning with the input information; A classification of character strings corresponding to the meaning of the feature information is output as a classification result, and the trained generative model receives the feature information as an input and outputs a character string corresponding to the meaning of the feature information as a generation result.
更に、上記目的を達成するために、第１３態様に係るプログラムは、コンピュータを、第１態様～第１１態様のいずれか１の態様に係る学習装置が備える各部として機能させる。 Furthermore, in order to achieve the above object, a program according to a thirteenth aspect causes a computer to function as each unit included in the learning device according to any one of the first to eleventh aspects.
第１態様、第１２態様、及び第１３態様によれば、複数のモデルを個別に学習する場合と比較して、複数のモデルがそれぞれ出力する出力情報同士の内容の一貫性を向上させることができる、という効果を有する。 According to the first aspect, the twelfth aspect, and the thirteenth aspect, it is possible to improve the consistency of the content of the output information output by each of the plurality of models, compared to the case where the plurality of models are individually learned. It has the effect of being able to
第２態様によれば、特徴情報を得るためにニューラルネットワークを用いない場合と比較して、適切な特徴情報を得ることができる、という効果を有する。 According to the second aspect, there is an effect that appropriate feature information can be obtained as compared with the case where a neural network is not used to obtain feature information.
第３態様によれば、分類ＩＤを得るためにニューラルネットワークを用いない場合と比較して、適切な分類結果を得ることができる、という効果を有する。 According to the third aspect, there is an effect that an appropriate classification result can be obtained as compared with the case where the neural network is not used to obtain the classification ID.
第４態様によれば、文字列を得るためにニューラルネットワークを用いない場合と比較して、適切な文字列を得ることができる、という効果を有する。 According to the fourth aspect, there is an effect that an appropriate character string can be obtained as compared with the case where the neural network is not used to obtain the character string.
第５態様によれば、回帰モデルを用いて特徴情報の意味に対応する数値を得ることができる、という効果を有する。 According to the fifth aspect, there is an effect that a numerical value corresponding to the meaning of the feature information can be obtained using the regression model.
第６態様によれば、数値を得るためにニューラルネットワークを用いない場合と比較して、適切な数値を得ることができる、という効果を有する。 According to the sixth aspect, there is an effect that an appropriate numerical value can be obtained as compared with the case where the neural network is not used to obtain the numerical value.
第７態様によれば、学習の割合を考慮せずに学習を行う場合と比較して、複数のモデル間での学習の進捗を適切に合わせることができる、という効果を有する。 According to the seventh aspect, there is an effect that it is possible to appropriately match the progress of learning among a plurality of models as compared with the case where learning is performed without considering the rate of learning.
第８態様によれば、学習の度合いに係わらず学習の割合を決定する場合と比較して、複数のモデル間での学習の進捗を適切に合わせることができる、という効果を有する。 According to the eighth aspect, it is possible to appropriately match the progress of learning among a plurality of models, as compared with the case where the learning rate is determined regardless of the degree of learning.
第９態様によれば、学習の度合いに係わらず重み値を決定する場合と比較して、複数のモデル間での学習の進捗を適切に合わせることができる、という効果を有する。 According to the ninth aspect, it is possible to appropriately match the progress of learning among a plurality of models, as compared with the case where the weight value is determined regardless of the degree of learning.
第１０態様によれば、重み付き誤差の大小に係わらずフィードバック量を決定する場合と比較して、複数のモデル間での学習の進捗を適切に合わせることができる、という効果を有する。 According to the tenth aspect, there is an effect that it is possible to appropriately match the progress of learning among a plurality of models, compared to the case where the feedback amount is determined regardless of the magnitude of the weighted error.
第１１態様によれば、学習の度合いを学習回数及び関数の少なくとも一方を用いて制御しない場合と比較して、複数のモデル間での学習の進捗を適切に合わせることができる、という効果を有する。 According to the eleventh aspect, compared to the case where the degree of learning is not controlled using at least one of the number of times of learning and the function, it is possible to appropriately match the progress of learning among a plurality of models. .
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。 Hereinafter, an example of a mode for carrying out the present invention will be described in detail with reference to the drawings.
図１は、本実施形態に係る学習装置１０の電気的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る学習装置１０は、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を備えている。
FIG. 1 is a block diagram showing an example of the electrical configuration of a
As shown in FIG. 1, the
本実施形態に係る学習装置１０には、例えば、パーソナルコンピュータ（ＰＣ：Personal Computer）やサーバコンピュータ等の汎用的なコンピュータ装置が適用される。
A general-purpose computer device such as a personal computer (PC) or a server computer, for example, is applied to the
制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。
The
Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。
Functional units including the
制御部１２は、学習装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、学習装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
The
記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係るモデル学習処理を行うための学習処理プログラム１４Ａが記憶される。なお、この学習処理プログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。また、記憶部１４には、学習処理の対象とされる学習モデル群１４Ｂが記憶されている。
For example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like is used as the
学習処理プログラム１４Ａは、例えば、学習装置１０に予めインストールされていてもよい。学習処理プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、学習装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
The
表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１８には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１８は、学習装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
For the
通信部２０は、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続されており、画像形成装置や他のＰＣ等の外部機器との間でネットワークを介して通信が可能とされる。
The
ところで、上述したように、複数のモデルを個別に学習する場合、複数のモデルの出力間で内容が矛盾し、内容の一貫性を保てない場合がある。これについて、図２を参照して、具体的に説明する。 By the way, as described above, when a plurality of models are individually learned, there are cases where the contents of the outputs of the plurality of models are inconsistent and the consistency of the contents cannot be maintained. This will be specifically described with reference to FIG.
図２は、Ｗｅｂサイトに掲載される記事の一例を示す図である。
なお、図２では、求人記事を例示して説明するが、これに限定されるものではない。
FIG. 2 is a diagram showing an example of an article posted on a website.
Note that FIG. 2 illustrates job postings, but the present invention is not limited to this.
図２に示す求人記事では、Ｗｅｂサイトに掲載される記事を検索し易くするために、記事の「職種カテゴリ」、「記事見出し文」、及び「職種フレーズ」が付与されている。図２の例では、「職種カテゴリ」として「モバイルエンジニア」、「記事見出し文」として「あの人気アプリを開発する！ｘＯＳアプリ開発エンジニアを募集！」、「職種フレーズ」として「ｘＯＳエンジニア」が人手により付与されている。人手による作業は負担が大きいため、「記事本文」から、これらの「職種カテゴリ」、「記事見出し文」、及び「職種フレーズ」の各々を機械学習したモデルを用いて自動的に生成することを想定する。 In the recruitment article shown in FIG. 2, an "occupational category", an "article headline", and an "occupational phrase" are assigned to the article posted on the website so that the article can be easily searched. In the example of FIG. 2, the "job category" is "mobile engineer", the "article headline" is "Develop that popular app! Looking for an xOS application developer!", and the "job phrase" is "xOS engineer". Granted by Since manual work is a heavy burden, it is recommended to automatically generate each of these "job categories," "article headlines," and "job phrases" from the "article text" using a machine-learned model. Suppose.
このとき、「職種カテゴリ」、「記事見出し文」、及び「職種フレーズ」の各々に対応するモデルを個別に学習すると、複数のモデルの出力間で内容の一貫性を担保することができない。例えば、ｘＯＳエンジニアのカテゴリで検索したにも係わらず、デザイナーの求人記事が出てくる等、複数のモデルの出力間で内容が矛盾してしまい、Ｗｅｂサイトの閲覧者に違和感を与える可能性がある。 At this time, if models corresponding to each of the "job category", "article headline", and "job phrase" are learned individually, it is not possible to ensure the consistency of content among the outputs of a plurality of models. For example, despite searching in the xOS engineer category, there is a job posting for a designer, etc. There is a possibility that the contents of the output of multiple models will be inconsistent, giving the viewers of the website a sense of incongruity. be.
このため、本実施形態に係る学習装置１０のＣＰＵ１２Ａは、記憶部１４に記憶されている学習処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図３に示す各部として機能する。
Therefore, the
図３は、本実施形態に係る学習装置１０の機能的な構成の一例を示すブロック図である。
図３に示すように、本実施形態に係る学習装置１０のＣＰＵ１２Ａは、エンコーダ３０及び学習部３２として機能する。なお、エンコーダ３０は、抽出部の一例である。また、記憶部１４には学習モデル群１４Ｂが記憶されている。この学習モデル群１４Ｂには、一例として、分類モデル４０、生成モデル４２、及び回帰モデル４４が含まれている。
FIG. 3 is a block diagram showing an example of the functional configuration of the
As shown in FIG. 3, the
本実施形態に係るエンコーダ３０は、学習データとしての入力情報から、入力情報と共通の意味を表す特徴情報を抽出する。ここで、入力情報は、一例として、上述の図２に示す「記事本文」のようなテキストデータである。但し、この入力情報は、テキストデータに限らず、画像データやＩＤ（Identification）データ等でもよい。また、特徴情報は、一例として、テキストデータを変換して得られる中間表現である。ここでいう中間表現は、特徴ベクトルとして表される。以下、入力情報としてテキストデータ、特徴情報として中間表現を適用した場合について説明する。
The
この場合、エンコーダ３０は、入力したテキストデータを中間表現にエンコードする。具体的に、エンコーダ３０は、テキストデータを単語毎に入力し、入力した単語と共通の意味を表す中間表現が出力されるように学習される再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）として構成される。このＲＮＮは、ニューラルネットワークの一例であり、ＲＮＮ以外のニューラルネットワークを用いてもよい。
In this case,
本実施形態に係る学習部３２は、中間表現を入力として、分類モデル４０、生成モデル４２、及び回帰モデル４４をマルチタスク学習により機械学習する。ここで、マルチタスク学習とは、複数の関連するタスク（すなわちモデル）同士でパラメータを共有することにより、予測精度を向上させる学習手法である。本実施形態では、上記３つのモデル間で、中間表現として表されるパラメータの少なくとも一部が共有される。
The
なお、上記では３つのモデルを組み合わせているが、モデルの組み合わせは目的に応じて様々である。例えば、上述の図２に示す例の場合、「職種カテゴリ」の分類を得るための分類モデル４０と、「記事見出し文」及び「職種フレーズ」の各々の文字列を得るための２個の生成モデル４２とが適用される。また、「ニュース記事見出しと推定記事ＰＶ（Page View）数」を得たい場合には、生成モデル４２及び回帰モデル４４が適用され、「翻訳の文書分類と原文の文書分類」を得たい場合には、２個の分類モデル４０が適用される。なお、ＰＶ数とは、Ｗｅｂサイト内で閲覧されたページの合計数として定義される指標である。
Although three models are combined in the above description, there are various combinations of models depending on the purpose. For example, in the case of the example shown in FIG. 2 described above, the
分類モデル４０は、中間表現を入力として、中間表現の意味に対応する文字列の分類を分類結果として出力するモデルである。具体的に、分類モデル４０は、中間表現を入力として、中間表現の意味に対応する文字列の分類毎に固有の分類ＩＤが出力されるように学習されるＲＮＮとして構成される。
The
生成モデル４２は、中間表現を入力として、中間表現の意味に対応する文字列を生成結果として出力するモデルである。具体的に、生成モデル４２は、中間表現を入力として、中間表現の意味に対応する文字列が出力されるように学習されるＲＮＮとして構成される。
The
回帰モデル４４は、中間表現を入力として、中間表現の意味に対応する数値を回帰分析結果として出力するモデルである。この数値としては、一例として、上述のＰＶ数等が挙げられる。具体的に、回帰モデル４４は、中間表現を入力として、中間表現の意味に対応する数値が出力されるように学習されるＲＮＮとして構成される。
The
上記３つのモデルの入力は、共通の中間表現であるため、これら３つのモデルをマルチタスク学習することにより、３つのモデルの出力間で内容の一貫性が担保される。 Since the inputs of the above three models are common intermediate representations, multi-task learning of these three models ensures consistency in content among the outputs of the three models.
ここで、例えば、分類モデル４０及び生成モデル４２では、学習の難易度が異なり、収束までに要する時間も全く異なっている。一般的に、出力が長文であるほど、学習の難易度が高くなる。マルチタスク学習では各モデルの学習の足並みが揃わないと、精度の高い学習結果を得ることができない場合がある。
Here, for example, the
このため、本実施形態に係る学習部３２は、分類モデル４０及び生成モデル４２の各々の学習の度合いに応じて、各モデルの学習の割合を決定し、決定した学習の割合に基づいて、各モデルの学習を行う。具体的に、学習部３２は、分類モデル４０及び生成モデル４２のうち、学習の度合いが低い一方のモデルの学習の割合を、学習の度合いが高い他方のモデルの学習の割合よりも大きく決定する。なお、ここでいう学習の度合いとは、一例として、学習を行った回数を示す学習回数が用いられる。この学習回数は、例えば、学習のエポック数（１単位当たりの学習実施数）及び学習のイテレーション数（学習の繰り返し数）の少なくとも一方から導出される。この場合、分類モデル４０及び生成モデル４２のうち、学習回数が多いほうが学習の度合いが高いモデルと判定され、学習回数が少ないほうが学習の度合いが低いモデルと判定される。
For this reason, the
次に、図４を参照して、本実施形態に係るニューラルネットワークの概要について説明する。 Next, an overview of the neural network according to this embodiment will be described with reference to FIG.
図４は、本実施形態に係るニューラルネットワークの一例を示す概念図である。
図４に示すニューラルネットワーク（以下、「ＮＮ」という。）は、入力層ｘｉ、隠れ層（中間層とも称する）ｙｊ、及び出力層ｚを有している。
FIG. 4 is a conceptual diagram showing an example of a neural network according to this embodiment.
The neural network (hereinafter referred to as "NN") shown in FIG. 4 has an input layer x i , a hidden layer (also called an intermediate layer) y j , and an output layer z.
図４に示すＮＮは、説明を簡単化するために、最も単純な３層構成としているが、隠れ層ｙｊを２層以上とした多層構成としてもよい。また、出力層ｚのノード（ニューロンともいう。）を１つにしているが、複数のノードで構成してもよい。 The NN shown in FIG. 4 has the simplest three-layer structure for simplification of explanation, but it may have a multi-layer structure with two or more hidden layers yj . Also, although the number of nodes (also called neurons) of the output layer z is one, it may be composed of a plurality of nodes.
ここで、ＮＮに対して、入力が与えられたときの出力の計算は、入力から順に以下の式（１）を用いて行われる。なお、ｆ（・）は活性化関数と呼ばれ、一例としてシグモイド関数等が用いられる。また、ｘｉは入力層ｘｉの入力、ｙｊは隠れ層ｙｊの出力、ｚは出力層ｚの出力、ｗｉｊ、ｕｊは重み係数である。これらの重み係数ｗｉｊ、ｕｊを変化させることで同じ入力に対して異なる出力が得られる。つまり、狙った出力が得られるように重み係数ｗｉｊ、ｕｊを更新させることで、各モデルの学習が行われる。なお、ＮＮに設定される重み係数を総称して「重み係数ｗ、ｕ」という。 Here, the calculation of the output when the input is given to the NN is performed using the following formula (1) in order from the input. Note that f(·) is called an activation function, and a sigmoid function or the like is used as an example. Also, x i is the input of the input layer x i , y j is the output of the hidden layer y j , z is the output of the output layer z, and w ij and u j are weighting coefficients. By changing these weighting factors w ij and u j , different outputs can be obtained for the same input. In other words, learning of each model is performed by updating the weighting coefficients w ij and u j so as to obtain the targeted output. Note that the weighting factors set in the NN are collectively referred to as "weighting factors w, u".
次に、図５を参照して、本実施形態に係る学習装置１０の作用を説明する。なお、図５は、本実施形態に係る学習処理プログラム１４Ａの処理の流れの一例を示すフローチャートである。
Next, the operation of the
なお、ここでは、上述の図２に示す「記事本文」から、「職種カテゴリ」の分類、「職種フレーズ」の文字列、及び「記事見出し文」の文字列を得る場合について説明する。 Here, a case will be described in which the classification of the 'occupational category', the character string of the 'occupational phrase', and the character string of the 'article headline' are obtained from the 'article body' shown in FIG.
図５のステップ１００では、エンコーダ３０が、学習データ（入力情報）として、上述の図２に示す「記事本文」の入力を受け付ける。
At
ステップ１０２では、エンコーダ３０が、ステップ１００で入力を受け付けた「記事本文」を中間表現にエンコードする。
At
ステップ１０４では、エンコーダ３０が、ステップ１０２でエンコードした中間表現を各学習モデルに入力する。ここでは、一例として、後述の図６に示す職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂに入力する。
At
ステップ１０６では、学習部３２が、ステップ１０４で中間表現を入力した各学習モデルからの出力を取得する。
At
ステップ１０８では、学習部３２が、ステップ１０６で取得した各学習モデルからの出力と、各学習モデルについての正解データとの誤差である学習用誤差を算出する。
At
ステップ１１０では、学習部３２が、ステップ１０８で算出した各学習モデルについての学習用誤差に基づいて、各学習モデルの学習割合を決定する。
At
ステップ１１２では、学習部３２が、ステップ１１０で決定した各学習モデルの学習割合に基づいて、一例として、誤差逆伝播法を用いて、各学習モデルを更新する。なお、誤差逆伝播法とは、ＲＮＮの学習処理に用いる一般的な手法であり、入力と出力との間の誤差を計算し、その誤差を用いて出力から逆向きに順次に計算して学習を行う手法である。なお、ステップ１０６～ステップ１１２の各ステップを実行する具体的な装置構成について後述の図６及び図７に示す。
At step 112 , the
ステップ１１４では、学習部３２が、全ての学習データについて学習処理が終了したか否かを判定する。全ての学習データについて学習処理が終了していないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。一方、全ての学習データについて学習処理が終了したと判定した場合（肯定判定の場合）、本学習処理プログラム１４Ａによる一連の処理を終了する。
At
次に、図６及び図７を参照して、本実施形態に係る学習装置１０の具体的な構成について説明する。
Next, a specific configuration of the
図６は、本実施形態に係る学習装置１０の具体的な構成を示すブロック図である。
図６に示すように、本実施形態に係る学習装置１０は、エンコーダ３０と、職種カテゴリ分類モデル４０Ａと、職種フレーズ生成モデル４２Ａと、記事見出し文生成モデル４２Ｂと、学習部３２と、を備えている。また、学習部３２は、誤差逆伝播部７０と、学習スケジューリング設定部７２と、を備えている。
FIG. 6 is a block diagram showing a specific configuration of the
As shown in FIG. 6, the
職種カテゴリ分類モデル４０Ａは、図２に示す「職種カテゴリ」の分類を得るための学習モデルである。また、職種フレーズ生成モデル４２Ａは、図２に示す「職種フレーズ」の文字列を得るための学習モデルである。また、記事見出し文生成モデル４２Ｂは、図２に示す「記事見出し文」の文字列を得るための学習モデルである。
The job
図７は、本実施形態に係る誤差逆伝播部７０及び学習スケジューリング設定部７２の具体的な構成を示すブロック図である。
図７に示すように、本実施形態に係る誤差逆伝播部７０は、誤差算出部７０Ａ～７０Ｃと、更新部７０Ｄと、を備えている。また、本実施形態に係る学習スケジューリング設定部７２は、学習割合決定部７２Ａを備えている。この学習割合決定部７２Ａは、決定部の一例である。
FIG. 7 is a block diagram showing specific configurations of the
As shown in FIG. 7, the
図７に示すように、誤差算出部７０Ａは、職種カテゴリ分類モデル４０Ａと学習スケジューリング設定部７２との間に設けられている。誤差算出部７０Ａは、第１算出部の一例である。また、誤差算出部７０Ｂは、職種フレーズ生成モデル４２Ａと学習スケジューリング設定部７２との間に設けられ、誤差算出部７０Ｃは、記事見出し文生成モデル４２Ｂと学習スケジューリング設定部７２との間に設けられている。これら誤差算出部７０Ｂ及び誤差算出部７０Ｃは、第２算出部の一例である。
As shown in FIG. 7, the error calculation unit 70A is provided between the job
誤差算出部７０Ａは、職種カテゴリ分類モデル４０Ａから出力された分類結果と、分類結果に対応する正解データとの第１誤差を算出する。誤差算出部７０Ｂは、職種フレーズ生成モデル４２Ａから出力された生成結果と、生成結果に対応する正解データとの第２誤差を算出する。誤差算出部７０Ｃは、記事見出し文生成モデル４２Ｂから出力された生成結果と、生成結果に対応する正解データとの第３誤差を算出する。
The error calculator 70A calculates a first error between the classification result output from the job
学習割合決定部７２Ａは、第１誤差に付与する第１重み値、第２誤差に付与する第２重み値、及び第３誤差に付与する第３重み値の各々を、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの各々の学習の度合いに応じて決定する。なお、学習の度合いには、一例として、上述の学習回数が用いられる。例えば、職種カテゴリ分類モデル４０Ａ及び職種フレーズ生成モデル４２Ａのうち、学習の度合いが低い一方のモデルの重み値（つまり学習の割合）を、学習の度合いが高い他方のモデルの重み値よりも大きく決定する。図７に示す例では、第１重み値は０．８、第２重み値は０．６、第３重み値は０．５と決定されている。
The learning
第１誤差と第１重み値とは乗算器×で乗算され、第１重み値が付与された第１誤差が加算器＋に入力される。同様に、第２誤差と第２重み値とは乗算器×で乗算され、第２重み値が付与された第２誤差が加算器＋に入力される。第３誤差と第３重み値とは乗算器×で乗算され、第３重み値が付与された第３誤差が加算器＋に入力される。加算器＋では、第１重み値が付与された第１誤差と、第２重み値が付与された第２誤差と、第３重み値が付与された第３誤差との和である重み付き和が算出される。 The first error and the first weighted value are multiplied by the multiplier x, and the first error with the first weighted value is input to the adder +. Similarly, the second error and the second weight value are multiplied by the multiplier x, and the second error with the second weight value is input to the adder +. The third error and the third weight value are multiplied by the multiplier x, and the third error to which the third weight value is assigned is input to the adder +. In the adder +, a weighted sum that is the sum of a first error with a first weight value, a second error with a second weight value, and a third error with a third weight value is calculated.
更新部７０Ｄは、加算器＋からの重み付き和を用いた誤差逆伝播法を用いて、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの各々を更新する。具体的には、第１重み値が付与された第１誤差に基づいて、職種カテゴリ分類モデル４０Ａの重み係数ｗ、ｕ（上述の図４参照）を更新する。また、第２重み値が付与された第２誤差に基づいて、職種フレーズ生成モデル４２Ａの重み係数ｗ、ｕを更新する。また、第３重み値が付与された第３誤差に基づいて、記事見出し文生成モデル４２Ｂの重み係数ｗ、ｕを更新する。
The
このとき、更新部７０Ｄは、一例として、第１重み値が付与された第１誤差が、第２重み値が付与された第２誤差よりも大きい場合、職種カテゴリ分類モデル４０Ａの学習の度合いを制御するフィードバック量を、職種フレーズ生成モデル４２Ａの学習の度合いを制御するフィードバック量よりも大きくする。また、更新部７０Ｄは、第２重み値が付与された第２誤差が、第１重み値が付与された第１誤差よりも大きい場合、職種フレーズ生成モデル４２Ａの学習の度合いを制御するフィードバック量を、職種カテゴリ分類モデル４０Ａの学習の度合いを制御するフィードバック量よりも大きくする。
At this time, as an example, when the first error to which the first weight value is assigned is larger than the second error to which the second weight value is assigned, the
例えば、職種カテゴリ分類モデル４０Ａの重み付き誤差が職種フレーズ生成モデル４２Ａの重み付き誤差よりも大きい場合、職種カテゴリ分類モデル４０Ａは職種フレーズ生成モデル４２Ａと比較して学習が進んでいないと推定される。このため、職種カテゴリ分類モデル４０Ａに対するフィードバック量を、職種フレーズ生成モデル４２Ａに対するフィードバック量よりも大きくして、職種カテゴリ分類モデル４０Ａの学習速度が速く（学習の進捗が速く）なるように制御される。
For example, if the weighted error of the job
なお、学習の度合いは、一例として、学習回数及び予め定められた関数の少なくとも一方を用いて制御される。ここでいう関数には、例えば、上述のシグモイド関数が用いられる。このシグモイド関数に学習率を設定することで、学習の度合いが制御される。この学習率は、ユーザにより適切な値（初期値）が設定されるが、一般的に０より大きく１より小さい範囲で値が設定される。この学習率は、機械学習の最適化においてどのくらいＲＮＮの重み係数を更新するかを示すパラメータ（つまり、更新の幅を示すパラメータ）である。学習率を大きくしすぎると発散し、小さくしすぎると収束まで遅くなる。この場合、職種カテゴリ分類モデル４０Ａに対するフィードバック量を大きくすることで、学習回数を増加させる、あるいは、学習率を大きくする、あるいは、学習回数を増加させかつ学習率を大きくするように制御される。また、職種フレーズ生成モデル４２Ａに対するフィードバック量を小さくしてもよい。この場合、学習回数を減少させる、あるいは、学習率を小さくする、あるいは、学習回数を減少させかつ学習率を小さくするように制御される。
Note that the degree of learning is controlled using at least one of the number of times of learning and a predetermined function, as an example. For the function here, for example, the sigmoid function described above is used. By setting a learning rate for this sigmoid function, the degree of learning is controlled. An appropriate value (initial value) is set for this learning rate by the user, but generally the value is set in a range of greater than 0 and less than 1. This learning rate is a parameter that indicates how much the RNN weighting coefficients are updated in machine learning optimization (that is, a parameter that indicates the update width). If the learning rate is too large, it diverges, and if it is too small, it slows down to convergence. In this case, by increasing the amount of feedback to the job
上記では、一例として、職種カテゴリ分類モデル４０Ａと職種フレーズ生成モデル４２Ａとの２つの学習モデル間での比較としたが、比較する学習モデルの組み合わせはこれに限定されるものではない。例えば、職種カテゴリ分類モデル４０Ａと記事見出し文生成モデル４２Ｂとの比較、職種フレーズ生成モデル４２Ａと記事見出し文生成モデル４２Ｂとの比較でも同様である。また、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの比較でも同様である。
As an example, the comparison between the two learning models, the job
ここで、学習データによる学習を行う前に、上述の学習率及び関数が、学習の難易度が低い（学習が簡単な）学習モデルから学習されるように予め設定してもよい。この場合、学習により得られた学習率及び関数が、学習の難易度が高い（学習が困難な）学習モデルに援用され、学習速度の向上が期待される。また、上述の学習率及び関数が、学習の難易度が高い学習モデルから学習されるように予め設定してもよい。この場合、学習により得られた学習率及び関数が、学習の難易度が低い学習モデルに援用され、過学習が抑制される。 Here, before performing learning using learning data, the above-described learning rate and function may be set in advance so that they are learned from a learning model with a low learning difficulty (learning is easy). In this case, the learning rate and function obtained by learning are used in a learning model with a high learning difficulty (difficult to learn), and an improvement in learning speed is expected. Also, the above-described learning rate and function may be set in advance so that learning is performed from a learning model having a high learning difficulty. In this case, the learning rate and function obtained by learning are used in a learning model with a low learning difficulty, and overfitting is suppressed.
また、学習データによる学習を行う前に、上述の学習率及び関数を、学習データとは別のバリデーションデータを用いて設定するようにしてもよい。このバリデーションデータとは、機械学習の最中にテストにのみ用いるデータである。例えば、学習データが１００個ある場合には、２０個ごとの塊を５つ作成し、そのうち４つの塊を学習データとして用いて、残りの１つをバリデーションデータとして用いる。 Moreover, before performing learning using learning data, the above-described learning rate and function may be set using validation data different from learning data. This validation data is data used only for testing during machine learning. For example, if there are 100 pieces of learning data, five chunks of 20 pieces are created, four of them are used as learning data, and the remaining one is used as validation data.
また、学習モデルの学習の度合いが閾値以上の場合に、当該学習モデルについて学習不要と判定してもよい。学習不要と判定された学習モデルは、一定期間学習を待機させ、他の学習モデルの学習の度合いに合わせるようにする。また、学習の度合いの判定には、学習回数のみならず、学習の履歴を考慮してもよい。 Further, when the degree of learning of the learning model is equal to or greater than a threshold value, it may be determined that the learning of the learning model is unnecessary. A learning model that is determined to require no learning is put on standby for a certain period of time to match the degree of learning of other learning models. Further, in determining the degree of learning, not only the number of times of learning but also the history of learning may be taken into consideration.
また、複数の学習モデル間で一貫性のある出力情報を得るために、中間表現の共有のみならず、複数の学習モデルの各々の内部構造の少なくとも一部のパラメータを共有してもよい。この場合、複数の学習モデルの各々が、出力情報と入力単語列との対応の度合いを算出するアテンション機構を有していてもよい。このアテンション機構により、入力系列中の同一箇所に着目するように学習される。 Moreover, in order to obtain consistent output information among a plurality of learning models, not only the intermediate representation but also at least some parameters of the internal structure of each of the plurality of learning models may be shared. In this case, each of the plurality of learning models may have an attention mechanism that calculates the degree of correspondence between the output information and the input word string. This attention mechanism learns to pay attention to the same point in the input sequence.
次に、図８を参照して、学習支援を目的とした学習モデル４６について説明する。
Next, with reference to FIG. 8, the
図８は、本実施形態に係る学習支援を目的とした学習モデル４６の説明に供する図である。
FIG. 8 is a diagram for explaining the
図８に示す学習モデル４６は、一例として、エンコーダ３０の学習の支援を目的としたモデルであり、エンコーダ３０と共にオートエンコーダとして構成される。この学習モデル４６では、入力情報と共通の意味を表す中間表現を入力し、そのまま入力情報が出力されるように学習される。つまり、エンコーダ３０の入力と学習モデル４６の出力とは同一の入力情報が用いられる。この学習により適切な中間表現が生成されるようになる。学習モデル４６での学習結果は、エンコーダ３０の学習に反映される。
A
また、学習モデル４６は、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの学習の支援を目的としたモデルであってもよい。この場合、学習モデル４６に対して、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの学習の支援のみを目的として設計された入力及び出力のペアを学習データとして与えて学習が行われる。この学習により適切な出力情報が生成されるようになる。学習モデル４６での学習結果は、職種カテゴリ分類モデル４０Ａ、職種フレーズ生成モデル４２Ａ、及び記事見出し文生成モデル４２Ｂの学習に反映される。
Also, the
次に、図９（Ａ）及び図９（Ｂ）を参照して、本実施形態に係る学習装置１０による学習結果の評価例について説明する。
Next, an example of evaluation of learning results by the
図９（Ａ）は、記事見出し文生成の評価結果の一例を示す図である。また、図９（Ｂ）は、職種フレーズ生成の評価結果の一例を示す図である。 FIG. 9A is a diagram showing an example of an evaluation result of article headline generation. Further, FIG. 9B is a diagram showing an example of the evaluation result of occupation phrase generation.
図９（Ａ）及び図９（Ｂ）に示す評価結果は、要約タスクの評価指標である”Ｒｏｕｇｅ－Ｌ”による定量評価結果を示している。 The evaluation results shown in FIGS. 9(A) and 9(B) are quantitative evaluation results by "Rouge-L", which is an evaluation index of summary tasks.
図９（Ａ）に示すように、記事見出し文生成の場合、「見出し＋職種フレーズ＋分類」に対応する数値が本実施形態のマルチタスク学習を適用した場合の結果である。また、図９（Ｂ）に示すように、職種フレーズ生成の場合、「職種フレーズ＋見出し＋分類」に対応する数値が本実施形態のマルチタスク学習を適用した場合の結果である。いずれの場合も、本実施形態のマルチタスク学習を適用しない場合（ベースライン）と比較して、数値が大きくなっており、精度の向上が確認された。 As shown in FIG. 9A, in the case of article headline generation, the numerical value corresponding to "headline + occupational phrase + classification" is the result when the multitask learning of this embodiment is applied. Also, as shown in FIG. 9B, in the case of job phrase generation, the numerical value corresponding to "job phrase+heading+classification" is the result of applying the multitask learning of the present embodiment. In both cases, compared to the case where the multitask learning of this embodiment is not applied (baseline), the numerical values are larger, confirming an improvement in accuracy.
次に、図１０を参照して、本実施形態に係る情報出力装置５０の構成について説明する。
Next, the configuration of the
図１０は、本実施形態に係る情報出力装置５０の機能的な構成の一例を示すブロック図である。
図１０に示すように、本実施形態に係る情報出力装置５０は、ＣＰＵ５２Ａと、記憶部５４と、を備えている。なお、本実施形態では、情報出力装置５０を学習装置１０とは別体のコンピュータ装置として示しているが、情報出力装置５０と学習装置１０とを１つのコンピュータ装置で実現してもよい。
FIG. 10 is a block diagram showing an example of the functional configuration of the
As shown in FIG. 10, the
本実施形態に係る記憶部５４には、上述の学習装置１０により機械学習された学習済みモデル群５４Ｂが記憶されている。この学習済みモデル群５４Ｂには、一例として、学習済み分類モデル６０、学習済み生成モデル６２、及び学習済み回帰モデル６４が含まれている。
The
学習済み分類モデル６０は、中間表現を入力として、中間表現の意味に対応する文字列の分類を分類結果として出力するモデルである。この学習済み分類モデル６０は、図３に示す分類モデル４０を機械学習して得られたモデルである。
The trained
学習済み生成モデル６２は、中間表現を入力として、中間表現の意味に対応する文字列を生成結果として出力するモデルである。この学習済み生成モデル６２は、図３に示す生成モデル４２を機械学習して得られたモデルである。
The trained
学習済み回帰モデル６４は、中間表現を入力として、中間表現の意味に対応する数値を回帰分析結果として出力するモデルである。この学習済み回帰モデル６４は、図３に示す回帰モデル４４を機械学習して得られたモデルである。
The learned
また、記憶部５４には、情報出力処理プログラム（図示省略）が記憶されている。ＣＰＵ５２Ａは、記憶部１４に記憶されている情報出力処理プログラムを実行することにより、エンコーダ３４及び処理部３６として機能する。
The
本実施形態に係るエンコーダ３４は、図３に示すエンコーダ３０と同様の機能を有しており、一例として、上述の図２に示す「記事本文」のテキストデータを中間表現にエンコードする。
The
本実施形態に係る処理部３６は、中間表現を入力として、学習済み分類モデル６０、学習済み生成モデル６２、及び学習済み回帰モデル６４からの出力を取得する処理を行う。また、処理部３６は、各学習済みモデルからの出力に基づいて、一例として、上述の図２に示す記事全体を生成する処理を行う。
The
次に、図１１を参照して、本実施形態に係る情報出力装置５０の作用を説明する。なお、図１１は、本実施形態に係る情報出力処理プログラムの処理の流れの一例を示すフローチャートである。
Next, the operation of the
なお、ここでは、上述の図２に示す「記事本文」から、「職種カテゴリ」の分類、「職種フレーズ」の文字列、及び「記事見出し文」の文字列を得る場合について説明する。 Here, a case will be described in which the classification of the 'occupational category', the character string of the 'occupational phrase', and the character string of the 'article headline' are obtained from the 'article body' shown in FIG.
図１１のステップ１２０では、エンコーダ３４が、テキストデータ（入力情報）として、上述の図２に示す「記事本文」の入力を受け付ける。
At
ステップ１２２では、エンコーダ３４が、ステップ１２０で入力を受け付けた「記事本文」を中間表現にエンコードする。
At
ステップ１２４では、エンコーダ３４が、ステップ１２２でエンコードした中間表現を各学習済みモデルに入力する。ここでは、一例として、上述の図１０に示す学習済み分類モデル６０及び学習済み生成モデル６２に入力する。
At
ステップ１２６では、処理部３６が、ステップ１２４で中間表現を入力した各学習済みモデルからの出力を取得する。
At
ステップ１２８では、処理部３６が、ステップ１２６で取得した各学習済みモデルからの出力に基づいて、一例として、上述の図２に示す記事全体を生成する処理を行う。
At
ステップ１３０では、処理部３６が、全てのテキストデータについて処理が終了したか否かを判定する。全てのテキストデータについて処理が終了していないと判定した場合（否定判定の場合）、ステップ１２０に戻り処理を繰り返す。一方、全てのテキストデータについて処理が終了したと判定した場合（肯定判定の場合）、本情報出力処理プログラムによる一連の処理を終了する。
At
以上、実施形態に係る学習装置及び情報出力装置を例示して説明した。実施形態は、学習装置が備える各部及び情報出力装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。 As above, the learning device and the information output device according to the embodiment have been exemplified and explained. The embodiment may be in the form of a program for causing a computer to execute the function of each part provided in the learning device and each part provided in the information output device. Embodiments may be in the form of a computer-readable storage medium storing these programs.
その他、上記実施形態で説明した学習装置及び情報出力装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。 In addition, the configurations of the learning device and the information output device described in the above embodiment are examples, and may be changed depending on the situation without departing from the scope.
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 Further, the flow of processing of the program described in the above embodiment is also an example, and unnecessary steps may be deleted, new steps added, or the processing order changed without departing from the scope of the invention. good.
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。 Further, in the above embodiment, a case has been described in which the processing according to the embodiment is implemented by a software configuration using a computer by executing a program, but the present invention is not limited to this. Embodiments may be implemented by, for example, a hardware configuration or a combination of hardware and software configurations.
１０ 学習装置
１２ 制御部
１２Ａ、５２ＡＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４、５４ 記憶部
１４Ａ 学習処理プログラム
１４Ｂ 学習モデル群
１６ 表示部
１８ 操作部
２０ 通信部
３０、３４ エンコーダ
３２ 学習部
３６ 処理部
４０ 分類モデル
４０Ａ 職種カテゴリ分類モデル
４２ 生成モデル
４２Ａ 職種フレーズ生成モデル
４２Ｂ 記事見出し文生成モデル
４４ 回帰モデル
４６ 学習モデル
５０ 情報出力装置
５４Ｂ 学習済みモデル群
６０ 学習済み分類モデル
６２ 学習済み生成モデル
６４ 学習済み回帰モデル
７０ 誤差逆伝播部
７０Ａ～７０Ｃ誤差算出部
７０Ｄ 更新部
７２ 学習スケジューリング設定部
７２Ａ 学習割合決定部
10
12B ROM
12C RAM
12D I/O
14, 54
Claims (12)
を備え、
前記学習部は、前記分類モデル及び前記生成モデルの各々の学習の度合いに応じて決定される、前記分類モデル及び前記生成モデルの各々に対する学習の割合に基づいて、前記分類モデル及び前記生成モデルの各々の学習を行う学習装置。 A classification model that receives as input feature information obtained from input information and that expresses a common meaning with the input information, and outputs a classification result of character strings corresponding to the meaning of the feature information, and the feature information. a learning unit that machine-learns a generative model that outputs, as an input, a character string corresponding to the meaning of the feature information as a generated result ,
The learning unit learns the classification model and the generative model based on a learning rate for each of the classification model and the generative model, which is determined according to the degree of learning of each of the classification model and the generative model. A learning device that performs each learning .
前記抽出部は、前記入力情報を単語毎に入力し、前記入力した単語と共通の意味を表す特徴情報が出力されるように学習されるニューラルネットワークである請求項１に記載の学習装置。 further comprising an extraction unit that extracts the characteristic information from the input information;
2. The learning device according to claim 1, wherein the extraction unit is a neural network that is trained to input the input information for each word and output feature information representing a common meaning to the input word.
前記分類モデルから出力された分類結果と、前記分類結果に対応する正解データとの第１誤差を算出する第１算出部と、
前記生成モデルから出力された生成結果と、前記生成結果に対応する正解データとの第２誤差を算出する第２算出部と、
前記第１誤差に付与する第１重み値、及び、前記第２誤差に付与する第２重み値の各々を、前記分類モデル及び前記生成モデルの各々の学習の度合いに応じて決定する決定部と、
前記第１重み値が付与された前記第１誤差と、前記第２重み値が付与された前記第２誤差との和である重み付き和を用いた誤差逆伝播法により、前記分類モデル及び前記生成モデルの各々を更新する更新部と、
を含む請求項１～７のいずれか１項に記載の学習装置。 The learning unit
a first calculator that calculates a first error between a classification result output from the classification model and correct data corresponding to the classification result;
a second calculation unit that calculates a second error between a generation result output from the generative model and correct data corresponding to the generation result;
a determination unit that determines each of a first weight value to be assigned to the first error and a second weight value to be assigned to the second error according to the degree of learning of each of the classification model and the generative model; ,
The classification model and the classification model and the an updating unit that updates each of the generative models;
The learning device according to any one of claims 1 to 7, comprising:
前記第１重み値が付与された前記第１誤差が、前記第２重み値が付与された前記第２誤差よりも大きい場合、前記分類モデルの前記学習の度合いを制御するフィードバック量を、前記生成モデルの前記学習の度合いを制御するフィードバック量よりも大きくし、
前記第２重み値が付与された前記第２誤差が、前記第１重み値が付与された前記第１誤差よりも大きい場合、前記生成モデルの前記学習の度合いを制御するフィードバック量を、前記分類モデルの前記学習の度合いを制御するフィードバック量よりも大きくする請求項８に記載の学習装置。 The updating unit
generating a feedback amount that controls the degree of learning of the classification model if the first error, given the first weight value, is greater than the second error, given the second weight value; greater than the amount of feedback that controls the degree of learning of the model;
If the second error with the second weight value is greater than the first error with the first weight value, then the amount of feedback controlling the degree of learning of the generative model is adjusted to the classification. 9. The learning device according to claim 8 , wherein the degree of learning of the model is set to be greater than the amount of feedback controlling the degree of learning.
前記学習装置を用いて機械学習された学習済み生成モデルと、
を備え、
前記学習済み分類モデルは、入力情報から得られ、かつ、前記入力情報と共通の意味を表す特徴情報を入力とし、前記特徴情報の意味に対応する文字列の分類を分類結果として出力し、
前記学習済み生成モデルは、前記特徴情報を入力とし、前記特徴情報の意味に対応する文字列を生成結果として出力する情報出力装置。 A trained classification model machine-learned using the learning device according to any one of claims 1 to 10 ;
A trained generative model machine-learned using the learning device;
with
The learned classification model is obtained from input information and receives as input feature information that expresses a common meaning with the input information, and outputs classification results of character strings corresponding to the meaning of the feature information as classification results,
The learned generative model is an information output device that receives the characteristic information as an input and outputs a character string corresponding to the meaning of the characteristic information as a generation result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019038037A JP7293729B2 (en) | 2019-03-01 | 2019-03-01 | LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019038037A JP7293729B2 (en) | 2019-03-01 | 2019-03-01 | LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020140673A JP2020140673A (en) | 2020-09-03 |
| JP7293729B2 true JP7293729B2 (en) | 2023-06-20 |
Family
ID=72264990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019038037A Active JP7293729B2 (en) | 2019-03-01 | 2019-03-01 | LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7293729B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7408518B2 (en) * | 2020-09-16 | 2024-01-05 | Ｌｉｎｅヤフー株式会社 | Information processing device, information processing method, information processing program, terminal device, inference method, and inference program |
| CN111832275B (en) * | 2020-09-21 | 2022-02-25 | 北京百度网讯科技有限公司 | Text creation method, device, equipment and storage medium |
| CN112487826A (en) * | 2020-11-30 | 2021-03-12 | 北京百度网讯科技有限公司 | Information extraction method, extraction model training method and device and electronic equipment |
| CN113361285B (en) * | 2021-06-30 | 2022-07-12 | 北京百度网讯科技有限公司 | Training method of natural language processing model, natural language processing method and device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005091214A1 (en) | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | Vehicle information processing system, vehicle information processing method, and program |
| JP2010020444A (en) | 2008-07-09 | 2010-01-28 | Sony Corp | Learning device, learning method, and program |
| JP6205466B1 (en) | 2016-07-19 | 2017-09-27 | ヤフー株式会社 | Generating device, generating method, and generating program |
| WO2018085722A1 (en) | 2016-11-04 | 2018-05-11 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
| JP2018142272A (en) | 2017-02-28 | 2018-09-13 | 株式会社エヌ・ティ・ティ・データ | Content evaluation prediction system and content evaluation prediction method |
| CN109189933A (en) | 2018-09-14 | 2019-01-11 | 腾讯科技（深圳）有限公司 | A kind of method and server of text information classification |
-
2019
- 2019-03-01 JP JP2019038037A patent/JP7293729B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005091214A1 (en) | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | Vehicle information processing system, vehicle information processing method, and program |
| JP2010020444A (en) | 2008-07-09 | 2010-01-28 | Sony Corp | Learning device, learning method, and program |
| JP6205466B1 (en) | 2016-07-19 | 2017-09-27 | ヤフー株式会社 | Generating device, generating method, and generating program |
| WO2018085722A1 (en) | 2016-11-04 | 2018-05-11 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
| JP2018142272A (en) | 2017-02-28 | 2018-09-13 | 株式会社エヌ・ティ・ティ・データ | Content evaluation prediction system and content evaluation prediction method |
| CN109189933A (en) | 2018-09-14 | 2019-01-11 | 腾讯科技（深圳）有限公司 | A kind of method and server of text information classification |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020140673A (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7293729B2 (en) | LEARNING DEVICE, INFORMATION OUTPUT DEVICE, AND PROGRAM | |
| CN111368996B (en) | Retraining projection network capable of transmitting natural language representation | |
| CN107836000B (en) | Improved artificial neural network method and electronic device for language modeling and prediction | |
| CN107506414B (en) | Code recommendation method based on long-term and short-term memory network | |
| JP6854921B2 (en) | Multitasking neural network system with task-specific and shared policies | |
| EP3596663B1 (en) | Neural network system | |
| KR20190113928A (en) | Device placement optimization through reinforcement learning | |
| JP6611053B2 (en) | Subject estimation system, subject estimation method and program | |
| JP2020518912A (en) | Generating query variants using a trained generative model | |
| CN111444320A (en) | Text retrieval method and device, computer equipment and storage medium | |
| US11010664B2 (en) | Augmenting neural networks with hierarchical external memory | |
| US20170322923A1 (en) | Techniques for determining textual tone and providing suggestions to users | |
| JP2019517075A (en) | Categorizing Example Inputs Using Comparison Sets | |
| JP2018537788A (en) | Extension of neural network using external memory | |
| CN106471525A (en) | Strength neural network is to generate additional output | |
| CN108701253A (en) | The target output training neural network of operating specification | |
| WO2018201151A1 (en) | Neural network optimizer search | |
| US20210133279A1 (en) | Utilizing a neural network to generate label distributions for text emphasis selection | |
| US20230350651A1 (en) | Creating user interface using machine learning | |
| JP2010003106A (en) | Classification model generation device, classification device, classification model generation method, classification method, classification model generation program, classification program and recording medium | |
| WO2014073206A1 (en) | Information-processing device and information-processing method | |
| JP2021068053A (en) | Generating device and generating program | |
| CN109858615A (en) | Low pass recurrent neural network system with memory | |
| CN114358201A (en) | Text-based emotion classification method and device, computer equipment and storage medium | |
| CN114647408A (en) | Method and device for complementing codes, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7293729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |