JP2020052935A - Method of creating learned model, method of classifying data, computer and program - Google Patents
Method of creating learned model, method of classifying data, computer and program Download PDFInfo
- Publication number
- JP2020052935A JP2020052935A JP2018184231A JP2018184231A JP2020052935A JP 2020052935 A JP2020052935 A JP 2020052935A JP 2018184231 A JP2018184231 A JP 2018184231A JP 2018184231 A JP2018184231 A JP 2018184231A JP 2020052935 A JP2020052935 A JP 2020052935A
- Authority
- JP
- Japan
- Prior art keywords
- data
- learned model
- class
- success
- failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000010801 machine learning Methods 0.000 claims abstract description 59
- 238000009826 distribution Methods 0.000 claims description 120
- 238000004519 manufacturing process Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 abstract description 80
- 238000012795 verification Methods 0.000 description 38
- 238000011156 evaluation Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、学習済みモデルを生成する方法等に関する。 The present invention relates to a method for generating a learned model and the like.
多数のデータを分類（クラスタリング）して各データを認識する処理に、機械学習が用いられることがある。また、その場合に、各種類のデータそれぞれに特化した学習済みモデルを準備し、多数の学習済みモデルを組み合わせて分類を行う技術が知られている。特許文献１には、このような技術の例が記載されている。 Machine learning may be used for a process of classifying (clustering) a large number of data and recognizing each data. In such a case, a technique is known in which a learned model specialized for each type of data is prepared, and classification is performed by combining a large number of learned models. Patent Literature 1 describes an example of such a technique.
しかしながら、従来の技術では、各モデル間の連携が適切でない場合があるという問題があった。 However, the conventional technology has a problem that the cooperation between the models may not be appropriate.
たとえば特許文献１には、各モデルをどのようなパターンで学習させるかが記載されていない。各モデルに与える訓練パターンによっては、各モデル間の連携がうまくいかず、分類精度が低下するおそれがある。 For example, Patent Document 1 does not describe in what pattern each model is learned. Depending on the training pattern given to each model, the cooperation between the models may not be successful, and the classification accuracy may be reduced.
この発明は、このような問題点を解決するためになされたものであり、相互により適切に連携できる学習済みモデルを生成できる方法等を提供することを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a method and the like that can generate a learned model that can cooperate more appropriately with each other.
上述の問題点を解決するため、この発明に係る方法は、
学習済みモデルを生成する方法であって、
第１データを用いて機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルが正しく分類しないデータに基づく処理に依存する機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第２学習済みモデルを生成する、第２生成ステップと、
を含む。
特定の態様によれば、前記方法は、第２データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正しく分類されないデータが属する成否クラス［非Ｍ１］と
を含む複数の成否クラスのいずれかに分類するステップをさらに備え、
前記第２生成ステップは、
前記第２データを用いて機械学習を行うことにより、データを前記成否クラス［Ｍ１］と前記成否クラス［非Ｍ１］とを含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１］に分類されるデータが属する振り分けクラス［非Ｍ１：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップと、
を含む。
特定の態様によれば、前記振り分けクラス［Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、第１学習済みモデルを追加学習するステップをさらに備える。
特定の態様によれば、前記方法は、データを複数の対象物クラスのいずれかに分類する第３学習済みモデルを生成する、第３生成ステップをさらに備え、
前記第３生成ステップは、
前記第２データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第２学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ２］と、
‐前記第１学習済みモデルおよび前記第２学習済みモデルのいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］と
を含む複数の成否クラスのいずれかに分類するステップと、
前記第２データを用いて機械学習を行うことにより、データを、前記成否クラス［Ｍ１］、前記成否クラス［Ｍ２］および前記成否クラス［非Ｍ１非Ｍ２］を含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ２］に分類されるデータが属する振り分けクラス［Ｍ２：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１非Ｍ２］に分類されるデータが属する振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第３学習済みモデルを生成するステップと、
を含む。
また、この発明に係る方法は、データを分類する方法であって、
上述の方法を用いて、前記第１学習済みモデル、前記第２学習済みモデルおよび前記振り分け用学習済みモデルを生成するステップと、
前記振り分け用学習済みモデルを用いて、本番データを、前記複数の振り分けクラスのいずれかに分類するステップと、
前記第１学習済みモデルを用いて、前記振り分けクラス［Ｍ１：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
前記第２学習済みモデルを用いて、前記振り分けクラス［Ｍ２：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
を備える。
特定の態様によれば、前記方法は、第１データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正しく分類されないデータが属する成否クラス［非Ｍ１］と
に分類するステップをさらに備え、
前記第２生成ステップは、前記成否クラス［非Ｍ１］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップを含む。
特定の態様によれば、データを複数の対象物クラスのいずれかに分類する第３学習済みモデルを生成する、第３生成ステップをさらに備え、
前記第３生成ステップは、
前記第１データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第２学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ２］と、
‐前記第１学習済みモデルおよび前記第２学習済みモデルのいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］と
を含む複数の成否クラスのいずれかに分類するステップと、
前記成否クラス［非Ｍ１非Ｍ２］に属する前記第１データを用いて機械学習を行うことにより、前記第３学習済みモデルを生成するステップと、
を含む。
また、この発明に係る方法は、データを分類する方法であって、
上述の方法を用いて、前記第１学習済みモデルおよび前記第２学習済みモデルを生成するステップと、
第２データを用いて、前記第１学習済みモデルがデータを正しい対象物クラスに分類する確率である第１確率を決定するステップと、
前記第２データを用いて、前記第２学習済みモデルがデータを正しい対象物クラスに分類する確率である第２確率を決定するステップと、
本番データについて、前記第１学習済みモデルがその本番データを分類する対象物クラスである第１対象物クラスと、その分類結果の信頼度である第１信頼度とを決定するステップと、
前記本番データについて、前記第２学習済みモデルがその本番データを分類する対象物クラスである第２対象物クラスと、その分類結果の信頼度である第２信頼度とを決定するステップと、
前記第１確率と、前記第２確率と、前記第１対象物クラスと、前記第２対象物クラスと、前記第１信頼度と、前記第２信頼度とに基づき、前記本番データを複数の対象物クラスのいずれかに分類するステップと、
を備える。
また、この発明に係る方法は、学習済みモデルを生成する方法であって、
第１データを用いて機械学習を行うことにより、データに基づいて推定値を出力する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルによる推定値の誤差を大きくするデータに基づく処理に依存する機械学習を行うことにより、データに基づいて推定値を出力する第２学習済みモデルを生成する、第２生成ステップと、
を含む。
また、この発明に係るコンピュータは、上述の方法を実行する。
また、この発明に係るプログラムは、コンピュータに上述の方法を実行させる
In order to solve the above problems, the method according to the present invention comprises:
A method of generating a trained model, the method comprising:
Performing a machine learning using the first data to generate a first learned model that classifies the data into one of a plurality of object classes; a first generation step;
A second generation step of generating a second learned model that classifies the data into one of a plurality of object classes by performing machine learning that depends on processing based on data that the first learned model does not correctly classify; When,
including.
According to a particular aspect, the method comprises the steps of:
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
-Further comprising a step of classifying any of a plurality of success / failure classes including a success / failure class [non-M1] to which data not correctly classified by the first learned model belongs;
The second generation step includes:
By performing machine learning using the second data, a distribution learned model for classifying data into one of a plurality of success / failure classes including the success / failure class [M1] and the success / failure class [non-M1] is generated. Steps to
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
Classifying the data into one of a plurality of distribution classes including a distribution class [non-M1: MD] to which the data classified into the success / failure class [non-M1] by the distribution learned model;
Generating the second learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1: MD];
including.
According to a specific mode, the method further includes a step of additionally learning the first learned model by performing machine learning using data including the first data belonging to the distribution class [M1: MD].
According to a particular aspect, the method further comprises a third generating step of generating a third learned model for classifying the data into any of a plurality of object classes,
The third generation step includes:
The second data is
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [M2] to which the data correctly classified by the second learned model belongs;
Classifying any of a plurality of success / failure classes including a success / failure class [non-M1 non-M2] to which data not correctly classified by any of the first learned model and the second learned model belongs;
By performing machine learning using the second data, the data is converted to one of a plurality of success / failure classes including the success / failure class [M1], the success / failure class [M2], and the success / failure class [non-M1 non-M2]. Generating a sorted learned model for classification;
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
A distribution class [M2: MD] to which data classified into the success / failure class [M2] by the distribution learned model belongs;
-Classifying into any of a plurality of distribution classes including a distribution class [non-M1 non-M2: MD] to which the data classified into the success / failure class [non-M1 non-M2] by the distribution learned model;
Generating the third learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1 non-M2: MD];
including.
The method according to the present invention is a method of classifying data,
Generating the first learned model, the second learned model, and the distribution learned model using the method described above;
Using the learned model for distribution, classifying the production data into one of the plurality of distribution classes;
Using the first learned model to classify the production data belonging to the distribution class [M1: MD] into one of the plurality of object classes;
Using the second learned model to classify the production data belonging to the distribution class [M2: MD] into one of the plurality of object classes;
Is provided.
According to a particular aspect, the method comprises the steps of:
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
-Further comprising a step of classifying into a success / failure class [non-M1] to which data not correctly classified by the first learned model belongs;
The second generation step includes a step of generating the second learned model by performing machine learning using data including the first data belonging to the success / failure class [non-M1].
According to a specific aspect, the method further includes a third generation step of generating a third learned model for classifying the data into any of a plurality of object classes,
The third generation step includes:
The first data is
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [M2] to which the data correctly classified by the second learned model belongs;
Classifying any of a plurality of success / failure classes including a success / failure class [non-M1 non-M2] to which data not correctly classified by any of the first learned model and the second learned model belongs;
Generating the third learned model by performing machine learning using the first data belonging to the success / failure class [non-M1 non-M2];
including.
The method according to the present invention is a method of classifying data,
Generating the first trained model and the second trained model using the method described above;
Using the second data to determine a first probability that the first trained model is a probability of classifying the data into a correct object class;
Using the second data, determining a second probability that is the probability that the second trained model will classify the data into the correct object class;
Determining, for the production data, a first object class, which is an object class in which the first learned model classifies the production data, and a first reliability, which is the reliability of the classification result;
Determining, for the production data, a second object class, which is an object class in which the second learned model classifies the production data, and a second reliability, which is the reliability of the classification result;
Based on the first probability, the second probability, the first object class, the second object class, the first reliability, and the second reliability, the production data Classifying into one of the object classes;
Is provided.
The method according to the present invention is a method of generating a learned model,
A first generation step of generating a first learned model that outputs an estimated value based on the data by performing machine learning using the first data;
A second generation step of generating a second learned model that outputs an estimated value based on data by performing machine learning that depends on a process based on data that increases an error of the estimated value by the first learned model; When,
including.
Further, a computer according to the present invention executes the above method.
Further, a program according to the present invention causes a computer to execute the above method.
この発明に係る方法等によれば、ある学習済みモデルが正しく分類できなかったデータに基づく処理に依存して別の学習済みモデルを生成するので、各モデルが得意とするデータを適切に分担することができ、各モデル間の連携がより適切に実現できる。 According to the method and the like according to the present invention, another learned model is generated depending on a process based on data in which a certain learned model cannot be correctly classified, so that each model appropriately shares data that the model is good at. And cooperation between the models can be more appropriately realized.
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１に、本発明の実施の形態１に係るコンピュータ１０の構成の例を示す。コンピュータ１０は、学習済みモデルを生成する装置として機能する。また、コンピュータ１０は、学習済みモデルを用いてデータを分類する装置としても機能する。さらに、コンピュータ１０は、本明細書に記載される他の方法を実行する装置としても機能する。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 shows an example of a configuration of a computer 10 according to Embodiment 1 of the present invention. The computer 10 functions as a device that generates a learned model. The computer 10 also functions as a device that classifies data using the learned model. In addition, computer 10 also functions as an apparatus that performs other methods described herein.
図１に示すように、コンピュータ１０は公知のコンピュータとしての構成を有し、演算を行う演算手段１１と、情報を格納する記憶手段１２とを備える。演算手段１１はたとえばＣＰＵ（中央処理装置）を含み、記憶手段１２はたとえば半導体メモリおよびＨＤＤ（ハードディスクドライブ）を含む。
As shown in FIG. 1, the computer 10 has a configuration as a known computer, and includes an
記憶手段１２は、訓練データＤ１（第１データ）、検証データＤ２（第２データ）、評価データＤ３（第３データ）および本番データＤ４を格納する。訓練データＤ１、検証データＤ２および評価データＤ３は、学習モデルの生成に用いられるデータである。また、本番データＤ４は、生成された学習モデルを用いて分類されるデータの例である。
The
訓練データＤ１、検証データＤ２および評価データＤ３は、いずれも同一のデータ形式を有するデータ単位の集合である。各データ単位は、分類対象となるデータ部分と、正解ラベルとを含んでいる。なお、本明細書において、「データを分類する」という表現および「データを認識する」という表現は、いずれも、「データの正解ラベルを推定する」という意味である場合がある。また、本番データＤ４もデータ単位の集合であり、分類対象となるデータ部分を含む。本番データＤ４のデータ単位は、一般的には正解ラベルを含まないが、正解ラベルを含むものであってもよい。 The training data D1, the verification data D2, and the evaluation data D3 are all sets of data units having the same data format. Each data unit includes a data portion to be classified and a correct answer label. In this specification, the expressions “classify data” and “recognize data” may both mean “estimate the correct label of data”. The production data D4 is also a set of data units and includes a data portion to be classified. The data unit of the production data D4 generally does not include the correct label, but may include the correct label.
各データ単位において、分類対象となるデータ部分はたとえば画像である。具体例として、あるデータ単位のデータ部分は老人の画像を表し、当該データ単位の正解ラベルは「老人」である。この場合には、当該データ単位は［老人］という対象物クラスに属するということができる。また、別のデータ単位は子供の画像を表し、当該データ単位の正解ラベルは「子供」である。この場合には、当該データ単位は［子供］という対象物クラスに属するということができる。 In each data unit, the data portion to be classified is, for example, an image. As a specific example, the data portion of a certain data unit represents an image of an old man, and the correct label of the data unit is “old man”. In this case, it can be said that the data unit belongs to the object class of [elderly]. Another data unit represents a child image, and the correct label of the data unit is “child”. In this case, it can be said that the data unit belongs to the object class “child”.
記憶手段１２はプログラム（図示せず）も格納しており、演算手段１１がこのプログラムを実行することによって、コンピュータ１０は本明細書に記載される機能を実現する。すなわち、このプログラムは、コンピュータ１０に本明細書に記載の方法を実行させるものである。
The
コンピュータ１０は、公知のコンピュータが通常備える他の構成要素を備えてもよい。たとえば、出力装置であるディスプレイおよびプリンタ、入力装置であるキーボードおよびマウス、通信ネットワークに対する入力装置と出力装置とを兼ねるネットワークインタフェース、等を備えてもよい。 The computer 10 may include other components normally included in a known computer. For example, a display and a printer as output devices, a keyboard and a mouse as input devices, a network interface serving as an input device and an output device for a communication network, and the like may be provided.
図２を用いて、本発明の概略を説明する。本発明は、機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する学習済みモデルを生成することに関する。学習済みモデルは複数生成され、たとえば、第１学習済みモデルＭ１、第２学習済みモデルＭ２および第３学習済みモデルＭ３を含む。 The outline of the present invention will be described with reference to FIG. The present invention relates to generating a learned model that classifies data into one of a plurality of object classes by performing machine learning. A plurality of learned models are generated, and include, for example, a first learned model M1, a second learned model M2, and a third learned model M3.
第１学習済みモデルＭ１は、訓練データＤ１を用いた機械学習により生成される。第１学習済みモデルＭ１が生成された後に、第１学習済みモデルＭ１を用いて訓練データＤ１を分類する。これによって、訓練データＤ１は、正しく分類される訓練データＤ１ａと、誤って分類される訓練データＤ１ｂとに分けられる。すなわち、正解ラベルが［老人］である訓練データＤ１を第１学習済みモデルＭ１が［老人］に分類した場合には、その訓練データＤ１は訓練データＤ１ａであり、当該訓練データＤ１を第１学習済みモデルＭ１が［子供］または他のラベルに分類した場合には、その訓練データＤ１は訓練データＤ１ｂであるということになる。 The first learned model M1 is generated by machine learning using the training data D1. After the first learned model M1 is generated, the training data D1 is classified using the first learned model M1. Thereby, the training data D1 is divided into the training data D1a classified correctly and the training data D1b classified incorrectly. That is, when the first learned model M1 classifies the training data D1 whose correct answer label is [elderly] into [elderly], the training data D1 is the training data D1a, and the training data D1 is subjected to the first learning. If the completed model M1 is classified as [child] or another label, the training data D1 is training data D1b.
この誤って分類された訓練データＤ１ｂに基づく処理に依存して、第２学習済みモデルＭ２が生成される。第２学習済みモデルＭ２を生成する際の機械学習には、訓練データＤ１ｂを直接的に用いることもでき、訓練データＤ１ｂを用いた処理によって特定される他のデータを用いることもできる。 The second learned model M2 is generated depending on the processing based on the erroneously classified training data D1b. For the machine learning at the time of generating the second learned model M2, the training data D1b can be directly used, or other data specified by the process using the training data D1b can be used.
同様にして、さらに他の学習済みモデルを生成してもよい。すなわち、第２学習済みモデルＭ２が生成された後に、第２学習済みモデルＭ２を用いて訓練データＤ１ｂを分類する。これによって、訓練データＤ１ｂは、正しく分類される訓練データＤ１ｂａと、誤って分類される訓練データＤ１ｂｂとに分けられる。さらに、この誤って分類された訓練データＤ１ｂｂに基づく処理に依存して、第３学習済みモデルＭ３が生成される。 Similarly, another learned model may be generated. That is, after the second learned model M2 is generated, the training data D1b is classified using the second learned model M2. Thus, the training data D1b is divided into the training data D1ba that is correctly classified and the training data D1bb that is incorrectly classified. Further, the third learned model M3 is generated depending on the processing based on the training data D1bb that has been incorrectly classified.
本発明は、このようにして複数の学習済みモデルを生成することを含む。とくに、ある学習済みモデル（たとえば第１学習済みモデルＭ１）が正しく分類できなかったデータ（たとえば訓練データＤ１ｂ）に基づく処理に依存して、別の学習済みモデル（たとえば第２学習済みモデルＭ２）を生成するので、各モデルが得意とするデータを適切に分担することができ、各モデル間の連携がより適切に実現できる。 The present invention includes generating a plurality of learned models in this manner. In particular, depending on processing based on data (eg, training data D1b) for which a certain learned model (eg, first learned model M1) cannot be correctly classified, another learned model (eg, second learned model M2) Is generated, data that each model is good at can be appropriately shared, and cooperation between the models can be more appropriately realized.
また、本発明は、別の振り分け用学習済みモデルＭＤを生成する場合がある。振り分け用学習済みモデルＭＤは、各データについて、どの学習済みモデルがそのデータを正しく認識できるかを推定する。すなわち、ある訓練データＤ１が、訓練データＤ１ａであるのか、訓練データＤ１ｂａであるのか、または訓練データＤ１ｂｂであるのか、等を推定する。 In addition, the present invention may generate another distribution learned model MD. The distribution learned model MD estimates, for each data, which learned model can correctly recognize the data. That is, it is estimated whether certain training data D1 is training data D1a, training data D1ba, training data D1bb, or the like.
以下、図３〜図７を用いて、本発明の実施の形態１に係るコンピュータ１０の動作をより詳細に説明する。なお、添付図面において、学習済みモデルを単に「モデル」と表記する場合がある。 Hereinafter, the operation of the computer 10 according to the first embodiment of the present invention will be described in more detail with reference to FIGS. In the attached drawings, the learned model may be simply referred to as “model”.
図３は、学習済みモデルを生成するためにコンピュータ１０が実行する処理の流れを説明するフローチャートである。図３の処理において、まずコンピュータ１０は、訓練データＤ１を用いて機械学習を行うことにより、第１学習済みモデルＭ１を生成する（ステップＳ１、第１生成ステップ）。第１学習済みモデルＭ１は、データを複数の対象物クラスのいずれかに分類する学習済みモデルである。ここで、「訓練データＤ１を用いて機械学習を行う」とは、訓練データＤ１を直接的に学習中モデルに入力し、その出力（分類結果）の正誤に応じて学習中モデルの構成を変化させる（たとえば誤差逆伝搬法によって重みを変化させる）ことをいう。 FIG. 3 is a flowchart illustrating a flow of a process executed by the computer 10 to generate a learned model. In the process of FIG. 3, first, the computer 10 generates a first learned model M1 by performing machine learning using the training data D1 (step S1, first generation step). The first learned model M1 is a learned model that classifies data into one of a plurality of object classes. Here, "perform machine learning using training data D1" means that training data D1 is directly input to a learning model, and the configuration of the learning model is changed according to whether the output (classification result) is correct or not. (For example, changing the weight by an error backpropagation method).
図４に、実施の形態１におけるステップＳ１の詳細を示す。実施の形態１では、訓練データＤ１に加え、検証データＤ２を用いて機械学習が行われ、結果は評価データＤ３を用いて評価される。 FIG. 4 shows details of step S1 in the first embodiment. In the first embodiment, machine learning is performed using verification data D2 in addition to training data D1, and the result is evaluated using evaluation data D3.
図４の処理において、まずコンピュータ１０は、訓練データＤ１を用いて機械学習を行う（ステップＳ１１）。ここではたとえば１エポックの学習（すべての訓練データＤ１を１回ずつ用いた学習）が行われる。次に、コンピュータ１０は、訓練データＤ１および検証データＤ２を用いて機械学習の結果を検証する（ステップＳ１２）。「検証する」とは、たとえば、学習中モデルを用いてすべてのデータを分類させ、分類した際の精度（損失）を算出することを意味する。 In the process of FIG. 4, first, the computer 10 performs machine learning using the training data D1 (step S11). Here, for example, learning of one epoch (learning using all the training data D1 once) is performed. Next, the computer 10 verifies the result of the machine learning using the training data D1 and the verification data D2 (Step S12). “Verify” means, for example, that all data is classified using the learning model and the accuracy (loss) at the time of classification is calculated.
次に、コンピュータ１０は、訓練データＤ１を用いて検証した場合の損失と、検証データＤ２を用いて検証した場合の損失とを、前回の結果における損失と比較する（ステップＳ１３）。なお初回の場合には、前回の結果における損失は無限大として扱ってもよい。訓練データＤ１に係る損失と、検証データＤ２に係る損失との双方が前回より低下していた場合には、コンピュータ１０は処理をステップＳ１１に戻し、次回の学習を実行する。これはたとえば、学習が順調に行われ、分類精度が高まりつつある状態に該当する。 Next, the computer 10 compares the loss when the verification is performed using the training data D1 and the loss when the verification is performed using the verification data D2 with the loss in the previous result (step S13). In the case of the first time, the loss in the previous result may be treated as infinity. If both the loss related to the training data D1 and the loss related to the verification data D2 are lower than the previous time, the computer 10 returns the process to step S11 and executes the next learning. This corresponds to, for example, a state where learning is performed smoothly and classification accuracy is increasing.
なお、たとえば、訓練データＤ１による過学習が発生している場合には、訓練データＤ１に係る損失が低下する一方で、検証データＤ２に係る損失が上昇することになる。この場合にはステップＳ１３からＳ１４へと分岐するので、それ以上の学習は行われず、過学習が防止される。このように、訓練データＤ１と検証データＤ２とを分離して準備することにより、訓練データＤ１による過学習を低減することができる。 For example, when over-learning due to the training data D1 occurs, the loss related to the training data D1 decreases while the loss related to the verification data D2 increases. In this case, the process branches from step S13 to S14, so that no further learning is performed and over-learning is prevented. As described above, by separately preparing the training data D1 and the verification data D2, it is possible to reduce over-learning due to the training data D1.
訓練データＤ１に係る損失が低下していない場合や、検証データＤ２に係る損失が低下していない場合には、コンピュータ１０は、訓練データＤ１での成績が良好か否かを判定する（ステップＳ１４）。成績が良好か否かの決定方法は当業者が適宜設計可能であるが、たとえば学習中モデルを用いて訓練データＤ１を分類した場合の損失を基準として定義することができる。 If the loss related to the training data D1 has not decreased or if the loss related to the verification data D2 has not decreased, the computer 10 determines whether or not the performance of the training data D1 is good (step S14). ). A person skilled in the art can appropriately design a method of determining whether or not the results are good. For example, a loss when the training data D1 is classified using the learning model can be defined as a reference.
訓練データＤ１での成績が良好でない場合には、コンピュータ１０は処理を終了する。この場合には、コンピュータ１０は、学習中モデルの編集を行ってもよい。たとえば、学習用のモデルのハイパーパラメータを変更する指示の入力を受け付け、これに応じて学習中モデルの変更または初期化を行ってもよい。このようにすると、コンピュータ１０の使用者は、ニューラルネットワークの層の追加や、ニューロンの接続構成を行うことができる。また、ハイパーパラメータを変更した後に、コンピュータ１０は、図３の処理を最初から再実行してもよい。 If the result in the training data D1 is not good, the computer 10 ends the processing. In this case, the computer 10 may edit the learning model. For example, an input of an instruction to change the hyperparameter of the learning model may be received, and the learning model may be changed or initialized accordingly. In this way, the user of the computer 10 can add a layer of the neural network and connect the neurons. After changing the hyper parameter, the computer 10 may re-execute the processing in FIG. 3 from the beginning.
訓練データＤ１での成績が良好である場合には、コンピュータ１０は、評価データＤ３を用いて評価を行う（ステップＳ１５）。評価方法は当業者が適宜設計可能であるが、たとえば学習中モデルを用いて評価データＤ３を分類した場合の損失を基準として評価することができる。なお、評価の結果が良好でない場合には、コンピュータ１０の使用者は学習用のデータ（訓練データＤ１、検証データＤ２および評価データＤ３等）を追加し、図３の処理を最初から再実行してもよい。 If the result in the training data D1 is good, the computer 10 performs an evaluation using the evaluation data D3 (step S15). The evaluation method can be appropriately designed by those skilled in the art. For example, the evaluation can be performed based on the loss when the evaluation data D3 is classified using the learning model. If the evaluation result is not good, the user of the computer 10 adds learning data (training data D1, verification data D2, evaluation data D3, etc.), and re-executes the processing of FIG. 3 from the beginning. You may.
ここで、訓練データＤ１および検証データＤ２とは異なる評価データＤ３を準備することにより、訓練データＤ１および検証データＤ２に特化したハイパーパラメータになってしまっている場合を発見することができる。 Here, by preparing evaluation data D3 different from the training data D1 and the verification data D2, it is possible to discover a case where the hyperparameter is specialized for the training data D1 and the verification data D2.
以上のようにして、コンピュータ１０は、ステップＳ１において第１学習済みモデルＭ１を生成する。次に、コンピュータ１０は、第１学習済みモデルＭ１を用いてデータを成否分類する（ステップＳ２）。成否分類とは、データのうち、第１学習済みモデルＭ１が正しく分類（認識）できるクラスと、正しく分類（認識）できないとクラスとを含む複数のクラス（成否クラス）のいずれかに分類する処理をいう。「正しく分類できる」とは、たとえば老人の画像を老人として認識し、対象物クラス［老人］に分類することを意味し、「正しく分類できない」とは、たとえば老人の画像を子供として認識し、対象物クラス［子供］に分類することや、何の画像であるか認識できず、いずれの対象物クラスにも分類できないことを意味する。 As described above, the computer 10 generates the first learned model M1 in step S1. Next, the computer 10 classifies the data using the first learned model M1 (step S2). The success / failure classification refers to a process of classifying the data into one of a plurality of classes (success / failure classes) including a class that can classify (recognize) the first learned model M1 correctly and a class that cannot classify (recognize) correctly. Say. "Can be classified correctly" means, for example, recognizing an old man image as an old man and classifying it into an object class [old man]. "Unsuccessfully classifying" means, for example, recognizing an old man image as a child, This means that the image cannot be classified into the object class [child], cannot be recognized as an image, and cannot be classified into any object class.
本明細書において、第１学習済みモデルＭ１が正しく分類できるデータは、成否クラス［Ｍ１］に属し、第１学習済みモデルＭ１が正しく分類できないデータは、成否クラス［非Ｍ１］に属するものと定義する。この成否クラス［Ｍ１］は、図２の訓練データＤ１ａを含むクラスであり、成否クラス［非Ｍ１］は、図２の訓練データＤ１ｂを含むクラスである。 In this specification, data that can be correctly classified by the first learned model M1 belongs to the success / failure class [M1], and data that cannot be correctly classified by the first learned model M1 belongs to the success / failure class [non-M1]. I do. The success / failure class [M1] is a class including the training data D1a in FIG. 2, and the success / failure class [non-M1] is a class including the training data D1b in FIG.
これらの成否クラスは、対象物クラス［老人］や［子供］等とは別に形成される。すなわち、ある訓練データＤ１は対象物クラス［老人］に属しながら同時に成否クラス［Ｍ１］に属し、ある検証データＤ２は対象物クラス［子供］に属しながら同時に成否クラス［非Ｍ１］に属するというように定義される。なお、分類結果の状況によっては、他の成否クラスが設けられてもよい。 These success / failure classes are formed separately from the object classes [elderly] and [child]. That is, certain training data D1 belongs to the object class [elderly] and at the same time belongs to the success / failure class [M1], and certain verification data D2 belongs to the object class [child] and simultaneously belongs to the success / failure class [non-M1]. Is defined as Note that another success / failure class may be provided depending on the situation of the classification result.
図５に、実施の形態１におけるステップＳ２の詳細を示す。本実施形態では、このステップＳ２の成否分類は、検証データＤ２に対して行われる（ステップＳ２１）。すなわち、コンピュータ１０は、検証データＤ２を、第１学習済みモデルＭ１によって正しく分類されるデータが属する成否クラス［Ｍ１］と、第１学習済みモデルＭ１によって正しく分類されないデータが属する成否クラス［非Ｍ１］とを含む、複数の成否クラスのいずれかに分類する。 FIG. 5 shows details of step S2 in the first embodiment. In the present embodiment, the success / failure classification in step S2 is performed on the verification data D2 (step S21). That is, the computer 10 converts the verification data D2 into a success / failure class [M1] to which data correctly classified by the first learned model M1 belongs and a success / failure class [non-M1] to which data not correctly classified by the first learned model M1 belongs. ] Are classified into any of a plurality of success / failure classes.
この処理は、たとえば実際に第１学習済みモデルＭ１を用いて検証データＤ２を分類し、その結果に応じて各検証データＤ２にラベル［Ｍ１］または［非Ｍ１］等を付与することによって実行される。 This processing is executed, for example, by actually classifying the verification data D2 using the first learned model M1, and attaching a label [M1] or [non-M1] to each verification data D2 according to the result. You.
次に、コンピュータ１０は第２学習済みモデルＭ２を生成する（ステップＳ３、第２生成ステップ）。第２学習済みモデルＭ２は、第１学習済みモデルＭ１と同様に、データを複数の対象物クラスのいずれかに分類する学習済みモデルである。 Next, the computer 10 generates a second learned model M2 (Step S3, second generation step). The second learned model M2 is a learned model that classifies data into one of a plurality of object classes, like the first learned model M1.
第２学習済みモデルＭ２は、第１学習済みモデルＭ１が正しく分類しないデータに基づく処理に依存する機械学習を行うことによって生成される。「第１学習済みモデルＭ１が正しく分類しないデータ」とは、本実施形態では、検証データＤ２のうちステップＳ２１で成否クラス［非Ｍ１］に分類されたものをいう。また、「データに基づく処理に依存して生成される」とは、当該データを学習に用いて学習済みモデルが直接的に生成される場合に限らず、当該データに基づく他の処理の間接的な結果として生成される場合をも含む。本実施形態は後者の例に該当する（以下に詳述する）。 The second learned model M2 is generated by performing machine learning that depends on processing based on data that is not correctly classified by the first learned model M1. The “data that is not correctly classified by the first learned model M1” in the present embodiment refers to the verification data D2 classified into the success / failure class [non-M1] in step S21. Further, “generated depending on processing based on data” is not limited to the case where a learned model is directly generated using the data for learning, but is indirectly generated based on other processing based on the data. It also includes cases where it is generated as a result. This embodiment corresponds to the latter example (described in detail below).
図６に、実施の形態１におけるステップＳ３の詳細を示す。ステップＳ３において、まずコンピュータ１０は、検証データＤ２を用いて機械学習を行うことにより、振り分け用学習済みモデルＭＤを生成する（ステップＳ３１）。振り分け用学習済みモデルＭＤは、データを、成否クラス［Ｍ１］および成否クラス［非Ｍ１］を含む複数の成否クラスのいずれかに分類する学習済みモデルである。たとえば、この振り分け用学習済みモデルＭＤは、対象物クラス［老人］に属するデータのうち第１学習済みモデルＭ１が正しく対象物クラス［老人］に分類しそうなデータについては、成否クラス［Ｍ１］に分類し、対象物クラス［老人］に属するデータのうち第１学習済みモデルＭ１が誤って対象物クラス［子供］に分類しそうなデータについては、成否クラス［非Ｍ１］に分類するものである。 FIG. 6 shows the details of step S3 in the first embodiment. In step S3, the computer 10 first performs a machine learning using the verification data D2 to generate a distribution learned model MD (step S31). The distribution learned model MD is a learned model that classifies data into one of a plurality of success / failure classes including a success / failure class [M1] and a success / failure class [non-M1]. For example, the learning model MD for distribution includes data belonging to the object class [elder], and data that the first learned model M1 is likely to be correctly classified into the object class [elder]. The data that is classified and belongs to the object class [elderly] and is likely to be erroneously classified into the object class [child] by the first learned model M1 is classified into the success / failure class [non-M1].
次に、コンピュータ１０は、振り分け用学習済みモデルＭＤを用いて、訓練データＤ１に対する成否分類を行う（ステップＳ３２）。ただし、成否分類の基準は第１学習済みモデルＭ１である一方で、実際に分類を行う学習済みモデルは振り分け用学習済みモデルＭＤであるため、分類は直接的に行われるのではなく、機械学習による推定処理となる。したがって、たとえば、実際に第１学習済みモデルＭ１が正しく分類できるデータであっても、振り分け用学習済みモデルＭＤによって成否クラス［非Ｍ１］に分類されるものが存在する可能性がある。 Next, the computer 10 performs success / failure classification on the training data D1 using the distribution learned model MD (step S32). However, while the criterion for the success / failure classification is the first learned model M1, the learned model that actually performs the classification is the distribution learned model MD, so the classification is not performed directly, but is performed by machine learning. Is an estimation process. Therefore, for example, even if the first learned model M1 is actually data that can be correctly classified, there is a possibility that some data is classified into the success / failure class [non-M1] by the distribution learned model MD.
すなわち、コンピュータ１０は、振り分け用学習済みモデルＭＤを用いて、訓練データＤ１（さらに検証データＤ２、評価データＤ３、等を含んでもよい）を、成否クラス［Ｍ１］および成否クラス［非Ｍ１］を含む複数の成否クラスのいずれかに分類する。 That is, the computer 10 converts the training data D1 (which may further include the verification data D2, the evaluation data D3, etc.) into the success / failure class [M1] and the success / failure class [non-M1] using the distribution learned model MD. Classification into any of a plurality of success / failure classes.
本明細書において、データのうち、振り分け用学習済みモデルＭＤが成否クラス［Ｍ１］に分類するデータは、振り分けクラス［Ｍ１：ＭＤ］に属するものと定義する。これは、実際に第１学習済みモデルＭ１による分類が成功するか否かとは、必ずしも一致しない。同様に、データのうち、振り分け用学習済みモデルＭＤが成否クラス［非Ｍ１］に分類するデータは、振り分けクラス［非Ｍ１：ＭＤ］に属するものと定義する。これは、実際に第１学習済みモデルＭ１による分類が失敗するか否かとは、必ずしも一致しない。 In this specification, among the data, the data classified by the distribution learned model MD into the success / failure class [M1] is defined as belonging to the distribution class [M1: MD]. This does not necessarily match whether or not the classification by the first learned model M1 actually succeeds. Similarly, among the data, data classified by the distribution learned model MD into the success / failure class [non-M1] is defined as belonging to the distribution class [non-M1: MD]. This does not always coincide with whether or not the classification by the first learned model M1 actually fails.
これらの振り分けクラスは、対象物クラス［老人］や［子供］等および成否クラス［Ｍ１］および［非Ｍ１］等とは別に形成される。あるデータが成否クラス［Ｍ１］に属するか否かと、そのデータが振り分けクラス［Ｍ１：ＭＤ］に属するか否かとは、相関はするが、完全に一致するとは限らない。なお、分類結果の状況によっては、他の振り分けクラスが設けられてもよい。 These distribution classes are formed separately from the object classes [elder] and [child] and the success / failure classes [M1] and [non-M1]. Whether or not certain data belongs to the success / failure class [M1] and whether or not the data belongs to the distribution class [M1: MD] are correlated, but do not always coincide completely. Depending on the situation of the classification result, another distribution class may be provided.
以上をまとめると、ステップＳ３２において、コンピュータ１０は、振り分け用学習済みモデルＭＤを用いて、データを、振り分け用学習済みモデルＭＤによって成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］（成否クラス［Ｍ１］と内容が一致するとは限らない）と、振り分け用学習済みモデルＭＤによって成否クラス［非Ｍ１］に分類されるデータが属する振り分けクラス［非Ｍ１：ＭＤ］（成否クラス［非Ｍ１］と内容が一致するとは限らない）とを含む複数の振り分けクラスのいずれかに分類するということができる。なお、この際に、訓練データＤ１および検証データＤ２の両方を分類してもよい。 To summarize the above, in step S32, the computer 10 uses the distribution learned model MD to classify the data into the success / failure class [M1] according to the distribution learning model MD. MD] (not necessarily the same as the success / failure class [M1]) and the distribution class [non-M1: MD] (success / failure class) to which the data classified into the success / failure class [non-M1] by the distribution learned model MD belong. (The content does not always match with [Non-M1]). At this time, both the training data D1 and the verification data D2 may be classified.
次に、コンピュータ１０は、振り分けクラス［Ｍ１：ＭＤ］に属する訓練データＤ１（他のデータを含んでもよい）を用いて機械学習を行うことにより、第１学習済みモデルＭ１を追加学習する（ステップＳ３３）。たとえば、振り分けクラス［Ｍ１：ＭＤ］に属する訓練データＤ１と、同じく振り分けクラス［Ｍ１：ＭＤ］に属する検証データＤ２とを用いてステップＳ１を再実行することにより、ニューロン間の結合の重みを更新することができる。なおこのステップＳ３３は省略してもよい。 Next, the computer 10 additionally learns the first learned model M1 by performing machine learning using the training data D1 (which may include other data) belonging to the distribution class [M1: MD] (step S1). S33). For example, by re-executing step S1 using the training data D1 belonging to the distribution class [M1: MD] and the verification data D2 also belonging to the distribution class [M1: MD], the weight of the connection between neurons is updated. can do. Step S33 may be omitted.
次に、コンピュータ１０は、振り分けクラス［非Ｍ１：ＭＤ］に属する訓練データＤ１（他のデータを含んでもよい）を用いて機械学習を行うことにより、上述の第２学習済みモデルＭ２を生成する（ステップＳ３４）。 Next, the computer 10 generates the above-described second learned model M2 by performing machine learning using the training data D1 (which may include other data) belonging to the distribution class [non-M1: MD]. (Step S34).
ここで、ステップＳ３１およびＳ３２によれば、振り分けクラス［非Ｍ１：ＭＤ］は、第１学習済みモデルＭ１によって正しく分類されないデータ（すなわち成否クラス［非Ｍ１］に属するデータ）に関連して形成されている。これを考慮すると、第２学習済みモデルＭ２は、成否クラス［非Ｍ１］に属するデータに基づく処理に依存する機械学習を行うことにより、間接的に生成されていると言える。 Here, according to steps S31 and S32, the distribution class [non-M1: MD] is formed in association with data that is not correctly classified by the first learned model M1 (that is, data belonging to the success / failure class [non-M1]). ing. Considering this, it can be said that the second learned model M2 is indirectly generated by performing machine learning that depends on processing based on data belonging to the success / failure class [non-M1].
以上のように説明される実施の形態１によれば、第２学習済みモデルＭ２は、第１学習済みモデルＭ１が分類に失敗すると考えられるデータを用いて学習するので、第１学習済みモデルＭ１が苦手とするデータに特化した学習済みモデルとなる。また、振り分け用学習済みモデルＭＤは、データを、第１学習済みモデルＭ１がうまく分類できるものと、そうでないもの（すなわち第２学習済みモデルＭ２がよりうまく分類できるもの）とに分類することができる。このように、分割された３つの学習済みモデルが適切に連携するので、結果として全体の分類精度が向上する。 According to the first embodiment described above, the second learned model M2 learns using the data that the first learned model M1 is considered to fail to classify. This is a trained model specialized for data that is weak. In addition, the distribution learned model MD can classify the data into data that can be classified well by the first learned model M1 and data that cannot be classified (that is, data that can be classified better by the second learned model M2). it can. As described above, the three divided learned models appropriately cooperate, and as a result, the overall classification accuracy is improved.
なお、上記では対象物クラスに分類するための学習済みモデルが第１学習済みモデルＭ１および第２学習済みモデルＭ２の２つだけであるが、ステップＳ２およびＳ３を繰り返してさらに多くの学習済みモデルを生成することも可能である。 In the above description, only two learned models, the first learned model M1 and the second learned model M2, for classifying into the object class are used. However, steps S2 and S3 are repeated to obtain more learned models. Can also be generated.
たとえば、コンピュータ１０は、図示しない第３生成ステップを実行することにより、第３学習済みモデルを生成してもよい。第３学習済みモデルＭ３は、第１学習済みモデルＭ１および第２学習済みモデルＭ２と同様に、データを複数の対象物クラスのいずれかに分類する学習済みモデルである。 For example, the computer 10 may generate a third learned model by executing a third generation step (not shown). The third learned model M3 is a learned model that classifies data into one of a plurality of object classes, like the first learned model M1 and the second learned model M2.
第３生成ステップにおいて、まずコンピュータ１０は、第１学習済みモデルＭ１および第２学習済みモデルＭ２を用いて、検証データＤ２を、第１学習済みモデルＭ１によって正しく分類されるデータが属する成否クラス［Ｍ１］と、第２学習済みモデルＭ２によって正しく分類されるデータが属する成否クラス［Ｍ２］と、第１学習済みモデルＭ１および第２学習済みモデルＭ２のいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］とを含む、複数の成否クラスとを含む複数の成否クラスのいずれかに分類する。この成否クラス［Ｍ２］は、図２の訓練データＤ１ｂａを含むクラスであり、成否クラス［非Ｍ１非Ｍ２］は、図２の訓練データＤ１ｂｂを含むクラスである。なお、本実施形態では、第１学習済みモデルＭ１および第２学習済みモデルＭ２いずれによっても正しく分類されるデータは成否クラス［Ｍ１］に属することになるが、変形例として、このようなデータは成否クラス［Ｍ２］に属するものと定義してもよい。 In the third generation step, the computer 10 first uses the first learned model M1 and the second learned model M2 to convert the verification data D2 into a success / failure class to which data correctly classified by the first learned model M1 belongs [ M1], success / failure class [M2] to which data correctly classified by the second learned model M2 belongs, and success / failure class to which data not correctly classified by either the first learned model M1 or the second learned model M2 belongs [Non-M1 Non-M2] and a plurality of success / failure classes including a plurality of success / failure classes. The success / failure class [M2] is a class including the training data D1ba in FIG. 2, and the success / failure class [non-M1 non-M2] is a class including the training data D1bb in FIG. In the present embodiment, data correctly classified by both the first learned model M1 and the second learned model M2 belongs to the success / failure class [M1]. As a modification, such data is It may be defined as belonging to the success / failure class [M2].
次に、コンピュータ１０は、検証データＤ２を用いて機械学習を行うことにより、データを、成否クラス［Ｍ１］、成否クラス［Ｍ２］および成否クラス［非Ｍ１非Ｍ２］を含む複数の成否クラスのいずれかに分類する、新たな振り分け用学習済みモデルを生成する。なお、この新たな振り分け用学習済みモデルは、上述の振り分け用学習済みモデルとは異なるものであってもよい。 Next, the computer 10 performs machine learning using the verification data D2 to convert the data into a plurality of success / failure classes including a success / failure class [M1], a success / failure class [M2], and a success / failure class [non-M1 non-M2]. Generate a new distribution learned model to be classified into any of them. The new learned model for distribution may be different from the previously learned model for distribution.
次に、コンピュータ１０は、訓練データＤ１（検証データＤ２、評価データＤ３、等を含んでもよい）を、新たな振り分け用学習済みモデルによって成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、新たな振り分け用学習済みモデルによって成否クラス［Ｍ２］に分類されるデータが属する振り分けクラス［Ｍ２：ＭＤ］と、新たな振り分け用学習済みモデルによって成否クラス［非Ｍ１非Ｍ２］に分類されるデータが属する振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］とを含む複数の振り分けクラスのいずれかに分類する。 Next, the computer 10 converts the training data D1 (which may include the verification data D2, the evaluation data D3, and the like) into the distribution class [M1] to which the data classified into the success / failure class [M1] by the new distribution learned model has belonged. M1: MD], a distribution class [M2: MD] to which data classified into the success / failure class [M2] by the new distribution learned model belongs, and a success / failure class [non-M1 non-M2] by the new distribution learned model. ] Is classified into one of a plurality of distribution classes including a distribution class [non-M1 non-M2: MD] to which the data classified to [] belongs.
次に、コンピュータ１０は、振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］に属する訓練データＤ１（他のデータを含んでもよい）を用いて機械学習を行うことにより、第３学習済みモデルＭ３を生成する。 Next, the computer 10 generates a third learned model M3 by performing machine learning using the training data D1 (which may include other data) belonging to the distribution class [non-M1 non-M2: MD]. .
実施の形態１に係る第１学習済みモデルＭ１、第２学習済みモデルＭ２および振り分け用学習済みモデルＭＤ（さらに第３学習済みモデルＭ３を含んでもよい）を用いて本番データＤ４を分類するための手順および方法等は、任意に設計可能であるが、たとえば次のようにして実行することができる。なお、以下では、第１学習済みモデルＭ１および第２学習済みモデルＭ２のみを用いる例を説明するが、第３学習済みモデルＭ３およびさらなる学習済みモデルが用いられる場合も同様である。 For classifying the production data D4 using the first learned model M1, the second learned model M2, and the distribution learned model MD (which may further include the third learned model M3) according to the first embodiment. The procedure and method can be arbitrarily designed, but can be executed as follows, for example. In the following, an example in which only the first learned model M1 and the second learned model M2 are used will be described, but the same applies to the case where the third learned model M3 and further learned models are used.
図７は、本番データＤ４を分類するためにコンピュータ１０が実行する処理の流れを説明するフローチャートである。図７の処理において、まずコンピュータ１０は、振り分け用学習済みモデルＭＤに本番データＤ４を入力し、学習済みモデル（第１学習済みモデルＭ１および第２学習済みモデルＭ２）のうちいずれを分類に用いるかを選択する（ステップＳ１０１）。より具体的には、コンピュータ１０は、振り分け用学習済みモデルＭＤを用いて、本番データＤ４を振り分けクラスのいずれかに分類する。 FIG. 7 is a flowchart illustrating a flow of a process executed by the computer 10 to classify the production data D4. In the process of FIG. 7, first, the computer 10 inputs the production data D4 to the distribution learned model MD, and uses any of the learned models (the first learned model M1 and the second learned model M2) for classification. Is selected (step S101). More specifically, the computer 10 classifies the production data D4 into one of the distribution classes using the distribution learned model MD.
次に、コンピュータ１０は、選択された学習済みモデル（第１学習済みモデルＭ１または第２学習済みモデルＭ２）を用いて、対応する本番データＤ４を分類する（ステップＳ１０２）。より具体的には、振り分けクラス［Ｍ１：ＭＤ］に属する本番データＤ４については、第１学習済みモデルＭ１を用いて対象物クラスのいずれかに分類し、振り分けクラス［Ｍ２：ＭＤ］に属する本番データＤ４については、第２学習済みモデルＭ２を用いて対象物クラスのいずれかに分類する。このようにすると、第１学習済みモデルＭ１、第２学習済みモデルＭ２および振り分け用学習済みモデルＭＤを適切に連携させることができる。学習済みモデルが３つ以上生成されている場合にも、同様にして分類することが可能である。 Next, the computer 10 classifies the corresponding production data D4 using the selected learned model (the first learned model M1 or the second learned model M2) (step S102). More specifically, the production data D4 belonging to the distribution class [M1: MD] is classified into one of the object classes using the first learned model M1, and the production data D4 belonging to the distribution class [M2: MD] is classified. The data D4 is classified into one of the object classes using the second learned model M2. In this way, the first learned model M1, the second learned model M2, and the distribution learned model MD can be appropriately linked. Even when three or more trained models are generated, the classification can be performed in the same manner.
また、学習済みモデルは再帰的に任意の数だけ生成することができるが、図１０の分類処理では、学習済みモデルの数に関わらず実質的な分類処理は２回で済む。すなわち、振り分け用学習済みモデルＭＤで１回、さらに第１学習済みモデルＭ１または第２学習済みモデルＭ２の一方のみで１回、合計２回で良いので、計算機資源の消費を比較的低く抑えることができる。 Although any number of learned models can be generated recursively, the classification process in FIG. 10 requires only two substantial classification processes regardless of the number of learned models. In other words, once for the distribution-trained model MD and once for only one of the first learned model M1 and the second learned model M2, a total of two times is sufficient. Can be.
なお、図７に示す分類方法を用いて、第１学習済みモデルＭ１、第２学習済みモデルＭ２および振り分け用学習済みモデルＭＤの評価を行うこともできる。たとえば、図７に示す処理において、本番データＤ４の代わりに評価データＤ３を用い、成績を評価してもよい。 Note that the first learned model M1, the second learned model M2, and the distribution learned model MD can also be evaluated using the classification method shown in FIG. For example, in the processing shown in FIG. 7, the grade may be evaluated using the evaluation data D3 instead of the production data D4.
上述の実施の形態１において、学習済みモデルの機能を、クラスタリングではなく、推定値を出力することに変更してもよい。たとえば、第１学習済みモデルＭ１は、データに基づいて推定値を出力する。具体例としては、過去の加速度値から次の瞬間の加速度値（予測値）を予測する予測モデルが挙げられる。より具体的には、人間の手の動きの加速度の向きおよび大きさを表すベクトルをデータとしてもよい。たとえば、過去から現在直前に至る１回以上の手の動きの加速度値を入力とし、次の瞬間における手の動きの加速度値を推定し、これを推定値として出力するものであってもよい。加速度値に代えて速度値を用いてもよい。 In Embodiment 1 described above, the function of the learned model may be changed to outputting an estimated value instead of clustering. For example, the first learned model M1 outputs an estimated value based on the data. As a specific example, there is a prediction model that predicts an acceleration value (predicted value) at the next instant from a past acceleration value. More specifically, a vector representing the direction and magnitude of the acceleration of the movement of the human hand may be used as the data. For example, the acceleration value of one or more hand movements from the past to immediately before the present may be input, the acceleration value of the hand movement at the next moment may be estimated, and this may be output as the estimated value. A speed value may be used instead of the acceleration value.
この場合には、「訓練データＤ１を用いて機械学習を行う」とは、訓練データＤ１を直接的に学習中モデルに入力し、その出力の誤差（二乗誤差等）に応じて学習中モデルの構成を変化させる（たとえば誤差逆伝搬法によって重みを変化させる）ことをいう。 In this case, “performing machine learning using the training data D1” means that the training data D1 is directly input to the learning model, and the training model D1 is input in accordance with the output error (square error or the like). This means that the configuration is changed (for example, the weight is changed by the error back propagation method).
この場合には、ステップＳ２の成否分類は、正解か否かではなく、正解に近い値であるか否かに基づいて行われる。たとえば、あるデータを入力として第１学習済みモデルＭ１による推定値の出力を行った結果として、その推定値が正解に近い値である場合には、そのデータは成否クラス［Ｍ１］に属し、その推定値が正解に近くない値である場合には、そのデータは成否クラス［非Ｍ１］に属すると定義する。近いか否かの基準は適宜定義可能であるが、たとえば、スカラー値の場合には推定値と正解との差（または差の絶対値）を用いてもよく、ベクトルの場合には推定値と正解とのユークリッド距離を用いてもよい。 In this case, the success / failure classification in step S2 is performed not based on whether the answer is correct, but based on whether the value is close to the correct answer. For example, as a result of outputting an estimated value by the first learned model M1 with certain data as an input, if the estimated value is a value close to a correct answer, the data belongs to the success / failure class [M1], If the estimated value is not close to the correct answer, the data is defined as belonging to the success / failure class [non-M1]. The criterion of whether or not they are close can be defined as appropriate. For example, in the case of a scalar value, the difference between the estimated value and the correct answer (or the absolute value of the difference) may be used. The Euclidean distance from the correct answer may be used.
すなわち、この場合には、ステップＳ１（第１生成ステップ）は、訓練データＤ１を用いて機械学習を行うことにより、データに基づいて推定値を出力する第１学習済みモデルＭ１を生成するステップであるということができる。また、ステップＳ２（第２生成ステップ）は、第１学習済みモデルＭ１による推定値の誤差を大きくするデータに基づく処理に依存する機械学習を行うことにより、データに基づいて推定値を出力する第２学習済みモデルＭ２を生成するステップであるということができる。なお、ここで「推定値の誤差を大きくするデータ」とは、第１のデータに基づいて出力された第１の推定値と、第２のデータに基づいて出力された第２の推定値とを比較した場合に、第１の推定値に対する誤差のほうが大きくなっていた場合に、第１のデータのほうが推定値の誤差を大きくするデータである、という意味であり、「推定値の誤差が大きくなるデータ」と言い換えることもできる。 That is, in this case, step S1 (first generation step) is a step of generating a first learned model M1 that outputs an estimated value based on data by performing machine learning using the training data D1. It can be said that there is. The step S2 (second generation step) is a step of outputting an estimated value based on the data by performing machine learning that depends on a process based on data that increases an error of the estimated value by the first learned model M1. It can be said that this is a step of generating a learned model M2. Here, the “data that increases the error of the estimated value” refers to the first estimated value output based on the first data and the second estimated value output based on the second data. Are compared, when the error with respect to the first estimated value is larger, it means that the first data is data that increases the error of the estimated value. Data that grows big ".
このように、実施の形態１またはその変形例によれば、複数の学習済みモデルに対して同一のデータを入力し、それぞれ異なり得る出力を取得するので、同一のデータに対して複数の予測値や候補ラベルを取得することができる。具体的には、第１学習済みモデルＭ１の出力は一つ目の予測値で、第２学習済みモデルＭ２の出力値は二つ目の予測値として利用できる。これらの複数の予測値は、たとえば人の動きをシミュレートするときに利用可能である。たとえば、最初に一つ目の予測値を利用してシミュレートした後、効率の良い動作にならなかった場合には、二つ目の予測値を利用してシミュレートをやり直すことができる。このようにすると、人の作業をシミュレートすることにより作業の効率化を図ったり、危険な作業を予測して防止したりすることが可能になる。 As described above, according to the first embodiment or its modification, the same data is input to a plurality of learned models, and outputs that can be different from each other are obtained. And candidate labels. Specifically, the output of the first learned model M1 can be used as a first predicted value, and the output value of the second learned model M2 can be used as a second predicted value. These plurality of predicted values can be used, for example, when simulating the movement of a person. For example, after the simulation is performed using the first predicted value first, if the operation does not become efficient, the simulation can be performed again using the second predicted value. In this way, it is possible to improve work efficiency by simulating human work, or to predict and prevent dangerous work.
実施の形態２．
実施の形態１では、対象物クラスの分類のための学習済みモデル（第１学習済みモデルＭ１および第２学習済みモデルＭ２等）に加え、振り分け用学習済みモデルＭＤを用いた。実施の形態２は、実施の形態１において、振り分け用学習済みモデルＭＤを用いないよう変更するものである。以下、図８〜図１０を用いて、実施の形態１との相違点を説明する。
In the first embodiment, in addition to the learned models for classifying the object classes (the first learned model M1 and the second learned model M2, etc.), the distribution learned model MD is used. The second embodiment is different from the first embodiment in that the learned model MD for distribution is not used. Hereinafter, differences from the first embodiment will be described with reference to FIGS.
図８に、実施の形態２におけるステップＳ２の詳細を示す。本実施形態では、このステップＳ２の成否分類は、訓練データＤ１に対して行われる（ステップＳ２２）。すなわち、コンピュータ１０は、訓練データＤ１を、第１学習済みモデルＭ１によって正しく分類されるデータが属する成否クラス［Ｍ１］と、第１学習済みモデルＭ１によって正しく分類されないデータが属する成否クラス［非Ｍ１］とを含む、複数の成否クラスのいずれかに分類する。 FIG. 8 shows the details of step S2 in the second embodiment. In the present embodiment, the success / failure classification in step S2 is performed on the training data D1 (step S22). That is, the computer 10 converts the training data D1 into a success / failure class [M1] to which data correctly classified by the first learned model M1 belongs and a success / failure class [non-M1] to which data not correctly classified by the first learned model M1 belongs. ] Are classified into any of a plurality of success / failure classes.
また、図９に、実施の形態２におけるステップＳ３の詳細を示す。ステップＳ３において、コンピュータ１０は、成否クラス［非Ｍ１］に属する訓練データＤ１を含むデータ（他のデータを含んでもよい）を用いて機械学習を行うことにより、第２学習済みモデルＭ２を生成する（ステップＳ３５）。このように、本実施形態では、第１学習済みモデルＭ１が誤って分類した訓練データＤ１を直接的に用いて、第２学習済みモデルＭ２の学習が行われる。 FIG. 9 shows details of step S3 in the second embodiment. In step S3, the computer 10 generates a second learned model M2 by performing machine learning using data including the training data D1 belonging to the success / failure class [non-M1] (may include other data). (Step S35). As described above, in the present embodiment, the learning of the second learned model M2 is performed by directly using the training data D1 incorrectly classified by the first learned model M1.
以上のように説明される実施の形態２によれば、第２学習済みモデルＭ２は、第１学習済みモデルＭ１が分類に失敗したデータを用いて学習するので、第１学習済みモデルＭ１が苦手とするデータに特化した学習済みモデルとなる。このように、分割された２つの学習済みモデルが適切に連携するので、結果として全体の分類精度が向上する。 According to the second embodiment described above, the second learned model M2 learns using the data for which the first learned model M1 has failed to classify. This is a trained model specialized for the data to be obtained. In this way, the two divided learned models appropriately cooperate, and as a result, the overall classification accuracy is improved.
なお、上記では対象物クラスに分類するための学習済みモデルが第１学習済みモデルＭ１および第２学習済みモデルＭ２の２つだけであるが、実施の形態１と同様に、ステップＳ２およびＳ３を繰り返してさらに多くの学習済みモデルを生成することも可能である。 In the above description, the only two learned models to be classified into the object class are the first learned model M1 and the second learned model M2. However, as in the first embodiment, steps S2 and S3 are performed. It is also possible to generate more trained models repeatedly.
たとえば、コンピュータ１０は、図示しない第３生成ステップを実行することにより、第３学習済みモデルを生成してもよい。第３学習済みモデルＭ３は、第１学習済みモデルＭ１および第２学習済みモデルＭ２と同様に、データを複数の対象物クラスのいずれかに分類する学習済みモデルである。 For example, the computer 10 may generate a third learned model by executing a third generation step (not shown). The third learned model M3 is a learned model that classifies data into one of a plurality of object classes, like the first learned model M1 and the second learned model M2.
第３生成ステップにおいて、まずコンピュータ１０は、第１学習済みモデルＭ１および第２学習済みモデルＭ２を用いて、訓練データＤ１を、第１学習済みモデルＭ１によって正しく分類されるデータが属する成否クラス［Ｍ１］と、第２学習済みモデルＭ２によって正しく分類されるデータが属する成否クラス［Ｍ２］と、第１学習済みモデルＭ１および第２学習済みモデルＭ２のいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］とを含む、複数の成否クラスとを含む複数の成否クラスのいずれかに分類する。なお、本実施形態では、第１学習済みモデルＭ１および第２学習済みモデルＭ２いずれによっても正しく分類されるデータは成否クラス［Ｍ１］に属することになるが、変形例として、このようなデータは成否クラス［Ｍ２］に属するものと定義してもよい。 In the third generation step, first, the computer 10 uses the first learned model M1 and the second learned model M2 to convert the training data D1 into a success / failure class to which data correctly classified by the first learned model M1 belongs. M1], success / failure class [M2] to which data correctly classified by the second learned model M2 belongs, and success / failure class to which data not correctly classified by either the first learned model M1 or the second learned model M2 belongs [Non-M1 Non-M2] and a plurality of success / failure classes including a plurality of success / failure classes. In the present embodiment, data correctly classified by both the first learned model M1 and the second learned model M2 belongs to the success / failure class [M1]. As a modification, such data is It may be defined as belonging to the success / failure class [M2].
次に、コンピュータ１０は、成否クラス［非Ｍ１非Ｍ２］に属する訓練データＤ１を用いて機械学習を行うことにより、第３学習済みモデルを生成する。 Next, the computer 10 generates a third learned model by performing machine learning using the training data D1 belonging to the success / failure class [non-M1 non-M2].
実施の形態２に係る第１学習済みモデルＭ１および第２学習済みモデルＭ２（さらに第３学習済みモデルＭ３を含んでもよい）を用いて本番データＤ４を分類するための手順および方法等は、任意に設計可能であるが、たとえば次のようにして実行することができる。なお、以下では、第１学習済みモデルＭ１および第２学習済みモデルＭ２のみを用いる例を説明するが、第３学習済みモデルＭ３およびさらなる学習済みモデルが用いられる場合も同様である。
The procedure and method for classifying the production data D4 using the first learned model M1 and the second learned model M2 (and may further include the third learned model M3) according to
図１０は、本番データＤ４を分類するためにコンピュータ１０が実行する処理の流れを説明するフローチャートである。図１０の処理において、まずコンピュータ１０は、検証データＤ２を用いて、第１学習済みモデルＭ１がデータを正しい対象物クラスに分類する確率（以下「第１確率」と呼ぶ）を決定する（ステップＳ２０１）。第１確率は、たとえば単純に、検証データＤ２のうち第１学習済みモデルＭ１が正しい対象物クラスに分類したデータの数を、検証データＤ２の総数で除算した値としてもよい。 FIG. 10 is a flowchart illustrating a flow of a process executed by the computer 10 to classify the production data D4. In the process of FIG. 10, first, the computer 10 determines a probability (hereinafter, referred to as a “first probability”) of the first learned model M1 classifying the data into a correct object class using the verification data D2 (step). S201). The first probability may be, for example, simply a value obtained by dividing the number of pieces of data of the verification data D2 classified into the correct object class by the first learned model M1 by the total number of the verification data D2.
次に、コンピュータ１０は、検証データＤ２を用いて、第２学習済みモデルＭ２がデータを正しい対象物クラスに分類する確率（以下「第２確率」と呼ぶ）を決定する（ステップＳ２０２）。第２確率は、たとえば単純に、検証データＤ２のうち第２学習済みモデルＭ２が正しい対象物クラスに分類したデータの数を、検証データＤ２の総数で除算した値としてもよい。 Next, using the verification data D2, the computer 10 determines a probability (hereinafter, referred to as a "second probability") of the second learned model M2 classifying the data into a correct object class (step S202). The second probability may be, for example, simply a value obtained by dividing the number of pieces of data of the verification data D2 classified into the correct object class by the second learned model M2 by the total number of pieces of verification data D2.
次に、コンピュータ１０は、本番データＤ４のそれぞれについて、第１学習済みモデルＭ１がその本番データＤ４を分類する対象物クラス（以下「第１対象物クラス」と呼ぶ）と、その分類結果の信頼度（以下「第１信頼度」）とを決定する（ステップＳ２０３）。この処理は、たとえばニューラルネットワークを用いた周知のデータ分類処理によって実現可能である。たとえば、出力層のニューロンのうち最大の値を出力したものに応じて第１対象物クラスを決定してもよく、そのニューロンが出力した値を第１信頼度としてもよい。 Next, the computer 10 determines, for each of the production data D4, an object class (hereinafter, referred to as a “first object class”) in which the first learned model M1 classifies the production data D4, and the reliability of the classification result. Degree (hereinafter, “first reliability”) is determined (step S203). This process can be realized by a well-known data classification process using a neural network, for example. For example, the first object class may be determined according to the neuron of the output layer that has output the maximum value, and the value output by the neuron may be used as the first reliability.
次に、コンピュータ１０は、本番データＤ４のそれぞれについて、第２学習済みモデルＭ２がその本番データＤ４を分類する対象物クラス（以下「第２対象物クラス」と呼ぶ）と、その分類結果の信頼度（以下「第２信頼度」）とを決定する（ステップＳ２０４）。この処理は、たとえばニューラルネットワークを用いた周知のデータ分類処理によって実現可能である。たとえば、出力層のニューロンのうち最大の値を出力したものに応じて第２対象物クラスを決定してもよく、そのニューロンが出力した値を第２信頼度としてもよい。 Next, the computer 10 determines, for each of the production data D4, an object class (hereinafter, referred to as a “second object class”) for which the second learned model M2 classifies the production data D4, and the reliability of the classification result. The degree (hereinafter, “second reliability”) is determined (step S204). This process can be realized by a well-known data classification process using a neural network, for example. For example, the second object class may be determined according to the one that outputs the maximum value among the neurons in the output layer, and the value output by that neuron may be used as the second reliability.
次に、コンピュータ１０は、第１確率、第２確率、第１対象物クラス、第２対象物クラス、第１信頼度および第２信頼度に基づく比較により、その本番データＤ４を対象物クラスのいずれかに分類する（ステップＳ２０５）。具体的な比較方法は任意に設計可能であるが、たとえば、候補となった対象物クラスそれぞれについて、確率および信頼度を乗算した総合値を算出し、この総合値を比較して決定することができる。 Next, the computer 10 compares the actual data D4 of the object class by the comparison based on the first probability, the second probability, the first object class, the second object class, the first reliability and the second reliability. It is classified into one of them (step S205). Although a specific comparison method can be arbitrarily designed, for example, for each of the candidate object classes, it is possible to calculate a total value obtained by multiplying the probability and the reliability and compare and determine the total value. it can.
ステップＳ２０５の具体例を以下に説明する。まず、第１対象物クラスと第２対象物クラスとが一致した場合には、そのデータはその対象物クラスに分類される。この場合には、数値を用いた比較演算等は省略可能である。 A specific example of step S205 will be described below. First, when the first object class and the second object class match, the data is classified into the object class. In this case, the comparison operation using the numerical value can be omitted.
第１対象物クラスと第２対象物クラスとが一致しなかった場合には、数値を用いた比較演算処理を行う。たとえば、検証データＤ２が全部で１４個あり、そのうち第１学習済みモデルＭ１が正しい対象物クラスに分類するものが６個あったとすると、第１確率は６／１４となる。また、検証データＤ２のうち第２学習済みモデルＭ２が正しい対象物クラスに分類するものが４個あったとすると、第２確率は４／１４となる。 If the first object class does not match the second object class, a comparison operation using numerical values is performed. For example, if there are a total of 14 pieces of the verification data D2, and there are 6 pieces of the first learned model M1 classified into the correct object class, the first probability is 6/14. Further, if there are four verification data D2 classified into the correct object class by the second learned model M2, the second probability is 4/14.
そして、ある本番データＤ４について、第１学習済みモデルＭ１がそのデータについて対象物クラス［老人］であると推定し、その信頼度を１／６と出力したとする。また、その本番データＤ４について、第２学習済みモデルＭ２がそのデータについて対象物クラス［子供］であると推定し、その信頼度を１／２と出力したとする。 Then, it is assumed that the first learned model M1 is estimated to be a target object class [elderly] with respect to certain production data D4, and its reliability is output as 1/6. It is also assumed that the second learned model M2 is estimated to be the object class [child] for the production data D4, and the reliability is output as 1/2.
この場合には、そのデータについて、第１学習済みモデルＭ１の総合値は（６／１４）×（１／６）＝１／１４であり、第２学習済みモデルＭ２の総合値は（４／１４）×（１／２）＝１／７となるので、第２学習済みモデルＭ２の総合値のほうが大きい。したがって、コンピュータ１０は、第２学習済みモデルＭ２の分類結果が正しいと判定することができ、そのデータを対象物クラス［子供］に分類する。なお、学習済みモデルが３つ以上生成されている場合にも、各学習済みモデルについて同様に確率と信頼度とを乗算して総合値を求め、最大の総合値を与える学習済みモデルの分類結果を採用すればよい。 In this case, for that data, the total value of the first learned model M1 is (6/14) × (1/6) = 1/14, and the total value of the second learned model M2 is (4/14). 14) × (１ ／) = 1/7, so that the total value of the second learned model M2 is larger. Therefore, the computer 10 can determine that the classification result of the second learned model M2 is correct, and classify the data into the object class [child]. Even when three or more trained models are generated, the total value is obtained by similarly multiplying the probability and the reliability for each trained model, and the classification result of the trained model that gives the largest total value is obtained. Should be adopted.
このようにすると、各学習済みモデルの全体的な正解率と、ある特定のデータについての各学習済みモデルの信頼度とを組み合わせて評価できるので、各学習済みモデルは互いの苦手なデータをカバーすることができ、適切に連携することができる。 In this way, the combined accuracy of each trained model and the reliability of each trained model for certain data can be evaluated in combination, so that each trained model covers each other's weak data. And cooperate appropriately.
また、実施の形態２では、実施の形態１のような振り分け用学習済みモデルＭＤを必要としないので、学習済みモデルの管理が効率的に行え、また、最終的にうまく分類できないデータ等が存在した場合であっても、原因解析は比較的容易である。 Further, in the second embodiment, since the learned model MD for distribution as in the first embodiment is not required, management of the learned model can be efficiently performed, and there are data that cannot be classified well in the end. Even so, the cause analysis is relatively easy.
なお、図１０に示す分類方法を用いて、第１学習済みモデルＭ１および第２学習済みモデルＭ２の評価を行うこともできる。たとえば、図１０に示す処理において、本番データＤ４の代わりに評価データＤ３を用い、成績を評価してもよい。 The first learned model M1 and the second learned model M2 can be evaluated using the classification method shown in FIG. For example, in the process shown in FIG. 10, the grade may be evaluated using the evaluation data D3 instead of the production data D4.
上述の実施の形態１および２において、次のような変形を施すことができる。
訓練データＤ１について、認識に失敗したものまたは失敗すると推定されたものの量を増加させてもよい。たとえば、最後に生成された学習済みモデルが認識に失敗した訓練データＤ１（たとえば第２学習済みモデルＭ２が生成された後の成否クラス［非Ｍ１非Ｍ２］に属する訓練データＤ１）や、最後に生成された学習済みモデルが認識に失敗すると推定された訓練データＤ１（たとえば第２学習済みモデルＭ２が生成された後の振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］に属する訓練データＤ１）の量を増加させてもよい。
In the first and second embodiments, the following modifications can be made.
With respect to the training data D1, the amount of the recognition data that has failed or is estimated to have failed may be increased. For example, training data D1 in which the last generated learned model has failed in recognition (for example, training data D1 belonging to a success / failure class [non-M1 non-M2] after the second learned model M2 is generated), The amount of the training data D1 (for example, the training data D1 belonging to the distribution class [non-M1 non-M2: MD] after the second learned model M2 is generated) estimated that the generated learned model fails to recognize is determined by May be increased.
「量を増加させる」とは、ある対象物クラスに属する１つのデータに基づいて、同じ対象物クラスに属する他のデータを１つ以上新たに生成することを意味する。新たに生成されるデータは、元のデータの単純なコピーであってもよいが、なんらかの変更を加えたものとするのが好ましい。変更の具体的内容として、データが画像を表すものである場合には、画像を左右反転または上下反転させる、明るさを変更する、等の処理が考えられる。また、このような新たなデータを追加した場合には、データ全体の傾向に影響を与えないように、元のデータおよび新たに生成されたデータを用いて学習する際の重みの変更量を通常より小さくしてもよい。変更量の調整は、データ数に反比例させてもよい。たとえば、元のデータと新たに生成されたデータとが合わせて１０個である場合には、これらのデータを用いて学習する際の重みの変更量を通常の１／１０としてもよい。 “Increase the amount” means that one or more other data belonging to the same object class are newly generated based on one data belonging to a certain object class. The newly generated data may be a simple copy of the original data, but it is preferable that the data be modified in some way. As the specific contents of the change, when the data represents an image, a process of inverting the image horizontally or vertically or changing the brightness can be considered. In addition, when such new data is added, the amount of weight change when learning using the original data and the newly generated data is usually set so as not to affect the tendency of the entire data. It may be smaller. The adjustment of the change amount may be made inversely proportional to the number of data. For example, when the original data and the newly generated data are ten in total, the weight change amount when learning using these data may be set to 1/10 of the normal amount.
なお、このようにデータの量を増加させた場合には、実施の形態２における第２学習済みモデルＭ２について、第１学習済みモデルＭ１が実際に分類に失敗したデータのみならず、第１学習済みモデルＭ１が分類に失敗すると考えられるデータをも用いて学習することになる。 When the amount of data is increased in this manner, the second learned model M2 according to the second embodiment includes not only the data for which the first learned model M1 has actually failed to classify, but also the first learned model M1. Learning is also performed using data that is considered to have failed to classify the completed model M1.
各データ（訓練データＤ１、検証データＤ２、評価データＤ３、本番データＤ４、等）は、画像でなくともよく、たとえば動画または他の形式のデータであってもよい。また、データ全体での正解ラベルの種類（すなわち対象物クラスの数）は、２以上であれば任意の数とすることができる。 Each data (training data D1, verification data D2, evaluation data D3, production data D4, etc.) does not have to be an image, and may be, for example, a moving image or data in another format. Further, the type of the correct answer label (that is, the number of object classes) in the entire data can be any number as long as it is two or more.
１０ コンピュータ、Ｄ１ 訓練データ（第１データ）、Ｄ２ 検証データ（第２データ）、Ｄ３ 評価データ（第３データ）、Ｄ４ 本番データ、Ｍ１ 第１学習済みモデル、Ｍ２ 第２学習済みモデル、Ｍ３ 第３学習済みモデル、ＭＤ 振り分け用学習済みモデル、Ｓ１ ステップ（第１生成ステップ）、Ｓ３ ステップ（第２生成ステップ）。
10 computer, D1 training data (first data), D2 verification data (second data), D3 evaluation data (third data), D4 production data, M1 first trained model, M2 second trained model,
上述の問題点を解決するため、この発明に係る方法は、
学習済みモデルを生成する方法であって、
第１データを用いて機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルが正しく分類しないデータに基づく処理に依存する機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第２学習済みモデルを生成する、第２生成ステップと、
を含み、
前記方法は、第２データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正しく分類されないデータが属する成否クラス［非Ｍ１］と
を含む複数の成否クラスのいずれかに分類するステップをさらに備え、
前記第２生成ステップは、
前記第２データを用いて機械学習を行うことにより、データを前記成否クラス［Ｍ１］と前記成否クラス［非Ｍ１］とを含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１］に分類されるデータが属する振り分けクラス［非Ｍ１：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップと、
を含む。
特定の態様によれば、前記振り分けクラス［Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、第１学習済みモデルを追加学習するステップをさらに備える。
特定の態様によれば、前記方法は、データを複数の対象物クラスのいずれかに分類する第３学習済みモデルを生成する、第３生成ステップをさらに備え、
前記第３生成ステップは、
前記第２データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第２学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ２］と、
‐前記第１学習済みモデルおよび前記第２学習済みモデルのいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］と
を含む複数の成否クラスのいずれかに分類するステップと、
前記第２データを用いて機械学習を行うことにより、データを、前記成否クラス［Ｍ１］、前記成否クラス［Ｍ２］および前記成否クラス［非Ｍ１非Ｍ２］を含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ２］に分類されるデータが属する振り分けクラス［Ｍ２：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１非Ｍ２］に分類されるデータが属する振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第３学習済みモデルを生成するステップと、
を含む。
また、この発明に係る方法は、データを分類する方法であって、
上述の方法を用いて、前記第１学習済みモデル、前記第２学習済みモデルおよび前記振り分け用学習済みモデルを生成するステップと、
前記振り分け用学習済みモデルを用いて、本番データを、前記複数の振り分けクラスのいずれかに分類するステップと、
前記第１学習済みモデルを用いて、前記振り分けクラス［Ｍ１：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
前記第２学習済みモデルを用いて、前記振り分けクラス［Ｍ２：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
を備える。
また、この発明に係る方法は、データを分類する方法であって、
第１データを用いて機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルが正しく分類しないデータに基づく処理に依存する機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第２学習済みモデルを生成する、第２生成ステップと、
第２データを用いて、前記第１学習済みモデルがデータを正しい対象物クラスに分類する確率である第１確率を決定するステップと、
前記第２データを用いて、前記第２学習済みモデルがデータを正しい対象物クラスに分類する確率である第２確率を決定するステップと、
本番データについて、前記第１学習済みモデルがその本番データを分類する対象物クラスである第１対象物クラスと、その分類結果の信頼度である第１信頼度とを決定するステップと、
前記本番データについて、前記第２学習済みモデルがその本番データを分類する対象物クラスである第２対象物クラスと、その分類結果の信頼度である第２信頼度とを決定するステップと、
前記第１確率と、前記第２確率と、前記第１対象物クラスと、前記第２対象物クラスと、前記第１信頼度と、前記第２信頼度とに基づき、前記本番データを複数の対象物クラスのいずれかに分類するステップと、
を備える。
また、この発明に係る方法は、学習済みモデルを生成する方法であって、
第１データを用いて機械学習を行うことにより、データに基づいて推定値を出力する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルによる推定値の誤差を大きくするデータに基づく処理に依存する機械学習を行うことにより、データに基づいて推定値を出力する第２学習済みモデルを生成する、第２生成ステップと、
を含み、
前記方法は、第２データを、
‐前記第１学習済みモデルによって正解に近い推定値が出力されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正解に近い推定値が出力されないデータが属する成否クラス［非Ｍ１］と
を含む複数の成否クラスのいずれかに分類するステップをさらに備え、
前記第２生成ステップは、
前記第２データを用いて機械学習を行うことにより、データを前記成否クラス［Ｍ１］と前記成否クラス［非Ｍ１］とを含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１］に分類されるデータが属する振り分けクラス［非Ｍ１：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップと、
を含む。
また、この発明に係るコンピュータは、上述の方法を実行する。
また、この発明に係るプログラムは、コンピュータに上述の方法を実行させる
In order to solve the above problems, the method according to the present invention comprises:
A method of generating a trained model, the method comprising:
Performing a machine learning using the first data to generate a first learned model that classifies the data into one of a plurality of object classes; a first generation step;
A second generation step of generating a second learned model that classifies the data into one of a plurality of object classes by performing machine learning that depends on processing based on data that the first learned model does not correctly classify; When,
Only including,
The method comprises the steps of:
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [non-M1] to which data not correctly classified by the first learned model belongs;
Further comprising the step of classifying into any of a plurality of success / failure classes including
The second generation step includes:
By performing machine learning using the second data, a distribution learned model for classifying data into one of a plurality of success / failure classes including the success / failure class [M1] and the success / failure class [non-M1] is generated. Steps to
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
A distribution class [non-M1: MD] to which data classified into the success / failure class [non-M1] by the distribution learned model belongs;
Classifying into one of a plurality of distribution classes including
Generating the second learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1: MD];
including.
According to an aspect of the particular, the distribution class: by performing machine learning using data including the first data belonging to [M1 MD], further comprising the step of adding learn first learned model.
According to a particular aspect, the method further comprises a third generating step of generating a third learned model for classifying the data into any of a plurality of object classes,
The third generation step includes:
The second data is
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [M2] to which the data correctly classified by the second learned model belongs;
Classifying any of a plurality of success / failure classes including a success / failure class [non-M1 non-M2] to which data not correctly classified by any of the first learned model and the second learned model belongs;
By performing machine learning using the second data, the data is converted to one of a plurality of success / failure classes including the success / failure class [M1], the success / failure class [M2], and the success / failure class [non-M1 non-M2]. Generating a sorted learned model for classification;
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
A distribution class [M2: MD] to which data classified into the success / failure class [M2] by the distribution learned model belongs;
-Classifying into any of a plurality of distribution classes including a distribution class [non-M1 non-M2: MD] to which the data classified into the success / failure class [non-M1 non-M2] by the distribution learned model;
Generating the third learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1 non-M2: MD];
including.
The method according to the present invention is a method of classifying data,
Generating the first learned model, the second learned model, and the distribution learned model using the method described above;
Using the learned model for distribution, classifying the production data into one of the plurality of distribution classes;
Using the first learned model to classify the production data belonging to the distribution class [M1: MD] into one of the plurality of object classes;
Using the second learned model to classify the production data belonging to the distribution class [M2: MD] into one of the plurality of object classes;
Is provided.
The method according to the present invention is a method of classifying data ,
Performing a machine learning using the first data to generate a first learned model that classifies the data into one of a plurality of object classes; a first generation step;
A second generation step of generating a second learned model that classifies the data into one of a plurality of object classes by performing machine learning that depends on processing based on data that the first learned model does not correctly classify; When,
Using the second data to determine a first probability that the first trained model is a probability of classifying the data into a correct object class;
Using the second data, determining a second probability that is the probability that the second trained model will classify the data into the correct object class;
Determining, for the production data, a first object class, which is an object class in which the first learned model classifies the production data, and a first reliability, which is the reliability of the classification result;
Determining, for the production data, a second object class, which is an object class in which the second learned model classifies the production data, and a second reliability, which is the reliability of the classification result;
Based on the first probability, the second probability, the first object class, the second object class, the first reliability, and the second reliability, the production data Classifying into one of the object classes;
Is provided.
The method according to the present invention is a method of generating a learned model,
A first generation step of generating a first learned model that outputs an estimated value based on the data by performing machine learning using the first data;
A second generation step of generating a second learned model that outputs an estimated value based on data by performing machine learning that depends on a process based on data that increases an error of the estimated value by the first learned model; When,
Only including,
The method comprises the steps of:
A success / failure class [M1] to which data to which an estimated value close to the correct answer is output by the first learned model belongs;
A success / failure class [non-M1] to which data whose estimated value close to the correct answer is not output by the first learned model belongs;
Further comprising the step of classifying into any of a plurality of success / failure classes including
The second generation step includes:
By performing machine learning using the second data, a distribution learned model for classifying data into one of a plurality of success / failure classes including the success / failure class [M1] and the success / failure class [non-M1] is generated. Steps to
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
A distribution class [non-M1: MD] to which data classified into the success / failure class [non-M1] by the distribution learned model belongs;
Classifying into one of a plurality of distribution classes including
Generating the second learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1: MD];
including.
Further, a computer according to the present invention executes the above method.
Further, a program according to the present invention causes a computer to execute the above method.
Claims (11)
第１データを用いて機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルが正しく分類しないデータに基づく処理に依存する機械学習を行うことにより、データを複数の対象物クラスのいずれかに分類する第２学習済みモデルを生成する、第２生成ステップと、
を含む、方法。 A method of generating a trained model, the method comprising:
Performing a machine learning using the first data to generate a first learned model that classifies the data into one of a plurality of object classes; a first generation step;
A second generation step of generating a second learned model that classifies the data into one of a plurality of object classes by performing machine learning that depends on processing based on data that the first learned model does not correctly classify; When,
Including, methods.
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正しく分類されないデータが属する成否クラス［非Ｍ１］と
を含む複数の成否クラスのいずれかに分類するステップをさらに備え、
前記第２生成ステップは、
前記第２データを用いて機械学習を行うことにより、データを前記成否クラス［Ｍ１］と前記成否クラス［非Ｍ１］とを含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１］に分類されるデータが属する振り分けクラス［非Ｍ１：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップと、
を含む、請求項１に記載の方法。 The method comprises the steps of:
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
-Further comprising a step of classifying any of a plurality of success / failure classes including a success / failure class [non-M1] to which data not correctly classified by the first learned model belongs;
The second generation step includes:
By performing machine learning using the second data, a distribution learned model for classifying data into one of a plurality of success / failure classes including the success / failure class [M1] and the success / failure class [non-M1] is generated. Steps to
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
Classifying the data into one of a plurality of distribution classes including a distribution class [non-M1: MD] to which the data classified into the success / failure class [non-M1] by the distribution learned model;
Generating the second learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1: MD];
The method of claim 1, comprising:
前記第３生成ステップは、
前記第２データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第２学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ２］と、
‐前記第１学習済みモデルおよび前記第２学習済みモデルのいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］と
を含む複数の成否クラスのいずれかに分類するステップと、
前記第２データを用いて機械学習を行うことにより、データを、前記成否クラス［Ｍ１］、前記成否クラス［Ｍ２］および前記成否クラス［非Ｍ１非Ｍ２］を含む複数の成否クラスのいずれかに分類する振り分け用学習済みモデルを生成するステップと、
前記第１データを、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ１］に分類されるデータが属する振り分けクラス［Ｍ１：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［Ｍ２］に分類されるデータが属する振り分けクラス［Ｍ２：ＭＤ］と、
‐前記振り分け用学習済みモデルによって前記成否クラス［非Ｍ１非Ｍ２］に分類されるデータが属する振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］と
を含む複数の振り分けクラスのいずれかに分類するステップと、
前記振り分けクラス［非Ｍ１非Ｍ２：ＭＤ］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第３学習済みモデルを生成するステップと、
を含む、請求項２または３に記載の方法。 The method further comprises generating a third trained model that classifies the data into any of a plurality of object classes,
The third generation step includes:
The second data is
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [M2] to which the data correctly classified by the second learned model belongs;
Classifying any of a plurality of success / failure classes including a success / failure class [non-M1 non-M2] to which data not correctly classified by any of the first learned model and the second learned model belongs;
By performing machine learning using the second data, the data is converted to one of a plurality of success / failure classes including the success / failure class [M1], the success / failure class [M2], and the success / failure class [non-M1 non-M2]. Generating a sorted learned model for classification;
The first data is
A distribution class [M1: MD] to which data classified into the success / failure class [M1] by the distribution learned model belongs;
A distribution class [M2: MD] to which data classified into the success / failure class [M2] by the distribution learned model belongs;
-Classifying into any of a plurality of distribution classes including a distribution class [non-M1 non-M2: MD] to which the data classified into the success / failure class [non-M1 non-M2] by the distribution learned model;
Generating the third learned model by performing machine learning using data including the first data belonging to the distribution class [non-M1 non-M2: MD];
The method according to claim 2, comprising:
請求項２〜４のいずれか一項に記載の方法を用いて、前記第１学習済みモデル、前記第２学習済みモデルおよび前記振り分け用学習済みモデルを生成するステップと、
前記振り分け用学習済みモデルを用いて、本番データを、前記複数の振り分けクラスのいずれかに分類するステップと、
前記第１学習済みモデルを用いて、前記振り分けクラス［Ｍ１：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
前記第２学習済みモデルを用いて、前記振り分けクラス［Ｍ２：ＭＤ］に属する前記本番データを前記複数の対象物クラスのいずれかに分類するステップと、
を備える、方法。 A method of classifying data,
Using the method according to any one of claims 2 to 4, generating the first learned model, the second learned model and the distribution learned model.
Using the learned model for distribution, classifying the production data into one of the plurality of distribution classes;
Using the first learned model to classify the production data belonging to the distribution class [M1: MD] into one of the plurality of object classes;
Using the second learned model to classify the production data belonging to the distribution class [M2: MD] into one of the plurality of object classes;
A method comprising:
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第１学習済みモデルによって正しく分類されないデータが属する成否クラス［非Ｍ１］と
に分類するステップをさらに備え、
前記第２生成ステップは、前記成否クラス［非Ｍ１］に属する前記第１データを含むデータを用いて機械学習を行うことにより、前記第２学習済みモデルを生成するステップを含む、
請求項１に記載の方法。 The method comprises the steps of:
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
-Further comprising a step of classifying into a success / failure class [non-M1] to which data not correctly classified by the first learned model belongs;
The second generating step includes generating the second learned model by performing machine learning using data including the first data belonging to the success / failure class [non-M1].
The method of claim 1.
前記第３生成ステップは、
前記第１データを、
‐前記第１学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ１］と、
‐前記第２学習済みモデルによって正しく分類されるデータが属する成否クラス［Ｍ２］と、
‐前記第１学習済みモデルおよび前記第２学習済みモデルのいずれによっても正しく分類されないデータが属する成否クラス［非Ｍ１非Ｍ２］と
を含む複数の成否クラスのいずれかに分類するステップと、
前記成否クラス［非Ｍ１非Ｍ２］に属する前記第１データを用いて機械学習を行うことにより、前記第３学習済みモデルを生成するステップと、
を含む、請求項１または６に記載の方法。 A third generation step of generating a third trained model for classifying the data into any of a plurality of object classes;
The third generation step includes:
The first data is
A success / failure class [M1] to which the data correctly classified by the first learned model belongs;
A success / failure class [M2] to which the data correctly classified by the second learned model belongs;
Classifying any of a plurality of success / failure classes including a success / failure class [non-M1 non-M2] to which data not correctly classified by any of the first learned model and the second learned model belongs;
Generating the third learned model by performing machine learning using the first data belonging to the success / failure class [non-M1 non-M2];
The method according to claim 1, comprising:
請求項１、６または７に記載の方法を用いて、前記第１学習済みモデルおよび前記第２学習済みモデルを生成するステップと、
第２データを用いて、前記第１学習済みモデルがデータを正しい対象物クラスに分類する確率である第１確率を決定するステップと、
前記第２データを用いて、前記第２学習済みモデルがデータを正しい対象物クラスに分類する確率である第２確率を決定するステップと、
本番データについて、前記第１学習済みモデルがその本番データを分類する対象物クラスである第１対象物クラスと、その分類結果の信頼度である第１信頼度とを決定するステップと、
前記本番データについて、前記第２学習済みモデルがその本番データを分類する対象物クラスである第２対象物クラスと、その分類結果の信頼度である第２信頼度とを決定するステップと、
前記第１確率と、前記第２確率と、前記第１対象物クラスと、前記第２対象物クラスと、前記第１信頼度と、前記第２信頼度とに基づき、前記本番データを複数の対象物クラスのいずれかに分類するステップと、
を備える、方法。 A method of classifying data,
Generating the first trained model and the second trained model using the method of claim 1, 6 or 7;
Using the second data to determine a first probability that the first trained model is a probability of classifying the data into a correct object class;
Using the second data, determining a second probability that is the probability that the second trained model will classify the data into the correct object class;
Determining, for the production data, a first object class, which is an object class in which the first learned model classifies the production data, and a first reliability, which is the reliability of the classification result;
Determining, for the production data, a second object class, which is an object class in which the second learned model classifies the production data, and a second reliability, which is the reliability of the classification result;
Based on the first probability, the second probability, the first object class, the second object class, the first reliability, and the second reliability, the production data Classifying into one of the object classes;
A method comprising:
第１データを用いて機械学習を行うことにより、データに基づいて推定値を出力する第１学習済みモデルを生成する、第１生成ステップと、
前記第１学習済みモデルによる推定値の誤差を大きくするデータに基づく処理に依存する機械学習を行うことにより、データに基づいて推定値を出力する第２学習済みモデルを生成する、第２生成ステップと、
を含む、方法。 A method of generating a trained model, the method comprising:
A first generation step of generating a first learned model that outputs an estimated value based on the data by performing machine learning using the first data;
A second generation step of generating a second learned model that outputs an estimated value based on data by performing machine learning that depends on a process based on data that increases an error of the estimated value by the first learned model; When,
Including, methods.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018184231A JP6725194B2 (en) | 2018-09-28 | 2018-09-28 | Methods for generating trained models, methods for classifying data, computers and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018184231A JP6725194B2 (en) | 2018-09-28 | 2018-09-28 | Methods for generating trained models, methods for classifying data, computers and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052935A true JP2020052935A (en) | 2020-04-02 |
| JP6725194B2 JP6725194B2 (en) | 2020-07-15 |
Family
ID=69997411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018184231A Expired - Fee Related JP6725194B2 (en) | 2018-09-28 | 2018-09-28 | Methods for generating trained models, methods for classifying data, computers and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6725194B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022064570A1 (en) * | 2020-09-23 | 2022-03-31 | 富士通株式会社 | Model generation program, model generation method, and model generation device |
| WO2022260142A1 (en) * | 2021-06-09 | 2022-12-15 | 京セラ株式会社 | Recognizer learning device, recognizer, electronic device, and learning method |
-
2018
- 2018-09-28 JP JP2018184231A patent/JP6725194B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022064570A1 (en) * | 2020-09-23 | 2022-03-31 | 富士通株式会社 | Model generation program, model generation method, and model generation device |
| JP7448026B2 (en) | 2020-09-23 | 2024-03-12 | 富士通株式会社 | Detection program, model generation program, detection method, model generation method, detection device, and model generation device |
| WO2022260142A1 (en) * | 2021-06-09 | 2022-12-15 | 京セラ株式会社 | Recognizer learning device, recognizer, electronic device, and learning method |
| JP2022188780A (en) * | 2021-06-09 | 2022-12-21 | 京セラ株式会社 | Recognizer learning device, recognition device, electronic apparatus and learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6725194B2 (en) | 2020-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741361B2 (en) | Machine learning-based network model building method and apparatus | |
| US10410111B2 (en) | Automated evaluation of neural networks using trained classifier | |
| JP6605259B2 (en) | Neural network structure expansion method, dimension reduction method, and apparatus using the method | |
| Amiri et al. | Adventures in data analysis: A systematic review of Deep Learning techniques for pattern recognition in cyber-physical-social systems | |
| US12001954B2 (en) | Method of performing learning of deep neural network and apparatus thereof | |
| KR102264233B1 (en) | An explanation-added document classification method by an artificial neural network that learns the correlation between sentences, document feature values, and sentence weights | |
| CN112308204A (en) | Automated neural network generation using fitness estimation | |
| US11741363B2 (en) | Computer-readable recording medium, method for learning, and learning device | |
| KR20210149530A (en) | Method for training image classification model and apparatus for executing the same | |
| US20200234196A1 (en) | Machine learning method, computer-readable recording medium, and machine learning apparatus | |
| US11488007B2 (en) | Building of custom convolution filter for a neural network using an automated evolutionary process | |
| CN115699041A (en) | Extensible transfer learning using expert models | |
| JP6725194B2 (en) | Methods for generating trained models, methods for classifying data, computers and programs | |
| CN114511023A (en) | Classification model training method and classification method | |
| KR20200099966A (en) | Method and apparatus for learning based on data including nominal data | |
| US20230141408A1 (en) | Utilizing machine learning and natural language generation models to generate a digitized dynamic client solution | |
| JP6947460B1 (en) | Programs, information processing equipment, and methods | |
| KR102115973B1 (en) | Heterogeneity learning based information classification apparatus | |
| WO2023228290A1 (en) | Learning device, learning method, and program | |
| US20240231773A9 (en) | Intelligent adaptive self learning framework for data processing on cloud data fusion | |
| WO2019064461A1 (en) | Learning network generation device and learning network generation program | |
| US11797893B2 (en) | Machine learning for generating an integrated format data record | |
| US20240020553A1 (en) | Interactive electronic device for performing functions of providing responses to questions from users and real-time conversation with the users using models learned by deep learning technique and operating method thereof | |
| US20240046068A1 (en) | Information processing device for improving quality of generator of generative adversarial network (gan) | |
| WO2021095160A1 (en) | Information processing device, learning method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200624 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6725194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |