JP2021096511A - Learning data generation method, learning data generation program, and information processing device - Google Patents

Abstract

To generate learning data capable of improving accuracy of a learning model.SOLUTION: An information processing device acquires each core tensor generated on the basis of each piece of learning data used for leaning of a learning model. The information processing device uses a learning model being already learned for generating a first core tensor from data associated with a first identifier at a first time point and a second core tensor from data associated with the first identifier at a second time point. The information processing device calculates each first similarity between the first core tensor and each of the core tensors, and calculates each second similarity between the second core tensor and each of the core tensors. The information processing device determines a teacher label on the basis of each first similarity and each second similarity, and generates new learning data on the basis of the data at the second time point and the determined teacher label.SELECTED DRAWING: Figure 1

Description

本発明は、学習データ生成技術に関する。 The present invention relates to a learning data generation technique.

一般的に、学習データを用いて学習された学習モデルは、運用開始後に、予測対象の入力データの分布変化などにより、予測精度の劣化が発生することがある。このため、新たな学習データを用いて、定期的に更新することで、予測精度の維持が行われる。一方で、新たな学習データを十分に収集することが難しいこともあり、近年では、予測に利用された入力データに対して、実際の結果を教師ラベルとして付与して、新たな学習データとして生成することが行われている。 In general, a learning model learned using training data may deteriorate in prediction accuracy due to changes in the distribution of input data to be predicted after the start of operation. Therefore, the prediction accuracy is maintained by periodically updating using new learning data. On the other hand, it may be difficult to collect enough new learning data, and in recent years, the actual result is given as a teacher label to the input data used for prediction, and it is generated as new learning data. Is being done.

特開２０１９−１９１７８１号公報Japanese Unexamined Patent Publication No. 2019-191781 特開平５−５４０１４号公報Japanese Unexamined Patent Publication No. 5-54014

ところで、通常は、学習モデルを用いて予測された予測結果に基づき、何かしらの施策が行われる。ここで、６か月分の出退勤データを入力として、その後の３か月以内に療養（休職）する可能性を示す「正例」または療養しない可能性を示す「負例」のいずれかを予測する学習モデルを考える。 By the way, usually, some measures are taken based on the prediction result predicted by using the learning model. Here, by inputting attendance data for 6 months, either a "normal case" indicating the possibility of receiving medical treatment (leave of absence) within the following 3 months or a "negative case" indicating the possibility of not receiving medical treatment is predicted. Consider a learning model to do.

例えば、ある従業員Ａに対して療養（正例）の可能性が高いと予測された場合、療養しないように働きかけが行われる結果、従業員Ａが３か月後も療養することなく、通常通りに出勤できることがある。この場合、３か月後の従業員Ａの出退勤データに、教師ラベルとして「負例（療養無）」を付与した新たな学習データＡが生成される。 For example, if it is predicted that there is a high possibility of medical treatment (normal example) for a certain employee A, as a result of encouraging employees not to receive medical treatment, employee A usually does not receive medical treatment even after 3 months. You may be able to go to work on the street. In this case, new learning data A is generated in which "negative case (no medical treatment)" is added as a teacher label to the attendance / leaving data of employee A after 3 months.

しかしながら、ここで付加された教師ラベル「負例」は、従業員Ａに対する施策が功を奏した結果である。つまり、本来は教師ラベル「正例」を付与する出勤形態であるにも関わらず、施策により教師ラベルに変容が生じていると考えることができる。このような教師ラベルが変容した学習データを用いて学習を行うと、学習モデルの学習ノイズとなり、精度の劣化が懸念される。 However, the teacher label "negative example" added here is the result of the successful measures for employee A. In other words, it can be considered that the teacher label has been transformed by the measures, although it is originally a form of attendance to which the teacher label "regular example" is given. When learning is performed using the learning data in which the teacher label is transformed, it becomes learning noise of the learning model, and there is a concern that the accuracy may be deteriorated.

そこで、既知の教師レベルが付与されている元々の学習データと、現在（施策実施後）の入力データとの類似度により、当該入力データに対して付与する教師ラベルを推定する手法が考えられる。例えば、現時点から過去６か月分の出退勤データＸと、元々用意されていた既存の学習データとの類似度を算出する。そして、類似度が高い既知の学習データの教師ラベルを出勤簿データＸに付与した新たな学習データを生成する。 Therefore, a method of estimating the teacher label given to the input data based on the similarity between the original learning data to which the known teacher level is given and the current (after the implementation of the measure) input data can be considered. For example, the degree of similarity between the attendance / leaving data X for the past 6 months from the present time and the existing learning data originally prepared is calculated. Then, new learning data is generated in which a teacher label of known learning data having a high degree of similarity is attached to the attendance record data X.

しかし、このような類似度による手法では、一意にデータ同士を比較しているので、本来の予測タスクに重要な箇所を見逃した教師ラベルの推定となっている可能性が高い。そのような新たな学習データを用いて学習モデルを更新すると、却って精度劣化を招くことにもなる。 However, since the data are uniquely compared with each other in such a similarity method, there is a high possibility that the teacher label is estimated by missing an important part in the original prediction task. If the learning model is updated with such new learning data, the accuracy will be deteriorated.

そこで、学習モデルの精度を向上できる学習データを生成することができる学習データ生成方法、学習データ生成プログラムおよび情報処理装置を提供することを目的とする。 Therefore, it is an object of the present invention to provide a learning data generation method, a learning data generation program, and an information processing apparatus capable of generating learning data capable of improving the accuracy of the learning model.

第１の案では、学習データ生成方法は、コンピュータが、学習モデルの学習に利用された、各学習データに基づいて生成された各コアテンソルを取得する処理を実行する。学習データ生成方法は、コンピュータが、学習済みの前記学習モデルを用いて、第１の識別子に関連する第一時点のデータから第一のコアテンソルと、前記第１の識別子に関連する第二時点のデータから第二のコアテンソルを生成する処理を実行する。学習データ生成方法は、コンピュータが、前記第一のコアテンソルと前記各コアテンソルとの各第一の類似度と、前記第二のコアテンソルと前記各コアテンソルとの各第二の類似度とを算出する処理を実行する。学習データ生成方法は、コンピュータが、前記各第一の類似度と前記各第二の類似度とに基づき、教師ラベルを決定し、前記第二時点のデータと決定された前記教師ラベルとに基づいて、新たな学習データを生成する処理を実行する。 In the first plan, in the training data generation method, the computer executes a process of acquiring each core tensor generated based on each training data used for learning the learning model. In the training data generation method, the computer uses the trained training model to obtain the first core tensor from the data at the first time point related to the first identifier and the second time point related to the first identifier. The process of generating the second core tensor from the data of is executed. In the learning data generation method, the computer uses the first similarity between the first core tensor and each core tensor and the second similarity between the second core tensor and each core tensor. Is executed. In the learning data generation method, the computer determines the teacher label based on the first similarity degree and the second similarity degree, and based on the data at the second time point and the determined teacher label. Then, the process of generating new learning data is executed.

一実施形態によれば、学習モデルの精度を向上できる学習データを生成することができる。 According to one embodiment, it is possible to generate learning data that can improve the accuracy of the learning model.

図１は、実施例１にかかる情報処理装置を説明する図である。FIG. 1 is a diagram illustrating an information processing apparatus according to the first embodiment. 図２は、グラフ構造とテンソルとの関係の一例を示す図である。FIG. 2 is a diagram showing an example of the relationship between the graph structure and the tensor. 図３は、部分グラフ構造の抽出の一例を示す図である。FIG. 3 is a diagram showing an example of extraction of a subgraph structure. 図４は、学習例を説明する図である。FIG. 4 is a diagram illustrating a learning example. 図５は、一般的な類似度による教師ラベルの推定を説明する図である。FIG. 5 is a diagram illustrating general estimation of teacher labels by similarity. 図６は、一般的な類似度による教師ラベルの推定の問題点を説明する図である。FIG. 6 is a diagram illustrating a problem in estimating teacher labels based on general similarity. 図７は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。FIG. 7 is a functional block diagram showing a functional configuration of the information processing apparatus according to the first embodiment. 図８は、出勤簿データＤＢに記憶される情報の例を示す図である。FIG. 8 is a diagram showing an example of information stored in the attendance record data DB. 図９は、学習データＤＢに記憶される情報の例を示す図である。FIG. 9 is a diagram showing an example of information stored in the learning data DB. 図１０は、学習データの例を説明する図である。FIG. 10 is a diagram illustrating an example of learning data. 図１１は、予測対象データＤＢに記憶される情報の例を示す図である。FIG. 11 is a diagram showing an example of information stored in the prediction target data DB. 図１２は、コアテンソルデータＤＢに記憶される情報の例を示す図である。FIG. 12 is a diagram showing an example of information stored in the core tensor data DB. 図１３は、更新用データＤＢに記憶される情報の例を示す図である。FIG. 13 is a diagram showing an example of information stored in the update data DB. 図１４は、テンソル化を説明する図である。FIG. 14 is a diagram illustrating tensorization. 図１５は、類似度算出および教師ラベル推定を説明する図である。FIG. 15 is a diagram illustrating similarity calculation and teacher label estimation. 図１６は、処理の流れを示すフローチャートである。FIG. 16 is a flowchart showing the flow of processing. 図１７は、処理の流れを示すフローチャートである。FIG. 17 is a flowchart showing the flow of processing. 図１８は、ハードウェア構成例を説明する図である。FIG. 18 is a diagram illustrating a hardware configuration example.

以下に、本願の開示する学習データ生成方法、学習データ生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。 Hereinafter, examples of the learning data generation method, the learning data generation program, and the information processing apparatus disclosed in the present application will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. In addition, each embodiment can be appropriately combined within a consistent range.

［全体構成］
図１は、実施例１にかかる情報処理装置１００を説明する図である。近年、従業員の体調管理などは、企業にとっても取り組むべき重要な事項に位置づけられており、従業員の出勤簿データから、数か月先のメンタル不調を予測し、カウンセリング等の対応を早期に実施することが行われている。一般的には、専任スタッフが、膨大な人数の従業員の出勤簿データを閲覧し、頻繁な出張、長時間残業、連続する欠勤、無断欠勤、これらの組合せなどの特徴的なパターンの勤務状態に該当する従業員を目視で探している。このような特徴的なパターンは、各専任スタッフにより基準が異なることもあり、明確に定義することが難しい。 [overall structure]
FIG. 1 is a diagram illustrating an information processing device 100 according to a first embodiment. In recent years, employee physical condition management has been positioned as an important issue for companies to tackle, and from employee attendance record data, it is possible to predict mental illness several months in the future and take early measures such as counseling. It is being done. In general, full-time staff browses the attendance record data of a huge number of employees and has characteristic patterns of work conditions such as frequent business trips, long overtime, continuous absenteeism, absenteeism, and combinations of these. We are visually looking for employees who fall under. It is difficult to clearly define such a characteristic pattern because the standards may differ depending on each dedicated staff.

そこで、本実施例では、ニューラルネットワーク（NN：Neural Network）を用いた深層学習の一例として、従業員等の出勤簿データを学習対象とし、療養経験がある体調不良者の出勤簿データや療養経験がない通常者の出勤簿データを用いて、従業員のメンタル不調を予測する学習モデル（予測モデル）の学習を実行する。 Therefore, in this embodiment, as an example of deep learning using a neural network (NN: Neural Network), attendance record data of employees and the like is targeted for learning, and attendance record data and medical treatment experience of a person with poor physical condition who has medical treatment experience. A learning model (prediction model) for predicting an employee's mental disorder is trained using the attendance record data of a normal person who does not have a neural network.

なお、本実施例では、グラフ構造のデータを深層学習することが可能なグラフ構造学習技術の一例である、テンソルデータを用いたディープテンソル（Deep Tensor：DT）を用いる。ＤＴは、入力としてグラフ構造を用い、グラフ構造をテンソルデータ（以下では、テンソルと記載する場合がある）に変換して処理する。そして、ＤＴでは、予測に寄与するグラフの部分構造（テンソルの部分パターン）をコアテンソルとして抽出することで、高精度な予測を実現する。 In this embodiment, a deep tensor (DT) using tensor data, which is an example of a graph structure learning technique capable of deep learning of graph structure data, is used. The DT uses a graph structure as an input, converts the graph structure into tensor data (hereinafter, may be referred to as a tensor) and processes it. Then, in DT, highly accurate prediction is realized by extracting the partial structure (partial pattern of the tensor) of the graph that contributes to the prediction as a core tensor.

（ディープテンソルの説明）
ここで、実施例１で用いるディープテンソルについて説明する。ディープテンソルとは、グラフ構造のデータから生成されるテンソルデータ（以下では、単に「テンソル」と記載する場合がある）を入力とするディープラーニング技術であり、ニューラルネットワークの学習とともに、ニューラルネットワークに入力されるコアテンソルの抽出方法を学習する。この抽出方法の学習は、ニューラルネットワークの学習とともに、入力テンソルデータのテンソル分解のパラメータを更新することによって実現される。 (Explanation of deep tensor)
Here, the deep tensor used in the first embodiment will be described. Deep tensor is a deep learning technology that inputs tensor data generated from graph structure data (hereinafter, it may be simply referred to as "tensor"), and inputs it to the neural network together with the learning of the neural network. Learn how to extract the core tensor to be used. The learning of this extraction method is realized by updating the parameters of the tensor decomposition of the input tensor data together with the learning of the neural network.

次に、図２および図３を用いてグラフ構造について説明する。図２は、グラフ構造とテンソルとの関係の一例を示す図である。図２に示すグラフ２０は、４つのノードがノード間の関係性（例えば「相関係数が所定値以上」）を示すエッジで結ばれている。なお、エッジで結ばれていないノード間は、当該関係性がないことを示す。グラフ２０を２階のテンソル、つまり行列で表す場合、例えば、ノードの左側の番号に基づく行列表現は「行列Ａ」で表され、ノードの右側の番号（囲み線で囲んだ数字）に基づく行列表現は「行列Ｂ」で表される。これらの行列の各成分は、ノード間が結ばれている（接続している）場合「１」で表され、ノード間が結ばれていない（接続していない）場合「０」で表される。以下の説明では、この様な行列を接続行列ともいう。ここで、「行列Ｂ」は、「行列Ａ」の２，３行目および２，３列目を同時に置換することで生成できる。ディープテンソルでは、この様な置換処理を用いることで順序の違いを無視して処理を行う。すなわち、「行列Ａ」および「行列Ｂ」は、ディープテンソルでは順序性が無視され、同じグラフとして扱われる。なお、３階以上のテンソルについても同様の処理となる。 Next, the graph structure will be described with reference to FIGS. 2 and 3. FIG. 2 is a diagram showing an example of the relationship between the graph structure and the tensor. In the graph 20 shown in FIG. 2, four nodes are connected by edges showing the relationship between the nodes (for example, “correlation coefficient is equal to or higher than a predetermined value”). It is shown that there is no such relationship between the nodes that are not connected by the edge. When the graph 20 is represented by a second-order tensor, that is, a matrix, for example, the matrix representation based on the number on the left side of the node is represented by "matrix A", and the matrix based on the number on the right side of the node (the number surrounded by the box). The representation is represented by "matrix B". Each component of these matrices is represented by "1" when the nodes are connected (connected), and is represented by "0" when the nodes are not connected (not connected). .. In the following description, such a matrix is also referred to as a connection matrix. Here, the "matrix B" can be generated by simultaneously replacing the second and third rows and the second and third columns of the "matrix A". In the deep tensor, by using such a replacement process, the process is performed ignoring the difference in order. That is, "matrix A" and "matrix B" are treated as the same graph, ignoring the order in the deep tensor. The same process applies to tensors on the third floor and above.

図３は、部分グラフ構造の抽出の一例を示す図である。図３に示すグラフ２１は、６つのノードがエッジで結ばれたものである。グラフ２１は、行列（テンソル）で表すと行列２２に示すように表現できる。行列２２に対して、特定の行および列を入れ替える演算、特定の行および列を抽出する演算、ならびに、接続行列における非ゼロ要素をゼロに置換する演算を組み合わせることで、部分グラフ構造を抽出できる。例えば、行列２２の「ノード１，４，５」に対応する行列を抽出すると、行列２３となる。次に、行列２３の「ノード４，５」間の値をゼロに置換すると、行列２４となる。行列２４に対応する部分グラフ構造は、グラフ２５となる。 FIG. 3 is a diagram showing an example of extraction of a subgraph structure. In the graph 21 shown in FIG. 3, six nodes are connected by an edge. The graph 21 can be expressed as shown in the matrix 22 when expressed by a matrix (tensor). A subgraph structure can be extracted by combining the operation of exchanging specific rows and columns, the operation of extracting specific rows and columns, and the operation of replacing non-zero elements in the connection matrix with zero for the matrix 22. .. For example, if the matrix corresponding to "nodes 1, 4, 5" of the matrix 22 is extracted, the matrix 23 is obtained. Next, when the value between "nodes 4 and 5" of the matrix 23 is replaced with zero, the matrix 24 is obtained. The subgraph structure corresponding to the matrix 24 is the graph 25.

このような部分グラフ構造の抽出処理は、テンソル分解と呼ばれる数学的演算によって実現される。テンソル分解とは、入力されたｎ階テンソルをｎ階以下のテンソルの積で近似する演算である。例えば、入力されたｎ階テンソルを１つのｎ階テンソル（コアテンソルと呼ばれる。）、および、より低階のｎ個のテンソル（ｎ＞２の場合、通常は２階のテンソル、つまり行列が用いられる。）の積で近似する。この分解は一意ではなく、入力データが表すグラフ構造中の任意の部分グラフ構造をコアテンソルに含める事ができる。 The extraction process of such a subgraph structure is realized by a mathematical operation called tensor decomposition. The tensor decomposition is an operation that approximates the input n-th order tensor by the product of the n-th order and lower tensors. For example, when the input n-th order tensor is one n-th order tensor (called a core tensor) and n lower-order tensors (n> 2, the second-order tensor, that is, a matrix is usually used. ) Is approximated by the product. This decomposition is not unique and the core tensor can contain any subgraph structure in the graph structure represented by the input data.

なお、出勤簿データは、複数のノードと複数のノードを接続するエッジとから成るグラフデータを構成することができる。ここで、複数のノードは、日付、月度および出欠区分のノードから構成される。日付、月度および出欠区分のノードは、日付、月度および出欠区分の数だけそれぞれ存在する。各ノードには、日付、月度および出欠区分の状況に応じた値が格納される。例えば、日付が１なら値「１」、出欠区分が「休暇」なら値「２」で「出社」なら値「１」などが設定される。エッジは、日付のノードと、月度のノードと、出欠区分のノードのうち関連のあるノードを接続される。 The attendance record data can be composed of graph data including a plurality of nodes and an edge connecting the plurality of nodes. Here, the plurality of nodes are composed of nodes of date, month, and attendance classification. There are as many date, month, and attendance nodes as there are dates, months, and attendance categories, respectively. Each node stores values according to the date, month, and attendance classification status. For example, if the date is 1, a value "1" is set, if the attendance category is "vacation", a value "2" is set, and if "going to work", a value "1" is set. The edge is connected to the date node, the monthly node, and the related node of the attendance division node.

続いて、実施例で用いる学習モデルの学習について説明する。実施例で用いる学習モデルの一例としては、図４に示すコアテンソルの生成、ＮＮの学習やターゲットコアテンソルの学習までを含む。図４は、学習例を説明する図である。図４に示すように、情報処理装置１００は、療養ありなどの教師ラベル（ラベルＡ）が付された出勤簿データから入力テンソルを生成する。そして、情報処理装置１００は、入力テンソルにテンソル分解を行って、初回にランダムに生成されたターゲットコアテンソルに類似するようにコアテンソルを生成する。そして、情報処理装置１００は、コアテンソルをニューラルネットワーク（ＮＮ：Neural Network）に入力して分類結果（ラベルＡ：７０％、ラベルＢ：３０％）を得る。その後、情報処理装置１００は、分類結果（ラベルＡ：７０％、ラベルＢ：３０％）と教師ラベル（ラベルＡ：１００％、ラベルＢ：０％）との分類誤差を算出する。 Next, learning of the learning model used in the examples will be described. An example of the learning model used in the examples includes the generation of the core tensor shown in FIG. 4, the learning of the NN, and the learning of the target core tensor. FIG. 4 is a diagram illustrating a learning example. As shown in FIG. 4, the information processing apparatus 100 generates an input tensor from attendance record data with a teacher label (label A) such as having medical treatment. Then, the information processing apparatus 100 performs tensor decomposition on the input tensor to generate a core tensor so as to resemble the target core tensor randomly generated at the first time. Then, the information processing apparatus 100 inputs the core tensor into the neural network (NN: Neural Network) and obtains the classification result (label A: 70%, label B: 30%). After that, the information processing apparatus 100 calculates a classification error between the classification result (label A: 70%, label B: 30%) and the teacher label (label A: 100%, label B: 0%).

ここで、情報処理装置１００は、誤差逆伝搬法を拡張した拡張誤差伝搬法を用いて予測モデルの学習およびテンソル分解の方法の学習を実行する。すなわち、情報処理装置１００は、ＮＮが有する入力層、中間層、出力層に対して、分類誤差を下層に伝搬させる形で、分類誤差を小さくするようにＮＮの各種パラメータを更新する。さらに、情報処理装置１００は、分類誤差をターゲットコアテンソルまで伝搬させ、予測に寄与するグラフの部分構造、すなわち体調不良者の特徴を示す特徴パターンもしくは通常者の特徴を示す特徴パターンに近づくように、ターゲットコアテンソルを修正する。 Here, the information processing apparatus 100 executes learning of the prediction model and learning of the tensor decomposition method by using the extended error propagation method which is an extension of the error back propagation method. That is, the information processing apparatus 100 updates various parameters of the NN so as to reduce the classification error by propagating the classification error to the lower layer with respect to the input layer, the intermediate layer, and the output layer of the NN. Further, the information processing apparatus 100 propagates the classification error to the target core tensor so as to approach the partial structure of the graph that contributes to the prediction, that is, the feature pattern showing the characteristics of the poorly ill person or the feature pattern showing the characteristics of the normal person. , Modify the target core tensor.

なお、学習後の予測時には、テンソル分解により、ターゲットコアテンソルに類似するように、入力テンソルをコアテンソル（入力テンソルの部分パターン）に変換し、コアテンソルをニューラルネットに入力することで、予測結果を得ることができる。 At the time of prediction after training, the input tensor is converted to a core tensor (partial pattern of the input tensor) by tensor decomposition so that it resembles the target core tensor, and the core tensor is input to the neural network. Can be obtained.

（一般技術の問題点）
図１に示す情報処理装置１００は、従業員の３か月間の出勤簿データを説明変数、療養経験がある「正例」または療養経験がない「負例」を示す教師ラベルを目的変数とする各学習データを用いて、６か月間の出勤簿データからその後の３か月以内に療養する可能性があるか否かを予測する学習モデルの学習を実行する。 (Problems of general technology)
The information processing device 100 shown in FIG. 1 uses attendance record data for three months of an employee as an explanatory variable, and a teacher label indicating a "positive example" having medical treatment experience or a "negative example" having no medical treatment experience as an objective variable. Each learning data is used to learn a learning model that predicts whether or not there is a possibility of medical treatment within the next 3 months from the attendance record data for 6 months.

そして、学習が完了すると、情報処理装置１００は、予測対象である従業員の出勤簿データ（以下では、予測対象データと記載する場合がある）を学習済みの学習モデルに入力して得られる結果（正例または負例）に基づき、当該従業員が療養する危険性が高いか否かを予測する。 Then, when the learning is completed, the information processing apparatus 100 inputs the attendance record data of the employee to be predicted (hereinafter, may be referred to as the prediction target data) into the trained learning model, and the result is obtained. Predict whether the employee is at high risk of medical treatment based on (positive or negative).

その後、情報処理装置１００は、予測対象である従業員の出勤簿データに対して、実際に療養したまたは療養していないを示す結果を教師ラベルとして新たに付与した学習データを生成し、当該学習データを用いて学習モデルの再学習を実行する。このようにして、情報処理装置１０は、学習モデルを定期的に更新することで、学習モデルによる予測の精度で維持することができる。 After that, the information processing apparatus 100 generates learning data in which the result indicating that the employee has actually been treated or has not been treated is newly added as a teacher label to the attendance record data of the employee to be predicted, and the learning is performed. Retrain the learning model using the data. In this way, the information processing apparatus 10 can maintain the accuracy of prediction by the learning model by periodically updating the learning model.

ここで、予測時に「正例」と予測された場合、療養しないように施策が行われることが一般的であり、その施策の結果、予測とは異なる結果「負例」となることがあるので、実際の結果をそのまま教師ラベルとして付与することは、学習ノイズとなる可能性がある。このため、一般的には、教師ラベルが既知である各学習データと、予測対象データとの類似度を算出し、類似度が最も高い学習データの教師ラベルを予測対象データに付与することで、学習モデルの更新用の学習データを生成することが行われる。 Here, if it is predicted as a "normal case" at the time of prediction, it is common that measures are taken so as not to recuperate, and as a result of the measure, a result different from the prediction may be a "negative case". However, giving the actual result as it is as a teacher label may cause learning noise. Therefore, in general, the similarity between each learning data whose teacher label is known and the prediction target data is calculated, and the teacher label of the training data having the highest similarity is given to the prediction target data. The training data for updating the training model is generated.

図５は、一般的な類似度による教師ラベルの推定を説明する図である。ここでは、ある従業員の出勤簿データを例にして説明する。図５に示すように、予測時（過去）に、そのときの最新日から６か月遡った予測元期間の出勤簿データＡを学習済みの学習モデルに入力して、「正例」の予測結果を取得する。 FIG. 5 is a diagram illustrating general estimation of teacher labels by similarity. Here, the attendance record data of a certain employee will be described as an example. As shown in FIG. 5, at the time of prediction (past), the attendance record data A of the prediction source period, which is 6 months back from the latest date at that time, is input to the trained learning model to predict the “normal example”. Get the result.

そして、「正例」と判定された従業員に対して、カウンセリング等が行われ、３か月後（現在）も、ある従業員は療養することなく出勤できたとする。この場合、元々正例と予測されたにも関わらず、負例となったのは施策によるものか、最初から負例（予測が誤検知）だったのかが不明である。 Then, counseling and the like are given to the employees who are judged to be "regular cases", and it is assumed that a certain employee can go to work without medical treatment even after 3 months (currently). In this case, although it was originally predicted to be a positive case, it is unclear whether the negative case was due to a measure or a negative case (the prediction was a false positive) from the beginning.

このため、一般的には、現在の最新日から６か月遡った出勤簿データＢを説明変数として抽出し、出勤簿データと、学習に利用された各学習データ（過去データ）との類似度を算出し、類似度にしたがって、設定する教師ラベルを決定する。 Therefore, in general, attendance record data B 6 months back from the current latest date is extracted as an explanatory variable, and the degree of similarity between the attendance record data and each learning data (past data) used for learning. Is calculated, and the teacher label to be set is determined according to the similarity.

例えば、出勤簿データＢ「出勤、出勤、午前休、午後休」と、教師ラベル「正例」が設定される過去データＡ「休、休、午前休、午後休」との類似度「２／４」を算出する。同様に、出勤簿データＢ「出勤、出勤、午前休、午後休」と、教師ラベル「負例」が設定される過去データＢ「出勤、出勤、休、出勤」との類似度「３／４」を算出する。 For example, the degree of similarity "2 /" between the attendance record data B "commuting, attendance, morning break, afternoon break" and the past data A "holiday, holiday, morning break, afternoon break" in which the teacher label "regular example" is set. 4 ”is calculated. Similarly, the degree of similarity "3/4" between the attendance record data B "commuting, attendance, morning break, afternoon break" and the past data B "commuting, attendance, leave, attendance" in which the teacher label "negative example" is set. Is calculated.

この結果、過去データＢとの類似度の方が高いので、出勤簿データＢ「出勤、出勤、午前休、午後休」に、過去データＢと同様の教師ラベル「負例」を設定した更新用の学習データを生成する。つまり、出勤簿データＢと過去データ間の類似度評価では負例の過去データＢに近いので、結果としては誤検知であった可能性が高まり、新たな学習データとして追加する際はそのまま負例ラベルを付与する。すなわち、施策効果でなく予測が外れていたと推定される。 As a result, since the degree of similarity with the past data B is higher, the teacher label "negative example" similar to the past data B is set in the attendance record data B "attendance, attendance, morning break, afternoon break" for update. Generate training data for. In other words, the similarity evaluation between the attendance record data B and the past data is close to the past data B of the negative example, so the possibility that it was a false detection as a result increases, and when adding it as new learning data, it is a negative example as it is. Give a label. In other words, it is presumed that the forecast was wrong, not the effect of the measure.

ところが、このような単純な類似度比較は、一意にデータ同士を比較しているので、本来の予測タスクに重要な箇所を見逃した教師ラベルの推定となっている可能性が高い。図６は、一般的な類似度による教師ラベルの推定の問題点を説明する図である。図６に示すように、健康を損なう重要な箇所は「午前休」と「午後休」が連続で繋がっている箇所であるとする。この場合、図５のような単純な類似度比較では負例に近いと評価されたが、重要箇所に注目すると、過去の正例事例に近いと判断されるべきである。したがって、新たな学習データとして、そのまま負例サンプルとして採用してしまうと施策効果が考慮されていない異質な学習データとなり、学習精度の低下を招く。 However, since such a simple similarity comparison uniquely compares the data with each other, it is highly possible that the teacher label is estimated by missing an important part in the original prediction task. FIG. 6 is a diagram illustrating a problem in estimating teacher labels based on general similarity. As shown in FIG. 6, it is assumed that an important part that impairs health is a part where "morning break" and "afternoon break" are continuously connected. In this case, a simple similarity comparison as shown in FIG. 5 evaluated it as close to a negative case, but focusing on important points, it should be judged to be close to a past positive case. Therefore, if it is adopted as a negative example sample as it is as new learning data, it becomes heterogeneous learning data in which the effect of the measure is not taken into consideration, which causes a decrease in learning accuracy.

そこで、実施例１にかかる情報処理装置１００は、予測時と施策実施後において予測根拠の特徴を捉えているコアテンソルの変化に基づき、教師ラベルの変容可能性を試算する。 Therefore, the information processing apparatus 100 according to the first embodiment estimates the possibility of change of the teacher label based on the change of the core tensor that captures the characteristics of the prediction basis at the time of prediction and after the implementation of the measure.

具体的には、図１に示すように、情報処理装置１００は、各学習データを用いて学習モデルの学習を実行する際に、各学習データのコアテンソル（学習時のコアテンソル）を取得して保持する（図１の（１））。続いて、情報処理装置１００は、学習済みの学習モデルを用いて、予測対象データに対する予測を実行する際に、このときのコアテンソル（予測時のコアテンソル）を取得して保持する（図１の（２））。 Specifically, as shown in FIG. 1, the information processing apparatus 100 acquires the core tensor (core tensor at the time of learning) of each learning data when executing the learning of the learning model using each learning data. ((1) in FIG. 1). Subsequently, the information processing apparatus 100 acquires and holds the core tensor (core tensor at the time of prediction) at this time when executing the prediction for the prediction target data using the trained learning model (FIG. 1). (2)).

そして、情報処理装置１００は、予測当時は「正例」と予測されたが実際は「負例」となった従業員の出勤簿データにテンソル分解を行って、更新時のコアテンソルを取得して保持する（図１の（３））。 Then, the information processing apparatus 100 performs tensor decomposition on the attendance record data of the employee, which was predicted to be a "normal example" at the time of prediction but actually became a "negative example", and acquires the core tensor at the time of update. Hold ((3) in FIG. 1).

その後、情報処理装置１００は、予測時のコアテンソルと各学習時のコアテンソルとの類似度を算出し（図１の（４））、更新時のコアテンソルと各学習時のコアテンソルとの類似度を算出する（図１の（５））。 After that, the information processing apparatus 100 calculates the similarity between the core tensor at the time of prediction and the core tensor at each learning ((4) in FIG. 1), and the core tensor at the time of updating and the core tensor at each learning The degree of similarity is calculated ((5) in FIG. 1).

そして、情報処理装置１００は、各々算出された各コアテンソル類似度間の差分を評価し、予め設定した閾値を越えない場合は、施策効果による直接的な教師ラベル変化があったものと推定し、新たな学習データとして採用する際は正例データとして補正する。 Then, the information processing apparatus 100 evaluates the difference between the calculated similarity between the core tensors, and if the difference does not exceed the preset threshold value, it is estimated that there is a direct change in the teacher label due to the effect of the measure. , When adopting as new learning data, correct it as regular example data.

このように、情報処理装置１００は、予測結果を受け施策が講じられた対象について、教師ラベルの変容可能性を評価し、新たな学習データとして扱う際の教師ラベル付与を補正することができる。したがって、情報処理装置１００は、学習モデルの精度を向上できる学習データを生成することができる。 In this way, the information processing apparatus 100 can evaluate the possibility of transformation of the teacher label for the target for which the measure has been taken in response to the prediction result, and can correct the teacher label assignment when treating it as new learning data. Therefore, the information processing device 100 can generate learning data that can improve the accuracy of the learning model.

［機能構成］
図７は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図７に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。 [Functional configuration]
FIG. 7 is a functional block diagram showing a functional configuration of the information processing apparatus 100 according to the first embodiment. As shown in FIG. 7, the information processing device 100 includes a communication unit 101, a storage unit 102, and a control unit 110.

通信部１０１は、他の装置との通信を制御する処理部であり、例えば通信インタフェースである。例えば、通信部１０１は、管理者の端末から、処理開始指示、学習データ、学習データがテンソル化された入力テンソルなどを受信する。また、通信部１０１は、管理者の端末に対して、学習結果や予測結果などを出力する。 The communication unit 101 is a processing unit that controls communication with other devices, and is, for example, a communication interface. For example, the communication unit 101 receives a processing start instruction, learning data, an input tensor in which the learning data is converted into a tensor, and the like from the terminal of the administrator. In addition, the communication unit 101 outputs a learning result, a prediction result, and the like to the terminal of the administrator.

記憶部１０２は、プログラムやデータを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部１０２は、出勤簿データＤＢ１０３、学習データＤＢ１０４、予測対象データＤＢ１０５、コアテンソルデータＤＢ１０６、更新用データＤＢ１０７、学習結果ＤＢ１０８を記憶する。 The storage unit 102 is an example of a storage device that stores programs and data, such as a memory and a hard disk. The storage unit 102 stores the attendance record data DB 103, the learning data DB 104, the prediction target data DB 105, the core tensor data DB 106, the update data DB 107, and the learning result DB 108.

出勤簿データＤＢ１０３は、社員等の出勤に関する出勤簿データを記憶するデータベースである。ここで記憶される出勤簿データは、各企業で使用される出勤簿をデータ化したものであり、公知の様々な出勤管理システムなどから取得することができる。図８は、出勤簿データＤＢ１０３に記憶される情報の例を示す図である。図８に示すように、出勤簿データは、「従業員Ｎｏ、日付、曜日、出欠区分、出勤時刻、退勤時刻、残業時間、出張」を対応付けて記憶する。なお、出欠区分には、出社、療養、休暇などの種別が格納される。また、日付や曜日などは、出勤簿データを構成する要素の一例である。 The attendance record data DB 103 is a database that stores attendance record data related to attendance of employees and the like. The attendance record data stored here is a data of the attendance record used by each company, and can be obtained from various known attendance management systems and the like. FIG. 8 is a diagram showing an example of information stored in the attendance record data DB 103. As shown in FIG. 8, the attendance record data is stored in association with "employee No., date, day of the week, attendance classification, commuting time, leaving time, overtime hours, business trip". In the attendance classification, types such as attendance, medical treatment, and vacation are stored. In addition, dates and days of the week are examples of elements that make up attendance record data.

図８の例は、従業員Ｎｏ．１００の従業員の出勤簿データを示している。例えば、図８の２行目は、「2015年4月2日木曜日」の出勤簿データであり、この日は、出張がなく、「8：49」に出社して「0：00」に退社し、残業時間が「360分」である例を示す。また、図８の７行目は、「2015年8月24日水曜日」の出勤簿データであり、この日から「2015年10月4日火曜日」まで「療養」したことを示す。なお、出勤簿データの単位は、日ごとに限らず、週単位や月単位であってもよい。 In the example of FIG. 8, the employee No. It shows attendance record data for 100 employees. For example, the second line in Fig. 8 is the attendance record data for "Thursday, April 2, 2015". On this day, there was no business trip, and I arrived at "8:49" and left at "0:00". However, an example is shown in which overtime hours are "360 minutes". In addition, the 7th line of FIG. 8 is the attendance record data of "Wednesday, August 24, 2015", and indicates that "recuperation" was performed from this day to "Tuesday, October 4, 2015". The unit of attendance record data is not limited to daily, but may be weekly or monthly.

学習データＤＢ１０４は、テンソル化対象となる学習データに関する情報を記憶するデータベースである。具体的には、学習データＤＢ１０４は、学習モデルに学習に利用されるデータであり、出勤簿データを６か月の期間で切出されたデータと、教師ラベルの組となる各学習データを記憶する。 The learning data DB 104 is a database that stores information about learning data to be tensorized. Specifically, the learning data DB 104 is data used for learning in the learning model, and stores the data obtained by cutting out the attendance record data in a period of 6 months and each learning data as a set of teacher labels. To do.

例えば、６か月の出勤簿データを１つの学習データとし、その後の３か月以内に療養した療養期間がある場合に、教師ラベルとして「療養あり」が設定され、その後の３か月以内に療養期間がない場合に、教師ラベルとして「療養なし」が設定される。なお、教師ラベル「療養あり」を「正例」、教師ラベル「療養なし」を「負例」と記載する場合がある。また、６か月の出勤簿データに療養期間が含まれている場合、そのデータは学習データとして採用しないこともできる。これは、予測時に、予測元のデータ（入力）となる６か月分の出勤簿データにすでに「療養」が入っている人は、明らかに直近で療養しているとわかっており、この先３か月の療養予測の対象にはしないためである。 For example, if 6 months of attendance record data is used as one learning data and there is a medical treatment period within the next 3 months, "with medical treatment" is set as the teacher label, and within the following 3 months. If there is no medical treatment period, "no medical treatment" is set as the teacher label. The teacher label "with medical treatment" may be described as "normal case", and the teacher label "without medical treatment" may be described as "negative case". In addition, if the 6-month attendance record data includes a medical treatment period, the data may not be adopted as learning data. This is because it is known that those who already have "medical treatment" in the attendance record data for 6 months, which is the data (input) of the prediction source at the time of prediction, are clearly receiving medical treatment most recently. This is because it is not included in the monthly medical treatment prediction.

図９は、学習データＤＢ１０４に記憶される情報の例を示す図である。図９に示すように、学習データＤＢ１０４は、「従業員、データＩＤ、データ（説明変数）、教師ラベル（目的変数）」を対応付けて記憶する。ここで記憶される「従業員」は、従業員を特定する識別子であり、「データＩＤ」は、学習データを識別する識別子である。このデータＩＤは、各ＤＢで共通する情報であり、このデータＩＤにより各ＤＢのデータを関連付けることができる。「データ（説明変数）」は、学習対象となるデータであり、「教師ラベル（目的変数）」は、学習時に目的変数となる情報である。 FIG. 9 is a diagram showing an example of information stored in the learning data DB 104. As shown in FIG. 9, the learning data DB 104 stores "employee, data ID, data (explanatory variable), teacher label (objective variable)" in association with each other. The "employee" stored here is an identifier that identifies the employee, and the "data ID" is an identifier that identifies the learning data. This data ID is information common to each DB, and the data of each DB can be associated with this data ID. The "data (explanatory variable)" is the data to be learned, and the "teacher label (objective variable)" is the information that becomes the objective variable at the time of learning.

図９の例では、従業員１の１月から６月までの出勤簿データには、データＩＤとして「Ａ」が設定されており、教師ラベルとして「療養なし」が設定されていることを示し、従業員Ａの２月から７月までの出勤簿データには、データＩＤとして「Ｂ」が設定されており、教師ラベルとして「療養あり」が設定されていることを示す。また、従業員２の１月から６月までの出勤簿データには、データＩＤとして「Ｐ」が設定されており、教師ラベルとして「療養なし」が設定されていることを示す。 In the example of FIG. 9, it is shown that "A" is set as the data ID and "no medical treatment" is set as the teacher label in the attendance record data of employee 1 from January to June. , Employee A's attendance record data from February to July has "B" set as the data ID and "with medical treatment" as the teacher label. Further, in the attendance record data of employee 2 from January to June, "P" is set as the data ID, and "no medical treatment" is set as the teacher label.

ここで、教師ラベルの設定例について詳細に説明する。図１０は、学習データの例を説明する図である。学習データは、６か月ごとの出勤簿データと、その６か月以降から３か月以内に療養実績があるか否かを示すラベルとから構成される。図１０の（ａ）は、ラベル（療養あり）が付される体調不良者の出勤簿データであり、図１０の（ｂ）は、療養しなかったラベル（療養なし）が付される通常者の出勤簿データである。図１０に示すように、実施例１にかかる情報処理装置１００は、「６か月分の出勤簿データ、ラベル（療養あり）」と、「６か月分の出勤簿データ、ラベル（療養なし）」とを学習データとして予測モデルの学習を実行する。なお、情報処理装置１００は、学習後、ある人の６か月分の出勤簿データから３か月以内に療養するか否かを予測する。なお、図１０内の網掛けは、休暇を示す。 Here, a setting example of the teacher label will be described in detail. FIG. 10 is a diagram illustrating an example of learning data. The learning data is composed of attendance record data every 6 months and a label indicating whether or not there is a medical treatment record within 3 months from the 6th month onward. FIG. 10 (a) is attendance record data of a person with poor physical condition with a label (with medical treatment), and FIG. 10 (b) is a normal person with a label without medical treatment (without medical treatment). Attendance record data. As shown in FIG. 10, the information processing apparatus 100 according to the first embodiment has "6 months'worth of attendance record data and label (with medical treatment)" and "6 months' worth of attendance record data and label (without medical treatment)". ) ”Is used as training data to train the prediction model. The information processing device 100 predicts whether or not to receive medical treatment within 3 months from the attendance record data for 6 months of a certain person after learning. The shaded area in FIG. 10 indicates a vacation.

予測対象データＤＢ１０５は、学習済みの学習モデルを用いて、療養するか療養しないかを予測する予測対象のデータに関する情報を記憶するデータベースである。図１１は、予測対象データＤＢ１０５に記憶される情報の例を示す図である。図１１に示すように、予測対象データＤＢ１０５は、「年度、データＩＤ、従業員、データ」を対応付けて記憶する。 The prediction target data DB 105 is a database that stores information on the prediction target data for predicting whether or not to be treated by using a learned learning model. FIG. 11 is a diagram showing an example of information stored in the prediction target data DB 105. As shown in FIG. 11, the prediction target data DB 105 stores "year, data ID, employee, data" in association with each other.

ここで記憶される「年度」は、予測対象の出勤簿データの年度を示し、「データＩＤ」は、予測対象データを識別する識別子である。「従業員」は、療養の可能性を予測した授業員の識別子であり、「データ」は、学習済みモデルに入力する対象のデータである。図１１の例では、データＩＤが「ＰＰＰ」である２０１９年度の６月から１２月の従業員ＰＰＰの出勤簿データが予測対象データであることを示している。 The “year” stored here indicates the year of the attendance record data to be predicted, and the “data ID” is an identifier that identifies the forecast target data. The "employee" is the identifier of the lesson who predicted the possibility of medical treatment, and the "data" is the data to be input to the trained model. In the example of FIG. 11, it is shown that the attendance record data of the employee PPP from June to December 2019, whose data ID is “PPP”, is the forecast target data.

コアテンソルデータＤＢ１０６は、各段階で取得されるコアテンソルに関する情報を記憶するデータベースである。具体的には、コアテンソルデータＤＢ１０６は、学習時のコアテンソル、予測時のコアテンソル、更新時のコアテンソルの各段階で取得されたコアテンソルのデータを記憶する。 The core tensor data DB 106 is a database that stores information about the core tensor acquired at each stage. Specifically, the core tensor data DB 106 stores the core tensor data acquired at each stage of the core tensor at the time of learning, the core tensor at the time of prediction, and the core tensor at the time of updating.

図１２は、コアテンソルデータＤＢ１０６に記憶される情報の例を示す図である。図１２に示すように、コアテンソルデータＤＢ１０６は、データＩＤごとに、「学習時のコアテンソル」、「予測時のコアテンソル」、「更新時のコアテンソル」を対応付けて記憶する。図１２に示すように、該当するコアテンソルの欄にコアテンソルのデータが格納され、該当しない欄には「−」などが設定される。図１２の例では、データＩＤ「Ｘ」が付与された学習データから、「学習時のコアテンソル」として「コアテンソルＸ」が生成されたことを示す。 FIG. 12 is a diagram showing an example of information stored in the core tensor data DB 106. As shown in FIG. 12, the core tensor data DB 106 stores "core tensor at the time of learning", "core tensor at the time of prediction", and "core tensor at the time of update" in association with each data ID. As shown in FIG. 12, the core tensor data is stored in the corresponding core tensor column, and "-" or the like is set in the non-corresponding column. In the example of FIG. 12, it is shown that "core tensor X" is generated as "core tensor at the time of learning" from the learning data to which the data ID "X" is assigned.

なお、「学習時のコアテンソル」は、学習モデルの学習時に、学習データから生成されるコアテンソルのデータを示す。「予測時のコアテンソル」は、学習済みの学習モデルを用いた予測時に、予測対象データから生成されるコアテンソルのデータを示す。「更新時のコアテンソル」は、学習済みであって更新対象である学習モデルを用いて、予測時の予測が正しいか間違っているかを判定できる時点の出勤簿データから生成されるコアテンソルのデータを示す。 The "core tensor at the time of learning" indicates the data of the core tensor generated from the training data at the time of learning the learning model. The "core tensor at the time of prediction" indicates the data of the core tensor generated from the prediction target data at the time of prediction using the trained learning model. "Core tensor at the time of update" is the data of the core tensor generated from the attendance record data at the time when it is possible to judge whether the prediction at the time of prediction is correct or incorrect by using the learning model that has been trained and is the target of update. Is shown.

更新用データＤＢ１０７は、学習済みの学習モデルの更新に利用される更新用の学習データに関する情報を記憶するデータベースである。すなわち、更新用データＤＢ１０７は、後述する制御部１１０によって生成される再学習用の学習データを記憶する。 The update data DB 107 is a database that stores information about update training data used for updating a learned learning model. That is, the update data DB 107 stores the re-learning learning data generated by the control unit 110, which will be described later.

図１３は、更新用データＤＢ１０７に記憶される情報の例を示す図である。図１３に示すように、更新用データＤＢ１０７は、「データＩＤ、データ、教師ラベル」を対応付け記憶する。ここで記憶される「データＩＤ」は、更新用の学習データを識別する識別子であり、「データ」は、更新時に説明変数となる出勤簿データであり、「教師ラベル」は、更新時に目的変数となる出勤簿データである。図１３の例では、データＩＤとして「ＰＰＰ」が設定される更新用の学習データであって、説明変数が「２０１９年の６月から１２月の出勤簿データ」、目的変数が「療養あり」である更新用の学習データを示している。 FIG. 13 is a diagram showing an example of information stored in the update data DB 107. As shown in FIG. 13, the update data DB 107 stores the “data ID, data, teacher label” in association with each other. The "data ID" stored here is an identifier that identifies the learning data for updating, the "data" is the attendance record data that serves as an explanatory variable at the time of updating, and the "teacher label" is the objective variable at the time of updating. This is the attendance record data. In the example of FIG. 13, it is learning data for update in which "PPP" is set as a data ID, the explanatory variable is "attendance record data from June to December 2019", and the objective variable is "with medical treatment". The training data for updating is shown.

学習結果ＤＢ１０８は、学習結果に関する情報を記憶するデータベースである。例えば、学習結果ＤＢ１０８は、制御部１１０による学習データの判別結果（分類結果）、学習されたＮＮの各種パラメータやテンソル分解のパラメータなどを記憶する。なお、学習結果ＤＢ１０８は、学習により最適化された各種パラメータが設定された学習済みの学習モデルそのものを記憶することもできる。 The learning result DB 108 is a database that stores information about the learning result. For example, the learning result DB 108 stores the discrimination result (classification result) of the learning data by the control unit 110, various parameters of the learned NN, the parameters of the tensor decomposition, and the like. The learning result DB 108 can also store the learned learning model itself in which various parameters optimized by learning are set.

制御部１１０は、情報処理装置１００全体の処理を司る処理部であり、例えばプロセッサなどである。この制御部１１０は、学習部１１１、予測部１１２、ラベル推定部１１３、更新部１１４を有する。なお、学習部１１１、予測部１１２、ラベル推定部１１３、更新部１１４は、プロセッサなどが有する電子回路の一例やプロセッサなどが実行するプロセスの一例である。 The control unit 110 is a processing unit that controls the processing of the entire information processing device 100, such as a processor. The control unit 110 includes a learning unit 111, a prediction unit 112, a label estimation unit 113, and an update unit 114. The learning unit 111, the prediction unit 112, the label estimation unit 113, and the update unit 114 are examples of electronic circuits included in the processor and examples of processes executed by the processor and the like.

学習部１１１は、図４で説明した深層学習により、ニューラルネットワークを適用した学習モデルの学習を実行する処理部である。具体的には、学習部１１１は、学習データＤＢ１０４に記憶される各学習データを読み込み、各学習データのデータを説明変数、教師ラベルを目的変数として、学習モデルの学習を実行する。そして、学習部１１１は、学習が完了すると、最適化されたニューラルネットワークのパラメータなどを、学習結果として学習結果ＤＢ１０８に格納する。なお、学習部１１１は、学習が完了すると、最適化されたニューラルネットワークのパラメータなどが設定された学習モデルそのものを、学習結果として学習結果ＤＢ１０８に格納することもできる。 The learning unit 111 is a processing unit that executes learning of a learning model to which a neural network is applied by deep learning described with reference to FIG. Specifically, the learning unit 111 reads each learning data stored in the learning data DB 104, and executes learning of the learning model using the data of each learning data as an explanatory variable and a teacher label as an objective variable. Then, when the learning is completed, the learning unit 111 stores the optimized neural network parameters and the like in the learning result DB 108 as the learning result. When the learning is completed, the learning unit 111 can also store the learning model itself in which the optimized neural network parameters and the like are set in the learning result DB 108 as the learning result.

ここで、学習部１１１は、学習データを学習モデル（ＮＮを含む）に入力する際に、学習データをテンソル化したテンソルデータを生成する。そして、学習部１１１は、ターゲットコアテンソルと類似するように、テンソルデータからコアテンソルを生成し、コアテンソルをＮＮに入力して学習処理を実行する。 Here, when the learning data is input to the learning model (including the NN), the learning unit 111 generates tensor data obtained by converting the learning data into tensors. Then, the learning unit 111 generates a core tensor from the tensor data so as to be similar to the target core tensor, inputs the core tensor to the NN, and executes the learning process.

図１４は、テンソル化を説明する図である。図１４に示すように、学習部１１１が生成するテンソルは、横方向に月度、縦方向に日付、奥行き方向に出欠区分、左側が出張あり、右側が出張なしのデータとなる。日付は、上から１日目を順に示し、出欠区分は、手前から出社、休暇、休日を示す。例えば、図１４の（ａ）は、月度１の１日目に出社して出張した要素を示し、図１４の（ｂ）は、月度１の２日目に休暇を取得して出張しなかった要素を示す。なお、本実施例では、上述したテンソルを簡略化して図１４の（ｃ）のように記載する場合がある。すなわち、月度、日付、出欠区分、出張有無の各要素を重ねたキューブ状で表現することとし、各月度かつ日付の出張有無を区別して表現し、各月度かつ日付の出欠区分を区別して表現する。 FIG. 14 is a diagram illustrating tensorization. As shown in FIG. 14, the tensor generated by the learning unit 111 has monthly data in the horizontal direction, date in the vertical direction, attendance classification in the depth direction, business trips on the left side, and no business trips on the right side. The dates indicate the first day from the top, and the attendance classification indicates attendance, vacation, and holidays from the front. For example, FIG. 14 (a) shows an element of going to work on the first day of the month 1 and going on a business trip, and FIG. 14 (b) shows the element of taking a vacation on the second day of the month 1 and not going on a business trip. Indicates an element. In this embodiment, the above-mentioned tensor may be simplified and described as shown in FIG. 14 (c). In other words, the monthly, date, attendance classification, and presence / absence of business trips are expressed in a cube shape, and the presence / absence of business trips for each month and date is expressed separately, and the attendance classification for each month and date is expressed separately. ..

また、学習部１１１は、各学習データに基づく学習時に、各学習データに対するテンソル分解などにより生成されるコアテンソルを取得する。そして、学習部１１１は、学習データのＩＤに対応付けて、取得した各コアテンソルをコアテンソルデータＤＢ１０６に格納する。すなわち、学習部１１１は、各学習データに対して「学習時のコアテンソル」を取得する。 Further, the learning unit 111 acquires a core tensor generated by tensor decomposition of each learning data at the time of learning based on each learning data. Then, the learning unit 111 stores each acquired core tensor in the core tensor data DB 106 in association with the ID of the learning data. That is, the learning unit 111 acquires a "core tensor at the time of learning" for each learning data.

例えば、学習部１１１は、学習データＤＢ１０４のデータＩＤ「４」の学習データ（データ、教師ラベル（療養なし））を読み込み、データ「１月から６月までの出勤簿データ」を説明変数としてＮＮに入力する。続いて、学習部１１１は、ＮＮの出力結果と教師ラベル「療養なし」との誤差が小さくなるように（一致するように）、ＮＮの学習を実行する。また、学習部１１１は、学習時に、当該データ「１月から６月までの出勤簿データ」から生成されるコアテンソルＡを取得して、コアテンソルデータＤＢ１０６に格納する。 For example, the learning unit 111 reads the learning data (data, teacher label (without medical treatment)) of the data ID "4" of the learning data DB 104, and uses the data "Attendance record data from January to June" as an explanatory variable to NN. Enter in. Subsequently, the learning unit 111 executes the learning of the NN so that the error between the output result of the NN and the teacher label “no medical treatment” becomes small (to match). Further, the learning unit 111 acquires the core tensor A generated from the data "Attendance record data from January to June" at the time of learning and stores it in the core tensor data DB 106.

予測部１１２は、学習済みの学習モデルを用いて、各従業員が療養する危険性が高いか否かを予測する処理部である。具体的には、予測部１１２は、学習モデルの学習が完了すると、学習結果ＤＢ１０８からパラメータ等を取得して、学習済みの学習モデルを構築する。そして、予測部１１２は、予測対象データＤＢ１０５から予測対象データを読み込んで、学習時と同様にテンソル化して学習済みの学習モデルに入力し、その出力結果に基づき、療養の可能性を予測して、記憶部１０２に格納したり、表示部に出力したりする。 The prediction unit 112 is a processing unit that predicts whether or not each employee has a high risk of medical treatment using a learned learning model. Specifically, when the learning of the learning model is completed, the prediction unit 112 acquires parameters and the like from the learning result DB 108 and constructs the learned learning model. Then, the prediction unit 112 reads the prediction target data from the prediction target data DB 105, converts it into a tensor as in the case of learning, inputs it to the trained learning model, and predicts the possibility of medical treatment based on the output result. , Stored in the storage unit 102 or output to the display unit.

また、予測部１１２は、各予測対象データに基づく予測時に、各予測対象データに対するテンソル分解などにより生成されるコアテンソルを取得する。そして、予測部１１２は、予測対象データのＩＤに対応付けて、取得した各コアテンソルをコアテンソルデータＤＢ１０６に格納する。すなわち、予測部１１２は、各予測対象データに対して「予測時のコアテンソル」を取得する。 Further, the prediction unit 112 acquires a core tensor generated by tensor decomposition of each prediction target data at the time of prediction based on each prediction target data. Then, the prediction unit 112 stores each acquired core tensor in the core tensor data DB 106 in association with the ID of the prediction target data. That is, the prediction unit 112 acquires a "core tensor at the time of prediction" for each prediction target data.

例えば、予測部１１２は、予測対象データＤＢ１０５のデータＩＤ「ＰＰＰ」の予測対象データを読み込み、データ「２０１９年６月から１２月までの出勤簿データ」を学習済みの学習モデルに入力する。続いて、予測部１１２は、学習済みの学習モデルの出力結果として、正例（療養あり）である確率と負例（療養なし）である確率とを取得する。そして、予測部１１２は、各確率のうち高い方の確率を予測結果と決定する。また、予測部１１２は、予測時に、当該データ「２０１９年６月から１２月までの出勤簿データ」から生成されるコアテンソルＰＰＰを取得して、コアテンソルデータＤＢ１０６に格納する。なお、予測部１１２は、予測結果が「正例（療養あり）」である予測対象データについてのみ、コアテンソルを取得して保持することもできる。 For example, the prediction unit 112 reads the prediction target data of the data ID “PPP” of the prediction target data DB 105, and inputs the data “attendance record data from June to December 2019” into the trained learning model. Subsequently, the prediction unit 112 acquires the probability of being a positive case (with medical treatment) and the probability of being a negative case (without medical treatment) as the output result of the learned learning model. Then, the prediction unit 112 determines the higher probability of each probability as the prediction result. Further, the prediction unit 112 acquires the core tensor PPP generated from the data "attendance record data from June to December 2019" at the time of prediction and stores it in the core tensor data DB 106. It should be noted that the prediction unit 112 can also acquire and hold the core tensor only for the prediction target data whose prediction result is "normal (with medical treatment)".

ラベル推定部１１３は、予測時のコアテンソルと更新時のコアテンソルとの変化に基づき、新たな学習データに付与する教師ラベルを推定する処理部である。具体的には、ラベル推定部１１３は、ある従業員の出勤簿データについて、予測時のコアテンソルと学習時のコアテンソルとの類似度を算出し、更新タイミングである現在のコアテンソルと学習時のコアテンソルとの類似度を算出する。そして、ラベル推定部１１３は、類似度の比較に基づく教師ラベルを新たな学習データに付与して、更新用データＤＢ１０７に格納する。 The label estimation unit 113 is a processing unit that estimates the teacher label to be given to new learning data based on the change between the core tensor at the time of prediction and the core tensor at the time of update. Specifically, the label estimation unit 113 calculates the similarity between the core tensor at the time of prediction and the core tensor at the time of learning for the attendance record data of a certain employee, and the current core tensor at the time of learning and the core tensor at the time of learning. Calculate the similarity with the core tensor of. Then, the label estimation unit 113 adds a teacher label based on the comparison of similarity to the new learning data and stores it in the update data DB 107.

例えば、従業員Ｘの出勤簿データを例にして説明する。図１５は、類似度算出および教師ラベル推定を説明する図である。図１５に示すように、予測時（過去）に、予測部１１２は、従業員Ｘの最新日から６か月前までの出勤簿データである予測元期間のデータを用いて、最新日から３か月後の予測期間内で、従業員Ｘが療養するか否かを予測する。このとき、予測部１１２は、予測元期間のデータに基づくコアテンソルＸ１（予測時のコアテンソルＸ１）を取得する（Ｓ１）。 For example, the attendance record data of employee X will be described as an example. FIG. 15 is a diagram illustrating similarity calculation and teacher label estimation. As shown in FIG. 15, at the time of forecasting (past), the forecasting unit 112 uses the data of the forecasting source period, which is the attendance record data from the latest date of employee X to 6 months ago, and 3 from the latest date. Predict whether employee X will be treated within the prediction period after one month. At this time, the prediction unit 112 acquires the core tensor X1 (core tensor X1 at the time of prediction) based on the data of the prediction source period (S1).

また、予測部１１２は、「正例」すなわち「療養する」と予測し、予測した時期に到達すると、各従業員の出勤簿データを参照して、予測が正解であったか否かを判定する。ここでは、予測先期間経過後に、従業員Ｘが、「療養する」ことなく、通常通りに出勤できたとする。この場合、予測時は「正例」だったにも関わらず、正解は「負例」となる。この場合、新たに生成する学習データには教師ラベル「負例」を付与することが一般的である。しかし、予測が間違っていたのか、従業員Ｘに対する施策が功を奏した結果により正解が変化したのかが特定できないので、このまま教師ラベルを付与することは信頼性が低い。 In addition, the prediction unit 112 predicts that the prediction is "correct", that is, "recuperates", and when the predicted time is reached, the prediction unit 112 refers to the attendance record data of each employee and determines whether or not the prediction is correct. Here, it is assumed that the employee X can go to work as usual without "recuperating" after the prediction period has elapsed. In this case, the correct answer is a "negative example" even though it was a "positive example" at the time of prediction. In this case, it is common to give the teacher label "negative example" to the newly generated learning data. However, since it is not possible to identify whether the prediction was wrong or whether the correct answer changed as a result of the successful measures for employee X, it is unreliable to give the teacher label as it is.

そこで、ラベル推定部１１３は、結果が「正例」ではなく「負例」に変わった従業員Ｘの出勤簿データのうち、予測先期間経過後の現在の最新日から６か月前までの出勤簿データである新予測元期間のデータからコアテンソルＸ２（更新時のコアテンソルＸ２）を生成する（Ｓ２）。 Therefore, the label estimation unit 113 includes the attendance record data of the employee X whose result has changed from "positive example" to "negative example" from the current latest date after the lapse of the forecast destination period to 6 months ago. Core tensor X2 (core tensor X2 at the time of update) is generated from the data of the new forecast source period which is the attendance record data (S2).

続いて、ラベル推定部１１３は、予測時の予測元期間に基づくコアテンソルＸ１と、各学習データから生成されたコアテンソル（学習時のコアテンソル）との類似度を、コサイン類似度やk−meansクラスタリング等の手法を用いて算出する（Ｓ３）。 Subsequently, the label estimation unit 113 determines the degree of similarity between the core tensor X1 based on the prediction source period at the time of prediction and the core tensor (core tensor at the time of learning) generated from each training data, such as cosine similarity or k-. means Calculated using a method such as clustering (S3).

例えば、ラベル推定部１１３は、予測時のコアテンソルＸ１と、教師ラベル「正例」が付与された学習データＡに基づくコアテンソルＡとの類似度「０．９」を算出する。同様に、ラベル推定部１１３は、予測時のコアテンソルＸ１と教師ラベル「正例」が付与された学習データＢに基づくコアテンソルＢとの類似度「０．８」、予測時のコアテンソルＸ１と教師ラベル「負例」が付与された学習データＣに基づくコアテンソルＣとの類似度「０．７」を算出する。 For example, the label estimation unit 113 calculates the similarity “0.9” between the core tensor X1 at the time of prediction and the core tensor A based on the learning data A to which the teacher label “correct example” is given. Similarly, the label estimation unit 113 has a similarity “0.8” between the core tensor X1 at the time of prediction and the core tensor B based on the training data B to which the teacher label “correct example” is given, and the core tensor X1 at the time of prediction. And the degree of similarity "0.7" with the core tensor C based on the training data C to which the teacher label "negative example" is given is calculated.

続いて、ラベル推定部１１３は、更新時の新予測元期間に基づくコアテンソルＸ２と、各学習時のコアテンソルとの類似度を、コサイン類似度やk−meansクラスタリング等の手法を用いて算出する（Ｓ４）。 Subsequently, the label estimation unit 113 calculates the similarity between the core tensor X2 based on the new prediction source period at the time of update and the core tensor at each learning by using a method such as cosine similarity or k-means clustering. (S4).

例えば、ラベル推定部１１３は、更新時のコアテンソルＸ２と、教師ラベル「正例」が付与された学習データＡに基づくコアテンソルＡとの類似度「０．９」を算出する。同様に、ラベル推定部１１３は、更新時のコアテンソルＸ２と教師ラベル「正例」が付与された学習データＢに基づくコアテンソルＢとの類似度「０．９」、更新時のコアテンソルＸ２と教師ラベル「負例」が付与された学習データＣに基づくコアテンソルＣとの類似度「０．４」を算出する。 For example, the label estimation unit 113 calculates the similarity “0.9” between the core tensor X2 at the time of update and the core tensor A based on the learning data A to which the teacher label “correct example” is given. Similarly, the label estimation unit 113 has a similarity “0.9” between the core tensor X2 at the time of update and the core tensor B based on the learning data B to which the teacher label “correct example” is given, and the core tensor X2 at the time of update. And the degree of similarity "0.4" with the core tensor C based on the learning data C to which the teacher label "negative example" is given is calculated.

その後、ラベル推定部１１３は、更新時から予測時に対する類似度の差分を算出し、正例に変化しているか、または、負例に変化しているかを判定し、判定結果に基づき、新予測元期間のデータに付与する教師ラベルを決定する（Ｓ５）。 After that, the label estimation unit 113 calculates the difference in similarity from the time of update to the time of prediction, determines whether it has changed to a positive example or a negative example, and based on the determination result, makes a new prediction. The teacher label to be given to the data of the original period is determined (S5).

具体的には、ラベル推定部１１３は、負例を根拠に換算することにより、類似度の変化を算出する。例えば、ラベル推定部１１３は、「正例群」の変化については、「予測時の類似度−更新時の類似度」により差分を算出し、「負例群」の変化については、「更新時の類似度−予測時の類似度」により差分を算出する。 Specifically, the label estimation unit 113 calculates the change in similarity by converting a negative example as a basis. For example, the label estimation unit 113 calculates the difference by "similarity at the time of prediction-similarity at the time of update" for the change of the "normal case group", and "at the time of update" for the change of the "negative case group". The difference is calculated by "similarity-similarity at the time of prediction".

図１５の例で説明すると、ラベル推定部１１３は、「正例群」について、コアテンソルＡに対する類似度の差分「０．９−０．９＝０」を算出し、コアテンソルＢに対する類似度の差分「０．８−０．９＝−０．１」を算出する。また、ラベル推定部１１３は、「負例群」について、コアテンソルＣに対する類似度の差分「０．４−０．７＝−０．３」を算出する。そして、ラベル推定部１１３は、各差分の合計値「０＋（−０．１）＋（−０．３）＝−０．４」が閾値（例えば０．１）より小さいことから、負例から遠ざかっている（正例に近づいている）と判定する。この結果、ラベル推定部１１３は、新予測元期間のデータに付与する教師ラベルを、実際の結果「負例」ではなく、推定結果「正例」を付与した更新用の学習データを生成する。 Explaining with reference to the example of FIG. 15, the label estimation unit 113 calculates the difference “0.9-0.9 = 0” of the similarity with respect to the core tensor A for the “normal example group”, and the similarity with respect to the core tensor B. The difference "0.8-0.9 = -0.1" is calculated. Further, the label estimation unit 113 calculates the difference “0.4-0.7 = −0.3” of the similarity with respect to the core tensor C for the “negative example group”. Then, the label estimation unit 113 starts from a negative example because the total value “0 + (−0.1) + (−0.3) = −0.4” of each difference is smaller than the threshold value (for example, 0.1). Judge that it is moving away (approaching the normal example). As a result, the label estimation unit 113 generates learning data for update in which the teacher label given to the data of the new prediction source period is given the estimation result "positive example" instead of the actual result "negative example".

なお、類似度の比較は様々な手法を採用することができる。例えば、ラベル推定部１１３は、教師ラベルが「正例」である学習データとの類似度の変化量と、教師ラベルが「負例」である学習データとの類似度の変化量とのうち、変化量が大きい方の教師ラベルを採用することができる。図１５の例では、ラベル推定部１１３は、正例側の変化量として「０＋０．１＝０．１」を算出し、負例側の変化量として「−０．３」を算出し、値が大きい「正例」を採用する。 In addition, various methods can be adopted for the comparison of the degree of similarity. For example, the label estimation unit 113 has a change in the degree of similarity with the learning data whose teacher label is “positive example” and a change in degree of similarity with the learning data whose teacher label is “negative example”. The teacher label with the larger amount of change can be adopted. In the example of FIG. 15, the label estimation unit 113 calculates "0 + 0.1 = 0.1" as the amount of change on the positive example side, calculates "-0.3" as the amount of change on the negative example side, and values. Adopt a large "normal example".

また、「正例」または「負例」のいずれか一方の学習時のコアテンソルとの比較により算出することもできる。例えば、正例から負例に変化したことの確からしさを判定する場合、学習データのうち「負例」との類似度を算出し、その類似度の変化が閾値以上の場合に「負例」を選択し、閾値未満の場合に「正例」を選択することもできる。 It can also be calculated by comparing with the core tensor at the time of learning either "positive example" or "negative example". For example, when determining the certainty of a change from a positive example to a negative example, the similarity with the "negative example" in the training data is calculated, and when the change in the similarity is equal to or greater than the threshold value, the "negative example" is calculated. Can also be selected, and if it is less than the threshold value, "normal example" can be selected.

図７に戻り、更新部１１４は、更新用データＤＢ１０７に記憶される更新用の学習データを用いて、学習時と同様の手法により、学習済みの学習モデルの更新を実行する処理部である。すなわち、更新部１１４は、学習済みの学習モデルの再学習を実行する。 Returning to FIG. 7, the update unit 114 is a processing unit that updates the learned learning model by the same method as at the time of learning by using the update learning data stored in the update data DB 107. That is, the update unit 114 retrains the trained learning model.

例えば、更新部１１４は、更新用データＤＢ１０７のデータＩＤ「ＰＰＰ」の学習データ（データ、教師ラベル（療養あり））を読み込み、データ「２０１９年６月から１２月までの出勤簿データ」を用いて、学習済みの学習モデルの学習を実行する。例えば、更新部１１４は、学習モデルの出力結果と教師ラベル「療養あり」との誤差が小さくなるように、学習モデルの学習を実行する。 For example, the update unit 114 reads the learning data (data, teacher label (with medical treatment)) of the data ID "PPP" of the update data DB 107, and uses the data "attendance record data from June to December 2019". Then, the trained learning model is trained. For example, the update unit 114 executes learning of the learning model so that the error between the output result of the learning model and the teacher label “with medical treatment” becomes small.

なお、更新部１１４は、再学習が完了すると、最適化されたニューラルネットワークのパラメータ、または、最適化されたニューラルネットワークのパラメータなどが設定された学習モデルを、学習結果として学習結果ＤＢ１０８に格納する。 When the re-learning is completed, the update unit 114 stores the learning model in which the optimized neural network parameters, the optimized neural network parameters, and the like are set in the learning result DB 108 as the learning result. ..

［処理の流れ］
図１６と図１７は、処理の流れを示すフローチャートである。図１６に示すように、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、学習部１１１は、学習データを読み込み（Ｓ１０２）、コアテンソルを生成および保存を実行し（Ｓ１０３）、コアテンソルを用いた学習モデルの学習を実行する（Ｓ１０４）。 [Processing flow]
16 and 17 are flowcharts showing the flow of processing. As shown in FIG. 16, when the start of processing is instructed (S101: Yes), the learning unit 111 reads the learning data (S102), generates and saves the core tensor (S103), and uses the core tensor. The learning of the existing learning model is executed (S104).

そして、学習部１１１は、学習が終了するまで（Ｓ１０５：Ｎｏ）、Ｓ１０２以降を繰り返す。一方、学習が終了すると（Ｓ１０５：Ｙｅｓ）、予測部１１２は、予測対象データを読み込み（Ｓ１０６）、学習時と同様の手法によりテンソル化などを実行して、学習モデルにより予測を実行する（Ｓ１０７）。また、予測部１１２は、予測時に生成された予測時のコアテンソルを取得して保存する（Ｓ１０８）。 Then, the learning unit 111 repeats S102 and subsequent steps until the learning is completed (S105: No). On the other hand, when the learning is completed (S105: Yes), the prediction unit 112 reads the prediction target data (S106), executes tensorization or the like by the same method as at the time of learning, and executes the prediction by the learning model (S107). ). Further, the prediction unit 112 acquires and stores the core tensor at the time of prediction generated at the time of prediction (S108).

また、予測部１１２は、予測対象データがなくなるまで（Ｓ１０９：Ｎｏ）、Ｓ１０６以降を繰り返す。一方、図１７に示すように、すべの予測対象データに対する予測が終了し（Ｓ１０９：Ｙｅｓ）、所定期間が経過して、予測した日時に到達すると（Ｓ１１０：Ｙｅｓ）、ラベル推定部１１３は、予測結果が「正例」となった予測対象データ群を抽出し（Ｓ１１１）、実際の結果が「負例」に変化した予測対象データを抽出する（Ｓ１１２）。 Further, the prediction unit 112 repeats S106 and subsequent steps until the prediction target data is exhausted (S109: No). On the other hand, as shown in FIG. 17, when the prediction for all the prediction target data is completed (S109: Yes), the predetermined period elapses and the predicted date and time is reached (S110: Yes), the label estimation unit 113 sets the label estimation unit 113. The prediction target data group whose prediction result is "positive example" is extracted (S111), and the prediction target data whose actual result is changed to "negative example" is extracted (S112).

そして、ラベル推定部１１３は、抽出した予測対象データの予測時のコアテンソルと、各学習データの学習時のコアテンソルとの類似度を算出する（Ｓ１１３）。 Then, the label estimation unit 113 calculates the degree of similarity between the core tensor at the time of prediction of the extracted prediction target data and the core tensor at the time of learning each training data (S113).

さらに、ラベル推定部１１３は、予測結果が変化した従業員の現時点の出勤簿データに基づくコアテンソル（更新時のコアテンソル）を取得し（Ｓ１１４）、更新時のコアテンソルと各学習データの学習時のコアテンソルとの類似度を算出する（Ｓ１１５）。その後、ラベル推定部１１３は、予測時の類似度と現在（更新時）の類似との差分を算出する（Ｓ１１６）。 Further, the label estimation unit 113 acquires a core tensor (core tensor at the time of update) based on the current attendance record data of the employee whose prediction result has changed (S114), and learns the core tensor at the time of update and each learning data. The degree of similarity with the core tensor of time is calculated (S115). After that, the label estimation unit 113 calculates the difference between the similarity at the time of prediction and the similarity at the present (update) (S116).

そして、ラベル推定部１１３は、差分が閾値以上である場合（Ｓ１１７：Ｙｅｓ）、教師ラベルを「負例」のまま補正せずに、「負例」の更新用の学習データを生成する（Ｓ１１８）。一方、ラベル推定部１１３は、差分が閾値未満である場合（Ｓ１１７：Ｎｏ）、教師ラベルを「負例」から「正例」に補正し、「正例」の更新用の学習データを生成する（Ｓ１１９）。 Then, when the difference is equal to or greater than the threshold value (S117: Yes), the label estimation unit 113 generates learning data for updating the “negative example” without correcting the teacher label as the “negative example” (S118). ). On the other hand, when the difference is less than the threshold value (S117: No), the label estimation unit 113 corrects the teacher label from "negative example" to "positive example" and generates learning data for updating the "positive example". (S119).

［効果］
上述したように、情報処理装置１００は、予測推論結果に基づいた施策効果を考慮した教師ラベル付与を行い、新たな学習データとして採用することで学習モデル精度を維持できる。情報処理装置１００は、インバランスな予測タスクにおいて、希少なサンプルデータ（正例）が損なわれることを防ぐことで学習モデルの精度維持を実現できる。 [effect]
As described above, the information processing apparatus 100 can maintain the learning model accuracy by assigning a teacher label in consideration of the effect of measures based on the prediction inference result and adopting it as new learning data. The information processing apparatus 100 can maintain the accuracy of the learning model by preventing the rare sample data (correct example) from being damaged in the imbalanced prediction task.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 By the way, although the examples of the present invention have been described so far, the present invention may be implemented in various different forms other than the above-mentioned examples.

［数値等］
また、上記実施例で用いたデータ例、数値、各閾値、教師ラベル数、具体例等は、あくまで一例であり、任意に変更することができる。また、入力データや学習方法などもあくまで一例であり、任意に変更することができる。また、学習モデルには、ニューラルネットワークなど様々な手法を採用することができる。 [Numerical values, etc.]
Further, the data examples, numerical values, threshold values, the number of teacher labels, specific examples, etc. used in the above examples are merely examples and can be arbitrarily changed. In addition, the input data and the learning method are just examples, and can be changed arbitrarily. In addition, various methods such as a neural network can be adopted as the learning model.

［更新用の学習データ］
例えば、上記フローチャート等では、「正例」と予測されたが、実際に「負例」となった予測対象データについて、教師ラベルの補正を行う例を説明したが、これに限定されるものではない。例えば、すべての予測対象データについて、教師ラベルの補正を行うことができる。また、予測結果と実際の結果が異なる予測対象データについてのみ、上記処理を実行することができる。また、予測結果と実際の結果が同じ予測対象データについては、実際の結果をそのまま教師ラベルとして用いた更新用の学習データを生成することができる。なお、実際の結果は、出勤簿データにより特定することができる。 [Learning data for update]
For example, in the above flowchart, etc., an example of correcting the teacher label for the predicted target data that was predicted to be a "positive example" but actually became a "negative example" was described, but it is not limited to this. Absent. For example, teacher labels can be corrected for all predicted data. In addition, the above processing can be executed only for the prediction target data whose prediction result and the actual result are different. Further, for the prediction target data in which the prediction result and the actual result are the same, it is possible to generate learning data for update using the actual result as it is as a teacher label. The actual result can be specified by the attendance record data.

［学習］
上述した学習処理は、任意の回数だけ実行することもできる。例えば、すべての学習データを用いて実行することもでき、所定回数だけ実行することもできる。また、分類誤差の算出方法は、最小二乗法など公知の算出手法を採用することができ、ＮＮで用いられる一般的な算出手法を採用することもできる。なお、学習データや出勤簿データは、外部の装置から取得することもできる。 [Learning]
The learning process described above can be executed any number of times. For example, it can be executed using all the training data, or can be executed a predetermined number of times. Further, as a method for calculating the classification error, a known calculation method such as the least squares method can be adopted, and a general calculation method used in NN can also be adopted. The learning data and attendance record data can also be acquired from an external device.

［想定システム］
上記実施例では、出勤簿データを学習して療養する可能性がある従業員を予測する例で説明したが、これに限定されるものではない。例えば、電子部品の動作データを用いた故障予測、通信データを用いた攻撃予測、道路の交通量データを用いた渋滞予測などにも適用することができる。 [Assumed system]
In the above embodiment, the example of predicting the employees who may learn the attendance record data and receive medical treatment has been described, but the present invention is not limited to this. For example, it can be applied to failure prediction using operation data of electronic parts, attack prediction using communication data, traffic congestion prediction using road traffic data, and the like.

［ニューラルネットワーク］
本実施例では、ＲＮＮ（Recurrent Neural Networks）やＣＮＮ（Convolutional Neural Network）など様々なニューラルネットワークを用いることができる。また、学習の手法も、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値（重み係数）、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。 [neural network]
In this embodiment, various neural networks such as RNN (Recurrent Neural Networks) and CNN (Convolutional Neural Network) can be used. Further, as a learning method, various known methods other than error back propagation can be adopted. Further, the neural network has a multi-stage structure composed of, for example, an input layer, an intermediate layer (hidden layer), and an output layer, and each layer has a structure in which a plurality of nodes are connected by edges. Each layer has a function called "activation function", the edge has "weight", and the value of each node is the value of the node of the previous layer, the value of the weight of the connecting edge (weight coefficient), and the layer has. Calculated from the activation function. As the calculation method, various known methods can be adopted.

また、ニューラルネットワークにおける学習とは、出力層が正しい値となるように、パラメータ、すなわち、重みとバイアスを修正していくことである。誤差逆伝播法においては、ニューラルネットワークに対して、出力層の値がどれだけ正しい状態（望まれている状態）から離れているかを示す「損失関数（loss function）」を定め、最急降下法等を用いて、損失関数が最小化するように、重みやバイアスの更新が行われる。 In addition, learning in a neural network is to modify parameters, that is, weights and biases, so that the output layer has correct values. In the back-propagation method, the neural network is defined with a "loss function" that indicates how far the value of the output layer is from the correct state (desired state), and the steepest descent method, etc. Is used to update the weights and biases so that the loss function is minimized.

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。 [system]
Information including processing procedures, control procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. In addition, the specific examples, distributions, numerical values, etc. described in the examples are merely examples and can be arbitrarily changed.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。例えば、学習処理、更新用の学習データの生成処理、更新処理を別々の装置で実現することもできる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific forms of distribution and integration of each device are not limited to those shown in the figure. That is, all or a part thereof can be functionally or physically distributed / integrated in any unit according to various loads, usage conditions, and the like. Further, each processing function performed by each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic. For example, the learning process, the learning data generation process for update, and the update process can be realized by separate devices.

［ハードウェア］
図１８は、ハードウェア構成例を説明する図である。図１８に示すように、情報処理装置１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１８に示した各部は、バス等で相互に接続される。 [hardware]
FIG. 18 is a diagram illustrating a hardware configuration example. As shown in FIG. 18, the information processing device 100 includes a communication device 100a, an HDD (Hard Disk Drive) 100b, a memory 100c, and a processor 100d. Further, the parts shown in FIG. 18 are connected to each other by a bus or the like.

通信装置１００ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１００ｂは、図７に示した機能を動作させるプログラムやＤＢを記憶する。 The communication device 100a is a network interface card or the like, and communicates with another server. The HDD 100b stores a program or DB that operates the function shown in FIG. 7.

プロセッサ１００ｄは、図７に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図７等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、学習部１１１、予測部１１２、ラベル推定部１１３、更新部１１４等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、学習部１１１、予測部１１２、ラベル推定部１１３、更新部１１４等と同様の処理を実行するプロセスを実行する。 The processor 100d reads a program that executes the same processing as each processing unit shown in FIG. 7 from the HDD 100b or the like and expands the program into the memory 100c to operate a process that executes each function described in FIG. 7 or the like. That is, this process executes the same function as each processing unit of the information processing apparatus 100. Specifically, the processor 100d reads a program having the same functions as the learning unit 111, the prediction unit 112, the label estimation unit 113, the update unit 114, and the like from the HDD 100b and the like. Then, the processor 100d executes a process of executing the same processing as the learning unit 111, the prediction unit 112, the label estimation unit 113, the update unit 114, and the like.

このように情報処理装置１００は、プログラムを読み出して実行することでデータ生成方法を実行する情報処理装置として動作する。また、情報処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。 In this way, the information processing device 100 operates as an information processing device that executes the data generation method by reading and executing the program. Further, the information processing apparatus 100 can realize the same function as that of the above-described embodiment by reading the program from the recording medium by the medium reader and executing the read program. The program referred to in the other embodiment is not limited to being executed by the information processing apparatus 100. For example, the present invention can be similarly applied when another computer or server executes a program, or when they execute a program in cooperation with each other.

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。 This program can be distributed over networks such as the Internet. In addition, this program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), or DVD (Digital Versatile Disc), and is recorded by the computer from the recording medium. It can be executed by being read.

１００ 情報処理装置
１０１ 通信部
１０２ 記憶部
１０３ 出勤簿データＤＢ
１０４ 学習データＤＢ
１０５ 予測対象データＤＢ
１０６ コアテンソルデータＤＢ
１０７ 更新用データＤＢ
１０８ 学習結果ＤＢ
１１０ 制御部
１１１ 学習部
１１２ 予測部
１１３ ラベル推定部
１１４ 更新部
100 Information processing device 101 Communication unit 102 Storage unit 103 Attendance record data DB
104 Learning data DB
105 Prediction target data DB
106 Core tensor data DB
107 Update data DB
108 Learning result DB
110 Control unit 111 Learning unit 112 Prediction unit 113 Label estimation unit 114 Update unit

Claims (7)

学習モデルの学習に利用された、各学習データに基づいて生成された各コアテンソルを取得し、
学習済みの前記学習モデルを用いて、第１の識別子に関連する第一時点のデータから第一のコアテンソルと、前記第１の識別子に関連する第二時点のデータから第二のコアテンソルを生成し、
前記第一のコアテンソルと前記各コアテンソルとの各第一の類似度と、前記第二のコアテンソルと前記各コアテンソルとの各第二の類似度とを算出し、
前記各第一の類似度と前記各第二の類似度とに基づき、教師ラベルを決定し、
前記第二時点のデータと決定された前記教師ラベルとに基づいて、新たな学習データを生成する
処理をコンピュータが実行することを特徴とする学習データ生成方法。 Obtain each core tensor generated based on each training data used for training the training model.
Using the trained training model, a first core tensor is obtained from the data at the first time point related to the first identifier, and a second core tensor is obtained from the data at the second time point related to the first identifier. Generate and
The first similarity between the first core tensor and each core tensor and the second similarity between the second core tensor and each core tensor are calculated.
A teacher label is determined based on each of the first similarity and each of the second similarity.
A learning data generation method, characterized in that a computer executes a process of generating new training data based on the data at the second time point and the determined teacher label. 前記第一時点のデータを前記学習済みの学習モデルに入力して予測を実行し、
前記第二時点のデータの内容が前記予測の結果と一致するか否かを判定する、
処理を前記コンピュータが実行し、
前記決定する処理は、前記内容と前記予測の結果とが一致しない場合には、前記各第一の類似度と前記各第二の類似度とに基づき、前記教師ラベルを決定し、前記内容と前記予測の結果とが一致する場合には、前記予測の結果に対応する前記教師ラベルに決定する処理を含む、
ことを特徴とする請求項１に記載の学習データ生成方法。 The data at the first time point is input to the trained training model to execute the prediction, and the prediction is executed.
It is determined whether or not the content of the data at the second time point matches the result of the prediction.
The computer executes the process,
In the process of determining, when the content and the result of the prediction do not match, the teacher label is determined based on each of the first similarity degree and each of the second similarity degree, and the content is combined with the content. If the result of the prediction matches, the process of determining the teacher label corresponding to the result of the prediction is included.
The learning data generation method according to claim 1, wherein the learning data is generated. 前記予測の結果に対応する教師ラベルとの間の前記各第一の類似度から前記予測の結果に対応する教師ラベルとの間の前記各第二の類似度への第一の変化量と、前記予測の結果に対応しない教師ラベルとの間の前記各第二の類似度から前記予測の結果に対応しない教師ラベルとの間の前記各第一の類似度への第二の変化量とを算出する、
処理を前記コンピュータが実行し、
前記決定する処理は、前記第一の変化量と前記第二の変化量との差分が閾値未満の場合に、前記予測の結果に対応する教師ラベルを付与対象に決定し、前記第一の変化量と前記第二の変化量との差分が閾値以上の場合に、前記予測の結果に対応しない教師ラベルを前記付与対象に決定する処理を含む、
ことを特徴とする請求項２に記載の学習データ生成方法。 The amount of change from each of the first similarities with the teacher label corresponding to the prediction result to the second similarity with the teacher label corresponding to the prediction result, and The amount of change from each second similarity with the teacher label that does not correspond to the result of the prediction to the first similarity with the teacher label that does not correspond to the result of the prediction. calculate,
The computer executes the process,
In the process of determining, when the difference between the first change amount and the second change amount is less than the threshold value, the teacher label corresponding to the prediction result is determined as the addition target, and the first change When the difference between the amount and the second change amount is equal to or greater than the threshold value, a process of determining a teacher label that does not correspond to the prediction result as the grant target is included.
The learning data generation method according to claim 2, wherein the learning data is generated. 前記決定する処理は、前記各第一の類似度と前記各第二の類似度とに基づき、前記予測の結果に対応する教師ラベルが付与される各コアテンソルとの類似度の変化量と、前記予測の結果に対応しない教師ラベルが付与される各コアテンソルとの類似度の変化量とを算出する、
処理を前記コンピュータが実行し、
前記決定する処理は、各変化量のうち値が大きい方の教師ラベルを、前記第二時点のデータに付与する処理を含む、
ことを特徴とする請求項２に記載の学習データ生成方法。 The process of determining is based on the first similarity and the second similarity, and the amount of change in the similarity with each core tensor to which the teacher label corresponding to the result of the prediction is given. Calculate the amount of change in similarity with each core tensor to which a teacher label that does not correspond to the result of the prediction is given.
The computer executes the process,
The process of determining includes a process of assigning a teacher label having a larger value among the amounts of change to the data at the second time point.
The learning data generation method according to claim 2, wherein the learning data is generated. 前記取得する処理は、従業員の過去の出勤簿データから将来の所定期間内に前記従業員が療養するか否かを予測する前記学習モデルの学習に利用された、療養することが示す教師ラベルが付与される正例の学習データおよび療養しないことが示す教師ラベルが付与される負例の学習データのそれぞれから、前記コアテンソルを取得する処理を含み、
前記生成する処理は、前記従業員の出勤簿データのうち、予測時である前記第一時点の前記第一のコアテンソルと、前記将来の所定期間経過後である前記第二時点の前記第二のコアテンソルとを生成する処理を含み、
前記算出する処理は、前記各第一の類似度と、前記各第二の類似度とを算出する処理を含み、
前記決定する処理は、前記各第一の類似度と前記各第二の類似度とに基づき、教師ラベルを決定する処理を含み、
前記生成する処理は、前記第二時点のデータと前記教師ラベルとを用いた学習データを生成する処理を含む、
ことを特徴とする請求項１に記載の学習データ生成方法。 The acquired process is a teacher label indicating that the employee is to be treated, which is used for learning the learning model for predicting whether or not the employee will be treated within a predetermined period in the future from the past attendance record data of the employee. Includes the process of acquiring the core tensor from each of the learning data of the positive case to which is given and the learning data of the negative case to which the teacher label indicating that no medical treatment is given.
Among the attendance record data of the employee, the generated process includes the first core tensor at the first time point at the time of prediction and the second time point at the second time point after the lapse of a predetermined period in the future. Including the process of generating the core tensor of
The calculation process includes a process of calculating each of the first similarity degree and each of the second similarity degree.
The determination process includes a process of determining a teacher label based on each of the first similarity and the second similarity.
The generated process includes a process of generating learning data using the data at the second time point and the teacher label.
The learning data generation method according to claim 1, wherein the learning data is generated. 学習モデルの学習に利用された、各学習データに基づいて生成された各コアテンソルを取得し、
学習済みの前記学習モデルを用いて、第１の識別子に関連する第一時点のデータから第一のコアテンソルと、前記第１の識別子に関連する第二時点のデータから第二のコアテンソルを生成し、
前記第一のコアテンソルと前記各コアテンソルとの各第一の類似度と、前記第二のコアテンソルと前記各コアテンソルとの各第二の類似度とを算出し、
前記各第一の類似度と前記各第二の類似度とに基づき、教師ラベルを決定し、
前記第二時点のデータと決定された前記教師ラベルとに基づいて、新たな学習データを生成する
処理をコンピュータに実行させることを特徴とする学習データ生成プログラム。 Obtain each core tensor generated based on each training data used for training the training model.
Using the trained training model, a first core tensor is obtained from the data at the first time point related to the first identifier, and a second core tensor is obtained from the data at the second time point related to the first identifier. Generate and
The first similarity between the first core tensor and each core tensor and the second similarity between the second core tensor and each core tensor are calculated.
A teacher label is determined based on each of the first similarity and each of the second similarity.
A learning data generation program characterized in that a computer executes a process of generating new learning data based on the data at the second time point and the determined teacher label. 学習モデルの学習に利用された、各学習データに基づいて生成された各コアテンソルを取得する取得部と、
学習済みの前記学習モデルを用いて、第１の識別子に関連する第一時点のデータから第一のコアテンソルと、前記第１の識別子に関連する第二時点のデータから第二のコアテンソルを生成する生成部と、
前記第一のコアテンソルと前記各コアテンソルとの各第一の類似度と、前記第二のコアテンソルと前記各コアテンソルとの各第二の類似度とを算出する算出部と、
前記各第一の類似度と前記各第二の類似度とに基づき、教師ラベルを決定する決定部と、
前記第二時点のデータと決定された前記教師ラベルとに基づいて、新たな学習データを生成する生成部と
を有することを特徴とする情報処理装置。 An acquisition unit that acquires each core tensor generated based on each training data used for learning the training model, and an acquisition unit.
Using the trained training model, a first core tensor is obtained from the data at the first time point related to the first identifier, and a second core tensor is obtained from the data at the second time point related to the first identifier. The generator to generate and
A calculation unit that calculates each first similarity between the first core tensor and each core tensor, and each second similarity between the second core tensor and each core tensor.
A decision unit that determines the teacher label based on each of the first similarity and each of the second similarity.
An information processing apparatus having a generation unit that generates new learning data based on the data at the second time point and the determined teacher label.

Images