JP2017207987A - Objective variable prediction device, method and program - Google Patents

Objective variable prediction device, method and program Download PDF

Info

Publication number
JP2017207987A
JP2017207987A JP2016100885A JP2016100885A JP2017207987A JP 2017207987 A JP2017207987 A JP 2017207987A JP 2016100885 A JP2016100885 A JP 2016100885A JP 2016100885 A JP2016100885 A JP 2016100885A JP 2017207987 A JP2017207987 A JP 2017207987A
Authority
JP
Japan
Prior art keywords
parameter
objective variable
objective
model function
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016100885A
Other languages
Japanese (ja)
Other versions
JP6660248B2 (en
Inventor
ブロンデル マチュー
Blondel Mathieu
ブロンデル マチュー
正和 石畠
Masakazu Ishihata
正和 石畠
昭典 藤野
Akinori Fujino
昭典 藤野
上田　修功
Shuko Ueda
修功 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016100885A priority Critical patent/JP6660248B2/en
Publication of JP2017207987A publication Critical patent/JP2017207987A/en
Application granted granted Critical
Publication of JP6660248B2 publication Critical patent/JP6660248B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique for predicting an objective variable for data using a model for a combination of high-order feature vectors.SOLUTION: One embodiment of the present invention pertains to an objective variable prediction device for predicting an objective variable that corresponds to data represented by a feature vector, the objective variable prediction device including: an estimation unit for estimating a first parameter represented by a vector in a model function for a combination of m-order features and a second parameter represented by a matrix, making use of training data represented by a feature vector the objective variable of which is known; and a prediction unit for predicting an objective variable that corresponds to unknown data, using a model function by the estimated first parameter and second parameter.SELECTED DRAWING: Figure 1

Description

本発明は、機械学習の分野に関し、より詳細には、訓練データを用いて推定されたモデルを利用して特徴ベクトルに対応する目的変数を予測するための技術に関する。   The present invention relates to the field of machine learning, and more particularly to a technique for predicting an objective variable corresponding to a feature vector using a model estimated using training data.

従来の統計的手法に基づく予測技術では、データと目的変数との依存関係を表すモデルを特徴ベクトルとモデルパラメータとの関数として与え、当該モデルを用いて特徴ベクトルに対する目的変数の値が推定される。一般に、当該モデルパラメータの値は目的変数が判明している訓練データを用いて求められる。   In a prediction technique based on a conventional statistical method, a model representing a dependency relationship between data and an objective variable is given as a function of a feature vector and a model parameter, and the value of the objective variable with respect to the feature vector is estimated using the model. . Generally, the value of the model parameter is obtained using training data whose objective variable is known.

２次特徴の組み合わせが扱えるモデルの例として、factorization machines(FM)がある（非特許文献１，２）。バイス項と１次特徴を除いて、FMでは以下のモデル関数が用いられる。   An example of a model that can handle combinations of secondary features is factorization machines (FM) (Non-Patent Documents 1 and 2). Except for the vice term and first-order features, the following model functions are used in FM.

Figure 2017207987
ここで、
Figure 2017207987
 here,

Figure 2017207987
は入力特徴ベクトルであり、
Figure 2017207987
 Is the input feature vector,

Figure 2017207987
は低ランクの２次重み行列（ただし、
Figure 2017207987
 Is a low-order quadratic weight matrix (however,

Figure 2017207987
である）であり、
Figure 2017207987
 Is)

Figure 2017207987
はハイパーパラメータである。パラメータ推定のためには、SGD、座標降下法（coordinate descent）、MCMC等を用いることができる（非特許文献１，２）。
Figure 2017207987
 Is a hyperparameter. For parameter estimation, SGD, coordinate descent, MCMC, etc. can be used (Non-Patent Documents 1 and 2).

また、２次特徴の組み合わせと３次特徴の組み合わせとが扱えるモデルの例として、polynomial networks(PN)がある（非特許文献３）。PNでは、以下のモデル関数を用いる。   Polynomial networks (PN) is an example of a model that can handle a combination of secondary features and a combination of tertiary features (Non-patent Document 3). In PN, the following model function is used.

Figure 2017207987
ここで、
Figure 2017207987
 here,

Figure 2017207987
はベクトルであり、
Figure 2017207987
 Is a vector,

Figure 2017207987
は行列であり、
Figure 2017207987
 Is a matrix,

Figure 2017207987
はactivation関数である。ここで、
Figure 2017207987
 Is the activation function. here,

Figure 2017207987
は内積を示す。
Figure 2017207987
 Indicates the inner product.

Figure 2017207987
であるとき、パラメータ推定には、逐次アルゴリズムが利用可能である（非特許文献３）。
Figure 2017207987
 In this case, a sequential algorithm can be used for parameter estimation (Non-patent Document 3).

S.Rendle (2012), Factorization machines with libfm, ACM Transactions on Intelligent Systems and Technology, vol.3, pp.57-78S.Rendle (2012), Factorization machines with libfm, ACM Transactions on Intelligent Systems and Technology, vol.3, pp.57-78 S.Rendle (2010), Factorization machines, Proceedings of International Conference on Data Mining, pp.995-1000S.Rendle (2010), Factorization machines, Proceedings of International Conference on Data Mining, pp.995-1000 R.Livni, S.Shalev-Shwartz, O.Shamir (2014), On the computational efficiency of training neural networks, Advances in Neural Information Processing Systems, pp.855-863R. Livni, S. Shalev-Shwartz, O. Shamir (2014), On the computational efficiency of training neural networks, Advances in Neural Information Processing Systems, pp.855-863

上述した従来のFM及びPMでは、それぞれ２次と３次までの特徴の組み合わせしか扱うことができない。従って、より高い次数の特徴ベクトルの組み合わせを扱うことができると共に、少ない計算量でパラメータ値を求めることが可能なアルゴリズムが求められる。   The conventional FM and PM described above can only handle combinations of features up to the second and third orders, respectively. Therefore, an algorithm capable of handling a combination of higher-order feature vectors and obtaining a parameter value with a small amount of calculation is required.

上述した問題点を鑑み、本発明の課題は、高い次数の特徴ベクトルの組み合わせに対するモデルを利用して、データに対応する目的変数を予測するための技術を提供することである。   In view of the above-described problems, an object of the present invention is to provide a technique for predicting an objective variable corresponding to data using a model for a combination of high-order feature vectors.

上記課題を解決するため、本発明の一態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、を有する目的変数予測装置に関する。   In order to solve the above-described problem, one aspect of the present invention is an objective variable prediction apparatus that predicts an objective variable corresponding to data represented by a feature vector, wherein the objective variable is expressed by a known feature vector. An estimation unit that estimates a first parameter expressed by a vector and a second parameter expressed by a matrix in a model function for a combination of m-th order features using the training data, and the estimated first The present invention relates to a target variable prediction apparatus including a prediction unit that predicts a target variable corresponding to unknown data using a model function based on the parameters and the second parameter.

本発明の他の態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、前記目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、前記訓練データの次数を拡大することによって取得された拡大された訓練データを利用して、ｍ次特徴ベクトルの組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、を有する目的変数予測装置に関する。   Another aspect of the present invention is an objective variable predicting apparatus that predicts an objective variable corresponding to data represented by a feature vector, wherein the objective variable is represented by a known feature vector (m−1). For the training data for the following feature combinations, the training data obtained by expanding the order of the training data is used to represent the training data obtained by expanding the order of the training data by a vector in the model function for the m-th feature vector combination. An estimation unit that estimates a first parameter and a second parameter expressed by a matrix, and a target function corresponding to unknown data using a model function based on the estimated first parameter and the second parameter And a prediction unit that predicts the objective variable prediction apparatus.

本発明の他の態様は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置により実行される方法であって、前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定するステップと、前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測するステップと、を有する方法に関する。   Another aspect of the present invention is a method executed by an objective variable prediction apparatus that predicts an objective variable corresponding to data expressed by a feature vector, wherein the objective variable is expressed by a known feature vector. Using training data to estimate a first parameter represented by a vector and a second parameter represented by a matrix in a model function for a combination of m-th order features, and the estimated first parameter And predicting an objective variable corresponding to unknown data using a model function with a second parameter.

本発明によると、高い次数の特徴ベクトルの組み合わせに対するモデルを利用して、データに対応する目的変数を予測することができる。   According to the present invention, a target variable corresponding to data can be predicted using a model for a combination of high-order feature vectors.

図１は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。FIG. 1 is a schematic diagram showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention. 図２は、本発明の一実施例による目的変数予測装置の機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of the objective variable prediction apparatus according to one embodiment of the present invention. 図３は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。FIG. 3 is a schematic diagram showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention. 図４は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。FIG. 4 is a schematic diagram showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention. 図５は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示す概略図である。FIG. 5 is a schematic diagram showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention. 図６は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示すフロー図である。FIG. 6 is a flowchart showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention. 図７は、本発明の一実施例による目的変数予測装置のハードウェア構成を示すブロック図である。FIG. 7 is a block diagram showing a hardware configuration of an objective variable predicting apparatus according to an embodiment of the present invention.

以下、図面に基づいて本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

以下の実施例では、FM及びPNより高い次数の特徴ベクトルの組み合わせを処理可能な目的変数予測装置が開示される。すなわち、当該目的変数予測装置では、FM及びPMをより一般化したフレームワークが導入される。後述される実施例を概略すると、図１に示されるように、まず目的変数ｙが判明している特徴ベクトルｘにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数のパラメータλ及びＰが目的関数の凸性を利用したアルゴリズムに従って推定又は学習される。当該パラメータλ及びＰは、線形時間の計算量で推定可能である。訓練データによる学習後、目的変数予測装置は、推定されたパラメータλ及びＰによるモデル関数を利用して、未知のデータｘの目的変数を予測する。このようにして、ｍ次特徴の組み合わせを扱うことが可能なモデル関数のパラメータを少ない計算量で推定することができ、効率的に予測性能を向上させることが可能になる。   In the following embodiments, an objective variable predicting apparatus capable of processing a combination of feature vectors having higher orders than FM and PN is disclosed. That is, the objective variable prediction apparatus introduces a framework that generalizes FM and PM. To outline an embodiment described later, as shown in FIG. 1, first, using training data expressed by a feature vector x for which an objective variable y is known, parameters of model functions for m-th order feature combinations are used. λ and P are estimated or learned according to an algorithm using the convexity of the objective function. The parameters λ and P can be estimated by a linear time calculation amount. After learning with the training data, the objective variable prediction apparatus predicts the objective variable of the unknown data x using a model function with the estimated parameters λ and P. In this way, it is possible to estimate the parameters of the model function that can handle combinations of m-th order features with a small amount of calculation, and it is possible to efficiently improve the prediction performance.

まず、図２〜５を参照して、本発明の一実施例による目的変数予測装置を説明する。本実施例による目的変数予測装置は、特徴ベクトルにより表現されるデータに対応する目的変数を予測する。具体的には、訓練データの特徴ベクトル   First, an objective variable prediction apparatus according to an embodiment of the present invention will be described with reference to FIGS. The objective variable prediction apparatus according to this embodiment predicts an objective variable corresponding to data represented by a feature vector. Specifically, feature vector of training data

Figure 2017207987
が与えられたとき、目的変数予測装置は、推定されたパラメータを用いたｍ次特徴の組み合わせに対するモデル関数
Figure 2017207987
 Is given, the objective variable predictor predicts the model function for the combination of m-th order features using the estimated parameters.

Figure 2017207987
を利用して目的変数を予測する。ここで、λｓはλのｓ番目の要素であり、ｐｓはＰのｓ番目の列であり、
Figure 2017207987
 To predict the objective variable. Where λ s is the s th element of λ, p s is the s th column of P,

Figure 2017207987
はカーネルであり、ｋはハイパーパラメータである。
Figure 2017207987
 Is a kernel and k is a hyperparameter.

図２は、本発明の一実施例による目的変数予測装置の機能構成を示すブロック図である。図２に示されるように、目的変数予測装置１００は、推定部１１０及び予測部１２０を有する。   FIG. 2 is a block diagram showing a functional configuration of the objective variable prediction apparatus according to one embodiment of the present invention. As illustrated in FIG. 2, the objective variable prediction device 100 includes an estimation unit 110 and a prediction unit 120.

推定部１１０は、目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、式（３）に示されるｍ次特徴の組み合わせに対するモデル関数におけるパラメータを推定する。具体的には、推定部１１０は、後述される２つのカーネルを利用して、訓練データからベクトルλと行列Ｐとを推定又は学習する。   The estimation unit 110 estimates the parameters in the model function for the m-th order feature combination shown in Equation (3) using the training data expressed by the feature vector whose objective variable is known. Specifically, the estimation unit 110 estimates or learns the vector λ and the matrix P from the training data using two kernels described later.

第１のカーネルは、   The first kernel is

Figure 2017207987
により表される同次多項式カーネルである。ここで、ｍは多項式の次数である。
Figure 2017207987
 Is a homogeneous polynomial kernel represented by Here, m is the degree of the polynomial.

第２のカーネルは、   The second kernel is

Figure 2017207987
により表されるANOVAカーネルである。ここで、
Figure 2017207987
 ANOVA kernel represented by here,

Figure 2017207987
であり、ｐ１，...，ｐｄはベクトルｐの要素であり、ｘ１，...，ｘｄはベクトルｘの要素である。
Figure 2017207987
 And a, p 1, ..., p d is the elements of the vector p, x 1, ..., x d is the element of the vector x.

ANOVAカーネルを用いたとき、式（４）から理解されるように、ANOVAカーネルを計算するコストは、   When using the ANOVA kernel, as understood from Equation (4), the cost of calculating the ANOVA kernel is

Figure 2017207987
であり、多項式時間かかる。この計算量を低減するため、
Figure 2017207987
 And takes polynomial time. To reduce this amount of computation,

Figure 2017207987
であるとき、推定部１１０は、以下の等価式を利用する。
Figure 2017207987
 , The estimation unit 110 uses the following equivalent expression.

Figure 2017207987
ここで、
Figure 2017207987
 here,

Figure 2017207987
と、
Figure 2017207987
 When,

Figure 2017207987
として定義される。当該等価式を利用すると、ANOVAカーネルを計算するコストは、
Figure 2017207987
 Is defined as Using the equivalent equation, the cost of calculating the ANOVA kernel is

Figure 2017207987
となり、線形時間に低減される。この結果、推定部１１０は、式（３）を
Figure 2017207987
 And reduced to linear time. As a result, the estimation unit 110 converts Equation (3) into

Figure 2017207987
の計算量で計算できる。
Figure 2017207987
 It can be calculated with the amount of calculation.

なお、上述した同次多項式カーネルとANOVAカーネルとを式（３）に導入することによって、式（１）及び式（２）により表されるFM及びPNのモデル関数は、   By introducing the above-described homogeneous polynomial kernel and ANOVA kernel into Equation (3), the model functions of FM and PN represented by Equation (1) and Equation (2) are as follows:

Figure 2017207987
として表現できる。これらの式から理解されるように、FM及びPNは式（３）の特殊なケースであるとみなすことができる。
Figure 2017207987
 Can be expressed as As can be seen from these equations, FM and PN can be considered special cases of equation (3).

パラメータλ及びＰを推定するため、推定部１１０は、   In order to estimate the parameters λ and P, the estimation unit 110

Figure 2017207987
により定式化される目的関数を最小化する。ここで、
Figure 2017207987
 Minimize the objective function formulated by. here,

Figure 2017207987
は目的変数が判明している訓練データであり、
Figure 2017207987
 Is training data whose objective variable is known,

Figure 2017207987
は２階微分可能な凸の損失関数を表し、β（＞０）はハイパーパラメータである。以降において、
Figure 2017207987
 Represents a convex loss function capable of second order differentiation, and β (> 0) is a hyperparameter. In the following,

Figure 2017207987
をまとめた行列を
Figure 2017207987
 The matrix

Figure 2017207987
と呼ぶ。
Figure 2017207987
 Call it.

一実施例では、モデル関数がANOVAカーネルを利用するとき、すなわち、   In one embodiment, when the model function utilizes an ANOVA kernel, ie

Figure 2017207987
であるとき、式（５）の目的関数は多量凸（multi-convex）となり、より詳細には、パラメータλ及びＰの各行について凸となる。従って、λについての学習とＰについての学習を目的関数が収束するまで繰り返すことによって、推定部１１０は、極小解を得ることができる。例えば、推定部１１０は、
Figure 2017207987
 , The objective function of equation (5) is multi-convex, and more specifically convex for each row of parameters λ and P. Therefore, the estimation unit 110 can obtain a minimal solution by repeating the learning for λ and the learning for P until the objective function converges. For example, the estimation unit 110

Figure 2017207987
に示されるアルゴリズム１に従って計算することによって、最適なパラメータλ及びＰを推定できる。
Figure 2017207987
 The optimal parameters λ and P can be estimated by calculating according to the algorithm 1 shown in FIG.

ここで、推定部１１０は、パラメータλをLassoアルゴリズムに従って学習し、パラメータＰを座標降下法に従って学習してもよい。具体的には、推定部１１０は、   Here, the estimation unit 110 may learn the parameter λ according to the Lasso algorithm, and may learn the parameter P according to the coordinate descent method. Specifically, the estimation unit 110

Figure 2017207987
に示されるアルゴリズム２に従ってパラメータλを推定する。ここで、アルゴリズム２における式（１３）は、標準のLasso問題であるため、任意のLassoアルゴリズムにより解くことができる。
Figure 2017207987
 The parameter λ is estimated according to algorithm 2 shown in FIG. Here, since Equation (13) in Algorithm 2 is a standard Lasso problem, it can be solved by an arbitrary Lasso algorithm.

他方、推定部１１０は、座標降下法に従ってパラメータＰを推定する。すなわち、Ｐの要素が循環的に更新される。より詳細には、すべての   On the other hand, the estimation unit 110 estimates the parameter P according to the coordinate descent method. That is, the elements of P are updated cyclically. More in detail, all

Figure 2017207987
と、すべての
Figure 2017207987
 And all

Figure 2017207987
に対して、Ｐの要素は、
Figure 2017207987
 On the other hand, the element of P is

Figure 2017207987
のように更新される。ここで、ｐｊｓはＰのｊ番目の行とｓ番目の列の要素であり、
Figure 2017207987
 It is updated as follows. Where p js is the element of the jth row and sth column of P,

Figure 2017207987
である。なお、μは凸損失関数ｌに依存する滑らかさの定数である。例えば、凸損失関数とこれに対応するμの値について、以下の対応関係が利用されてもよい。
Figure 2017207987
 It is. Note that μ is a smoothness constant that depends on the convex loss function l. For example, the following correspondence relationship may be used for the convex loss function and the value of μ corresponding thereto.

Figure 2017207987
ここで、
Figure 2017207987
 here,

Figure 2017207987
である。
Figure 2017207987
 It is.

式（６）を効率的に計算するためには、   In order to calculate equation (6) efficiently,

Figure 2017207987
が効率的に計算される必要がある。
Figure 2017207987
 Need to be calculated efficiently.

Figure 2017207987
を固定したとき、すべての
Figure 2017207987
 When fixed

Figure 2017207987
に対して
Figure 2017207987
 Against

Figure 2017207987
と
Figure 2017207987
 When

Figure 2017207987
とを維持し、Ｐの要素を更新するたびに
Figure 2017207987
 And every time the element of P is updated

Figure 2017207987
と
Figure 2017207987
 When

Figure 2017207987
とを同期させると、
Figure 2017207987
 Synchronize with

Figure 2017207987
を計算するコストを
Figure 2017207987
 Calculate the cost

Figure 2017207987
に低減できる。従って、Ｐのすべての要素を１回更新するコストは
Figure 2017207987
 Can be reduced. Thus, the cost of updating all elements of P once is

Figure 2017207987
となる。ここで、
Figure 2017207987
 It becomes. here,

Figure 2017207987
は行列Ｘの非ゼロの要素の数を示す。具体的には、推定部１１０は、
Figure 2017207987
 Indicates the number of non-zero elements of the matrix X. Specifically, the estimation unit 110

Figure 2017207987
に示されるアルゴリズム３に従って、上述した座標降下法によるＰの推定を行うことができる。
Figure 2017207987
 According to the algorithm 3 shown in FIG. 4, P can be estimated by the coordinate descent method described above.

他の実施例では、モデル関数が同次多項式カーネルを利用するとき、すなわち、   In another embodiment, when the model function utilizes a homogeneous polynomial kernel, i.e.

Figure 2017207987
であるとき、式（５）の目的関数は多量凸ではなくなり、より困難な最適化問題となる。これを解決するため、本実施例では、パラメータλ及びＰの推定を低ランク対称テンソル推定問題に変換し、当該問題を多量凸目的関数の最小化として定式化する。
Figure 2017207987
 , The objective function of equation (5) is no longer convex and becomes a more difficult optimization problem. In order to solve this, in this embodiment, the estimation of the parameters λ and P is converted into a low-rank symmetric tensor estimation problem, and the problem is formulated as a minimization of a large convex objective function.

まず、同次多項式カーネルを   First, the homogeneous polynomial kernel

Figure 2017207987
に書き換える。ここで、
Figure 2017207987
 Rewrite to here,

Figure 2017207987
は、
Figure 2017207987
 Is

Figure 2017207987
のランク１テンソルを表す。
Figure 2017207987
 Represents a rank 1 tensor.

Figure 2017207987
の対称テンソルの集合を表す。なお、
Figure 2017207987
 Represents a set of symmetric tensors. In addition,

Figure 2017207987
であり、
Figure 2017207987
 And

Figure 2017207987
はテンソルの内積（要素毎の足し合わせ）である。
Figure 2017207987
 Is the inner product (addition of each element) of tensors.

一般に、任意の対称テンソル   In general, any symmetric tensor

Figure 2017207987
に対して、以下の分解が存在する。
Figure 2017207987
 In contrast, the following decomposition exists.

Figure 2017207987
ここで、ｋは
Figure 2017207987
 Where k is

Figure 2017207987
の対称ランクである。
Figure 2017207987
 Is the symmetry rank.

式（７）及び（８）を用いて、   Using equations (7) and (8),

Figure 2017207987
が得られる。このようにして、パラメータλ及びＰの推定がランクｋテンソル
Figure 2017207987
 Is obtained. In this way, the estimation of the parameters λ and P is a rank k tensor.

Figure 2017207987
の推定に変換できる。
Figure 2017207987
 Can be converted to an estimate of

多量凸目的関数を定式化するため、   To formulate a large convex objective function,

Figure 2017207987
をｍ個の行列
Figure 2017207987
 Is a matrix of m

Figure 2017207987
を用いて分解する。具体的には、
Figure 2017207987
 Disassemble using In particular,

Figure 2017207987
は、以下のように分解できる。
Figure 2017207987
 Can be decomposed as follows.

Figure 2017207987
ここで、
Figure 2017207987
 here,

Figure 2017207987
はＵｔのｓ番目の列を表す。実用性の観点から、ｒはｋ／ｍに設定される。式（９）を用いて、
Figure 2017207987
 Represents the s-th column of U t. From the viewpoint of practicality, r is set to k / m. Using equation (9),

Figure 2017207987
が得られる。当該式（１０）を計算するコストは、
Figure 2017207987
 Is obtained. The cost of calculating the equation (10) is

Figure 2017207987
である。
Figure 2017207987
 It is.

ｍ個の行列Ｕ１，...，Ｕｍを推定するため、推定部１１０は、 In order to estimate m matrices U 1 ,..., U m , the estimation unit 110 includes:

Figure 2017207987
に示される目的関数を最小化する。ここで、式（１１）は、ｍ個の行列Ｕ１，...，Ｕｍのそれぞれに対して凸である。
Figure 2017207987
 Minimize the objective function shown in. Here, equation (11) is convex for each of the m matrices U 1 ,..., U m .

推定部１１０は、式（１１）の目的関数に座標降下法を適用する。すなわち、ｍ個の行列Ｕ１，...，Ｕｍの要素が循環的に更新される。より詳細には、すべての The estimation unit 110 applies the coordinate descent method to the objective function of Expression (11). That is, the elements of m matrices U 1 ,..., U m are updated cyclically. More in detail, all

Figure 2017207987
と、すべての
Figure 2017207987
 And all

Figure 2017207987
と、すべての
Figure 2017207987
 And all

Figure 2017207987
に対して、Ｕの要素は、
Figure 2017207987
 On the other hand, the element of U is

Figure 2017207987
のように更新される。ここで、
Figure 2017207987
 It is updated as follows. here,

Figure 2017207987
である。
Figure 2017207987
 It is.

式（１２）を効率的に計算するためには、   In order to calculate equation (12) efficiently,

Figure 2017207987
が効率的に計算される必要がある。ｔ及びｓを固定したとき、すべての
Figure 2017207987
 Need to be calculated efficiently. When t and s are fixed, all

Figure 2017207987
に対して
Figure 2017207987
 Against

Figure 2017207987
を維持し、Ｕの要素を更新するたびに、ξｉを同期すると、
Figure 2017207987
 , And synchronize ξ i every time the element of U is updated,

Figure 2017207987
を
Figure 2017207987
 The

Figure 2017207987
のコストで計算できなくなる。従って、ｍ個の行列Ｕ１，...，Ｕｍのすべての要素を１回更新するコストは、
Figure 2017207987
 It becomes impossible to calculate at the cost of. Thus, the cost of updating all the elements of m matrices U 1 ,..., U m once is

Figure 2017207987
となる。具体的には、推定部１１０は、図３に示されるように、
Figure 2017207987
 It becomes. Specifically, as shown in FIG.

Figure 2017207987
に示されるアルゴリズム４に従って、上述した座標降下法によるＰの推定を行うことができる。
Figure 2017207987
 P can be estimated by the coordinate descent method described above according to algorithm 4 shown in FIG.

上述した   Mentioned above

Figure 2017207987
と
Figure 2017207987
 When

Figure 2017207987
は同次多項式であるため、ｍ次の特徴の組み合わせのみを利用している。しかしながら、実用性の観点から、１次の特徴からｍ次の特徴の組み合わせまでが利用可能であることが好ましい。このため、一実施例では、推定部１１０は、目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、訓練データの特徴の組み合わせを拡大し、拡大された訓練データを利用して、ｍ次の特徴の組み合わせに対するモデル関数におけるパラメータλ及びＰ又パラメータＵを推定してもよい。
Figure 2017207987
 Since is a homogeneous polynomial, only a combination of m-th order features is used. However, from the viewpoint of practicality, it is preferable that a combination from the first-order feature to the m-th feature can be used. For this reason, in one embodiment, the estimation unit 110 expands the combination of the features of the training data with respect to the training data for the (m−1) th or lower order combination of features expressed by the feature vector whose objective variable is known. Then, using the expanded training data, the parameters λ and P or the parameter U in the model function for the combination of the m-th feature may be estimated.

具体的には、実用性の観点から、パラメータの推定時と推定されたパラメータによる予測時の双方において、データに常に１である特徴を加えることによって、次数を拡大する。これにより、１次の特徴からｍ次の特徴の組み合わせまでに対応した目的変数予測処理が可能になる。   Specifically, from the viewpoint of practicality, the order is expanded by adding a feature that is always 1 to the data both at the time of parameter estimation and at the time of prediction by the estimated parameter. Thereby, the objective variable prediction process corresponding to the combination from the first-order feature to the m-th feature is enabled.

より詳細には、   More specifically,

Figure 2017207987
の場合には、訓練データ
Figure 2017207987
 Training data

Figure 2017207987
の代わりに、
Figure 2017207987
 Instead of,

Figure 2017207987
が用いられる。また、予測時には、未知のデータｘの代わりに、
Figure 2017207987
 Is used. Moreover, at the time of prediction, instead of the unknown data x,

Figure 2017207987
が用いられる。この場合、図４に示されるように、推定部１１０は、上述したアルゴリズム１に従ってパラメータλ及びＰを推定し、推定されたパラメータλ及びＰによるモデル関数を利用して、拡大された未知のデータに対して目的変数予測処理を実行する。
Figure 2017207987
 Is used. In this case, as illustrated in FIG. 4, the estimation unit 110 estimates the parameters λ and P according to the algorithm 1 described above, and uses the model function based on the estimated parameters λ and P to expand the unknown data. The objective variable prediction process is executed for.

あるいは、   Or

Figure 2017207987
の場合には、学習データ
Figure 2017207987
 In the case of

Figure 2017207987
の代わりに、
Figure 2017207987
 Instead of,

Figure 2017207987
が用いられる。また、予測時には、未知のデータｘの代わりに、
Figure 2017207987
 Is used. Moreover, at the time of prediction, instead of the unknown data x,

Figure 2017207987
が用いられる。この場合、図５に示されるように、推定部１１０は、上述したアルゴリズム４に従ってパラメータＵを推定し、推定されたパラメータＵによるモデル関数を利用して、拡大された未知のデータに対して目的変数予測処理を実行する。
Figure 2017207987
 Is used. In this case, as illustrated in FIG. 5, the estimation unit 110 estimates the parameter U according to the algorithm 4 described above, and uses the model function based on the estimated parameter U to increase the target for the expanded unknown data. Execute variable prediction processing.

次に、図６を参照して、本発明の一実施例によるパラメータ推定及び目的変数予測処理を説明する。当該処理は、目的変数予測装置１００により実行される。図６は、本発明の一実施例によるパラメータ推定及び目的変数予測処理を示すフロー図である。   Next, parameter estimation and objective variable prediction processing according to an embodiment of the present invention will be described with reference to FIG. This process is executed by the objective variable prediction apparatus 100. FIG. 6 is a flowchart showing parameter estimation and objective variable prediction processing according to an embodiment of the present invention.

図６に示されるように、ステップＳ１０１において、推定部１１０は、目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるパラメータを推定する。   As shown in FIG. 6, in step S101, the estimation unit 110 estimates the parameters in the model function for the combination of m-th feature using training data expressed by the feature vector whose objective variable is known. .

具体的には、推定部１１０は、訓練データを用いて、式（３）に示されるモデル関数のパラメータλ及びＰを推定する。例えば、モデル関数のカーネルがANOVAカーネルである場合、推定部１１０は、アルゴリズム１に従って、訓練データを利用して式（５）に示される目的関数を最小化するパラメータλ及びＰを推定する。あるいは、モデル関数のカーネルが同次多項式カーネルである場合、推定部１１０は、アルゴリズム４に従って、訓練データを利用して式（１１）に示される目的関数を最小化するパラメータＵを推定する。   Specifically, the estimation unit 110 estimates the parameters λ and P of the model function shown in Expression (3) using the training data. For example, when the kernel of the model function is an ANOVA kernel, the estimation unit 110 estimates the parameters λ and P that minimize the objective function shown in Expression (5) using the training data according to the algorithm 1. Alternatively, when the kernel of the model function is a homogeneous polynomial kernel, the estimation unit 110 estimates the parameter U that minimizes the objective function shown in Expression (11) using the training data according to the algorithm 4.

また、（ｍ−１）次以下の特徴の組み合わせのデータに対して、推定部１１０は、データの次数を拡大し、拡大されたデータを利用してモデル関数のパラメータλ及びＰを推定してもよい。例えば、モデル関数のカーネルがANOVAカーネルである場合、推定部１１０は、訓練データに常に１である特徴をｍ次元分加えることによって次元を拡大してもよい。あるいは、モデル関数のカーネルが同時多項式カーネルである場合、推定部１１０は、訓練データに常に１である特徴を１次元分加えることによって次元を拡大してもよい。   In addition, for the data of the combination of features of the (m−1) th order and lower, the estimation unit 110 expands the order of the data, and estimates the parameters λ and P of the model function using the expanded data. Also good. For example, when the kernel of the model function is an ANOVA kernel, the estimation unit 110 may expand the dimension by adding m-dimensional features that are always 1 to the training data. Alternatively, when the kernel of the model function is a simultaneous polynomial kernel, the estimation unit 110 may expand the dimension by adding a one-dimensional feature that is always 1 to the training data.

ステップＳ１０２において、予測部１２０は、推定されたパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する。具体的には、ステップＳ１０１において推定されたパラメータλ及びＰによる式（３）のモデル関数に未知のデータｘを入力することによって、目的変数を予測してもよい。あるいは、ステップＳ１０１において推定されたパラメータＵによる同次多項式カーネルによる式（３）のモデル関数に未知のデータｘを入力することによって、目的変数を予測してもよい。   In step S102, the prediction unit 120 predicts an objective variable corresponding to unknown data using a model function based on the estimated parameters. Specifically, the objective variable may be predicted by inputting unknown data x to the model function of Expression (3) based on the parameters λ and P estimated in step S101. Alternatively, the objective variable may be predicted by inputting unknown data x to the model function of Expression (3) based on the homogeneous polynomial kernel based on the parameter U estimated in step S101.

また、（ｍ−１）次以下の特徴の組み合わせのデータに対して、推定部１１０は、データの次元を拡大し、拡大されたデータを利用して目的変数を予測してもよい。例えば、モデル関数のカーネルがANOVAカーネルと同次多項式カーネルの何れである場合も、推定部１１０は、データに常に１である特徴を１次元分加えることによって次数を拡大してもよい。   Further, the estimation unit 110 may enlarge the dimension of the data and predict the objective variable by using the enlarged data with respect to the (m−1) -order or lower feature combination data. For example, regardless of whether the kernel of the model function is an ANOVA kernel or a homogeneous polynomial kernel, the estimation unit 110 may expand the order by adding one-dimensional features that are always 1 to the data.

次に、図７を参照して、本発明の一実施例による目的変数予測装置のハードウェア構成を説明する。図７は、本発明の一実施例による目的変数予測装置のハードウェア構成を示すブロック図である。   Next, with reference to FIG. 7, the hardware configuration of the objective variable prediction apparatus according to an embodiment of the present invention will be described. FIG. 7 is a block diagram showing a hardware configuration of an objective variable predicting apparatus according to an embodiment of the present invention.

図７に示されるように、目的変数予測装置１００は、典型的には、サーバにより実現されてもよく、例えば、バスを介し相互接続されるドライブ装置１０１、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、インタフェース装置１０５及び通信装置１０６から構成される。目的変数予測装置１００における上述した各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フラッシュメモリなどの記録媒体１０７によって提供されてもよい。プログラムを記憶した記録媒体１０７がドライブ装置１０１にセットされると、プログラムが記録媒体１０７からドライブ装置１０１を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムやデータを読み出して格納する。プロセッサ１０４は、メモリ装置１０３に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、目的変数予測装置１００の各種機能及び処理を実行する。インタフェース装置１０５は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置１０６は、インターネットなどのネットワークと通信するための各種通信処理を実行する。しかしながら、上述したハードウェア構成は単なる一例であり、目的変数予測装置１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。   As shown in FIG. 7, the objective variable prediction device 100 may typically be realized by a server, for example, a drive device 101, an auxiliary storage device 102, a memory device 103, which are interconnected via a bus. A processor 104, an interface device 105, and a communication device 106 are included. Various computer programs including the above-described various functions and processes in the objective variable predicting apparatus 100 are recorded on a recording medium 107 such as a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or a flash memory. May be provided. When the recording medium 107 storing the program is set in the drive device 101, the program is installed from the recording medium 107 to the auxiliary storage device 102 via the drive device 101. However, it is not always necessary to install the program using the recording medium 107, and the program may be downloaded from any external device via a network or the like. The auxiliary storage device 102 stores the installed program and also stores necessary files and data. The memory device 103 reads the program and data from the auxiliary storage device 102 and stores them when there is an instruction to start the program. The processor 104 executes various functions and processes of the objective variable predicting apparatus 100 according to various data such as a program stored in the memory device 103 and parameters necessary for executing the program. The interface device 105 is used as a communication interface for connecting to a network or an external device. The communication device 106 executes various communication processes for communicating with a network such as the Internet. However, the hardware configuration described above is merely an example, and the objective variable prediction apparatus 100 is not limited to the hardware configuration described above, and may be realized by any other appropriate hardware configuration.

なお、上述した目的変数予測装置１００の各部及びステップＳ１０１〜Ｓ１０２は、コンピュータのメモリ装置１０３に記憶されたプログラムをプロセッサ１０４が実行することによって実現されてもよい。   In addition, each part of the objective variable prediction apparatus 100 mentioned above and step S101-S102 may be implement | achieved when the processor 104 runs the program memorize | stored in the memory device 103 of the computer.

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to the specific embodiment mentioned above, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.

１００ 目的変数予測装置
１１０ 推定部
１２０ 予測部 100 Objective Variable Predictor 110 Estimator 120 Predictor

Claims (8)

特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、
を有する目的変数予測装置。 An objective variable prediction apparatus that predicts an objective variable corresponding to data represented by a feature vector,
A first parameter represented by a vector in a model function and a second parameter represented by a matrix, using training data represented by a feature vector for which the objective variable is known; An estimation unit for estimating
A prediction unit that predicts an objective variable corresponding to unknown data using a model function based on the estimated first parameter and second parameter;
An objective variable prediction apparatus having 前記モデル関数はANOVAカーネルを含み、
前記第１のパラメータはLassoアルゴリズムに従って学習され、前記第２のパラメータは座標降下法に従って学習され、
前記モデル関数を最適化するための目的関数は、前記第１のパラメータと前記第２のパラメータとに対して凸であり、
前記推定部は、前記目的関数が収束するまで、前記訓練データを用いて前記第１のパラメータと前記第２のパラメータとを繰り返し学習する、請求項１記載の目的変数予測装置。 The model function includes an ANOVA kernel,
The first parameter is learned according to a Lasso algorithm, the second parameter is learned according to a coordinate descent method;
An objective function for optimizing the model function is convex with respect to the first parameter and the second parameter;
The objective variable prediction apparatus according to claim 1, wherein the estimation unit repeatedly learns the first parameter and the second parameter using the training data until the objective function converges. 前記モデル関数は、同次多項式カーネルを含み、
前記第１のパラメータと前記第２のパラメータとの推定が、ｍ個の行列により表現される第３のパラメータに分解可能な対称テンソルの推定に変換され、
前記モデル関数を最適化するための目的関数は、前記第３のパラメータに対して凸であり、
前記推定部は、前記目的関数に座標降下法を適用することによって、前記訓練データを用いて前記第３のパラメータを学習し、
前記予測部は、前記第３のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する、請求項１記載の目的変数予測装置。 The model function includes a homogeneous polynomial kernel;
An estimate of the first parameter and the second parameter is transformed into an estimate of a symmetric tensor that can be decomposed into a third parameter represented by m matrices;
The objective function for optimizing the model function is convex with respect to the third parameter;
The estimation unit learns the third parameter using the training data by applying a coordinate descent method to the objective function,
The objective prediction apparatus according to claim 1, wherein the prediction unit predicts an objective variable corresponding to unknown data using a model function based on the third parameter. 特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置であって、
前記目的変数が判明している特徴ベクトルにより表現される（ｍ−１）次以下の特徴の組み合わせに対する訓練データについて、前記訓練データの次数を拡大することによって取得された拡大された訓練データを利用して、ｍ次特徴ベクトルの組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定する推定部と、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する予測部と、
を有する目的変数予測装置。 An objective variable prediction apparatus that predicts an objective variable corresponding to data represented by a feature vector,
For the training data for the combination of the (m−1) th order and lower features expressed by the feature vector for which the objective variable is known, the expanded training data acquired by expanding the order of the training data is used. An estimation unit for estimating a first parameter expressed by a vector and a second parameter expressed by a matrix in a model function for a combination of m-th order feature vectors;
A prediction unit that predicts an objective variable corresponding to unknown data using a model function based on the estimated first parameter and second parameter;
An objective variable prediction apparatus having 前記モデル関数はANOVAカーネルを含み、
前記拡大された訓練データは、ｍ個の１の特徴によって前記訓練データの次元を拡大することによって取得され、
前記第１のパラメータはLassoアルゴリズムに従って学習され、前記第２のパラメータは座標降下法に従って学習され、
前記モデル関数を最適化するための目的関数は、前記第１のパラメータと前記第２のパラメータとに対して凸であり、
前記推定部は、前記目的関数が収束するまで、前記訓練データを用いて前記第１のパラメータと前記第２のパラメータとを繰り返し学習する、請求項４記載の目的変数予測装置。 The model function includes an ANOVA kernel,
The expanded training data is obtained by expanding the dimension of the training data by m one feature;
The first parameter is learned according to a Lasso algorithm, the second parameter is learned according to a coordinate descent method;
An objective function for optimizing the model function is convex with respect to the first parameter and the second parameter;
The objective variable prediction apparatus according to claim 4, wherein the estimation unit repeatedly learns the first parameter and the second parameter using the training data until the objective function converges. 前記モデル関数は、同次多項式カーネルを含み、
前記拡大された訓練データは、１つの１の特徴によって前記訓練データの次元を拡大することによって取得され、
前記第１のパラメータと前記第２のパラメータとの推定が、ｍ個の行列により表現される第３のパラメータに分解可能な対称テンソルの推定に変換され、
前記モデル関数を最適化するための目的関数は、前記第３のパラメータに対して凸であり、
前記推定部は、前記目的関数に座標降下法を適用することによって、前記訓練データを用いて前記第３のパラメータを学習し、
前記予測部は、前記第３のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測する、請求項４記載の目的変数予測装置。 The model function includes a homogeneous polynomial kernel;
The expanded training data is obtained by expanding the dimension of the training data by one single feature;
An estimate of the first parameter and the second parameter is transformed into an estimate of a symmetric tensor that can be decomposed into a third parameter represented by m matrices;
The objective function for optimizing the model function is convex with respect to the third parameter;
The estimation unit learns the third parameter using the training data by applying a coordinate descent method to the objective function,
The objective prediction apparatus according to claim 4, wherein the prediction unit predicts an objective variable corresponding to unknown data using a model function based on the third parameter. 特徴ベクトルにより表現されるデータに対応する目的変数を予測する目的変数予測装置により実行される方法であって、
前記目的変数が判明している特徴ベクトルにより表現される訓練データを利用して、ｍ次特徴の組み合わせに対するモデル関数におけるベクトルにより表現される第１のパラメータと行列により表現される第２のパラメータとを推定するステップと、
前記推定された第１のパラメータと第２のパラメータによるモデル関数を利用して、未知のデータに対応する目的変数を予測するステップと、
を有する方法。 A method executed by an objective variable prediction device that predicts an objective variable corresponding to data represented by a feature vector,
A first parameter represented by a vector in a model function and a second parameter represented by a matrix, using training data represented by a feature vector for which the objective variable is known; Estimating
Predicting an objective variable corresponding to unknown data using a model function based on the estimated first parameter and second parameter;
Having a method. 請求項１乃至６何れか一項記載の目的変数予測装置の各部としてコンピュータを機能させるためのプログラム。   The program for functioning a computer as each part of the objective variable prediction apparatus as described in any one of Claims 1 thru | or 6.
JP2016100885A 2016-05-19 2016-05-19 Objective variable prediction device, method and program Active JP6660248B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016100885A JP6660248B2 (en) 2016-05-19 2016-05-19 Objective variable prediction device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016100885A JP6660248B2 (en) 2016-05-19 2016-05-19 Objective variable prediction device, method and program

Publications (2)

Publication Number Publication Date
JP2017207987A true JP2017207987A (en) 2017-11-24
JP6660248B2 JP6660248B2 (en) 2020-03-11

Family

ID=60414975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016100885A Active JP6660248B2 (en) 2016-05-19 2016-05-19 Objective variable prediction device, method and program

Country Status (1)

Country Link
JP (1) JP6660248B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021014726A (en) * 2019-07-12 2021-02-12 株式会社奥村組 Excavation prediction model creation method in shield excavation method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021014726A (en) * 2019-07-12 2021-02-12 株式会社奥村組 Excavation prediction model creation method in shield excavation method
JP7219180B2 (en) 2019-07-12 2023-02-07 株式会社奥村組 Creation method of excavation prediction model in shield excavation method

Also Published As

Publication number Publication date
JP6660248B2 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
Li et al. An accumulative error based adaptive design of experiments for offline metamodeling
Wang et al. A new approach for reliability analysis with time-variant performance characteristics
US11651260B2 (en) Hardware-based machine learning acceleration
Ferrari et al. Application of stochastic algorithms for parameter estimation in the liquid–liquid phase equilibrium modeling
JP2020027370A (en) Optimization device, simulation system and optimization method
Van Antwerp et al. Model predictive control of large scale processes
Fan et al. Sparsity-promoting polynomial response surface: A new surrogate model for response prediction
JP2017049907A (en) Neural network, learning method therefor and computer program
JP7267966B2 (en) Information processing device and information processing method
Gastaldi et al. Jacobian projection reduced-order models for dynamic systems with contact nonlinearities
JP2019185163A (en) Data prediction device, method, and program
JP7497516B2 (en) A projection method for imposing equality constraints on algebraic models.
Liu et al. Adaptive surrogate model coupled with stochastic configuration network strategies for time-dependent reliability assessment
JP6660248B2 (en) Objective variable prediction device, method and program
Jurecka et al. Update scheme for sequential spatial correlation approximations in robust design optimisation
JP7276482B2 (en) Knowledge tracing device, method and program
JP7455773B2 (en) Solving device and program
KR20200010644A (en) Computer-enabled cloud-based ai computing service method
KR101727022B1 (en) Method and apparatus for providing optimal secondary variable calculation path in fluid dynaamics
WO2020075255A1 (en) Learning device, learning method, and non-transitory computer readable medium having program stored thereupon
JP2020030702A (en) Learning device, learning method, and learning program
Depraetere et al. Identification of linear systems with binary output measurements using short independent experiments
JP2019061623A (en) Parameter estimation device, method, and program
JP2004295638A (en) Parameter estimating method, data predicting method, parameter estimating device, data predicting device, computer program, and recording medium
WO2024157481A1 (en) Meta-learning method, meta-learning device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200207

R150 Certificate of patent or registration of utility model

Ref document number: 6660248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150