JP6464057B2 - 予測装置、方法、及びプログラム - Google Patents
予測装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6464057B2 JP6464057B2 JP2015166038A JP2015166038A JP6464057B2 JP 6464057 B2 JP6464057 B2 JP 6464057B2 JP 2015166038 A JP2015166038 A JP 2015166038A JP 2015166038 A JP2015166038 A JP 2015166038A JP 6464057 B2 JP6464057 B2 JP 6464057B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- vector
- eigenvalue
- function
- secondary weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本実施の形態では、特徴ベクトルで表現可能なデータに対応する目的変数(例えば、種別を表すカテゴリ)を予測する際に、目的変数が判明している訓練データを用いて、1次特徴と2次特徴とが扱えるモデル関数のモデルパラメータを推定し、当該モデル関数を用いて新たなデータに対応する目的変数を自動で予測する予測装置に本発明を適用した場合を例に説明する。
次に、本実施の形態における原理について説明する。本実施の形態においては、目的変数である上記式(2)を最小化する2次重み行列V^V^Tを直接求めるのではなく、上記式(2)中の第3項の代わりに、凸関数である核ノルムを用いた2次重み行列の正則化を導入した目的関数の最小化により、2次重み行列を求める。
本実施の形態では、モデルパラメータである、1次重みベクトルw^及び2次重み行列Z^を、以下の式(4)に示す目的関数を最小化することで得る。
次に、本発明の実施の形態に係る予測装置の構成について説明する。図4は、本発明の実施の形態に係る予測装置100を示すブロック図である。この予測装置100は、CPUと、RAMと、後述する各処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図4に示すように、本実施の形態に係る予測装置100は、入力部10と、演算部20と、出力部30と、を含んで構成されている。
次に、本発明の実施の形態に係る予測装置100の作用について説明する。まず、訓練データと処理情報との入力を受け付けると、予測装置100は、図5に示す学習処理ルーチンを実行する。また、学習処理ルーチンが終了すると、予測装置100は、入力部10から予測対象となる特徴ベクトルx^を受け付け、図7に示す予測処理ルーチンを実行する。
ステップS100において、入力部10は、訓練データの入力を受け付け、訓練データ記憶部22に格納する。
ステップS200において、パラメータ推定部24は、訓練データ記憶部22に格納された訓練データを取得する。また、パラメータ推定部24は、入力された処理情報を取得する。
ステップS300において、予測部28は、モデルパラメータ記憶部26に記憶されているモデルパラメータを読み込む。
20 演算部
21 学習部
22 訓練データ記憶部
24 パラメータ推定部
26 モデルパラメータ記憶部
28 予測部
30 出力部
100 予測装置
Claims (5)
- 特徴ベクトルから目的変数を予測するためのモデル関数であり、かつ前記特徴ベクトルの1次特徴に対する1次重みベクトルw^と前記特徴ベクトルの2次特徴に関する対角成分を含む全ての要素からなる2次重み行列Z^とを含む前記モデル関数と、
前記モデル関数による予測値の誤差を表す損失関数、及び前記2次重み行列Z^の核ノルムを含む目的関数を最適化することにより予め推定された、前記モデル関数のモデルパラメータとに基づいて、
入力された特徴ベクトルに対する目的変数を予測する予測部
を含み、
前記モデルパラメータは、
訓練用特徴ベクトルと前記訓練用特徴ベクトルに対する目的変数との複数のペアである訓練データに基づいて、前記訓練データを用いた前記損失関数と前記1次重みベクトルw^のノルムとを含む第1の目的関数が最適化されるように前記1次重みベクトルw^が更新され、
前記訓練データに基づいて、
前記2次重み行列の固有ベクトルp^が各列ベクトルである行列P^と前記2次重み行列の固有値のベクトルλ^とから求められる2次重み行列Z λ ^を用いた前記損失関数の勾配から固有ベクトルp^が計算され、前記計算された固有ベクトルp^と前記2次重み行列Z λ ^とから求められる2次重み行列を用いた前記損失関数と固有値λとから固有値λが計算され、
前記固有ベクトルp^から前記固有ベクトルp^が各列ベクトルである行列P^が生成され、前記固有値λから前記固有値λを要素とする固有値のベクトルλ^が生成され、
前記固有値のベクトルλ^のノルムと前記2次重み行列Z λ ^を用いた前記損失関数との和から前記固有値のベクトルλ^が調整され、又は
前記行列P^と所定の行列A^から生成されるP^A^P^ T を2次重み行列として用いた前記損失関数が最適化されることにより前記行列A^が生成され、前記行列A^を固有値分解することにより行列Q^及び行列Σ^が生成され、前記行列Q^から前記行列P^が調整され、前記行列Σ^から前記固有値のベクトルλ^が調整されることによって、
前記損失関数と前記核ノルムとを含む第2の目的関数が最適化されることにより、前記行列P^と前記固有値のベクトルλ^とから生成される前記2次重み行列Z^が更新されることが繰り返されることによって推定された前記モデルパラメータである、
予測装置。 - 訓練用特徴ベクトルと前記訓練用特徴ベクトルに対する目的変数との複数のペアである訓練データに基づいて、前記目的関数を最適化することにより前記モデルパラメータを推定する学習部を更に含む
請求項1に記載の予測装置。 - 予測部を含む予測装置における予測方法であって、
前記予測部が、特徴ベクトルから目的変数を予測するためのモデル関数であり、かつ前記特徴ベクトルの1次特徴に対する1次重みベクトルw^と前記特徴ベクトルの2次特徴に関する対角成分を含む全ての要素からなる2次重み行列Z^とを含む前記モデル関数と、
前記モデル関数による予測値の誤差を表す損失関数、及び前記2次重み行列Z^の核ノルムを含む目的関数を最適化することにより予め推定された、前記モデル関数のモデルパラメータとに基づいて、
入力された特徴ベクトルに対する目的変数を予測するステップ
を含み、
前記モデルパラメータは、
訓練用特徴ベクトルと前記訓練用特徴ベクトルに対する目的変数との複数のペアである訓練データに基づいて、前記訓練データを用いた前記損失関数と前記1次重みベクトルw^のノルムとを含む第1の目的関数が最適化されるように前記1次重みベクトルw^が更新され、
前記訓練データに基づいて、
前記2次重み行列の固有ベクトルp^が各列ベクトルである行列P^と前記2次重み行列の固有値のベクトルλ^とから求められる2次重み行列Z λ ^を用いた前記損失関数の勾配から固有ベクトルp^が計算され、前記計算された固有ベクトルp^と前記2次重み行列Z λ ^とから求められる2次重み行列を用いた前記損失関数と固有値λとから固有値λが計算され、
前記固有ベクトルp^から前記固有ベクトルp^が各列ベクトルである行列P^が生成され、前記固有値λから前記固有値λを要素とする固有値のベクトルλ^が生成され、
前記固有値のベクトルλ^のノルムと前記2次重み行列Z λ ^を用いた前記損失関数との和から前記固有値のベクトルλ^が調整され、又は
前記行列P^と所定の行列A^から生成されるP^A^P^ T を2次重み行列として用いた前記損失関数が最適化されることにより前記行列A^が生成され、前記行列A^を固有値分解することにより行列Q^及び行列Σ^が生成され、前記行列Q^から前記行列P^が調整され、前記行列Σ^から前記固有値のベクトルλ^が調整されることによって、
前記損失関数と前記核ノルムとを含む第2の目的関数が最適化されることにより、前記行列P^と前記固有値のベクトルλ^とから生成される前記2次重み行列Z^が更新されることが繰り返されることによって推定された前記モデルパラメータである、
予測方法。 - 学習部が、訓練用特徴ベクトルと前記訓練用特徴ベクトルに対する目的変数との複数のペアである訓練データに基づいて、前記目的関数を最適化することにより前記モデルパラメータを推定するステップを更に含む請求項3に記載の予測方法。
- コンピュータを、請求項1又は請求項2に記載の予測装置を構成する各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015166038A JP6464057B2 (ja) | 2015-08-25 | 2015-08-25 | 予測装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015166038A JP6464057B2 (ja) | 2015-08-25 | 2015-08-25 | 予測装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017045191A JP2017045191A (ja) | 2017-03-02 |
JP6464057B2 true JP6464057B2 (ja) | 2019-02-06 |
Family
ID=58211397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015166038A Active JP6464057B2 (ja) | 2015-08-25 | 2015-08-25 | 予測装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6464057B2 (ja) |
-
2015
- 2015-08-25 JP JP2015166038A patent/JP6464057B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017045191A (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3504666B1 (en) | Asychronous training of machine learning model | |
Markovsky et al. | Overview of total least-squares methods | |
Yuan et al. | A novel adaptive importance sampling algorithm based on Markov chain and low-discrepancy sequence | |
Alexandru et al. | Fast estimator of Jacobians in the Monte Carlo integration on Lefschetz thimbles | |
Csáji et al. | Non-asymptotic confidence regions for the least-squares estimate | |
Billups et al. | Derivative-free optimization of expensive functions with computational error using weighted regression | |
JP7267966B2 (ja) | 情報処理装置及び情報処理方法 | |
Kumar et al. | Calibrating transient models with multiple responses using Bayesian inverse techniques | |
JP2019215750A (ja) | 解析装置、解析方法、およびプログラム | |
Bilionis et al. | Multidimensional adaptive relevance vector machines for uncertainty quantification | |
JP2019185163A (ja) | データ予測装置、方法、及びプログラム | |
JP7497516B2 (ja) | 等式制約を代数モデルに課すための射影方法 | |
JP7396024B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6464057B2 (ja) | 予測装置、方法、及びプログラム | |
CN109728958B (zh) | 一种网络节点信任预测方法、装置、设备及介质 | |
Necoara et al. | DuQuad: A toolbox for solving convex quadratic programs using dual (augmented) first order algorithms | |
JP2021125136A (ja) | 最適化装置及び最適化方法 | |
Chu et al. | Application of Latin hypercube sampling based kriging surrogate models in reliability assessment | |
Yaghoubi et al. | Reduced order surrogate modeling technique for linear dynamic systems | |
Ling et al. | Efficient robust design optimization using Gaussian process and intelligent sampling | |
Guo et al. | Surrogate modeling with high-dimensional input and output | |
Graff et al. | Reduced-order modeling using dynamic mode decomposition and least angle regression | |
Sagnol et al. | Using sparse kernels to design computer experiments with tunable precision | |
Lu et al. | Model reduction via dynamic mode decomposition | |
Siem et al. | Kriging models that are robust with respect to simulation errors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6464057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |