JP6555015B2 - 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 - Google Patents
機械学習管理プログラム、機械学習管理装置および機械学習管理方法 Download PDFInfo
- Publication number
- JP6555015B2 JP6555015B2 JP2015170881A JP2015170881A JP6555015B2 JP 6555015 B2 JP6555015 B2 JP 6555015B2 JP 2015170881 A JP2015170881 A JP 2015170881A JP 2015170881 A JP2015170881 A JP 2015170881A JP 6555015 B2 JP6555015 B2 JP 6555015B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning
- time
- algorithm
- prediction performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010801 machine learning Methods 0.000 title claims description 489
- 238000007726 management method Methods 0.000 title claims description 54
- 238000004422 calculation algorithm Methods 0.000 claims description 304
- 238000012549 training Methods 0.000 claims description 90
- 238000012545 processing Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 description 197
- 238000000034 method Methods 0.000 description 125
- 239000013598 vector Substances 0.000 description 123
- 230000006872 improvement Effects 0.000 description 108
- 230000008569 process Effects 0.000 description 43
- 238000012360 testing method Methods 0.000 description 27
- 230000000750 progressive effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 17
- 238000010200 validation analysis Methods 0.000 description 14
- 230000010365 information processing Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000000611 regression analysis Methods 0.000 description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000002790 cross-validation Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000007477 logistic regression Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101150082208 DIABLO gene Proteins 0.000 description 2
- 102100033189 Diablo IAP-binding mitochondrial protein Human genes 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010000210 abortion Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
[第1の実施の形態]
第1の実施の形態を説明する。
第1の実施の形態の機械学習管理装置10は、既知の事例から機械学習によって、未知の事例の結果を予測するモデルを生成する。機械学習管理装置10が行う機械学習は、病気の発症リスクの予測、将来の商品・サービスの需要量の予測、工場における新製品の歩留まりの予測など、様々な用途に用いることができる。機械学習管理装置10は、ユーザが操作するクライアントコンピュータでもよいし、クライアントコンピュータからネットワーク経由でアクセスされるサーバコンピュータでもよい。
次に、第2の実施の形態を説明する。
図2は、機械学習装置のハードウェア例を示すブロック図である。
第2の実施の形態の機械学習では、既知の事例を示す複数の単位データを含むデータを予め収集しておく。機械学習装置100または他の情報処理装置が、センサデバイスなどの各種デバイスからネットワーク114経由でデータを収集してもよい。収集されるデータは、「ビッグデータ」と呼ばれるサイズの大きなデータであってもよい。各単位データは、通常は、2以上の説明変数の値と1つの目的変数の値とを含む。例えば、商品の需要予測を行う機械学習では、気温や湿度など商品需要に影響を与える要因を説明変数とし、商品需要量を目的変数とした実績データを収集する。
図3は、サンプリングサイズと予測性能の関係例を示すグラフである。
曲線22〜24は、著名なデータ集合(CoverType)を用いて測定された学習時間と予測性能の間の関係を示している。予測性能の指標として、ここでは正答率を用いている。曲線22は、機械学習アルゴリズムとしてロジスティック回帰を用いた場合の学習時間と予測性能の間の関係を示す。曲線23は、機械学習アルゴリズムとしてサポートベクタマシンを用いた場合の学習時間と予測性能の間の関係を示す。曲線24は、機械学習アルゴリズムとしてランダムフォレストを用いた場合の学習時間と予測性能の間の関係を示す。なお、図4の横軸は、学習時間について対数目盛になっている。
ここでは説明を簡単にするため、機械学習アルゴリズムA,B,Cの3つの機械学習アルゴリズムが存在する場合を考える。機械学習アルゴリズムAのみを使用してプログレッシブサンプリング法を行う場合、機械学習装置100は、学習ステップ31,32,33(A1,A2,A3)を順に実行する。機械学習アルゴリズムBのみを使用してプログレッシブサンプリング法を行う場合、機械学習装置100は、学習ステップ34,35,36(B1,B2,B3)を順に実行する。機械学習アルゴリズムCのみを使用してプログレッシブサンプリング法を行う場合、機械学習装置100は、学習ステップ37,38,39(C1,C2,C3)を順に実行する。なお、ここでは、学習ステップ33,36,39でそれぞれ停止条件が満たされるものと仮定する。
機械学習アルゴリズムA,B,Cとプログレッシブサンプリング法を組み合わせる方法としては、次のような第2の方法も考えられる。第2の方法は、機械学習アルゴリズムA,B,Cの学習ステップを1つずつ実行し、以降は、最初の学習ステップで算出された予測性能が最大の機械学習アルゴリズムのみを実行する方法である。
機械学習アルゴリズムA,B,Cとプログレッシブサンプリング法を組み合わせる方法としては、次のような第3の方法も考えられる。第3の方法は、各機械学習アルゴリズムについて、サンプリングサイズが1段階大きい学習ステップを実行した場合の予測性能の改善速度を推定し、改善速度が最大の機械学習アルゴリズムを選択して学習ステップを1つだけ進める方法である。学習ステップを1つ進める毎に、改善速度の推定値が見直される。このため、第3の方法では、最初のうちは複数の機械学習アルゴリズムの学習ステップが混在して実行され、徐々に機械学習アルゴリズムが限定されていく。
図8は、第2の実施の形態の機械学習装置の機能例を示すブロック図である。
機械学習装置100は、データ記憶部121、管理テーブル記憶部122、学習結果記憶部123、制限時間入力部131、ステップ実行部132、時間推定部133、性能改善量推定部134および学習制御部135を有する。データ記憶部121、管理テーブル記憶部122および学習結果記憶部123は、例えば、RAM102またはHDD103に確保した記憶領域を用いて実現できる。制限時間入力部131、ステップ実行部132、時間推定部133、性能改善量推定部134および学習制御部135は、例えば、CPU101が実行するプログラムモジュールを用いて実現できる。
学習結果記憶部123は、機械学習の結果を記憶する。機械学習の結果には、目的変数と1または2以上の説明変数との間の関係を示すモデルが含まれる。例えば、各説明変数の重みを示す係数が、機械学習によって決定される。また、機械学習の結果には、学習されたモデルの予測性能が含まれる。また、機械学習の結果には、モデルの学習に用いた機械学習アルゴリズムとサンプリングサイズの情報が含まれる。
管理テーブル122aは、学習制御部135によって生成されて管理テーブル記憶部122に記憶される。管理テーブル122aは、アルゴリズムID、ステップ番号、改善速度、予測性能および実行時間の項目を含む。
(S10)学習制御部135は、データ記憶部121を参照して、プログレッシブサンプリング法における学習ステップのサンプリングサイズs1,s2,s3,…を決定する。例えば、学習制御部135は、データ記憶部121に記憶されたデータ集合Dのサイズに基づいて、s1=|D|/210,sj=s1×2j-1と決定する。
(S13)学習制御部135は、機械学習アルゴリズムaiの改善速度riが、閾値R未満であるか判断する。閾値Rは、予め学習制御部135に設定されていてもよい。例えば、閾値R=0.001/3600[秒-1]とする。改善速度riが閾値R未満である場合はステップS28に処理が進み、それ以外の場合はステップS14に処理が進む。
(S15)学習制御部135は、ステップ番号jに対応するサンプリングサイズsjを算出し、ステップ実行部132に対して機械学習アルゴリズムaiとサンプリングサイズsjを指定する。ステップ実行部132は、機械学習アルゴリズムaiについてj番目の学習ステップを実行する。ステップ実行部132の処理の詳細は後述する。
(S17)学習制御部135は、ステップS16で取得した予測性能pi,jと、達成予測性能P(現在までに達成された最大の予測性能)とを比較し、前者が後者より大きいか判断する。予測性能pi,jが達成予測性能Pよりも大きい場合はステップS18に処理が進み、それ以外の場合はステップS19に処理が進む。
(S20)学習制御部135は、機械学習アルゴリズムaiの次の学習ステップのサンプリングサイズsj+1を算出する。学習制御部135は、サンプリングサイズsj+1とデータ記憶部121に記憶されたデータ集合Dのサイズとを比較し、前者が後者より大きいか判断する。サンプリングサイズsj+1がデータ集合Dのサイズよりも大きい場合はステップS21に処理が進み、それ以外の場合はステップS22に処理が進む。
(S27)学習制御部135は、機械学習を開始してからの経過時間が、制限時間入力部131から指定された制限時間を超えたか判断する。経過時間が制限時間を超えた場合はステップS28に処理が進み、それ以外の場合はステップS12に処理が進む。
ここでは、バリデーション方法として、データ集合Dのサイズに応じて、ランダムサブサンプリングバリデーションまたはクロスバリデーションを実行する場合を考える。ただし、ステップ実行部132は、他のバリデーション方法を用いてもよい。
(S35)ステップ実行部132は、学習したモデルmとデータ集合Dから抽出したテストデータDsとを用いて、モデルmの予測性能pを算出する。予測性能pを表す指標として、正答率、適合率、RMSEなど任意の指標を用いることができる。予測性能pを表す指標が、予めステップ実行部132に設定されてもよい。
(S40)時間推定部133は、学習制御部135から指定された機械学習アルゴリズムaiとステップ番号j+1とを特定する。
(S43)時間推定部133は、サンプリングサイズs1,s2と実行時間Ti,1,Ti,2を用いて、サンプリングサイズsから実行時間tを推定する推定式t=α×s+βの係数α,βを決定する。係数α,βは、Ti,1およびs1をtおよびsにそれぞれ代入した式と、Ti,2およびs2をtおよびsにそれぞれ代入した式からなる連立方程式を解くことで決定できる。ただし、機械学習アルゴリズムaiの学習ステップが3つ以上実行済みである場合、時間推定部133は、それら学習ステップの実行時間から回帰分析によって係数α,βを決定してもよい。実行時間をサンプリングサイズの一次式と仮定することは、前述の非特許文献2("The Learning-Curve Sampling Method Applied to Model-Based Clustering")にも記載がある。
(S46)時間推定部133は、サンプリングサイズs1,s2と実行時間Ti,1を用いて、2番目の学習ステップの実行時間ti,2=s2/s1×Ti,1と推定する。時間推定部133は、推定した実行時間ti,2を出力する。
(S50)性能改善量推定部134は、学習制御部135から指定された機械学習アルゴリズムaiとステップ番号j+1とを特定する。
(S52)性能改善量推定部134は、サンプリングサイズs1,s2,…と予測性能pi,1,pi,2,…を用いて、サンプリングサイズsから予測性能pを推定する推定式p=β−α×s-rの係数α,β,γを決定する。係数α,β,γは、非線形回帰分析によってサンプリングサイズs1,s2,…と予測性能pi,1,pi,2,…を上記の曲線にフィッティングすることで決定できる。また、性能改善量推定部134は、上記の曲線の95%予測区間を算出する。なお、上記の曲線については、次の文献にも記載がある:Prasanth Kolachina, Nicola Cancedda, Marc Dymetman and Sriram Venkatapathy, "Prediction of Learning Curves in Machine Translation", Proc. of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 22-30, 2012。
次に、第3の実施の形態を説明する。第2の実施の形態との違いを中心に説明し、第2の実施の形態と同様の事項については説明を省略することがある。
機械学習装置100aは、データ記憶部121、管理テーブル記憶部122、学習結果記憶部123、推定式記憶部124、制限時間入力部131、ステップ実行部132、性能改善量推定部134、学習制御部135および時間推定部136を有する。機械学習装置100aは、第2の実施の形態の時間推定部133に代えて時間推定部136を有している。推定式記憶部124は、例えば、RAMまたはHDDに確保した記憶領域を用いて実現できる。時間推定部136は、例えば、CPUが実行するプログラムモジュールを用いて実現できる。なお、機械学習装置100aは、図2に示した第2の実施の形態の機械学習装置100と同様のハードウェアを用いて実現できる。
推定式テーブル124aは、推定式記憶部124に記憶されている。推定式テーブル124aは、アルゴリズムIDと推定式の項目を有する。
(S60)時間推定部136は、学習制御部135から指定された機械学習アルゴリズムaiとステップ番号j+1とを特定する。
(S62)時間推定部136は、管理テーブル122aから機械学習アルゴリズムaiに対応する全ての実行時間Ti,1,Ti,2,…を検索する。
次に、第4の実施の形態を説明する。第2の実施の形態との違いを中心に説明し、第2の実施の形態と同様の事項については説明を省略することがある。
機械学習装置100bは、データ記憶部121、管理テーブル記憶部122、学習結果記憶部123、制限時間入力部131、時間推定部133、性能改善量推定部134、学習制御部135、ハイパーパラメータ調整部137およびステップ実行部138を有する。機械学習装置100bは、第2の実施の形態のステップ実行部132に代えてステップ実行部138を有している。ハイパーパラメータ調整部137およびステップ実行部138は、例えば、CPUが実行するプログラムモジュールを用いて実現できる。なお、機械学習装置100bは、図2に示した第2の実施の形態の機械学習装置100と同様のハードウェアを用いて実現できる。
(S70)ステップ実行部138は、学習制御部135から指定された機械学習アルゴリズムaiとサンプリングサイズsjとを特定する。また、ステップ実行部138は、データ記憶部121に記憶されているデータ集合Dを特定する。
(S74)ステップ実行部138は、データ集合Dのうち訓練データDtを除いた部分から、サイズsj/2のテストデータDsをランダムに抽出する。
(S76)ステップ実行部138は、学習したモデルmとテストデータDsとを用いて、モデルmの予測性能pを算出する。
(S80)ステップ実行部138は、ステップS71〜S79の繰り返し回数と閾値Hとを比較し、前者が後者未満であるか判断する。繰り返し回数が閾値H未満の場合はステップS71に処理が進み、繰り返し回数が閾値Hに達した場合はステップS81に処理が進む。なお、h=1,2,…,Hである。Hは所定数であり、例えば、H=30とする。
次に、第5の実施の形態を説明する。第2および第4の実施の形態との違いを中心に説明し、第2および第4の実施の形態と同様の事項については説明を省略することがある。
ハイパーパラメータベクトルに含まれる2以上のハイパーパラメータそれぞれが取り得る値の範囲によって、ハイパーパラメータベクトル空間が形成される。図20の例では、ハイパーパラメータベクトルに含まれるハイパーパラメータθ1,θ2によって、2次元のハイパーパラメータベクトル空間40が形成されている。図20の例では、ハイパーパラメータベクトル空間40が、領域41〜44に分割されている。
テーブル50は、サンプリングサイズsjと学習時間レベルqの組に対して、機械学習アルゴリズムa1によって使用されるハイパーパラメータベクトルを示している。
テーブル51は、Φ1 1,1に属するハイパーパラメータベクトル(θ1,θ2)とその実行結果(実行時間tおよび予測性能p)の例を示している。テーブル52は、Φ2 1,1に属するハイパーパラメータベクトル(θ1,θ2)とその実行結果の例を示している。テーブル53は、Φ1 1,2に属するハイパーパラメータベクトル(θ1,θ2)とその実行結果の例を示している。テーブル54は、Φ2 1,2に属するハイパーパラメータベクトル(θ1,θ2)とその実行結果の例を示している。
機械学習装置100cは、データ記憶部121、管理テーブル記憶部122、学習結果記憶部123、制限時間入力部131、時間推定部133c、性能改善量推定部134、学習制御部135c、ハイパーパラメータ調整部137c、ステップ実行部138cおよび探索領域決定部139を有する。探索領域決定部139は、例えば、CPUが実行するプログラムモジュールを用いて実現できる。なお、機械学習装置100cは、図2に示した第2の実施の形態の機械学習装置100と同様のハードウェアを用いて実現できる。
(S110)学習制御部135cは、プログレッシブサンプリング法における学習ステップのサンプリングサイズs1,s2,s3,…を決定する。
(S115)学習制御部135cは、仮想アルゴリズムaq iの改善速度rq iが、閾値R未満であるか判断する。例えば、閾値R=0.001/3600[秒-1]とする。改善速度rq iが閾値R未満である場合はステップS132に処理が進み、それ以外の場合はステップS116に処理が進む。
(S117)探索領域決定部139は、仮想アルゴリズムaq i(機械学習アルゴリズムaiとが学習時間レベルqの組)およびサンプリングサイズsjに対応する探索領域を決定する。すなわち、探索領域決定部139は、前述の方法により、ハイパーパラメータベクトル集合Φq i,jを決定する。
(S120)学習制御部135cは、ステップS119で取得した予測性能pq i,jと、達成予測性能P(現在までに達成された最大の予測性能)とを比較し、前者が後者より大きいか判断する。予測性能pq i,jが達成予測性能Pよりも大きい場合はステップS121に処理が進み、それ以外の場合はステップS122に処理が進む。
(S122)学習制御部135cは、管理テーブル122aに記憶されたステップ番号のうち、仮想アルゴリズムaq iに対応するステップ番号kq iをj+1に更新する。また、学習制御部135cは、合計時間tsum=0に初期化する。
(S127)学習制御部135cは、性能改善量推定部134に対して仮想アルゴリズムaq iとステップ番号j+1を指定する。性能改善量推定部134は、仮想アルゴリズムaq iについて次の学習ステップ(j+1番目の学習ステップ)を実行した場合の性能改善量gq i,j+1を推定する。
(S131)学習制御部135cは、機械学習を開始してからの経過時間が、制限時間入力部131から指定された制限時間を超えたか判断する。経過時間が制限時間を超えた場合はステップS132に処理が進み、それ以外の場合はステップS114に処理が進む。
11 記憶部
12 演算部
13a,13b,13c 機械学習アルゴリズム
14a,14b,14c,14d 訓練データ
15a,15b,15c 増加速度
Claims (10)
- コンピュータに、
複数の機械学習アルゴリズムそれぞれを訓練データを用いて実行し、
前記複数の機械学習アルゴリズムの実行結果に基づいて、前記複数の機械学習アルゴリズムによって生成される複数のモデルそれぞれの予測性能の増加速度を算出し、
前記増加速度に基づいて、前記複数の機械学習アルゴリズムの中から一の機械学習アルゴリズムを選択し、他の訓練データを用いて前記一の機械学習アルゴリズムを実行する、
処理を実行させる機械学習管理プログラム。 - 前記他の訓練データは、前記訓練データよりもサイズが大きい、
請求項1記載の機械学習管理プログラム。 - 前記一の機械学習アルゴリズムの実行結果に基づいて、前記一の機械学習アルゴリズムによって生成されるモデルの予測性能の増加速度を更新し、
前記更新された増加速度に基づいて、前記複数の機械学習アルゴリズムの中から次に実行する機械学習アルゴリズムを選択する、
処理を更に実行させる請求項1記載の機械学習管理プログラム。 - 前記増加速度の算出では、前記複数の機械学習アルゴリズムそれぞれについて、訓練データサイズを増加した場合の予測性能の増加量と実行時間とを算出し、前記予測性能の増加量および前記実行時間に基づいて前記増加速度を算出する、
請求項1記載の機械学習管理プログラム。 - 前記予測性能の増加量は、各機械学習アルゴリズムの実行結果を統計処理して算出される推定値よりも、所定量または統計誤差を示す量だけ大きい値とする、
請求項4記載の機械学習管理プログラム。 - 前記実行時間は、機械学習アルゴリズムに応じて異なる計算式を用いて算出する、
請求項4記載の機械学習管理プログラム。 - 前記複数の機械学習アルゴリズムそれぞれの実行は、当該機械学習アルゴリズムに適用可能な複数のパラメータ値を用いて2以上のモデルを生成し、当該機械学習アルゴリズムの実行結果として前記2以上のモデルの予測性能のうち最大の予測性能を判定することを含む、
請求項1記載の機械学習管理プログラム。 - 前記複数の機械学習アルゴリズムそれぞれの実行は、一のパラメータ値について経過時間が閾値を超えた場合に、当該一のパラメータ値を用いたモデルの生成を停止することを含み、
前記一の機械学習アルゴリズムの選択は、前記増加速度に基づいて、前記他の訓練データを用いて実行するか、または、前記閾値を大きくして前記一のパラメータ値を用いて再実行するか選択することを含む、
請求項7記載の機械学習管理プログラム。 - 機械学習に用いるデータを記憶する記憶部と、
複数の機械学習アルゴリズムそれぞれを前記データに含まれる訓練データを用いて実行し、前記複数の機械学習アルゴリズムの実行結果に基づいて、前記複数の機械学習アルゴリズムによって生成される複数のモデルそれぞれの予測性能の増加速度を算出し、前記増加速度に基づいて、前記複数の機械学習アルゴリズムの中から一の機械学習アルゴリズムを選択し、前記データに含まれる他の訓練データを用いて前記一の機械学習アルゴリズムを実行する演算部と、
を有する機械学習管理装置。 - コンピュータが実行する機械学習管理方法であって、
複数の機械学習アルゴリズムそれぞれを訓練データを用いて実行し、
前記複数の機械学習アルゴリズムの実行結果に基づいて、前記複数の機械学習アルゴリズムによって生成される複数のモデルそれぞれの予測性能の増加速度を算出し、
前記増加速度に基づいて、前記複数の機械学習アルゴリズムの中から一の機械学習アルゴリズムを選択し、他の訓練データを用いて前記一の機械学習アルゴリズムを実行する、
機械学習管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170881A JP6555015B2 (ja) | 2015-08-31 | 2015-08-31 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
US15/224,702 US20170061329A1 (en) | 2015-08-31 | 2016-08-01 | Machine learning management apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170881A JP6555015B2 (ja) | 2015-08-31 | 2015-08-31 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017049677A JP2017049677A (ja) | 2017-03-09 |
JP6555015B2 true JP6555015B2 (ja) | 2019-08-07 |
Family
ID=58095836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015170881A Expired - Fee Related JP6555015B2 (ja) | 2015-08-31 | 2015-08-31 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170061329A1 (ja) |
JP (1) | JP6555015B2 (ja) |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10475123B2 (en) | 2014-03-17 | 2019-11-12 | Chicago Mercantile Exchange Inc. | Coupon blending of swap portfolio |
US10319032B2 (en) | 2014-05-09 | 2019-06-11 | Chicago Mercantile Exchange Inc. | Coupon blending of a swap portfolio |
US10810671B2 (en) * | 2014-06-27 | 2020-10-20 | Chicago Mercantile Exchange Inc. | Interest rate swap compression |
EP3016058A1 (en) | 2014-10-31 | 2016-05-04 | Chicago Mercantile Exchange, Inc. | Generating a blended fx portfolio |
US10855550B2 (en) * | 2016-11-16 | 2020-12-01 | Cisco Technology, Inc. | Network traffic prediction using long short term memory neural networks |
EP3577570A4 (en) * | 2017-01-31 | 2020-12-02 | Mocsy Inc. | INFORMATION EXTRACTION FROM DOCUMENTS |
US11151472B2 (en) | 2017-03-31 | 2021-10-19 | At&T Intellectual Property I, L.P. | Dynamic updating of machine learning models |
JP6849915B2 (ja) * | 2017-03-31 | 2021-03-31 | 富士通株式会社 | 比較プログラム、比較方法および比較装置 |
JP6897266B2 (ja) | 2017-04-17 | 2021-06-30 | 富士通株式会社 | 学習プログラム、学習方法および学習装置 |
EP3617691A4 (en) * | 2017-04-24 | 2020-05-13 | Sony Corporation | INFORMATION PROCESSING DEVICE, PARTICLE FRACTIONATION SYSTEM, PROGRAM AND PARTICLE FRACTIONATION METHOD |
US10609172B1 (en) | 2017-04-27 | 2020-03-31 | Chicago Mercantile Exchange Inc. | Adaptive compression of stored data |
JP6577516B2 (ja) * | 2017-05-01 | 2019-09-18 | 日本電信電話株式会社 | 判定装置、分析システム、判定方法および判定プログラム |
JP6577515B2 (ja) * | 2017-05-01 | 2019-09-18 | 日本電信電話株式会社 | 分析装置、分析方法及び分析プログラム |
JP6911498B2 (ja) * | 2017-05-01 | 2021-07-28 | オムロン株式会社 | 学習装置、学習方法、及び学習プログラム |
JP6659618B2 (ja) * | 2017-05-01 | 2020-03-04 | 日本電信電話株式会社 | 分析装置、分析方法及び分析プログラム |
US11610151B2 (en) * | 2017-06-06 | 2023-03-21 | Nec Corporation | Distribution system, data management apparatus, data management method, and computer-readable recording medium |
JP6886869B2 (ja) * | 2017-06-09 | 2021-06-16 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
JP6889835B2 (ja) * | 2017-07-14 | 2021-06-18 | コニカミノルタ株式会社 | ファクシミリ通信装置およびプログラム |
US20180365575A1 (en) * | 2017-07-31 | 2018-12-20 | Seematics Systems Ltd | System and method for employing inference models based on available processing resources |
US11176487B2 (en) * | 2017-09-28 | 2021-11-16 | Oracle International Corporation | Gradient-based auto-tuning for machine learning and deep learning models |
US11544494B2 (en) | 2017-09-28 | 2023-01-03 | Oracle International Corporation | Algorithm-specific neural network architectures for automatic machine learning model selection |
JP6974712B2 (ja) * | 2017-10-24 | 2021-12-01 | 富士通株式会社 | 探索方法、探索装置および探索プログラム |
JP7067895B2 (ja) * | 2017-10-25 | 2022-05-16 | 株式会社東芝 | 末端圧力制御支援装置、末端圧力制御支援方法及びコンピュータプログラム |
US11004012B2 (en) | 2017-11-29 | 2021-05-11 | International Business Machines Corporation | Assessment of machine learning performance with limited test data |
US11341138B2 (en) * | 2017-12-06 | 2022-05-24 | International Business Machines Corporation | Method and system for query performance prediction |
KR102045639B1 (ko) * | 2017-12-21 | 2019-11-15 | 주식회사 포스코 | 압연장치 최적 부하배분 제공 장치 및 방법이 기록된 컴퓨터 판독가능 기록 매체 |
US10592145B2 (en) * | 2018-02-14 | 2020-03-17 | Commvault Systems, Inc. | Machine learning-based data object storage |
WO2019187341A1 (ja) * | 2018-03-30 | 2019-10-03 | Necソリューションイノベータ株式会社 | 指標算出装置、予測システム、経過予測評価方法およびプログラム |
KR102116264B1 (ko) * | 2018-04-02 | 2020-06-05 | 카페24 주식회사 | 대표이미지 추천 방법 및 장치, 및 시스템 |
US11514354B2 (en) * | 2018-04-20 | 2022-11-29 | Accenture Global Solutions Limited | Artificial intelligence based performance prediction system |
US11531310B2 (en) | 2018-06-15 | 2022-12-20 | Johnson Controls Tyco IP Holdings LLP | Adaptive selection of machine learning/deep learning model with optimal hyper-parameters for anomaly detection of connected chillers |
US11859846B2 (en) | 2018-06-15 | 2024-01-02 | Johnson Controls Tyco IP Holdings LLP | Cost savings from fault prediction and diagnosis |
US20190294984A1 (en) * | 2018-06-16 | 2019-09-26 | Moshe Guttmann | Selecting images for manual annotation |
CN110717597A (zh) * | 2018-06-26 | 2020-01-21 | 第四范式(北京)技术有限公司 | 利用机器学习模型获取时序特征的方法和装置 |
US11526799B2 (en) * | 2018-08-15 | 2022-12-13 | Salesforce, Inc. | Identification and application of hyperparameters for machine learning |
US11270227B2 (en) | 2018-10-01 | 2022-03-08 | Nxp B.V. | Method for managing a machine learning model |
JP7301801B2 (ja) * | 2018-10-09 | 2023-07-03 | 株式会社Preferred Networks | ハイパーパラメータチューニング方法、装置及びプログラム |
JP6892424B2 (ja) * | 2018-10-09 | 2021-06-23 | 株式会社Preferred Networks | ハイパーパラメータチューニング方法、装置及びプログラム |
US11790242B2 (en) * | 2018-10-19 | 2023-10-17 | Oracle International Corporation | Mini-machine learning |
JP7196542B2 (ja) * | 2018-11-05 | 2022-12-27 | 株式会社リコー | 学習装置および学習方法 |
JP7218856B2 (ja) * | 2018-11-05 | 2023-02-07 | 株式会社アイ・アール・ディー | 学習器生成装置、学習器の生産方法、およびプログラム |
US11481665B2 (en) * | 2018-11-09 | 2022-10-25 | Hewlett Packard Enterprise Development Lp | Systems and methods for determining machine learning training approaches based on identified impacts of one or more types of concept drift |
KR102102418B1 (ko) * | 2018-12-10 | 2020-04-20 | 주식회사 티포러스 | 인공지능 솔루션을 테스트하는 장치 및 방법 |
JP7117237B2 (ja) * | 2018-12-27 | 2022-08-12 | 川崎重工業株式会社 | ロボット制御装置、ロボットシステム及びロボット制御方法 |
US11521132B2 (en) * | 2019-02-12 | 2022-12-06 | Nec Corporation | Method and system for adaptive online meta learning from data streams |
JP7310171B2 (ja) * | 2019-02-28 | 2023-07-19 | 富士通株式会社 | 配分方法、抽出方法、配分プログラム、抽出プログラム、配分装置及び抽出装置 |
US11429895B2 (en) * | 2019-04-15 | 2022-08-30 | Oracle International Corporation | Predicting machine learning or deep learning model training time |
US11620568B2 (en) | 2019-04-18 | 2023-04-04 | Oracle International Corporation | Using hyperparameter predictors to improve accuracy of automatic machine learning model selection |
US11868854B2 (en) | 2019-05-30 | 2024-01-09 | Oracle International Corporation | Using metamodeling for fast and accurate hyperparameter optimization of machine learning and deep learning models |
KR20200142374A (ko) | 2019-06-12 | 2020-12-22 | 삼성전자주식회사 | 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치 |
US20200410367A1 (en) * | 2019-06-30 | 2020-12-31 | Td Ameritrade Ip Company, Inc. | Scalable Predictive Analytic System |
US20230401592A1 (en) * | 2019-10-11 | 2023-12-14 | Kinaxis Inc. | Systems and methods for dynamic demand sensing and forecast adjustment |
US11526899B2 (en) | 2019-10-11 | 2022-12-13 | Kinaxis Inc. | Systems and methods for dynamic demand sensing |
US11886514B2 (en) | 2019-10-11 | 2024-01-30 | Kinaxis Inc. | Machine learning segmentation methods and systems |
EP3809341A1 (en) * | 2019-10-18 | 2021-04-21 | Fujitsu Limited | Inference verification of machine learning algorithms |
US11429813B1 (en) * | 2019-11-27 | 2022-08-30 | Amazon Technologies, Inc. | Automated model selection for network-based image recognition service |
JP7409080B2 (ja) * | 2019-12-27 | 2024-01-09 | 富士通株式会社 | 学習データ生成方法、学習データ生成プログラムおよび情報処理装置 |
JP2021177266A (ja) * | 2020-04-17 | 2021-11-11 | 株式会社鈴康 | プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法 |
US11688111B2 (en) * | 2020-07-29 | 2023-06-27 | International Business Machines Corporation | Visualization of a model selection process in an automated model selection system |
US11620582B2 (en) | 2020-07-29 | 2023-04-04 | International Business Machines Corporation | Automated machine learning pipeline generation |
US20220083913A1 (en) * | 2020-09-11 | 2022-03-17 | Actapio, Inc. | Learning apparatus, learning method, and a non-transitory computer-readable storage medium |
US11989657B2 (en) | 2020-10-15 | 2024-05-21 | Oracle International Corporation | Automated machine learning pipeline for timeseries datasets utilizing point-based algorithms |
CN112270376A (zh) * | 2020-11-10 | 2021-01-26 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备、存储介质和开发*** |
US11561978B2 (en) | 2021-06-29 | 2023-01-24 | Commvault Systems, Inc. | Intelligent cache management for mounted snapshots based on a behavior model |
US11526817B1 (en) | 2021-09-24 | 2022-12-13 | Laytrip Inc. | Artificial intelligence learning engine configured to predict resource states |
US11907207B1 (en) | 2021-10-12 | 2024-02-20 | Chicago Mercantile Exchange Inc. | Compression of fluctuating data |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0660050A (ja) * | 1992-08-11 | 1994-03-04 | Hitachi Ltd | ニューラルネットワークの学習支援装置 |
JP5244438B2 (ja) * | 2008-04-03 | 2013-07-24 | オリンパス株式会社 | データ分類装置、データ分類方法、データ分類プログラムおよび電子機器 |
US8533224B2 (en) * | 2011-05-04 | 2013-09-10 | Google Inc. | Assessing accuracy of trained predictive models |
-
2015
- 2015-08-31 JP JP2015170881A patent/JP6555015B2/ja not_active Expired - Fee Related
-
2016
- 2016-08-01 US US15/224,702 patent/US20170061329A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170061329A1 (en) | 2017-03-02 |
JP2017049677A (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6555015B2 (ja) | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 | |
US11334813B2 (en) | Method and apparatus for managing machine learning process | |
US11568300B2 (en) | Apparatus and method for managing machine learning with plurality of learning algorithms and plurality of training dataset sizes | |
JP6974712B2 (ja) | 探索方法、探索装置および探索プログラム | |
US11423263B2 (en) | Comparison method and comparison apparatus | |
JP2017049674A (ja) | 予測性能曲線推定プログラム、予測性能曲線推定装置および予測性能曲線推定方法 | |
JP6839342B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6947981B2 (ja) | 推定方法、推定装置および推定プログラム | |
JP7071624B2 (ja) | 探索プログラム、探索方法および探索装置 | |
WO2018205881A1 (en) | Estimating the number of samples satisfying a query | |
EP3038018A1 (en) | Clustering database queries for runtime prediction | |
JP2017228086A (ja) | 機械学習管理プログラム、機械学習管理方法、および機械学習管理装置 | |
US20090228472A1 (en) | Optimization of Discontinuous Rank Metrics | |
KR102251807B1 (ko) | 하이퍼파라미터 최적화 알고리즘 추천 방법 및 최적화 알고리즘 추천 시스템 | |
US11537893B2 (en) | Method and electronic device for selecting deep neural network hyperparameters | |
JP2014160457A (ja) | 対話的変数選択装置、対話的変数選択方法および対話的変数選択プログラム | |
JP7481902B2 (ja) | 管理計算機、管理プログラム、及び管理方法 | |
CN111160459A (zh) | 超参数的优化装置和方法 | |
JP2014160456A (ja) | 疎変数最適化装置、疎変数最適化方法および疎変数最適化プログラム | |
US20200142951A1 (en) | Polymer design device, polymer design method, and non-transitory recording medium | |
He et al. | Dynamic Embedding Size Search with Minimum Regret for Streaming Recommender System | |
KR102221263B1 (ko) | 뇌기능 지식 베이스 자가 성장 시스템 및 방법 | |
KR102559605B1 (ko) | 함수 최적화 방법 및 장치 | |
Brazdil et al. | Metalearning in ensemble methods | |
JP6193428B1 (ja) | 特徴選択装置、特徴選択方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180514 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6555015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |