JP6713099B2 - 学習済モデル統合方法、装置、プログラム、icチップ、及びシステム - Google Patents
学習済モデル統合方法、装置、プログラム、icチップ、及びシステム Download PDFInfo
- Publication number
- JP6713099B2 JP6713099B2 JP2019534067A JP2019534067A JP6713099B2 JP 6713099 B2 JP6713099 B2 JP 6713099B2 JP 2019534067 A JP2019534067 A JP 2019534067A JP 2019534067 A JP2019534067 A JP 2019534067A JP 6713099 B2 JP6713099 B2 JP 6713099B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- learned
- learning
- nodes
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010354 integration Effects 0.000 title claims description 84
- 238000000034 method Methods 0.000 title claims description 74
- 238000004891 communication Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
<1.1 装置構成>
図1は、本実施形態に係る統合処理装置10のハードウェア構成について示す説明図である。同図から明らかな通り、統合処理装置10は、制御部1、外部装置との間の入出力を制御するI/O部2、無線又は有線の通信を制御する通信部3、及び記憶部4とを含み、それらはシステムバスを介して接続されている。制御部1は、CPUから成り、後述の木構造を有する学習済モデルの統合処理を行うプログラムを含む各種プログラムを実行する。なお、このCPU等の代わりにマイクロプロセッサやマイクロコントローラ、GPU(Graphics Processing Unit)等を用いてもよい。また、記憶部4は、例えば、ROM、RAM、フラッシュメモリ、ハードディスク等を含む各種の記憶装置であって、例えば、木構造を有する学習済モデルに関する各種のデータ、教師データに相当するデータ、学習済モデルの統合処理を行う機能を有するプログラム等を一時的又は非一時的に記憶している。
<1.2.1 学習処理>
図2〜図3を参照しつつ、統合処理装置10により統合される対象となる学習済モデルを生成するための学習処理の一例について説明する。
次に、図4を参照しつつ、上述の学習処理が行われた学習済モデルを用いた予測処理の一例について説明する。図4は、予測処理に関するフローチャートである。同図から明らかな通り、処理が開始すると、まず、新たな入力データが記憶部4から読み出される(S201)。次に、当該入力データに基づいて、属すべき状態空間(ノード)が特定され、それにより、複数の一連のノードがから成る一の経路が特定される(S202)。一の経路が特定されると、当該経路上において誤差Eが最小となるノードが特定され(S203)、当該誤差E最小ノードに対応する各データの値又はベクトルの相加平均に基づいて、予測出力が生成される(S204)。すなわち、経路上の誤差最小ノードに基づいて予測出力が生成される。これにより、予測精度が比較的良いと見込まれるノードに基づいて予測出力を生成することができる。
次に、図5〜図8を参照しつつ、本実施形態に係る統合処理装置10を用いた学習済モデルの統合処理について説明する。
以下では、図9〜図10を参照しつつ、本実施形態に係る統合処理装置10を用いて、2つの学習済モデルの統合処理を行った場合の実験結果を示す。
図9は、2つの学習済モデルの統合処理を行った場合の実験結果(その1)である。図9(a)は、正弦曲線(サインカーブ)について、−πから0の範囲まで1/2周期分学習させた場合の第1の学習済モデルの予測出力である。一方、図9(b)は、正弦曲線(サインカーブ)について、0からπまでの1/2周期分学習させた場合の第2の学習済モデルの予測出力である。これらの2つの学習済モデルを統合処理装置10を用いて統合すると単一の学習済モデルとなり、その予測出力は図9(c)に示す通りとなる。すなわち、これらの図から明らかな通り、−πから0までの半周期分と、0からπまでの半周期分とを統合することにより、−πからπまでの1周期分の正弦曲線をその全領域にわたり精度良く予測できる学習済モデルが生成されたことが確認される。
図10は、2つの学習済モデルの統合処理を行った場合の実験結果(その2)である。図10(a)は、−πからπの1周期分、荒い精度で学習させた場合の第1の学習済モデルの予測出力である。一方、図10(b)は、−π/2からπ/2の範囲においては精度良く正弦曲線を学習しているものの、−πから−π/2の範囲、及びπ/2からπまでの範囲においてはおよそそれぞれの延長となるように横軸に平行な線分となるよう学習している場合の第2の学習済モデルの予測出力である。これらの2つの学習済モデルを統合処理装置10を用いて統合すると単一の学習済モデルとなり、その予測出力は図10(c)に示す通りとなる。すなわち、−πから−π/2の範囲においては、荒く正弦曲線が再現されており、−π/2からπ/2の範囲においては、精度良く正弦曲線が再現されており、π/2からπまでの範囲においては、荒く正弦曲線が再現されている。これより、精度良く学習させた範囲については精度よく、荒く学習させた範囲については大まかな予測出力を生成する学習済モデルを生成することができることが確認される。
上述の実施形態においては、単一の統合処理装置10内で2つの異なる学習済モデルを統合する処理について説明したが、本開示はそのような構成に限定されない。従って、例えば、大規模な統合処理システムとして構成してもよい。
2 I/O部
3 通信部
4 記憶部
10 統合処理装置
30 クライアント装置
31 制御部
32 I/O部
33 通信部
34 記憶部
40 サーバ装置
41 制御部
42 I/O部
43 通信部
44 記憶部
80 大規模統合処理システム
81 最上位層
82 第1の中間層
83 第2の中間層
84 デバイス層
100 情報処理システム(サーバ・クライアント・システム)
Claims (9)
- 階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合方法であって、
所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、
前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、
を備える学習済モデル統合方法。 - 前記統合ステップにおいて、
一の学習済モデルのみにノードが存在する場合には当該ノードと共に当該ノード以下に存在するすべてのノードが複製される、請求項1に記載の学習済モデル統合方法。 - 前記複数の異なる学習済モデルの各前記ノードには、前記学習の過程において生成された学習関連パラメータと、各前記ノードに対応する状態空間に包含されるデータ数と、が対応付けられており、
前記統合ステップは、さらに、
前記ノードを統合するに際して統合対象となる複数のノードの前記データ数をそれぞれ加算するデータ数加算ステップと、
前記ノードを統合するに際して統合対象となる複数のノードに対応付けられた各前記学習関連パラメータを前記各データ数に応じて重み付け加算する誤差量加算ステップと、を備える請求項1に記載の学習済モデル統合方法。 - 前記学習関連パラメータは、各前記ノードにおいて前記学習の過程において生成され、かつ予測精度に相当する誤差量である、請求項3に記載の学習済モデル統合方法。
- 前記データ読出ステップは、さらに、
各前記学習済モデルの各学習条件に相当するパラメータを含むパラメータファイルを読み出すパラメータファイル読出ステップを含み、
前記学習済モデル統合方法は、さらに、
各前記学習条件に相当する各パラメータのうちの所定のパラメータが互いに一致する場合には前記統合ステップを行い、かつ、各前記所定のパラメータが互いに一致しない場合には前記統合ステップを行わない判定ステップ、を含む請求項1に記載の学習済モデル統合方法。 - 階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置であって、
所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、
前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、
を備える学習済モデル統合装置。 - コンピュータを、階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する学習済モデル統合装置として機能させる学習済モデル統合プログラムであって、
所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出ステップと、
前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合ステップと、
を備える学習済モデル統合プログラム。 - 階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに対して所定のデータ群を学習させることにより得られた複数の異なる学習済モデルを統合する機能を有するICチップであって、
所定の記憶部から前記複数の異なる学習済モデルに関するデータを読み出す、データ読出部と、
前記複数の異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記複数の異なる学習済モデル同士を単一の学習済モデルへと統合する、統合部と、
を備えるICチップ。 - 階層的に分割された状態空間へとそれぞれ対応付けられた複数のノードを階層的に配置することにより構成された木構造を有する学習モデルに基づいて所定のデータ群に基づく学習処理を行い学習済モデルを生成する学習装置を1又は2以上備える学習装置層と、
前記学習装置層と通信を介して接続され、各前記学習装置にて生成された各前記学習済モデルを統合する学習済モデル統合装置を1又は2以上備える統合装置層と、から成る統合処理システムであって、
前記学習済モデル統合装置は、
所定の記憶部から前記異なる学習済モデルに関するデータを読み出す、データ読出部と、
前記異なる学習済モデルに係る木構造を構成する各ノードについて、一の学習済モデルのみにノードが存在する場合には当該ノードを複製し、複数の学習済モデルの対応する位置にそれぞれノードが存在する場合には対応する各前記ノード同士を統合することにより、前記異なる学習済モデル同士を統合する、統合部と、
を備える統合処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148319 | 2017-07-31 | ||
JP2017148319 | 2017-07-31 | ||
PCT/JP2018/027774 WO2019026703A1 (ja) | 2017-07-31 | 2018-07-24 | 学習済モデル統合方法、装置、プログラム、icチップ、及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019026703A1 JPWO2019026703A1 (ja) | 2020-05-28 |
JP6713099B2 true JP6713099B2 (ja) | 2020-06-24 |
Family
ID=65232554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019534067A Active JP6713099B2 (ja) | 2017-07-31 | 2018-07-24 | 学習済モデル統合方法、装置、プログラム、icチップ、及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11475371B2 (ja) |
EP (1) | EP3663992A4 (ja) |
JP (1) | JP6713099B2 (ja) |
WO (1) | WO2019026703A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11240153B1 (en) | 2020-07-31 | 2022-02-01 | Cisco Technology, Inc. | Scoring policies for predictive routing suggestions |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7293000B2 (en) * | 2002-02-22 | 2007-11-06 | Lee Shih-Jong J | Information integration method for decision regulation in hierarchic decision systems |
US7480640B1 (en) * | 2003-12-16 | 2009-01-20 | Quantum Leap Research, Inc. | Automated method and system for generating models from data |
JP2006293442A (ja) * | 2005-04-05 | 2006-10-26 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US8805861B2 (en) * | 2008-12-09 | 2014-08-12 | Google Inc. | Methods and systems to train models to extract and integrate information from data sources |
US8429110B2 (en) * | 2010-06-10 | 2013-04-23 | Microsoft Corporation | Pattern tree-based rule learning |
JP2012008659A (ja) * | 2010-06-22 | 2012-01-12 | Sony Corp | データ処理装置、データ処理方法、およびプログラム |
JP2012108748A (ja) * | 2010-11-18 | 2012-06-07 | Sony Corp | データ処理装置、データ処理方法、およびプログラム |
US8620837B2 (en) * | 2011-07-11 | 2013-12-31 | Accenture Global Services Limited | Determination of a basis for a new domain model based on a plurality of learned models |
US8209271B1 (en) * | 2011-08-15 | 2012-06-26 | Google Inc. | Predictive model training on large datasets |
US20140236875A1 (en) * | 2012-11-15 | 2014-08-21 | Purepredictive, Inc. | Machine learning for real-time adaptive website interaction |
US20140358828A1 (en) * | 2013-05-29 | 2014-12-04 | Purepredictive, Inc. | Machine learning generated action plan |
US9646262B2 (en) * | 2013-06-17 | 2017-05-09 | Purepredictive, Inc. | Data intelligence using machine learning |
GB2541625A (en) * | 2014-05-23 | 2017-02-22 | Datarobot | Systems and techniques for predictive data analytics |
US10452992B2 (en) * | 2014-06-30 | 2019-10-22 | Amazon Technologies, Inc. | Interactive interfaces for machine learning model evaluations |
US10867251B2 (en) * | 2014-10-28 | 2020-12-15 | Nec Corporation | Estimation results display system, estimation results display method, and estimation results display program |
JP6547171B2 (ja) * | 2015-03-16 | 2019-07-24 | 国立大学法人岩手大学 | 情報処理装置 |
US20180039905A1 (en) * | 2016-08-03 | 2018-02-08 | International Business Machines Corporation | Large scale distributed training of data analytics models |
-
2018
- 2018-07-24 JP JP2019534067A patent/JP6713099B2/ja active Active
- 2018-07-24 EP EP18815931.3A patent/EP3663992A4/en active Pending
- 2018-07-24 WO PCT/JP2018/027774 patent/WO2019026703A1/ja unknown
- 2018-12-26 US US16/232,333 patent/US11475371B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11475371B2 (en) | 2022-10-18 |
WO2019026703A1 (ja) | 2019-02-07 |
EP3663992A1 (en) | 2020-06-10 |
US20190138936A1 (en) | 2019-05-09 |
EP3663992A4 (en) | 2021-05-05 |
JPWO2019026703A1 (ja) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111406267B (zh) | 使用性能预测神经网络的神经架构搜索 | |
CN112559784B (zh) | 基于增量学习的图像分类方法及*** | |
US11468366B2 (en) | Parallel development and deployment for machine learning models | |
JP6790286B2 (ja) | 強化学習を用いたデバイス配置最適化 | |
Brownlee | XGBoost With python: Gradient boosted trees with XGBoost and scikit-learn | |
CN105719001B (zh) | 使用散列的神经网络中的大规模分类 | |
JP6648352B2 (ja) | 汎用学習済モデルの生成方法 | |
CA3061667C (en) | Systems and methods for assessing item compatibility | |
JP2019032808A (ja) | 機械学習方法および装置 | |
JP2019061647A (ja) | 異常セッション感知方法 | |
CN111522962A (zh) | 序列推荐方法、装置及计算机可读存储介质 | |
CN110651280A (zh) | 投影神经网络 | |
US20210027197A1 (en) | Dynamic placement of computation sub-graphs | |
JP2019053730A (ja) | 文書のカテゴリ分類のためのディープラーニング学習方法およびそのシステム | |
CN114072809A (zh) | 经由神经架构搜索的小且快速的视频处理网络 | |
CN114600196A (zh) | 特定领域的人类模型协同注释工具 | |
CN112819151A (zh) | 用于识别图像的方法和设备以及训练方法 | |
US20200074277A1 (en) | Fuzzy input for autoencoders | |
JP6713099B2 (ja) | 学習済モデル統合方法、装置、プログラム、icチップ、及びシステム | |
CN113591881A (zh) | 基于模型融合的意图识别方法、装置、电子设备及介质 | |
CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
US20220245291A1 (en) | Apparatus, system and method for three-dimensional (3d) modeling with a plurality of linked metadata feeds | |
WO2021220775A1 (ja) | 材料の特性値を推定するシステム | |
WO2021033515A1 (ja) | 情報処理装置、方法及びプログラム | |
CN115511070A (zh) | 模型训练方法、装置及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200123 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200123 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6713099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |